heySec Shield · Andmeallikad
Kust Shieldi andmed pärinevad
Mida Shield loeb
Shield eristab inimesi automaatprogrammidest. Lisaks sellele, mida külastus ise näitab, loeb see kahte liiki avaldatud andmeid: võrke kirjeldavaid loendeid ning seda, mida veebiroomajate ja AI-agentide haldajad oma liikluse kohta avaldavad.
Kasutame allikat ainult siis, kui selle avaldaja tingimused seda lubavad. Kui allikas palub viidet, leiad selle allpool. Andmeid uuendatakse iga päev.
Võrgu loend ütleb, kust liiklus tuleb, kuid mitte kunagi seda, kes selle taga on, ning see on vaid üks kontrolli mitmest sisendist. Mida kontroll külastusest kogub ja kui kaua seda hoitakse, kirjeldab meie privaatsuspoliitika.
Võrgud
Shield seob aadressi riigi ja võrguga, kuhu see kuulub, ning tunneb ära võrgud, mis liiklust edastavad või majutavad.
| Allikas | Mida see annab | Tingimused |
|---|---|---|
| IPtoASN | Aadressi riik ja võrgu nimi. | Avalik omand (PDDL v1.0). |
| The Tor Project | Tori väljundreleede aadressid teenusest Onionoo. | CC0. |
| Apple | Aadressid, mille avaldab iCloud Private Relay. | Apple avaldab need, et teised saaksid tema liiklust ära tunda. |
| Amazon Web Services, Google Cloud, Microsoft Azure, Oracle Cloud, Linode ja Vultr | Aadressivahemikud, mille igaüks neist oma pilve kohta avaldab. | Iga teenusepakkuja avaldab need, et teised saaksid tema liiklust ära tunda. |
| monosans | Avatud proksiserverite aadressid. | MIT-litsents. |
| Spamhaus | Aadressivahemikud, millest Spamhaus soovitab võrkudel liiklust mitte vastu võtta (DROP-loendid). | Tasuta, allikale viidates. |
Aadressi riik on see, kus on registreeritud selle võrk. See ei ole alati koht, kus asuvad selle kasutajad.
Otsingumootorid ja muud veebiroomajad
Veebiroomaja tunneb Shield ära ainult selle järgi, mida avaldab roomaja haldaja: aadresside loendi või pöörd-DNS-nime, mis viib tagasi haldaja enda domeenile. Nimi User-Agent-päises ei tõesta midagi. Iga allpool nimetatud haldaja selgitab oma lehel, miks ta neid andmeid avaldab.
| Haldaja | Kus see on kirjas |
|---|---|
| Verifying Google requests | |
| Microsoft Bing | How to verify Bingbot |
| Apple | About Applebot |
| OpenAI | Overview of OpenAI crawlers |
| Anthropic | Does Anthropic crawl data from the web |
| Perplexity | Perplexity crawlers |
| Amazon | About Amazonbot |
| DuckDuckGo | About DuckDuckBot |
| Common Crawl | Common Crawl FAQ |
| Mistral | Mistral robots |
| Seznam | About SeznamBot |
| The Pinterest crawler | |
| UptimeRobot | UptimeRobot locations |
AI-agendid, kes allkirjastavad oma päringud
Mõned AI-agendid allkirjastavad oma päringud HTTP-sõnumiallkirjadega (RFC 9421), nagu kirjeldab IETF-i Web Bot Authi kavand. Shield tunneb need ära avalike võtmete järgi, mille avaldavad nende haldajad. Need on OpenAI ChatGPT agent, Google’i Google-Agent, Browserbase ja Anchor Browser.
- ChatGPT agent allowlisting
- Google’s Web Bot Auth documentation
- Browserbase identity
- Anchor Browser and Web Bot Auth
Browserbase ja Anchor Browser ütlevad, et allkirjastavad päringuid, kuid mitte seda, kus nende võtmed on avaldatud. Shield loeb võtmed haldajate enda aadressidelt.
Allikaviited ja teatised
Kui allikas palub viidet, on see toodud siin.
Sisaldab andmeid Spamhausi DROP-loenditest, © The Spamhaus Project SLU. spamhaus.org/drop
IP-aadressi riigi ja võrgu andmed pärinevad allikast IPtoASN ja on litsentsitud Public Domain Dedication and License v1.0 alusel.
Tori väljundreleede andmed pärinevad Tor Projecti teenusest Onionoo ja on saadaval CC0 alusel.
Avatud proksiserverite loend © 2022 monosans, kasutatud MIT-litsentsi alusel.
Litsentsi tekst
MIT License
Copyright (c) 2022 monosans
Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the “Software”), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
Küsimused allika või viite kohta: [email protected].