heySec Shield · Datenquellen
Woher die Daten von Shield stammen
Was Shield liest
Shield unterscheidet Menschen von automatisierten Programmen. Neben dem, was ein Besuch selbst zeigt, liest es zwei Arten veröffentlichter Daten: Listen, die Netzwerke beschreiben, und das, was Betreiber von Crawlern und KI-Agenten über ihren eigenen Traffic veröffentlichen.
Wir nutzen eine Quelle nur, wenn die Bedingungen ihres Herausgebers das erlauben. Verlangt eine Quelle eine Quellenangabe, finden Sie sie unten. Die Daten werden täglich aktualisiert.
Eine Netzwerkliste sagt, woher Traffic kommt, nie, wer dahintersteht, und sie ist einer von mehreren Faktoren einer Prüfung. Was eine Prüfung bei einem Besuch erfasst und wie lange es gespeichert wird, steht in unserer Datenschutzerklärung.
Netzwerke
Shield ordnet einer Adresse das Land und das Netzwerk zu, zu dem sie gehört, und erkennt Netzwerke, die Traffic weiterleiten oder hosten.
| Quelle | Was sie liefert | Bedingungen |
|---|---|---|
| IPtoASN | Land und Netzwerkname einer Adresse. | Gemeinfrei (PDDL v1.0). |
| The Tor Project | Die Adressen der Tor-Exit-Relays, aus dem Dienst Onionoo. | CC0. |
| Apple | Die Adressen, die iCloud Private Relay veröffentlicht. | Von Apple veröffentlicht, damit andere seinen Traffic erkennen können. |
| Amazon Web Services, Google Cloud, Microsoft Azure, Oracle Cloud, Linode und Vultr | Die Adressbereiche, die jeder Anbieter für seine Cloud veröffentlicht. | Von jedem Anbieter veröffentlicht, damit andere seinen Traffic erkennen können. |
| monosans | Die Adressen offener Proxys. | MIT-Lizenz. |
| Spamhaus | Adressbereiche, von denen Spamhaus Netzwerken rät, keinen Traffic anzunehmen: die DROP-Listen. | Kostenlos, mit Quellenangabe. |
Als Land einer Adresse gilt das Land, in dem ihr Netzwerk registriert ist. Das ist nicht immer der Ort, an dem sich ihre Nutzer befinden.
Suchmaschinen und andere Crawler
Ein Crawler wird nur an dem erkannt, was sein Betreiber veröffentlicht: eine Liste seiner Adressen oder ein Reverse-DNS-Name, der zur eigenen Domain des Betreibers zurückführt. Ein Name im User-Agent beweist nichts. Jeder der unten genannten Betreiber erklärt auf seiner eigenen Seite, warum er diese Angaben veröffentlicht.
| Betreiber | Wo es steht |
|---|---|
| Google-Anfragen verifizieren | |
| Microsoft Bing | Bingbot verifizieren |
| Apple | Über Applebot |
| OpenAI | Übersicht der OpenAI-Crawler |
| Anthropic | Crawlt Anthropic Daten aus dem Web? |
| Perplexity | Perplexity-Crawler |
| Amazon | Über Amazonbot |
| DuckDuckGo | Über DuckDuckBot |
| Common Crawl | Common-Crawl-FAQ |
| Mistral | Mistral-Robots |
| Seznam | Über SeznamBot |
| Der Pinterest-Crawler | |
| UptimeRobot | UptimeRobot-Standorte |
KI-Agenten, die ihre Anfragen signieren
Einige KI-Agenten signieren ihre Anfragen mit HTTP Message Signatures (RFC 9421), wie im Entwurf Web Bot Auth der IETF beschrieben. Shield erkennt sie an den öffentlichen Schlüsseln, die ihre Betreiber veröffentlichen. Das sind ChatGPT agent von OpenAI, Google-Agent von Google, Browserbase und Anchor Browser.
- ChatGPT agent: Allowlisting
- Googles Dokumentation zu Web Bot Auth
- Browserbase-Identität
- Anchor Browser und Web Bot Auth
Browserbase und Anchor Browser geben an, dass sie signieren, aber nicht, wo ihre Schlüssel veröffentlicht sind. Shield liest die Schlüssel von den eigenen Adressen der Betreiber.
Quellenangaben und Hinweise
Verlangt eine Quelle eine Quellenangabe, steht sie hier.
Enthält Daten aus den Spamhaus-DROP-Listen, © The Spamhaus Project SLU. spamhaus.org/drop
Daten zu Land und Netzwerk von IP-Adressen von IPtoASN, lizenziert unter der Public Domain Dedication and License v1.0.
Tor-Exit-Daten aus dem Dienst Onionoo des Tor Project, verfügbar unter CC0.
Liste offener Proxys © 2022 monosans, genutzt unter der MIT-Lizenz.
Lizenztext
MIT License
Copyright (c) 2022 monosans
Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the “Software”), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
Fragen zu einer Quelle oder einer Quellenangabe: [email protected].