Die Grausamkeit des Web Scraping – legal oder nicht?

„Web Scraping“ bedeutet ganz wörtlich das Scraping von Daten aus dem Internet. In den Händen einer Suchmaschine ist Web Scraping die Aktivität, die Suchergebnisse generiert, indem Millionen von Websites nach Informationen bewertet werden, die für Suchanfragen relevant sind. Auf der anderen Seite wird die Legalität in den Händen von Unternehmen (mit Schabewerkzeugen) fraglich.

Warum allerdings?

Der Computer Fraud and Abuse Act (CFAA) verbietet die unbefugte Nutzung von Computern und darin enthaltenen Informationen – einschließlich Web Scraping. Der Umfang dieser Aktivität ist jedoch noch unklar. Kürzlich entschied der Oberste Gerichtshof der USA zugunsten von Van Buren gegen die Vereinigten Staaten, indem er ankündigte, dass der Zugriff auf zulässige Daten, auch wenn dies für eine nicht autorisierte/verbotene Verwendung erfolgt, nicht als Verstoß gegen das CFAA angesehen werden kann.

Die „Grauheit“ der Frage nach der Legalität gekratzter Daten lässt sich nicht klären, ohne einen tiefen Blick in das Ökosystem des Web Scraping zu werfen, was es damit auf sich hat und was es legal oder illegal macht.

Ist das Scrapen einer Website legal?

Viele Faktoren bestimmen, wie legal es ist, Webdaten zu kratzen. Die allgegenwärtige Natur des Web Scraping kann in den Geltungsbereich der Trespass to Chattel-Gesetze fallen, wo die unbefugte Nutzung der Informationen einer Person zu einem rechtlichen Problem werden könnte.

Darüber hinaus wurden heute eine Vielzahl anderer Gesetze, Gesetze und Vorschriften in Kraft gesetzt, um die Privatsphäre der Verbraucher und den Diebstahl von Informationen zu schützen. Sie haben vielleicht schon vom General Data Protection Act (GDPA), dem Children's Online Privacy Protection Act (COPPA) und dem Health Insurance Portability and Accountability Act (HIPAA) gehört – alle diese Schutzmaßnahmen wurden eingeführt, um unkontrollierten Missbrauch zu verhindern privater Verbraucherdaten.

Mit dem Urteil Van Buren gegen die Vereinigten Staaten scheint es jedoch, dass Web Scraping unter bestimmten Umständen in Ordnung sein kann.

In einem Urteil des Ninth Circuit Court of Appeals im Fall LinkedIn gegen hiQ Labs wurde bekannt gegeben, dass das Scraping von Informationen aus öffentlichen Profilen in Ordnung sei, da diese Aktivität nicht unter den Geltungsbereich der CFAA fällt (weil die gescrapeden Daten öffentlich verfügbar waren). . Allerdings hat es LinkedIn dazu veranlasst, den öffentlichen Zugriff auf Benutzerprofile einzuschränken – eine Anmeldung des Betrachters ist nun erforderlich.

Die Anforderung, sich bei Ihrem Benutzerkonto auf einer Website anzumelden, um die darin enthaltenen Informationen anzuzeigen, bringt alle Ihre Aktivitäten von da an unter die Geschäftsbedingungen der Website. Diese Allgemeinen Geschäftsbedingungen können Klauseln enthalten, die Web Scraping verhindern oder verbieten – wenn Sie sich dennoch mit dem Extrahieren von Daten beschäftigen, können Sie in ein rechtliches Durcheinander geraten.

Apropos, genau aus diesem Grund hat LinkedIn Anmeldungen zum Anzeigen von Benutzerprofilen vorgeschrieben – um Web-Scraping-Informationen seiner Benutzer einzuschränken.

Trotzdem bleibt die Grauzone weit. Also … ist Web Scraping illegal ? Dies hängt weitgehend von der Art der Daten ab, die Sie zu kratzen versuchen, und von der Art dieser Daten:

Öffentliche Daten

Die Daten, auf die Sie im Internet stoßen, sind größtenteils öffentliche Daten. Wenn Sie sich nicht bei Ihrem Konto anmelden oder den Nutzungsbedingungen für Daten zustimmen oder Ihre Identität oder Anmeldeinformationen authentifizieren müssen, um auf bestimmte Daten zuzugreifen, ist das Scrapen vollkommen legal.

Die einzige Abschreckung für Web Harvesting wären hier die Maßnahmen, die diese Websites ergreifen, um Ihre Web Scraper abzulenken (natürlich um ihre Informationen zu schützen).

Personenbezogene Daten/Private Daten

Es ist illegal, die persönlichen Daten einer Person zu kratzen. Persönliche Daten können alles sein – Name, Adresse, Finanzdaten, Gesundheitsdaten, Geburtsdatum, andere Kontaktinformationen usw. Alles, was die persönliche Identität einer Person preisgibt (personenbezogene Daten oder PII), ist ein Warnsignal für Web Scraping . Es ist ein striktes No-Go.

Wenn Sie jedoch müssen, müssen Sie zuerst die Zustimmung dieser Person einholen. Wenn eine rechtliche Motivation ein Grund für das Scraping von personenbezogenen Daten ist, muss dies außerdem bekannt gegeben werden.

Copyright-Daten

Alle Daten im Internet, die geistiges Eigentum des Herausgebers sind, dürfen nicht gescrapt werden. Wenn Sie diese Daten ungeachtet ihrer Urheberrechte verwenden müssen, müssen Sie die Quelle dieser Informationen angeben, wo immer Sie sie verwenden.

Nutzungsbedingungen

Dies ist ein bedingter Fall der Rechtswidrigkeit von Web Scraping. Wenn eine Website Data Scraping ausdrücklich einschränkt, betrachten Sie dies als illegal. Bevor Sie mit Ihren Scraper-Bots fortfahren, prüfen Sie am besten die Nutzungsbedingungen und den Service gründlich.

Account Login

Ähnlich wie LinkedIn Kontoanmeldungen für den Zugriff auf seine Benutzerprofile vorgeschrieben hat, erhält eine Anmeldeinstanz fast immer Ihre Zustimmung zu den Geschäftsbedingungen der Website. Diese Allgemeinen Geschäftsbedingungen können Klauseln zum Data Scraping enthalten. Wenn Sie Ihre Scraper-Bots nach dem Einloggen dennoch freigeben, riskieren Sie eine Sperre oder sogar rechtliche Schritte.

So kratzen Sie Daten legal

Um sicherzustellen, dass keine rechtlichen Schritte gegen Sie eingeleitet werden, sollten Sie die folgenden Aspekte gründlich verstehen, bevor Sie mit Web Scraping fortfahren:

• Sind die Daten öffentlich zugänglich?
• Gibt es die PII einer Person preis?
• Erwähnt die Website irgendwelche Scraping-Verbote?
• Gibt es Gesetze, Handlungen, Richtlinien oder Vorschriften, die steuern, welche Informationen Sie auslesen und verwenden dürfen?

Ein sorgfältiges Abwägen der Antworten auf all diese Fragen würde helfen, den Graugrad Ihrer Web-Scraping-Aktivität zu bestimmen.

Einpacken

Im Grunde genommen ist „Ist es legal, eine Website zu scrapen “ nicht die Frage. Die eigentliche Frage lautet: „ Wie legal ist Website Scraping? “.

Es ist am besten sicherzustellen, dass Web Scraping nur die Daten abruft, die öffentlich verfügbar und nicht durch rechtlich einklagbare Klauseln geschützt sind. Sie können Web Scraping auch an professionelle Agenturen wie PromptCloud auslagern, die wissen, was sie tun.