Web スクレイピングのグレーネス – 合法かどうか?

「Web スクレイピング」とは文字通り、Web からデータをスクレイピングすることです。 検索エンジンによる Web スクレイピングとは、何百万もの Web サイトで検索クエリに関連する情報を評価して検索結果を生成する活動です。 一方で、（スクレイピング ツールを使用して）企業の手に渡ると、その合法性は疑問視されます。

しかし、なぜですか？

Computer Fraud and Abuse Act (CFAA) は、コンピューターとその中の情報の不正使用 (Web スクレイピングを含む) を禁止しています。 ただし、この活動の範囲はまだ不明です。 最近、米国最高裁判所は、許可されていない/禁止された使用であっても、許可されたデータへのアクセスは CFAA の違反とは言えないと発表して、Van Buren 対米国に有利な判決を下しました。

スクレイピングされたデータの合法性の問題の「灰色」は、Web スクレイピングのエコシステム、それが何を伴うのか、何が合法か違法かを深く調べない限り、明確にすることはできません。

ウェブサイトのスクレイピングは合法ですか?

Web データのスクレイピングが合法であるかどうかは、多くの要因によって決まります。 Web スクレイピングのユビキタスな性質は、Trespass to Chattel 法の範囲に該当する可能性があり、個人情報の不正使用が法的な問題になる可能性があります。

さらに、今日、消費者のプライバシーと情報の盗難を保護するために、他の多くの法律、法律、規制が動員されています。 一般データ保護法 (GDPA)、児童オンライン プライバシー保護法 (COPPA)、および医療保険の携行性と説明責任に関する法律 (HIPAA) について聞いたことがあるかもしれません。これらの保護対策はすべて、チェックされていない悪用を防ぐために実施されています。個人消費者データの。

しかし、Van Buren 対米国の判決により、特定の状況下では Web スクレイピングが問題ないように思われます。

LinkedIn 対 hiQ Labs の訴訟に対する第 9 巡回区控訴裁判所の判決では、公開プロフィールから情報をスクレイピングすることは、CFAA の範囲内でカバーされていないため (スクレイピングされたデータが公開されていたため)、問題ないと発表されました。 . ただし、これにより、LinkedIn はユーザー プロファイルへの公開アクセスを制限しました。閲覧者によるログインが必要になりました。

Web サイトに含まれる情報を表示するために Web サイトのユーザー アカウントにログインする必要がある場合、そこからのすべてのアクティビティは、Web サイトの利用規約の下に置かれます。 これらの利用規約には、Web スクレイピングを阻止または禁止する条項が含まれている場合があります。それでもデータの抽出に関与すると、法的な混乱に陥る可能性があります。

そういえば、まさにこれが、LinkedIn がユーザー プロファイルを表示するためにログインを義務付けた理由です。つまり、ユーザーの Web スクレイピング情報を制限するためです。

とはいえ、グレーゾーンは依然として広い。 では… Webスクレイピングは違法ですか? スクレイピングしようとしているデータの種類とそのデータの性質に大きく依存します。

公開データ

インターネット上で遭遇するデータは、ほとんどが公開データです。 特定のデータにアクセスするために、アカウントにログインしたり、データ使用条件に同意したり、身元や資格情報を認証したりする必要がない限り、スクレイピングは完全に合法です。

ここでのWeb ハーベスティングに対する唯一の抑止力は、これらの Web サイトが Web スクレーパーをそらすために (もちろん、情報を保護するために) 導入した手段です。

個人データ/個人データ

個人の個人情報を盗むことは違法です。 個人情報とは、名前、住所、財務情報、健康状態、生年月日、その他の連絡先情報など、何でもかまいません。個人の身元 (個人を特定できる情報、または PII) を明らかにするものは、Web スクレイピングの危険信号です。 . 厳禁です。

ただし、どうしても必要な場合は、まずその個人の同意を求めることが必須です。 さらに、法的な動機が PII のスクレイピングの背後にある場合は、それを知らせる必要があります。

著作権データ

パブリッシャーの知的財産であるインターネット上のデータをスクレイピングすることは違法です。 このデータを使用する必要がある場合は、その著作権にかかわらず、使用する場所に関係なく、その情報のソースを明示する必要があります。

利用規約

これは、Web スクレイピングの違法性の条件付き事例です。 ウェブサイトが明示的にデータスクレイピングを制限している場合、それは違法であると考えてください。 スクレイパー ボットを使用する前に、使用条件とサービスを十分に確認することをお勧めします。

アカウントログイン

LinkedIn がユーザー プロファイルにアクセスするためにアカウント ログインを義務付けているように、ログイン インスタンスはほとんどの場合、Web サイトの利用規約に対する同意を得ます。 これらの利用規約には、データ スクレイピングに関する条項が含まれている場合があります。 ログインした後もスクレイパー ボットをリリースすると、禁止または法的措置を受けるリスクがあります。

合法的にデータをスクレイピングする方法

あなたに対して法的措置が取られないようにするために、Webスクレイピングを進める前に、次の側面を完全に理解してください。

• データは公開されていますか?
• 個人の PII が明らかになりますか?
• ウェブサイトには、スクレイピングに関する禁止事項が記載されていますか?
• スクレイピングして使用できる情報を管理する法律、法律、ポリシー、または規制はありますか?

これらすべての質問に対する答えを慎重に比較検討することで、Web スクレイピング アクティビティの灰色の度合いを判断することができます。

まとめ

本質的に、 「ウェブサイトをスクレイピングすることは合法ですか」は問題ではありません。 本当の問題は、「ウェブサイトのスクレイピングはどの程度合法なのか? 」。

Web スクレイピングでは、公開されているデータのみを取得し、法的に実行可能な条項によって保護されていないことを確認することをお勧めします。 PromptCloud のような彼らが何をしているかを知っている専門機関に Web スクレイピングをアウトソーシングすることもできます。