웹 스크래핑의 회색성 – 합법인가 아닌가?

"웹 스크래핑"은 말 그대로 웹에서 데이터를 스크래핑하는 것을 포함합니다. 검색 엔진에서 웹 스크래핑은 검색 쿼리와 관련된 정보에 대해 수백만 개의 웹 사이트를 평가하여 검색 결과를 생성하는 활동입니다. 반면에 기업의 손(스크레이핑 도구 사용)에서는 합법성이 의심됩니다.

그런데 왜?

컴퓨터 사기 및 남용에 관한 법률(CFAA)은 웹 스크래핑을 포함하여 컴퓨터 및 그 안의 정보를 무단으로 사용하는 것을 금지합니다. 그러나 이 활동의 ​​범위는 아직 명확하지 않습니다. 최근 미국 대법원은 허가되지 않은/금지된 사용을 위해서라도 허용된 데이터에 액세스하는 것은 CFAA 위반이라고 할 수 없다고 선언함으로써 Van Buren 대 미국의 승소 판결을 내렸습니다.

스크래핑된 데이터의 합법성에 대한 질문의 "회색"은 웹 스크래핑의 생태계, 수반되는 내용, 합법 또는 불법인 이유를 깊이 살펴보지 않고는 명확해질 수 없습니다.

웹사이트 스크랩이 합법인가요?

많은 요소가 웹 데이터를 스크랩하는 것이 얼마나 합법적인지를 결정합니다. 웹 스크래핑의 유비쿼터스 특성은 개인 정보의 무단 사용이 법적 문제가 될 수 있는 Chattel 무단 침입 법률의 범위에 속할 수 있습니다.

또한 오늘날 소비자의 개인 정보 및 정보 도용을 보호하기 위해 수많은 다른 법률, 법률 및 규정이 동원되었습니다. 일반 데이터 보호법(GDPA), 아동 온라인 개인 정보 보호법(COPPA) 및 건강 보험 이동성 및 책임법(HIPAA)에 대해 들어보셨을 것입니다. 이러한 모든 보호 조치는 확인되지 않은 남용을 방지하기 위해 마련되었습니다. 개인 소비자 데이터의.

그러나 Van Buren 대 미국의 판결로 특정 상황에서 웹 스크래핑이 괜찮을 수 있습니다.

LinkedIn 대 hiQ Labs 사건에 대한 제9 순회 항소 법원 판결에서 공개 프로필에서 정보를 스크랩하는 것은 이 활동이 CFAA 범위에서 다루어지지 않았기 때문에(스크레이핑된 데이터가 공개적으로 사용 가능했기 때문에) 괜찮다고 발표되었습니다. . 그러나 LinkedIn이 사용자 프로필에 공개적으로 액세스하지 못하도록 제한했습니다. 이제 뷰어의 로그인이 필요합니다.

웹사이트에 포함된 정보를 보기 위해 웹사이트에서 사용자 계정에 로그인해야 한다는 요구 사항은 웹사이트의 이용 약관에 따라 모든 활동을 가져옵니다. 이러한 이용 약관에는 웹 스크래핑을 금지하거나 금지하는 조항이 있을 수 있습니다. 여전히 데이터 추출에 참여하면 법적 혼란에 빠질 수 있습니다.

말하자면, 이것이 바로 LinkedIn이 사용자 프로필을 보기 위해 로그인을 의무화한 이유입니다. 즉, 사용자의 웹 스크래핑 정보를 제한하는 것입니다.

즉, 회색 영역은 여전히 ​​​​넓습니다. 그래서… 웹 스크래핑은 불법 입니까? 이는 주로 스크랩하려는 데이터의 종류와 해당 데이터의 특성에 따라 다릅니다.

공개 데이터

인터넷에서 접하는 데이터는 대부분 공개 데이터입니다. 특정 데이터에 액세스하기 위해 계정에 로그인하거나 데이터 사용 조건에 동의하거나 ID 또는 자격 증명을 인증해야 하는 경우가 아니면 긁는 것은 완전히 합법입니다.

여기 에서 웹 수집 에 대한 유일한 억제책은 이러한 웹 사이트가 웹 스크레이퍼를 편향시키기 위해(물론 정보를 보호하기 위해) 취하는 조치일 것입니다.

개인 데이터/개인 데이터

개인의 개인정보를 스크랩하는 것은 불법입니다. 개인 정보는 이름, 주소, 재정 세부 정보, 건강 세부 정보, 생년월일, 기타 연락처 정보 등 무엇이든 될 수 있습니다. 개인의 개인 신원(개인 식별 정보 또는 PII)을 제공하는 모든 정보는 웹 스크래핑의 위험 신호입니다. . 그것은 엄격한 no-no입니다.

그러나 필요한 경우 먼저 해당 개인의 동의를 구해야 합니다. 또한 법적 동기가 PII 스크래핑의 원인인 경우 반드시 알려야 합니다.

저작권 데이터

게시자의 지적 재산인 인터넷상의 모든 데이터는 스크랩하는 것이 불법입니다. 이 데이터를 사용해야 하는 경우 해당 저작권에도 불구하고 사용하는 곳마다 해당 정보의 출처를 표시해야 합니다.

서비스 약관

이것은 웹 스크래핑의 불법성의 조건부 예입니다. 웹사이트에서 데이터 스크래핑을 명시적으로 제한하는 경우 불법으로 간주합니다. 스크레이퍼 봇을 사용하기 전에 사용 약관 및 서비스를 철저히 확인하는 것이 가장 좋습니다.

계정 로그인

LinkedIn이 사용자 프로필에 액세스하기 위해 계정 로그인을 의무화한 것처럼 로그인 인스턴스는 거의 항상 웹사이트의 이용 약관에 대한 동의를 얻습니다. 이 이용약관에는 데이터 스크래핑에 대한 조항이 포함될 수 있습니다. 로그인한 후에도 스크레이퍼 봇을 계속 해제하면 금지 또는 법적 조치를 받을 위험이 있습니다.

데이터를 합법적으로 스크랩하는 방법

법적 조치가 취해지지 않도록 웹 스크래핑을 진행하기 전에 다음 사항을 철저히 이해하십시오.

• 데이터를 공개적으로 사용할 수 있습니까?
• 개인의 PII를 공개합니까?
• 웹사이트에 스크랩에 관한 금지 사항이 언급되어 있습니까?
• 스크랩하고 사용할 수 있는 정보를 제어하는 ​​법률, 법률, 정책 또는 규정이 있습니까?

이 모든 질문에 대한 답을 신중하게 고려하면 웹 스크래핑 활동이 어느 정도 회색인지 결정하는 데 도움이 됩니다.

마무리

본질적으로 "웹 사이트를 스크랩하는 것이 합법적입니까? "는 질문이 아닙니다. 진짜 질문은 " 웹사이트 스크래핑이 얼마나 합법적입니까? ".

웹 스크래핑이 공개적으로 사용 가능하고 법적으로 조치 가능한 조항에 의해 보호되지 않는 데이터만 가져오도록 하는 것이 가장 좋습니다. 또한 웹 스크래핑을 PromptCloud와 같은 전문 에이전시에 아웃소싱하여 자신이 하는 일을 알고 있을 수 있습니다.