hiQ vs. LinkedIn ⁠— 공개적으로 사용 가능한 웹 데이터를 스크랩하는 것은 실제로 합법입니다

천국으로 가는 계단, 웹 스크래핑 사업을 하고 있다면 말입니다.

공개적으로 사용 가능한 데이터를 스크랩하는 것은 합법입니다. 웹의 공개 도메인에는 방대한 양의 데이터가 있습니다. 그러나 동일한 활용에 관해서는 현재까지 거의 이루어지지 않았습니다. 그러나 오늘날 서비스 회사는 데이터를 서비스로 제공하거나 데이터로 뒷받침되는 솔루션을 구축하고 있습니다. 5개의 다른 웹사이트에서 20000개 품목의 가격을 알고 싶다고 가정해 보겠습니다. 일부 서비스가 도움이 될 수 있습니다. 신병을 고용하거나 집을 등록하기에 적절한 가격을 결정할 때 웹 스크래핑은 모두에게 도움이 됩니다. 그러나 웹 스크래핑은 일반적으로 공개 인터넷에서 데이터를 스크래핑하는 회사를 포함하지만 많은 회사에서 이에 반대합니다. 왜요? 그들은 사용자의 데이터를 자신의 것으로 주장합니다. 그리고 분명히 그들은 그것에 대한 권리를 가진 유일한 사람입니다. 최근 hiQ 대 LinkedIn 사례에서 공개 데이터에 대한 무료 공개 액세스에 대한 큰 의지가 나타났습니다.

데이터 스크래핑은 LinkedIn에서 공개적으로 액세스 가능한 데이터를 스크래핑해 온 데이터 분석 회사인 hiQ Labs에게 매우 어려운 일이었습니다. 후자는 CFAA(Computer Fraud And Abuse Act)를 발동하기로 결정했고 hiQ가 "승인 없이" 정보에 액세스했다고 비난했습니다. 그러나 획기적인 움직임으로 미국 제9 순회 항소법원은 hiQ Labs의 손을 들어주었고, 이로써 "개방형 인터넷"을 위한 길을 열었습니다.

hiQ 대 LinkedIn

CFAA는 "승인 없이" 정부 보안 시스템의 해킹을 방지하기 위해 만들어진 연방 사이버 보안법입니다. 그러나 "권한 부여"라는 용어의 모호함은 hiQ 대 LinkedIn의 경우와 같이 회사가 필요할 때마다 자신의 필요에 맞게 수정할 수 있음을 의미합니다. hiQ가 한 일은 간단했습니다. 스크랩한 데이터를 사용하여 HR 관련 분석 제품을 만드는 것이었습니다. 예를 들어 Keeper는 변덕스러운 직원을 식별하고 Skill Mapper는 직원을 평가하고 인력의 격차를 찾습니다. 그러나 LinkedIn은 2017년에 유사한 제품 세트를 출시했으며 시나리오가 남쪽으로 가기 시작한 때였습니다.

• 2017년 5월 23일에 hiQ가 데이터 스크랩을 중단할 것을 요구하는 중단 서한을 hiQ에 보냈습니다. 2주 후, hiQ는 LinkedIn을 상대로 금지 명령 구제 소송을 제기했습니다.
• LinkedIn의 데이터가 없으면 hiQ가 회사로 살아남을 수 없다는 것이 법원에 명백했습니다. 또한 사용자가 정보 암호를 암호화하지 않았기 때문에 LinkedIn의 데이터는 공개적으로 사용 가능했습니다. 법원은 “프로필 공개를 선택한 링크드인 사용자가 실제로 프라이버시에 대한 기대를 유지한다는 증거는 거의 없다”고 말했다.
• LinkedIn의 개인 정보 보호 정책에는 "귀하가 프로필에 입력한 모든 정보와 LinkedIn에 게시한 모든 콘텐츠가 다른 사람이 볼 수 있습니다."라고 명시되어 있습니다. 확률은 hiQ에 유리했습니다.
• hiQ는 불법적인 계약 간섭에 대해 주장했습니다. LinkedIn은 단순히 경쟁업체를 버스 아래로 몰아넣으면서 제품을 마케팅하려고 했습니다. LinkedIn은 공격적인 경쟁을 합법으로 간주했지만 법원은 그렇지 않았습니다.
• LinkedIn은 CFAA 카드를 사용하려고 했습니다. 법에 따르면 "누구든지… 허가 없이 의도적으로 컴퓨터에 액세스하거나 허가된 액세스 권한을 초과하여 보호된 컴퓨터로부터… 정보를… 입수하는 사람은… 처벌을 받습니다." 또한 해당 조항의 "위반으로 인해 손해 또는 손실을 입은 사람"은 "위반자에 대해 손해 배상 및 금지 명령 구제 또는 기타 공평한 구제를 받기 위해" 민사 소송을 제기할 수 있습니다.
• 그러나 사용자 ID와 비밀번호로 데이터가 보호되지 않아 링크드인의 주장은 무산됐다. 법원은 CFAA가 이 사건에 적용되지 않는다고 판결했다. 데이터는 공개되었습니다. 불법적인 "파손 및 진입"은 발생하지 않았습니다.

CFAA의 문제

데이터 분석의 주요 승리인 동시에 CFAA의 범위를 흐리게 처리한 제9순회 순회 사건(Facebook v. Power Ventures)도 조명합니다. 링크드인의 편지.

Power Ventures는 개인이 모든 소셜 미디어 계정을 한 곳에서 관리할 수 있도록 하는 회사였습니다. 데이터가 공개적으로 제공되는 LinkedIn과 달리 Power Ventures는 사용자의 동의를 구합니다. 따라서 Power Ventures에 Facebook이 아닌 데이터에 대한 액세스 권한을 부여한 것은 사용자였습니다. 따라서 회사는 어떤 면에서 "승인 범위 내"였지만 여전히 CFAA를 위반한 것으로 밝혀졌습니다.

CFAA에 문제가 있습니다. 이론상으로는 해킹을 막아야 하지만, 대기업의 도구에 불과하다. 모든 대기업은 법을 나름대로 해석하고 유리하게 사용합니다. Power Ventures는 사용자가 스스로 선택한 추가 기능이었습니다. hiQ는 LinkedIn이 주목하는 분석 제품을 만들었고 더 큰 회사는 이러한 제3자를 강점으로 삼기를 원했기 때문에 강력한 CFAA를 요청했습니다.

법원은 CFAA를 발동할 수 있는 잠금 장치를 찾았지만 여전히 문을 완전히 닫지는 않았습니다. 더 최근의 Stackla 대 Facebook은 웹 스크래핑을 통해 논란이 된 또 다른 플랫폼을 발견했습니다.

때때로 새로운 사건이 발생하면서 CFAA와 "무허가"와 같은 용어를 명확히 하는 것은 결국 법원의 몫입니다. 데이터는 어디에나 존재하며 합법과 불법을 구분하는 것이 가장 중요합니다. 데이터의 독점은 혁신에 위험할 수 있으며, 빠르게 변화하는 인터넷 세계에서는 혁신이 모든 것입니다.

결론

승리로 hiQ는 개방형 웹 데이터 적용의 길을 개척했습니다. 웹 크롤링 및 추출은 데이터를 수집하는 가장 저렴한 방법이며 너무 오랫동안 회의적인 접근 방식으로 여겨져 왔습니다. 중소기업과 대기업이 공평한 경쟁의 장에서 경쟁할 수 있는 유일한 방법은 인터넷과 인터넷에 있는 데이터를 모두가 무료로 사용할 수 있어야 한다는 점을 이해해야 합니다.

Google은 검색 결과에 대해 표시하는 데이터가 자체 데이터라고 주장할 수 있습니까? Wikipedia가 페이지에서 배우는 것을 막을 수 있습니까? 결국 인터넷의 공공 영역에서 얻을 수 있는 정보의 대부분은 개인이나 시장에 속해 있으며 어떤 회사도 이를 독점할 수 없습니다. 기업이 경쟁할 수 있는 것은 데이터를 얼마나 잘 사용하고 어떤 서비스를 만들 수 있느냐입니다. 이러한 서비스는 공개 데이터를 소화하고 기업에서 사용할 수 있는 가치 있는 출력을 생성할 수 있습니다.