Серость веб-скрейпинга — законно или нет?

«Веб-скрапинг», в буквальном смысле, включает в себя сбор данных из Интернета. В руках поисковой системы веб-скрапинг — это деятельность, которая генерирует результаты поиска путем оценки миллионов веб-сайтов на предмет информации, релевантной поисковым запросам. С другой стороны, в руках бизнеса (использующих инструменты парсинга) его законность становится сомнительной.

Но почему?

Закон о компьютерном мошенничестве и злоупотреблениях (CFAA) запрещает несанкционированное использование компьютеров и содержащейся в них информации, включая просмотр веб-страниц. Однако масштабы этой деятельности пока остаются неясными. Недавно Верховный суд США вынес решение в пользу Ван Бюрена против Соединенных Штатов, объявив, что доступ к разрешенным данным, даже если для несанкционированного/запрещенного использования, нельзя назвать нарушением CFAA.

«Серость» вопроса о законности парсинга данных не может быть прояснена без глубокого изучения экосистемы веб-скрейпинга, того, что он влечет за собой, и что делает его законным или незаконным.

Является ли парсинг веб-сайта законным?

Многие факторы влияют на то, насколько законно собирать веб-данные. Повсеместный характер веб-скрапинга может подпадать под действие законов о вторжении в собственность движимого имущества, где несанкционированное использование информации человека может стать юридической проблемой.

Кроме того, сегодня было принято множество других законов, актов и нормативных актов для защиты конфиденциальности потребителей и кражи информации. Возможно, вы слышали об Общем законе о защите данных (GDPA), Законе о защите конфиденциальности детей в Интернете (COPPA) и Законе о переносимости и подотчетности медицинского страхования (HIPAA) — все эти меры защиты были приняты для предотвращения неконтролируемых злоупотреблений. личных потребительских данных.

Однако, судя по решению по делу Ван Бюрена против Соединенных Штатов, парсинг в Интернете при определенных обстоятельствах может быть допустимым.

В постановлении Апелляционного суда девятого округа по делу LinkedIn против hiQ Labs было объявлено, что извлечение информации из общедоступных профилей разрешено, поскольку эта деятельность не подпадает под действие CFAA (поскольку извлеченные данные были общедоступны). . Однако это привело к тому, что LinkedIn запретил публичный доступ к профилям пользователей - теперь от зрителя требуется вход в систему.

Требование войти в свою учетную запись пользователя на веб-сайте для просмотра содержащейся в нем информации приводит к тому, что все ваши действия в соответствии с положениями и условиями веб-сайта. Эти положения и условия могут содержать пункты, которые сдерживают или запрещают веб-скрапинг — если вы все еще занимаетесь извлечением данных, вы можете попасть в юридическую неразбериху.

Говоря об этом, именно поэтому LinkedIn предписывает вход в систему для просмотра профилей пользователей — чтобы ограничить сбор информации о своих пользователях в Интернете.

При этом серая зона по-прежнему остается широкой. Итак… Является ли веб-скрапинг незаконным ? Это во многом зависит от типа данных, которые вы пытаетесь очистить, и характера этих данных:

Общедоступные данные

Данные, с которыми вы сталкиваетесь в Интернете, в основном общедоступны. Если вам не требуется войти в свою учетную запись или согласиться с условиями использования данных или подтвердить свою личность или учетные данные для доступа к определенным данным, парсинг является совершенно законным.

Единственным сдерживающим фактором для веб-сбора здесь будут меры, которые эти веб-сайты принимают для отклонения ваших парсеров (конечно, для защиты их информации).

Персональные данные/частные данные

Соскребать личную информацию человека незаконно. Личная информация может быть чем угодно — именем, адресом, финансовыми сведениями, сведениями о здоровье, датой рождения, любой другой контактной информацией и т. д. Все, что выдает личную личность человека (персональная информация или PII), является красным флагом для веб-скрапинга. . Это строгое нет-нет.

Однако, если вы должны, сначала необходимо получить согласие этого человека. Кроме того, если причиной очистки PII является юридическая мотивация, об этом должно быть сообщено.

Данные об авторских правах

Любые данные в Интернете, которые являются интеллектуальной собственностью издателя, незаконны. Если вы должны использовать эти данные, несмотря на их авторские права, вы должны указать источник этой информации, где бы вы ее ни использовали.

условия обслуживания

Это условный случай незаконности веб-скрапинга. Если веб-сайт явно ограничивает очистку данных, считайте это незаконным. Прежде чем приступить к работе со скребковыми ботами, лучше всего тщательно проверить условия использования и обслуживания.

Логин аккаунта

Подобно тому, как LinkedIn требует входа в учетную запись для доступа к своим профилям пользователей, экземпляр входа почти всегда получает ваше согласие с условиями веб-сайта. Эти положения и условия могут содержать пункты о очистке данных. Когда вы все еще выпускаете своих парсер-ботов после входа в систему, вы рискуете получить бан или даже судебный иск.

Как легально очистить данные

Чтобы гарантировать, что против вас не будут предприняты юридические действия, тщательно изучите следующие аспекты, прежде чем приступить к парсингу веб-страниц:

• Данные общедоступны?
• Раскрывает ли он персональные данные любого человека?
• Упоминаются ли на сайте какие-либо запреты на парсинг?
• Существуют ли какие-либо законы, акты, политики или постановления, которые контролируют, какую информацию вы можете собирать и использовать?

Тщательное взвешивание ответов на все эти вопросы поможет определить степень серости вашей активности в Интернете.

Подведение итогов

По сути, вопрос не в том, «законно ли парсить веб-сайт ». Настоящий вопрос заключается в следующем: « Насколько законен парсинг веб-сайтов? “.

Лучше всего убедиться, что веб-скрапинг извлекает только те данные, которые общедоступны и не защищены какими-либо юридически обоснованными положениями. Вы также можете поручить веб-скрапинг профессиональным агентствам, таким как PromptCloud, которые знают, что делают.