15 년간의 웹 스크래핑에서 배운 교훈

역사

PromptCloud가 2009 년에 운영을 시작했을 때, 기술 최첨단의 비즈니스는 웹 스크래핑이 무엇인지 알고있었습니다. 우리는 5 학년 버전을 사용하여 다음과 같은 솔루션을 설명해야했습니다. 때때로, 우리는 또한 CSV, XML 및 JSON이 무엇인지 설명하고 종종 자신을 발견하지 못했을 때, Excel이 정기적으로 그러한 양의 데이터를 소비 할 수있는 올바른 형식이 아닌 이유에 대해 고객에게 교육합니다. 그때 우리는 DAA (서비스로서의 데이터)와 웹 스크래핑과 웹 크롤링의 차이점에 대해 많은 교육 콘텐츠를 수행했을 때였습니다. 많은 사람들이 소송을 따랐고 나머지는 역사입니다. 크롤링과 스크래핑의 차이점에 대한이 특정 블로그는 원시 캐주얼 톤에도 불구하고 웹 사이트에서 가장 많이 방문한 페이지가되었습니다.

우리는 단순한 DAAS 플랫폼이었던 수평 크롤링 솔루션 만 가지고 있었고, 심지어 자동차, 자동차, 전자 상거래, 여행 등 많은 사람들이 다른 많은 사람들 사이에서 고객을 가졌습니다. 우리는 우리가 만난 몇 가지 사용 사례들에 의해 즐겁게되었고, 우리가 웹 스크래핑이 해결 될 것이라고 상상조차하지 않은 것들에도 불구하고. 데이터 피드를 제공하기 위해 API 개발을 포함하여 많은 부가 가치 서비스가 비전가가되는 대신 고객 요구에 대한 반응이라고 말하는 것은 과소 평가 일 것입니다.

15 년 동안 빠르게 전달하면 많은 기본 사항이 여전히 남아있는 동안 많은 것이 바뀌 었습니다. 비즈니스에 대체 데이터가 필요한 이유 또는 웹 스크래핑이 무엇인지에 대해 더 이상 교육이 필요하지 않습니다. 이전에는 인터넷에있는 웹 사이트의 2%만이 자신을 기어 다니기를 원하지 않았으며 이제는 점점 더 많은 도메인이 안티 버전 기술을 사용함에 따라 숫자가 분명히 증가했습니다. 우리의 최고 FAQ는 웹 스크래핑이 합법적이라면, 이제 더 많은 비즈니스가 윤리적으로 수행하는 방법을 이해하는 것이 었습니다. 사용 사례도 빠르게 발전하여 다른 기술 발전과 인터넷 침투와 보조를 맞추고 있습니다.

현재

과거에 우리가 경험 한 것의 배경에 반대하는 지금 우리가 어디에 있는지 살펴 보겠습니다.

1. 더 많은 비즈니스가 데이터의 필요성을 인식합니다

비즈니스는 앞서 나가기 위해 실시간 통찰력이 필요하기 때문에 견고한 웹 스크래핑 서비스 에 대한 수요는 계속 증가하고 있습니다. 우리는 바늘이 니스에서 필수 아이템으로 이동하는 것을 목격했습니다. 경쟁이 치열 해짐에 따라 회사는 웹 스크래프가 다른 도구가 아닌 게임 체인저로 간주합니다. 이 요구가 주로 전자 상거래 공간에서 성장했으며, 우리가 이전에 봉사 한 다른 산업에서는 그리 많지 않았다는 점에 주목하는 것은 흥미 롭습니다.

2. 데이터 요구의 규모가 변경되었습니다

데이터가 필요한 것이 아니라 많은 데이터가 필요합니다. 회사는 스냅 샷을 원하지 않습니다. 그들은 트렌드보다 앞서 나가도록 도와주는 데이터 세트를 지속적으로 업데이트하는 실시간을 원합니다. 예를 들어 노동 시장 분석의 사용 사례를 사용하십시오. 일자리가 어떻게 인기를 끌고 있는지에 대한 의미있는 통찰력을 도출하기 위해 수천 개의 일자리가 통계적으로 중요한 데이터를 제공하지 않을 것입니다. 기술이 트렌드 인 패턴, 특정 작업 제목의 핫스팟 위치 등의 패턴을 이끌어 내려면 특정 카테고리에서 수십만 개의 구인 게시가 필요합니다. 이러한 변화는 비즈니스가 대량의 데이터를 효율적이고 실시간으로 처리 할 수있는 복잡한 웹 스크래핑 솔루션을 찾고 있음을 의미합니다.

3. 트렌드는 비즈니스가 추구하는 데이터의 종류를 형성합니다

웹 스크래핑에서 기업이 필요로하는 것은 트렌드로 발전합니다. 지금 긁는 풍경을 형성하는 것처럼 보이는 두 가지 큰 것은 빠른 상업 과 소셜 미디어 입니다. 미용 및 개인 관리에서부터 FMCG에 이르기까지 브랜드의 확산으로, 특히 인도에서 10 분 전달 앱의 약속과 결합하여 디지털 선반을 모니터링하는 것이 필수적이되었습니다. Instagram 및 기타 인기있는 채널의 출현으로 소셜 미디어의 경우도 마찬가지입니다. 더 많은 브랜드는 소비자 감정과 신흥 트렌드를 추적하기위한 주요 채널로 소셜 미디어에 의존합니다.

4. 데이터 수집을위한보다 강력한 시스템

당시 고객이 200 개의 웹 사이트를 크롤링해야하거나 매일 수백만 개의 데이터 포인트를 전달 해야하는 경우 첫 번째 질문 일 것입니다. 이것이 스팸 요구 사항입니까? 시스템은 그러한 볼륨의 데이터를 처리 할만 큼 정교하지 않았기 때문에 무언가 또는 다른 것들이 끊어 질 것입니다. 이제 우리와 함께 일하는 대부분의 비즈니스는 강력한 데이터 파이프 라인, 실시간 처리 시스템 및 섭취를 원활하게 만드는 클라우드 스토리지 솔루션을 구축했습니다. 즉, 데이터 처리 방법에 대해 걱정하는 것보다 통찰력에 더 집중할 수 있습니다.

5. 공개 데이터는 접근성이 떨어지고 있습니다

웹 스크래핑은 예전만큼 간단하지 않습니다. 점점 더 많은 웹 사이트가 Paywalls, 로그인 요구 사항 및 봇 검출 시스템 뒤에 데이터를 잠그고 있습니다. 이로 인해 업계는 이러한 장벽을 중심으로 합법적이고 효율적으로 작업 할 수있는 복잡한 웹 스크래핑 방법으로 창의력을 발휘해야했습니다. AI 구동 도구는 이러한 끊임없는 제한을 따라야합니다. 우리는 일반적으로 단순하고 중간 및 복잡한 소스의 복잡성에 따라 크롤링 프로젝트를 비싸고 지난 몇 년 동안 점점 더 많은 웹 사이트가 복잡한 범주에 속하는 것을 보았습니다.

6. 경험은 그 어느 때보 다 중요합니다

데이터 수요가 급격히 증가함에 따라 새로운 플레이어는 무엇이든 긁을 수 있다고 주장하고 있습니다. 그러나 여기에는 실험이 중요합니다. 위의 지점에 대한 결론으로서, 웹 스크래핑은 단순히 데이터를 가져 오는 것이 아닙니다. 동적 웹 사이트를 처리하고 대규모 운영 관리 및 데이터 정확성을 보장하는 것입니다. 숙련 된 웹 스크래핑 제공 업체는 문제, 미세 조정 프로세스 및 실제로 규모로 작동하는 솔루션을 구축하는 데 몇 년을 보냈습니다.

7. AI는 웹 스크래핑에 혁명을 일으키고 있습니다

데이터 파이프 라인의 상당 부분이 이전에 자동화되었지만 파이프 라인의 구성 단계에서 약간의 돌파구가있었습니다. 데이터 파이프 라인의 다양한 단계에 AI를 사용하는 가능성은 끝없는 정확한 추출이 더 쉬워 질 수 있으며, 크롤러는 웹 사이트 변경을 식별하고 자동으로 수정하도록 훈련 될 수 있습니다. 데이터 구조는 더 간단해질 수 있습니다. 머신 러닝은 또한 비즈니스가 통찰력, 분류 및 분석을 더욱 가치있게 만들어주는 원시 데이터를 넘어서도록 돕고 있습니다. 이 모든 것은 AI 가이 산업에 좋은 방식으로 혁명을 일으켜 긁어내는 것 이상의 능력을 향상시키고 수집 된 데이터 더미에서 통찰력을 얻는 고통을 완화시켰다.

앞으로 도로

웹 스크래핑은 지난 15 년 동안 먼 길을 왔으며 여전히 진화하고 있습니다. 데이터는 그 어느 때보 다 비판적이되면서 비즈니스에는 복잡한 웹 스크래핑 의 복잡성을 이해 하고 문제를 탐색하는 경험이있는 파트너가 필요합니다. 최고 수준의 데이터 품질을 보장하거나 웹 사이트 제한 처리 또는 AI를 사용하여 스크래프를 더 똑똑하게 만들려면 올바른 접근 방식이 모든 차이를 만듭니다.

한 가지 확실한 점은 구조화되고 실행 가능한 데이터에 대한 수요가 곧 느려지지 않습니다. 유일한 질문은 - 다음에 무엇을 준비하고 있습니까?

FAQ

출처

하버드 비즈니스 검토 - 데이터의 중요성이 커지고 있습니다