웹 크롤러는 무엇입니까? 개발자 및 데이터 엔지니어를위한 완전한 가이드

인터넷의 광대하고 끊임없이 확장되는 우주에서 Google과 같은 검색 엔진은 어떻게 존재하는지, 어디서 찾을 수 있는지 어떻게 알 수 있습니까? 현대 웹의 조용한 작업 인 웹 크롤러를 입력하십시오. 검색 엔진 색인 컨텐츠 또는 데이터 엔지니어가 전자 상거래 웹 사이트에서 실시간 데이터를 추출하여 웹 크롤러의 작동 방식을 이해하는 것이 기본 기술입니다.

스파이더 또는 봇이라고 불리는 웹 크롤러는 인터넷을 체계적으로 탐색하여 웹 사이트 콘텐츠를 발견, 다운로드 및 분석하는 프로그램입니다. 크롤러는 SEO (Search Engine Optimization) 및 감정 분석 및 학술 연구에 이르기까지 모든 것에 필수적입니다.

이 안내서에서는 웹 크롤링의 역학, 자신의 크롤러 구축 방법, 윤리적, 법적 영향, 실제 응용 프로그램을위한 크롤러를 스케일링하고 최적화하기위한 고급 기술을 탐구합니다.

다이빙합시다.

웹 크롤러 소개

현대 웹에서 웹 크롤러가 중요한 이유

인터넷에는 수십억 개의 웹 페이지가 포함되어 있습니다. 웹 크롤러는 디지털 세계의 "인덱서"역할을합니다. 그들의 임무는 웹 사이트를 자동으로 가로 지르고 컨텐츠를 수집하여 분석을 위해 저장하거나 검색 엔진과 같은 다른 시스템에 전달하는 것입니다.

예를 들어:

• GoogleBot은 웹 컨텐츠를 색인하여 검색 결과를 제공합니다.
  
• 가격 인텔리전스 플랫폼은 매일 경쟁자 가격 책정 페이지를 크롤링합니다.
  
• 아카데믹 기관은 감정 분석 및 기계 학습 데이터 세트를위한 웹 아카이브를 크롤링합니다.
  

크롤러가 없으면, 우리는 수동 발견 또는 미일 데이터 액세스에 의존 할 것입니다. 오늘날의 빠르게 진행되는 데이터 중심 세계에서는 스타터입니다.

웹 크롤러 대 웹 스크레이퍼 - 주요 차이점

용어는 종종 상호 교환 적으로 사용되지만 웹 크롤링 및 웹 스크래핑은 뚜렷한 프로세스입니다.

웹 크롤러 도 긁을 수도 있지만 주요 목적은 탐색 및 인덱싱입니다.

웹 크롤러의 일반적인 사용 사례

웹 크롤러는 마케팅이나 SEO뿐만 아니라 연구, 인프라, AI 교육 및 사이버 보안을위한 수많은 도메인의 기초 도구입니다.

• 검색 엔진 인덱싱
  Google 및 Bing과 같은 플랫폼이 수십억 페이지를 색인하는 방식의 핵심. 크롤러는 웹 전체의 컨텐츠를 발견하고 평가합니다.
  
• 과학 연구 및 학계
  연구원들은 언어 연구, 감정 분석 또는 역학 추적을위한 데이터 세트를 구축하기 위해 뉴스 보관소, 포럼 및 소셜 미디어를 크롤링합니다.
  
• 머신 러닝 및 AI 데이터 세트 생성
  크롤러는 NLP 모델, 챗봇, 이미지 분류기 및 추천 시스템을 훈련시키기 위해 구조화/비정형 데이터를 수집합니다.
  
• 사이버 보안 및 위협 지능
  보안 팀은 크롤러를 사용하여 포럼, 다크 웹 마켓 플레이스 또는 취약점 및 유출 된 자격 증명에 대한 노출 된 인프라를 스캔합니다.
  
• 내용 집계 및 발견
  RSS 리더, 코드 리포지토리 또는 뉴스 어 그리 게이터와 같은 도구는 소스를 크롤링하여 최신 업데이트를 컴파일합니다.
  
• 엔터프라이즈 데이터 통합
  회사는 내부 시스템, 인트라넷 또는 공급 업체 포털을 크롤링하여 단편화 된 데이터를 중앙 분석 플랫폼으로 통합합니다.
  
• 지식 그래프 및 메타 데이터 강화
  크롤러는 사이트 (예 : 회사 데이터베이스, 오픈 디렉토리)에서 구조화 된 정보를 수집하고 연결하여 검색 엔진 또는 권장 엔진에 전원을 공급합니다.

웹 크롤러가 작동하는 방법 (후드 아래)

웹 크롤러의 내부 작업을 이해하는 것이 필수적입니다. 전체 개념은 웹 페이지를 방문하고 링크를 추출하는 것이 간단하지만 실제 아키텍처와 실행에는 조화에서 작동 해야하는 몇 가지 움직이는 부분이 포함됩니다.

크롤링주기가 설명되었습니다

높은 수준에서 웹 크롤링은 크롤링 사이클로 알려진 반복 가능한 루프를 따릅니다. 단계별로 작동하는 방법은 다음과 같습니다.

1. 종자 URL로 시작하십시오

크롤러는 하나 이상의 출발점 (일반적으로 https://example.com과 같은 도메인 수준 URL)으로 시작합니다. 이것들은 종자 URL 로 알려져 있습니다.

2. HTTP 요청을 보내십시오

크롤러는 종자 페이지의 HTML 컨텐츠를 가져 오기위한 HTTP GET 요청을 보냅니다. 사용자 에이전트 문자열은 종종 크롤러를 식별하기 위해 요청 헤더에 포함됩니다.

3. HTML 컨텐츠를 구문 분석하십시오

HTML 응답이 접수되면 관련 데이터와 하이퍼 링크를 추출하는 것이 구문 분석됩니다. 이 구문 분석은 종종 언어 및 크롤러 스택에 따라 BeautifulSoup , LXML 또는 Cheerio.js 와 같은 라이브러리를 사용하여 수행됩니다.

4. 링크를 추출하고 정규화하십시오

추출 된 모든 링크 (<a href =””>)는 기본 도메인을 사용하여 절대 URL로 변환됩니다. 상대 경로는 urljoin 또는 동등한 방법을 사용하여 해결됩니다.

5. 내용을 저장 또는 프로세스하십시오

크롤러 중 하나 :

• 다운 스트림 파싱을 위해 RAW HTML을 저장하고
  
• 구조화 된 데이터 (예 : 제목, 메타 데이터, 테이블),
  
• 또는 Elasticsearch 또는 데이터베이스와 같은 처리를 위해 파이프 라인으로 밀어 넣습니다.
  

6. 대기열에 새 링크를 추가하십시오

향후 크롤링을 위해 모든 유효하고 중복 제거 된 링크가 줄에 추가됩니다. 이주기는 반복되어 방문한 URL의 기록을 유지합니다.

Robots.txt 및 크롤링 정책을 존중합니다

책임있는 봇은 모든 사이트를 크롤링하기 전에 /robots.txt 파일을 확인하여 크롤링 허가 및 허용되지 않은 경로를 확인합니다. Python의 Robotparser 와 같은 도구는이 규정 준수를 자동화 할 수 있습니다.

txt

COPYEDIT

사용자 에이전트 : *

허용 : /private /

크롤링 지연 : 5

• 허용 : 크롤러가 특정 디렉토리에 액세스하지 못하게합니다.
  
• Crawl-Delay : 서버 과부하를 피하기 위해 요청간에 지연을 요청합니다.
  

중요 : 모든 웹 사이트가 Robots.txt를 시행하는 것은 아니지만 윤리적 크롤러는 항상 순종합니다.

페이지 매김 및 무한 스크롤 처리

최신 웹 사이트는 Paginated 또는 Infinite Scrolling 인터페이스를 사용합니다. 크롤러는 다음과 같아야합니다.

• URL 매개 변수에서? 페이지 = 2, 오프셋 = 10 등을 인식하십시오
  
• JavaScript가 많은 페이지의 스크롤 동작 시뮬레이션 (Puppeteer와 같은 헤드리스 브라우저 사용)
  
• 동일한 콘텐츠 재창조를 피하십시오 (Pagination Loops)
  

페이지 매김을 효과적으로 처리하지 않으면 컨텐츠 수집이 중복 되거나 불완전한 데이터 범위가 발생할 수 있습니다.

공손함, 요율 제한 및 조절

크롤러는 공손해야합니다. 특히 공개 웹 사이트를 크롤링 할 때는 공손해야합니다.

모범 사례에는 다음이 포함됩니다.

• 압도적 인 서버를 피하기위한 조절 요청 (예 : 초당 1-2 요청)
  
• 429 또는 503 오류에 대한 재시 도하 헤더를 존중합니다
  
• 자연 행동을 시뮬레이션하기위한 사용자 에이전트 및 요청 간격
  
• 공간 작업 부하를위한 분산 예약
  

단일 스레드 크롤러 또는 분산 된 버킷 시스템에서 시간을 구현하면 공손함을 유지하고 금지를 예방하는 데 도움이됩니다.

웹 크롤링을위한 도구 및 기술

웹 크롤러는 거의 모든 프로그래밍 언어로 구축 할 수 있지만 일부 생태계는 강력한 라이브러리, HTTP 처리 및 구문 분석 도구로 인해 다른 생태계보다 크롤러 친화적입니다.

웹 크롤링을위한 인기있는 프로그래밍 언어

올바른 언어를 선택하는 것은 프로젝트에 대한 복잡성, 성능 요구 및 생태계 지원에 따라 다릅니다.

파이썬

Python은 단순성과 대규모 생태계로 인해 웹 크롤링에 가장 인기있는 언어입니다.

• 장점 : Easy Syntax, 광대 한 라이브러리 (BeautifulSoup, Crapy, Requests)
  
• 유스 케이스 : 빠른 크롤러, 프로토 타이핑, 데이터 추출 파이프 라인
  

node.js

JavaScript 기반 크롤링은 클라이언트 측 렌더링에 의존하는 동적 사이트를 처리하는 데 이상적입니다.

• 장점 : Puppeteer 또는 Playwright를 사용하여 JS 렌더링 페이지와 상호 작용하는 데 탁월합니다.
  
• 유스 케이스 : 최신 웹 앱 크롤링, 헤드리스 자동화
  

자바

엔터프라이즈 등급, 멀티 스레드 크롤러 또는 학술 연구 도구 (예 : Apache Nutch)에 사용됩니다.

• 장점 : 속도, 안정성, 스레드 처리
  
• 사용 사례 : 대규모 분산 웹 크롤러
  

가 & 녹

Go 및 Rust와 같은 현대 시스템 언어는 속도와 자원 효율성을 위해 채택되고 있습니다.

• 사용 사례 : 고성능 또는 메모리에 민감한 크롤러
  

주요 라이브러리 및 프레임 워크

requests + beautifulSoup (Python)

• 요청은 HTTP 연결을 처리합니다
  
• BeautifulSoup은 HTML 및 XML을 구문 분석합니다
  

함께, 그들은 맞춤형 크롤러를 구축하는 빠르고 가벼운 방법을 제공합니다.

파이썬

COPYEDIT

가져 오기 요청

BS4 Import BeautifulSoup에서

스크레이프 (파이썬)

올인원 비동기 크롤링 프레임 워크.

• 내장 요청 스케줄링, 조절, 중복 제거 및 파이프 라인
  
• 중간 규모에서 대규모 크롤러에 탁월합니다
  

Puppeteer (node.js) / 극작가 (노드 / 파이썬)

헤드리스 브라우저 자동화 도구.

• JavaScript 렌더링 된 페이지를 크롤링 할 수 있습니다
  
• 스크린 샷, 사용자 이벤트 등을 지원합니다
  

셀렌

테스트 자동화에 사용되지만 브라우저를 시뮬레이션하여 동적 웹 사이트를 크롤링 할 수 있습니다.

• 종종 헤드리스 대안보다 느리지 만 양식 및 JS 기반 내비게이션과 상호 작용하기에 좋습니다.
  

작업에 적합한 도구를 선택합니다

Pro Tip : 대상 사이트가 자주 변경되거나 JS 렌더링, 스크랩 + 극작가 또는 인형극 하이브리드 스택이 이상적입니다.

API 크롤링 대 웹 크롤링

때로는 HTML을 크롤링하는 것보다 웹 사이트의 공개 API를 사용하는 것이 좋습니다.

필요한 데이터를 API를 통해 사용할 수있는 경우 먼저 사용하십시오 . API는 더 안정적이고 효율적이며 윤리적으로 선호됩니다.

단계별 가이드 : 파이썬에서 간단한 웹 크롤러 구축

이 섹션에서는 Python을 사용하여 기능적인 초보자부터 중간 수준의 크롤러를 구축합니다. 기본 오류를 처리하고 서버에 대한 예의를 유지하면서 페치 페이지, 링크 추출 및 여러 레벨을 크롤링하는 것을 다룹니다.

참고 :이 튜토리얼은 학습 목적으로 단순화됩니다. 생산 규모의 크롤러의 경우 스크레이프 또는 분산 설정과 같은 프레임 워크를 고려하십시오.

환경 설정

시작하기 전에 Python 3.x가 설치되어 있는지 확인하십시오. 그런 다음 필요한 라이브러리를 설치하십시오.

세게 때리다

COPYEDIT

PIP 설치 요청 BeautifulSoup4

새 파일 만들기 :

세게 때리다

COPYEDIT

Crawler.py를 터치하십시오

첫 크롤러를 쓰십시오

크롤러를 모듈 식 조각으로 분해합시다.

필수 라이브러리를 가져옵니다

파이썬

COPYEDIT

가져 오기 요청

BS4 Import BeautifulSoup에서

urllib.parse import urljoin, urlparse에서

수입 시간

이들은 HTTP 요청, HTML 파싱 및 URL 처리를 처리합니다.

페이지 페치 기능을 정의합니다

파이썬

COPYEDIT

def fetch_page (url) :

노력하다:

헤더 = { 'user-agent': 'customCrawler/1.0'}}

응답 = requests.get (URL, 헤더 = 헤더, 타임 아웃 = 10)

response.raise_for_status ()

RETURN RESPING.TEXT

requestException을 제외하고 e :

print (f”[error]를 가져 오지 못했습니다 {url} : {e}”)

반환 없음

• 사용자 정의 사용자 에이전트 문자열을 사용합니다
  
• 교수형을 방지하기위한 시간 초과가 포함되어 있습니다
  
• HTTP 오류를 우아하게 처리합니다
  

HTML을 구문 분석하고 링크를 추출합니다

파이썬

COPYEDIT

def extract_links (html, base_url) :

수프 = BeautifulSoup (html, 'html.parser')

links = set ()

수프에서 a_tag의 경우 ( 'a', href = true) :

href = urljoin (base_url, a_tag [ 'href'])

구문 분석 = urlparse (href)

[ 'http', 'https'에서 scheme을 구문 분석하는 경우 :

links.add (href)

리턴 링크

• 상대 URL을 절대로 변환합니다
  
• 유효한 HTTP 링크를위한 필터
  

URL을 검증하고 중간으로 사용하십시오

파이썬

COPYEDIT

def is_valid (url) :

구문 분석 = URLPARSE (URL)

return bool (parsed.netloc) 및 bool (parsed.scheme)

크롤링 대기열에 링크를 추가하기 전에 이것을 사용하십시오.

깊이 제한이있는 크롤링 논리

파이썬

COPYEDIT

def crawl (seed_url, max_depth = 2) :

방문 = set ()

대기열 = [(seed_url, 0)]

대기열 동안 :

current_url, 깊이 = queue.pop (0)

Current_url이 방문한 경우 또는 깊이> max_depth :

계속하다

print (f”크롤링 : {current_url} (깊이 : {깊이})”)

html = fetch_page (current_url)

HTML이 아닌 경우 :

계속하다

visited.add (current_url)

links = extrac_links (html, current_url)

링크 링크의 경우 :

링크가 방문하지 않은 경우 :

queue.append ((링크, 깊이 + 1))

Time.sleep (1) # 공손한 지연

• 방문한 페이지 트랙
  
• 대기열에 새 페이지를 추가합니다
  
• 무한 루프를 피하기 위해 크롤링 깊이를 제한합니다
  
• 서버로드를 존중하는 데 지연이 추가됩니다
  

크롤러를 실행하십시오

파이썬

COPYEDIT

__name__ == "__main__"인 경우 :

seed =“https://example.com”

크롤링 (종자, max_depth = 2)

https://example.com을 대상 사이트로 교체하십시오 (크롤링 가능하고 액세스 할 수 있는지 확인하십시오).

Pro Tip : 사용 사례에 따라 방문한 링크 또는 구문 분석 된 콘텐츠를 데이터베이스, CSV 또는 Elasticsearch Index에 보관할 수 있습니다.

실제 사용을 위해 웹 크롤러 스케일링

컴퓨터에서 작동하는 크롤러를 구축하는 것은 한 가지 일입니다. 그러나 실제 데이터 운영을 위해 강력하고 빠르며 확장 가능하게 만드는 것입니다.

단일 스레드 스크립트에서 엔터프라이즈 급 크롤러로 확장하는 데 필요한 필수 구성 요소를 살펴 보겠습니다.

크롤링 대기열 관리

간단한 크롤러에서는 종종 메모리 내 목록 또는 세트를 사용하여 URL을 추적합니다. 이것은 잘 확장되지 않습니다.

확장 가능한 시스템의 경우 사용하십시오.

• 작업자 전체의 URL을 관리하기위한 메시지 대기열로서 Redis 또는 RabbitMQ
  
• URL 재 방문을 피하기위한 블룸 필터 (공간 효율)
  
• 지속성 및 감사를위한 데이터베이스 기반 큐 (Postgresql, MongoDB)
  

이를 통해 여러 크롤러 인스턴스가 동일한 대기열에서 가져와 상태를 공동으로 업데이트하는 분산 크롤링 이 가능합니다.

멀티 스레딩 대 비동기 크롤링

초당 1 ~ 2 요청을 넘어서

• Multithreading : 요청을 동시에 처리하기 위해 여러 스레드를 시작합니다 (예 : Python의 ThreadPooleExecutor.
  
• 비동기 I/O : 비 차단 HTTP 요청에 AIOHTTP 및 Asyncio와 같은 비동기 라이브러리 사용
  

aiohttp의 예 :

파이썬

COPYEDIT

AIOHTTP 가져 오기

Asyncio 가져 오기

Async def fetch (URL) :

세션으로 aiohttp.clientsession ()과 비동기 :

응답으로 session.get (url)과 비동기 : 응답 :

반환 대기 응답 .text ()

비동기 크롤러는 특히 웹 크롤링과 같은 I/O 바운드 작업의 경우 더 빠르고 효율적 입니다.

분산 크롤링 아키텍처

규모에 따라 여러 기계 나 컨테이너가 함께 작동하는 것을 원할 것입니다. 여기에는 다음이 포함됩니다.

• 분산 스케줄러 (예 : Celery, Kafka)
  
• 작업자 노드 :
  
  • URL을 당기십시오
    
  • 데이터를 가져 와서 구문 분석합니다
    
  • 다운 스트림 데이터를 푸시합니다
    

Docker를 사용하여 크롤러를 컨테이너화하여 클라우드 클러스터 (예 : AWS ECS, Kubernetes)에 배치하는 것을 고려하십시오.

JavaScript가 많은 사이트를 다루고 있습니다

많은 현대 사이트에서는 대부분의 콘텐츠가 클라이언트 측면을 렌더링합니다. 이것을 처리하려면 :

• 다음과 같은 헤드리스 브라우저를 사용하십시오.
  
  • 인형극 (node.js)
    
  • 극작가 (파이썬 또는 노드)
    
  • 셀레늄 (다중 언어)

팁 :

• 대역폭을 절약하기 위해 이미지 나 글꼴을로드하지 마십시오
  
• 사전로드 중요한 리소스
  
• 금지를 피하기 위해 스로틀 크롤링 속도
  

오류 처리 및 재 시도 로직

실제 크롤러는 우아하게 처리해야합니다.

• HTTP 403, 404, 429 (너무 많은 요청) 및 500 오류
  
• 루프 리디렉션
  
• 시간 초과 및 삭제 된 연결
  

모범 사례 :

• 지수 백 오프가있는 재 시도 대기열 을 구현하십시오
  
• 타임 스탬프 및 오류 세부 정보로 모든 실패를 기록하십시오
  
• 필요한 경우 회전 프록시 또는 사용자 에이전트 풀을 사용하십시오
  

데이터 저장 및 파이프 라인

데이터 및 볼륨에 따라 컨텐츠를 저장하십시오.

Kafka, 공기 흐름 또는 맞춤형 ETL 파이프 라인을 사용하여 데이터를 다운 스트림으로 청소, 변환 및로드하십시오.

모니터링 및 관찰 가능성

확장 가능한 크롤러는 실시간 가시성이 필요합니다. 다음과 같은 도구 사용 :

• Prometheus + Grafana : 모니터 큐 크기, 크롤링 속도, 오류율
  
• 로그 집계 (예 : 엘크 스택) : 분산 작업자의 로그 중앙화
  
• ALERTING : 크롤링 실패, 도메인 금지 또는 대기열 기아에 대한 알림
  

법적, 윤리적 고려 사항

웹 크롤링은 합법적 인 회색 영역에 존재하며 데이터 수집을위한 강력한 도구이지만 법적 문제, 브랜드 손상 또는 서버 금지를 피하기 위해 책임감있게 사용해야합니다.

Robots.txt 존중

크롤러는 모든 도메인을 크롤링하기 전에 사이트의 robots.txt 파일 (예 : https://example.com/robots.txt)의 규칙을 가져 와서 따라야합니다.

예:

txt

COPYEDIT

사용자 에이전트 : *

허용 : /admin /

크롤링 지연 : 5

• 허용 : 크롤러가 피해야 할 페이지.
  
• 크롤링 지연 : 요청 사이에 기다리는 몇 초.
  

모범 사례 : 항상 Robots.txt를 확인하고 팔로우하십시오 - 사이트가 기술적으로 시행되지 않더라도.

서비스 약관 (TOS) 준수

각 웹 사이트에는 자체 서비스 약관이 있습니다.

• 봇이 허용되는지 여부
  
• 내용을 복사 할 수있는 내용
  
• 속도 제한 또는 액세스 제한
  

TOS, 특히 상업 크롤러의 위반은 법적 조치로 이어질 수 있습니다.

팁 : 법적으로 허용되거나 명시 적으로 허용되는 사이트에서만 공개 데이터를 긁어냅니다.

저작권, IP 및 데이터 개인 정보

• 크롤링 콘텐츠는 공개적이더라도 저작권이 있을 수 있습니다.
  
• 사용자 생성 데이터 (예 : 의견, 프로필)를 수집하면 특히 GDPR 또는 CCPA 와 같은 법률에 따라 개인 정보 문제가 발생할 수 있습니다.
  
• 민감한 데이터를 저장하거나 재분배하지 마십시오.
  

경험 규칙 : 크롤링을위한 크롤링 및 인덱싱. 권한이나 라이센스가 없으면 전체 데이터 세트를 복제하지 마십시오.

봇으로 자신을 식별합니다

다음을 통해 투명성과 책임을 지시 할 수 있습니다.

사용자 정의 사용자 에이전트 문자열
예:

더 적은
COPYEDIT
CustomCrawler/1.0 (+https : //yourcompany.com/crawler-info)

• 크롤링 연락처 이메일 또는 페이지 제공
  이것은 신뢰를 구축하고 불필요한 IP 금지를 방지 할 수 있습니다.
  

서버 남용 및 요율 제한을 피합니다

통제되지 않은 크롤러는 다음과 같습니다.

• DDOS 작은 웹 사이트는 의도하지 않게
  
• WAF, 요금 리미터 또는 보안 문자를 통해 차단됩니다
  

모범 사례 :

• 크롤링 지연을 존중하십시오
  
• 재 훈련에 지수 백 오프를 사용하십시오
  
• 최고 수준의 교통 시간 동안 크롤링을 피하십시오
  
• 서버 응답 코드를 기반으로 모니터링 및 스로틀
  

크롤링이 불법 일 때

크롤링을 피하십시오 :

• 급여 벽 컨텐츠
  
• 액세스 제한이있는 정부 포털
  
• 민감한 건강, 법적 또는 개인 식별 정보 (PII)
  
• 공식 API를 통한 경우 개인 플랫폼 (예 : LinkedIn, Facebook)
  

의심스러운 경우 법률 고문과 상담하거나 지역 법을 준수하는 데이터 집계 서비스를 사용하십시오.

웹 크롤링의 일반적인 과제

잘 구조화 된 크롤러와 견고한 기술 스택으로도 실제 조건은 마찰을 도입합니다. 웹 사이트는 예측할 수없고 기술이 빠르게 변화하며 서버는 항상 봇을 보는 것이 행복하지는 않습니다.

준비해야 할 사항은 다음과 같습니다.

속도 제한, 조절 및 IP 차단

대부분의 웹 사이트는 짧은 시간 안에 너무 많은 요청을 보내는 봇을 감지하고 차단합니다.

증상:

• 갑작스런 HTTP 429 (“너무 많은 요청”)
  
• IP 블랙리스트
  
• 보안 문자 또는 WAF (웹 응용 프로그램 방화벽) 블록
  

솔루션 :

• 회전 프록시 또는 IP 풀을 사용하십시오
  
• 사용자 에이전트 및 헤더를 무작위로 만들 수 있습니다
  
• 리틀 탭 헤더를 존중하십시오
  
• 지수 백 오프 전략을 구현하십시오
  

리디렉션 및 깨진 링크 처리

종종 만날 수 있습니다.

• 301/302 리디렉션 (URL 변경)
  
• 404S 또는 410 (컨텐츠 제거)
  
• 소프트 404 (로드하지만 실제 콘텐츠가없는 페이지)
  

해야 할 일 :

• HTTP 요청에서 allow_redirects = true를 사용하여 지능적으로 리디렉션을 따르십시오
  
• 깨진 링크를 기록하고 건너 뜁니다
  
• 최종 대상 URL을 정규화하고 복제하십시오
  

봇 탐지 메커니즘

사이트는 CloudFlare, Akamai 및 Custom Bot Protection과 같은 도구를 사용하여 인간이 아닌 트래픽을 감지합니다.

감지 신호 :

• 반복적 인 액세스 패턴
  
• 누락 된 헤더 또는 마우스 이동
  
• JS 실행 또는 쿠키 처리가 없음
  

우회 전술 (적절하고 윤리적 인 경우) :

• 헤드리스 브라우저를 사용하여 실제 사용자를 모방하십시오
  
• 무작위 시간 지연을 추가하십시오
  
• 크롤링 주파수 한계를 존중하십시오
  

주의 : 일부 우회 기술은 용어 또는 현지 법률을 위반할 수 있습니다.

동적 및 자바 스크립트가 많은 페이지

많은 최신 사이트는 JavaScript가 실행 된 후에 만 ​​콘텐츠를 렌더링합니다. 간단한 HTTP 요청이 캡처되지 않습니다.

수정 사항 :

• 전체 페이지 렌더링을 위해 인형극 또는 극작가를 사용하십시오
  
• 상호 작용이 많은 크롤링을 위해 셀레늄과 같은 도구를 사용하십시오
  
• 반복적 인 JS 실행을 피하기 위해 캐싱을 설정하십시오
  

URL 폭발 및 크롤링 트랩

일부 웹 사이트에는 필터, 캘린더 또는 세션 기반 링크를 통한 무한한 크롤링 가능한 URL이 있습니다.

예제 트랩 :

• /Products? page = 1, /products? page = 2… → 영원히 간다
  
• /캘린더? 날짜 = 2023-01-01 → 무한 조합
  

솔루션 :

• REGEX 필터 또는 화이트리스트를 사용하여 URL 패턴을 제어하십시오
  
• 도메인 당 크롤링 깊이 및 요청 수를 제한하십시오
  
• 새 링크를 대기하기 전에 중복 제거를 적용하십시오
  

중복 또는 저가 컨텐츠

일부 웹 사이트는 다른 URL (예 : UTM 매개 변수, 정렬 주문)에서 거의 동일한 콘텐츠를 제공합니다.

소음을 피하기위한 팁 :

• 정규화 중 utm_source와 같은 스트립 쿼리 매개 변수
  
• 중복을 감지하기 위해 해시 페이지 컨텐츠
  
• 기본 버전의 우선 순위를 정하기 위해 표준 태그 (존재하는 경우)를 사용하십시오.
  

규모의 크롤링 : 시스템 고장

큰 크롤링은 종종 다음으로 인해 실패합니다.

• 메모리 누출
  
• 디스크 오버플로
  
• 네트워크 스로틀링
  
• 스레드 교착 상태
  

준비하는 방법 :

• 시스템 리소스를 지속적으로 모니터링합니다
  
• 동시 스레드와 I/O를 제한하십시오
  
• 회로 차단기 또는 실패 안전 작업 재시작을 사용하십시오
  
• 중간 크롤링 진행
  

웹 크롤링을 다음 단계로 끌어 올리십시오

검색 엔진을 구축하거나 기계 학습 파이프 라인을 공급하거나 학업 연구를위한 통찰력을 추출하든 웹 크롤러는 확장 가능한 데이터 발견의 기초입니다.

이 안내서에서는 다음과 같습니다.

• 웹 크롤러의 것이 무엇이며 작동 방식
  
• 파이썬에서 처음부터 하나를 빌드하는 방법
  
• 도구, 라이브러리 및 실제 스케일링 전략
  
• 법적, 윤리적, 기술적 과제
  
• 개발자와 데이터 팀이 만나는 질문이 자주 묻습니다
  

이제 완전히 이해를 얻었으므로 강력하고 윤리적이고 효율적이며 생산 준비가 된 크롤러를 구축 할 수 있습니다.

다음 단계? 크롤러를 배치하고 성능을 모니터링 한 후 고유 한 데이터 목표를 달성하기 위해 진화하십시오.

FAQ : 웹 크롤러가 설명했습니다

이것들은 웹 크롤러에 관한 가장 일반적으로 질문입니다. 실제 검색 동작, LLM 프롬프트 및 SERP의 PAA (PEOPED AUG) 상자에서 가져온 것입니다.