"검색 엔진의 한계와 이를 극복할 수 있는 방법"의 주요 통찰력

2021년 11월 30일 Bartosz Goralewicz와 Tomasz Rudzki는 Bing의 수석 프로그램 관리자인 Fabrice Ca nel 과 함께 현재 검색 엔진이 직면하고 있는 문제에 대해 논의했습니다 . ?

전체 대화가 어떻게 진행되었는지 알고 싶다면 여기에서 웨비나를 시청할 수 있습니다.

이 기사에서는 웨비나에서 가장 흥미로운 통찰력과 발표를 제시하고자 합니다.

IndexNow는 크롤링 예산을 최적화하는 데 도움이 됩니다.

대화는 지금 SEO 업계에서 인기 있는 주제로 시작되었습니다. IndexNow가 해결하려는 문제는 무엇입니까?

검색 엔진은 인터넷에서 무슨 일이 일어나고 있는지 거의 알지 못합니다. 따라서 업데이트되거나 새로운 콘텐츠가 있는지 확인하기 위해 페이지를 계속 크롤링해야 합니다. 결과적 으로 품질이 낮은 페이지나 업데이트되지 않은 페이지에 크롤링 예산 을 낭비할 수 있습니다.

우리는 업계가 이 모델을 변경하는 것이 좋다고 생각합니다. 검색 엔진에서 최신 콘텐츠를 색인화하는 데 도움이 되며 크롤링을 최소화하는 데 도움이 됩니다. 이는 전체 업계에 좋습니다.

출처: Fabrice Canel

검색 엔진은 다음 블로그 기사를 언제 게시할지 모르지만 여러분은 알고 있습니다! 사이트의 새로운 콘텐츠에 대해 알리는 것은 상호 이익을 가져옵니다 . 콘텐츠가 SERP에 더 빨리 나타날 수 있고 검색 엔진이 웹사이트를 크롤링하고 색인을 생성하는 데 필요한 리소스의 양을 줄일 수 있습니다.

검색 엔진을 핑(ping)하는 솔루션은 새로운 아이디어가 아닙니다. 몇 년 전 웹마스터는 검색 엔진에 URL을 제출할 수 있었습니다. 문제는 불필요한 제출로 검색엔진에 스팸메일만 보내기 쉽기 때문에 개선이 필요하다는 것이었다.

검색 엔진으로 전송되는 간단한 핑이 있는 이전 솔루션과 비교하여 IndexNow는 신뢰 계층을 추가합니다. API 키를 생성하고 웹사이트에서 호스팅해야 합니다. 이러한 방식으로 검색 엔진은 제출된 URL이 귀하에게 속하는지 확인하여 결과 데이터의 노이즈를 최소화할 수 있습니다.

사이트맵이 충분하지 않습니다.

잘 최적화된 사이트맵 이 크롤링을 지원하기에 충분하지 않은 이유와 여전히 IndexNow가 필요한 이유가 궁금하다면 사이트맵으로는 충분하지 않습니다!

일반적으로 Bing은 하루에 한 번 정도 사이트맵 다운로드를 시도합니다. [...] 그러나 인터넷은 하루에 한 번 이상입니다. 보도 자료가 나올 때까지 하루를 기다리고 싶지는 않습니다. 검색 엔진에 즉시 알려야 할 수도 있습니다.

출처: Fabrice Canel

따라서 IndexNow는 시간에 민감한 콘텐츠를 검색 엔진에 푸시하는 데 도움이 됩니다. 이는 뉴스 웹사이트에서 특히 중요하지만 모든 웹사이트에서 가능한 한 빨리 새 콘텐츠의 색인을 생성하는 것이 특히 중요합니다.

또한 사이트맵은 URL을 나열하는 데는 적합하지만 콘텐츠를 업데이트하는 데에는 적합하지 않습니다. lastmod 태그는 종종 남용되고 잘못 설정됩니다.

IndexNow는 사이트맵보다 노이즈가 적습니다. Fabric은 IndexNow에서 가져온 데이터가 매우 유망하며 봇을 고품질 콘텐츠로 안내하고 크롤링을 최소화하는 것으로 입증되었다고 말했습니다.

기억해야 할 사항 중 하나는 URL이 변경되지 않았더라도 제출하려는 경우 IndexNow를 사용한 후 Bing이 신뢰를 잃고 페이지 크롤링을 중단할 수 있다는 것입니다.

이 모든 것이 XML 사이트맵 사용을 중단해야 한다는 의미는 아닙니다. Fabrice는 사이트맵이 IndexNow를 사용할 때 특히 잘 작동한다고 지적했습니다. 하나를 사용해야 하는 것은 아닙니다.

Cloudflare는 이제 IndexNow를 지원합니다

웹 세미나에서 Fabrice는 Cloudflare가 현재 IndexNow를 지원한다고 발표했습니다.

Cloudflare에는 콘텐츠 변경 사항에 대한 데이터를 검색 엔진에 제공하는 크롤러 힌트라는 기능이 있습니다. 이제 Crawler Hint는 IndexNow를 지원하며 이 새로운 프로토콜을 통해 새로운 콘텐츠, 업데이트된 콘텐츠 또는 삭제된 콘텐츠에 대해 검색 엔진에 직접 알릴 수 있습니다.

60,000개 이상의 웹 사이트가 이미 Cloudflare에서 IndexNow를 지원하는 기능을 조정했습니다. 하루에 수십억 개의 URL이 인터넷에서 변경된 사항을 알려준다는 의미입니다. [...] 웹 사이트 소유자는 물론 Bing 및 기타 검색 엔진에 이점을 제공합니다.

출처: Fabrice Canel

클릭 한 번으로 웹사이트에서 Crawler Hint를 활성화하기만 하면 나머지는 Cloudflare에서 처리합니다! 여기 에서 크롤러 힌트를 켜는 방법에 대한 자세한 정보를 찾을 수 있습니다 .

IndexNow는 순위 향상을 제공하지 않습니다

Bartosz는 IndexNow를 사용하기 시작한 많은 도메인이 이제 Bing에서 트래픽을 증가시키는 것 같다는 사실에 대해 Fabrice에게 물었습니다. 그러나 아니요, IndexNow는 순위 향상을 제공하지 않습니다.

IndexNow를 기반으로 우선 순위를 지정하지 않습니다. 순위 신호가 아닙니다. IndexNow를 활성화해도 순위를 높이는 데 도움이 되지 않습니다.

출처: Fabrice Canel

그러나 지속적으로 생성되는 인터넷 콘텐츠의 양이 많을수록 더 빨리 색인을 생성할수록 SERP에서 더 높게 나타날 가능성이 높아집니다.

뉴스 섹션이 있는 사이트의 경우 특히 중요합니다. 가능한 빨리 색인을 생성하는 것이 중요합니다. 검색 엔진이 콘텐츠를 크롤링하고 색인을 생성하는 데 늦어지면 경쟁에서 뒤처질 수 있습니다.

이것이 IndexNow를 사용하는 웹사이트가 SERP에서 더 나은 성능을 보이는 이유입니다. 웹마스터는 콘텐츠가 변경된 시점을 가장 잘 알고 있으며 검색 엔진에 페이지를 빠르게 크롤링하고 색인을 생성하도록 알릴 수 있습니다.

IndexNow는 렌더링에 필요한 리소스를 확보합니다.

Fabric이 웨비나에서 언급했듯이 렌더링 은 검색 엔진이 콘텐츠를 이해하는 데 중요합니다. 이것이 Bing이 가능한 한 많은 콘텐츠를 렌더링하기 위해 노력하는 이유입니다.

IndexNow를 채택하면 검색 엔진이 페이지를 렌더링하는 데 필요한 JavaScript와 같은 추가 콘텐츠를 크롤링하는 데 필요한 리소스를 확보할 수 있습니다.

또한 웹 사이트의 렌더링은 크기에 따라 다릅니다. 페이지 수가 적은 경우 검색 엔진이 렌더링에 적합할 수 있습니다. 그러나 JavaScript가 풍부한 콘텐츠로 가득 찬 수백만 페이지가 있는 대규모 전자 상거래 웹 사이트의 경우 리소스가 모든 것을 렌더링하기에 충분하지 않을 수 있습니다. 이 경우 검색 엔진 봇에 크롤링해야 할 대상에 대해 알리고 크롤링 예산을 절약하는 데 도움이 되는 것이 중요합니다.

몇 년 안에 우리는 인터넷의 모든 콘텐츠를 렌더링할 수 있기를 원합니다. 그러나 사이트를 만드는 것은 합리적입니다. 고객이 일부 콘텐츠에 액세스하기 위해 페이지에서 무언가를 클릭해야 하는 경우 검색 엔진도 동일한 작업을 수행해야 하지만 아직 고객보다 똑똑하지는 않습니다. 페이지의 모든 콘텐츠가 즉시 표시되는지 확인하고 숨기지 마십시오.

출처: Fabrice Canel

검색 엔진 협업의 미래

과거에는 검색 엔진이 schema.org 또는 robots.txt 프로토콜과 같은 필수 이니셔티브에 대해 협력했습니다.

웨비나에서 Fabric은 가까운 장래에 그러한 협력이 일어날 수 있는 잠재적인 영역에 대해 질문을 받았습니다. 그는 hreflang 태그의 문제와 검색 엔진과 인터넷 전반에 걸쳐 낭비를 생성하는 수조 개의 중복 URL을 생성하는 책임이 어떻게 되는지 지적했습니다.

Fabric은 검색 엔진이 하나의 언어에 대한 단일 페이지에 신호를 통합할 수 있도록 하는 국제 시장을 목표로 하는 새로운 방법을 찾기 위해 다른 검색 엔진과 협력하고 싶다고 말했습니다. 여기에는 웹사이트 소유자가 동일한 언어의 사용자를 특정 시장을 대상으로 하는 콘텐츠로 안내하는 솔루션이 포함되어야 합니다(예: 아르헨티나 및 우루과이의 스페인어 사용자는 동일한 페이지에 도착한 다음 아르헨티나 및 우루과이 관련 콘텐츠로 안내됨). .

Fabrice는 앞으로 특정 검색 엔진에 맞게 웹사이트를 최적화할 필요가 없어야 한다고 요약했습니다. 대신 검색 엔진은 일반적인 프로토콜을 따라야 하며 현재의 한계를 개선하고 업계에 도움이 되는 솔루션을 만들어야 합니다.