대규모 웹사이트의 인덱싱 상태를 확인하는 방법

페이지가 검색 결과에 표시되고 사이트로 트래픽을 유도하려면 먼저 색인을 생성해야 합니다.

불행히도 색인을 생성하는 것은 특히 큰 웹사이트를 가지고 있는 경우 어려운 일입니다. 우리의 연구에 따르면 웹사이트의 가치 있는 페이지 중 16%가 인덱싱되지 않습니다.  

사이트의 색인 생성 및 검색 성능을 개선하기 위한 조치를 취하기 전에 사이트의 색인 범위를 확인하고 색인이 올바르게 생성된 페이지와 그렇지 않은 페이지를 식별하는 것이 중요합니다.

직면할 수 있는 한 가지 문제는 URL을 일괄적으로 분석할 수 있는 사이트의 색인 생성 상태를 확인할 수 있는 신뢰할 수 있는 방법을 찾는 것입니다. 이 경우 올바른 위치에 왔습니다.

사이트의 색인 범위를 결정하는 데 도움이 될 수 있지만 색인이 생성되지 않은 이유를 식별하기 위해 각 URL을 보다 철저하게 분석하는 데 도움이 되는 몇 가지 유용한 도구가 있습니다.

이 기사에서 내 조언을 따라 대규모 웹사이트의 인덱싱 상태를 확인하고 페이지가 인덱싱되지 않도록 하는 문제를 분석하고 그에 대한 올바른 솔루션을 찾는 방법을 배우십시오.

웹사이트의 인덱싱 상태를 검사하기 전에 해야 할 일

색인 상태를 확인하고 문제를 해결하기 전에 적절한 색인 전략이 필요합니다.

이를 생성함으로써 어떤 페이지가 필수적이고 인덱싱되어야 하고 어떤 페이지가 인덱싱에서 제외되어야 하는지 결정할 수 있습니다.

일부 페이지의 품질이 낮거나 중복 콘텐츠가 포함될 수 있으며 사용자는 검색 결과에서 해당 페이지를 찾지 않아야 합니다. 일반적으로 인덱스에서 제외되어야 하는 페이지 유형입니다.

다음은 색인을 생성해서는 안 되는 페이지의 몇 가지 예입니다.

• 보관된 콘텐츠,
• 로그인 및 비밀번호로 보호된 페이지,
• 정렬 또는 필터링의 결과로 생성된 매개변수가 추가된 URL,
• 내부 검색 결과,
• 페이지 감사합니다.

페이지의 색인을 생성하지 않으려면 다음을 수행할 수 있습니다.

• 봇 이 주어진 페이지를 크롤링하지 못하도록 robots.txt 파일 에 봇에 대한 적절한 지시문을 포함 합니다.
• 검색 엔진 봇이 페이지를 인덱싱하지 못하도록 noindex 태그 를 구현합니다 .

색인이 생성되지 않았으며 이러한 방식으로 유지되어야 하는 URL은 주의할 필요가 없습니다. 대신 색인이 생성되지 않았지만 색인이 생성되어야 하는 페이지에 집중하세요.

일반적으로 페이지의 표준 버전에 대한 색인을 생성 하는 것을 목표로 하고 사이트맵 에 제출해야 합니다 .  

그렇다면 어떤 페이지가 인덱싱되고 어떤 페이지가 그렇지 않은지 정확히 어떻게 알 수 있습니까?

색인 상태를 확인하고 색인 문제를 진단하는 방법

사이트의 색인 범위를 확인 하는 몇 가지 유용한 도구가 있습니다 .

그러나 대부분의 URL은 확인할 수 있는 URL의 수에 제한이 있습니다. 온라인에서 찾을 때 신뢰할 수 없는 많은 도구를 발견할 수 있습니다.

어떤 도구가 가장 정확한 정보를 표시하고 한계를 확장할 수 있는 해결 방법을 보여 드리겠습니다 .  

또한 자매회사인 ZipTie에서 개발한 새로운 인덱싱 분석 도구를 소개합니다.

"사이트:" 명령

사이트의 인덱싱된 페이지 수를 확인하는 인기 있는 방법 중 하나 는 Google 검색에서 "site:" 명령을 입력한 다음 "site:onely.com"과 같은 도메인 이름을 입력하는 것입니다.

웹사이트의 인덱싱 상태를 확인할 수 있지만 수치는 추정치 일 뿐이므로 표시되는 데이터는 오해의 소지가 있거나 부정확할 수 있습니다 .

이 방법은 콘텐츠가 동적으로 변경되는 대규모 웹 사이트의 경우 특히 부정확합니다.

사용할 때마다 결과에 도메인에 대해 완전히 다른 수의 인덱싱된 페이지가 표시될 수 있습니다.

그러나 "site:domain" 명령이 최적이 아니지만 도메인 이름 대신 특정 URL을 입력하는 "site:URL" 명령을 사용할 수 있습니다. 그런 다음 특정 URL이 인덱싱되었는지 여부를 알 수 있습니다.

John Mueller는 이 솔루션을 권장했습니다.

site:-queries를 사용하면 개별 URL을 확인하는 데 유용하지만 진단 목적으로는 카운트를 사용하지 않을 것입니다.

— 존(@JohnMu) 2019년 4월 16일

Google Search Console의 도구

Google Search Console은 색인 범위를 확인하기 위한 훨씬 더 나은 도구를 제공합니다.

아직 정기적으로 사용하지 않는 경우 지금 시작하십시오. 표준 SEO 모니터링 도구가 되어야 합니다.

더 자세히 설명하고 큰 웹 사이트에서 이를 최대한 활용하는 방법을 알려 드리겠습니다.

지수 범위 보고서

Google Search Console 의 색인 범위 보고서 는 색인이 생성된 페이지에 대한 Google 데이터를 제공합니다.

또한 검색, 크롤링 및 색인 생성과 관련된 URL의 특정 상태에 대한 정보와 해당되는 경우 색인 생성을 방해하는 Google에서 발견한 문제에 대한 정보를 제공합니다.

Index Coverage 보고서는 네 가지 상태를 보여줍니다.

• 오류 – 오류로 인해 페이지가 인덱싱되지 않습니다.
• 경고 – 페이지의 색인이 생성되었지만 Google에서 사용자가 알아야 할 문제를 발견했습니다.
• 제외됨 – 페이지가 인덱싱되지 않았지만 Google은 귀하가 해당 페이지를 인덱싱하지 않은 상태로 유지하려고 한 것으로 생각합니다.
• 유효 - 페이지가 문제 없이 인덱싱됩니다.

왼쪽 상단에서 "알려진 모든 페이지"(Google이 어떤 방식으로든 발견한 모든 URL을 의미함) 또는 "제출된 모든 페이지"(Google이 사이트맵에서 찾은 페이지) 중에서 선택할 수 있습니다.

"제출된 모든 페이지" 보기에는 색인을 생성하려는 모든 페이지가 포함되어야 합니다. 이 보기를 "알려진 모든 페이지"와 비교해야 합니다.

일부 페이지가 "알려진 모든 페이지"에 나타나지만 "제출된 모든 페이지"에는 나타나지 않고 색인이 생성되어야 하는 경우 사이트맵에 배치하십시오. 색인이 생성되지 않아야 하는 경우 Google이 링크를 통해 다른 곳에서 해당 항목을 찾고 있음을 의미합니다.

보고서의 주요 제한 사항은 특정 문제를 표시하는 각 보고서에 1000페이지만 표시된다는 것입니다. 다행히도 방법이 있습니다.

한 가지 솔루션은 웹사이트의 여러 섹션에 대해 별도의 도메인 속성을 만드는 것입니다.

대안은 여러 사이트맵을 만들고 보고서를 별도의 사이트맵으로 좁혀 페이지를 나누는 것입니다.

각 사이트맵에는 최대 50000개의 URL이 포함되는 것이 좋습니다.

사이트맵 간에 페이지를 나누는 데에는 여러 가지 각도가 있습니다. 더 쉬운 분석을 위해 유사한 유형의 콘텐츠를 그룹화하는 데 도움이 되는 방식으로 정렬하는 것을 고려하십시오.

몇 가지 제안이 있습니다 :

• 카테고리, 제품, 블로그 게시물,
• 선택한 수량 또는 제품 종류에 대해 별도의 사이트맵,
• 사이트의 다양한 언어 버전에 대한 별도의 사이트맵.

이제 사이트맵 중 하나를 선택 하고 보고서 의 제외됨 섹션으로 이동합니다 .

표시되는 문제를 살펴보십시오. 오른쪽에서 영향을 받는 페이지 수를 확인하고 가장 일반적인 문제를 확인할 수 있습니다.

보고서의 상태 는 각 문제의 원인을 아주 자세하게 설명하며 대부분의 경우 문제를 해결하기 위해 취해야 하는 조치를 나타냅니다.

Google Search Console의 색인 범위 보고서에 대한 전체 가이드 에서 각 상태를 해결하는 방법을 검토 하세요.

제외된 페이지에서 패턴을 찾으십시오. 많은 페이지에 유사한 콘텐츠 또는 레이아웃이 있는 경우 URL의 일부만 검토하면 나머지 페이지에서 어려움을 겪을 수 있는 부분에 대한 아이디어를 얻을 수 있습니다.

URL 검사 도구

Google Search Console에서 사용할 수 있는 또 다른 유용한 기능은 URL 검사 도구입니다.  

특정 URL이 Google 색인에 있는지 확인하고 수많은 추가 정보를 볼 수 있습니다. 이 도구를 사용하여 지수 범위 보고서에서 받은 데이터를 보완할 수 있습니다.

다음은 URL 검사 도구의 가장 중요한 기능에 대한 개요입니다 .

• 존재 상태 – URL이 Google 검색 결과 및 Google에서 감지한 경고 또는 오류에 표시될 수 있는지 여부.
• 크롤링된 페이지 보기 - Google이 수신한 HTML 및 HTTP 응답과 같은 기술 세부정보입니다.
• 색인 생성 요청 – URL을 다시 크롤링하고 색인을 다시 생성하도록 Google에 요청하는 데 사용합니다. 이 기능에는 일일 한도가 있습니다. 구글 문서 에는 명시적으로 명시되어 있지는 않지만 "몇 개의 URL만" 제출하는 방식으로 언급되고 있다. 최대 50개의 URL 을 제출할 수 있습니다 .
• 페이지의 적용 상태에 대한 세부정보, 즉:

1. 알려진 사이트맵이 URL을 가리키는지 여부,
2. 참조 페이지 – Google이 URL을 발견하는 데 사용할 수 있는 페이지,
3. 페이지가 마지막으로 크롤링되었을 때
4. 페이지를 크롤링할 수 있는지 여부,
5. 서버에서 페이지를 가져올 수 있는지 여부,
6. 페이지의 색인을 생성할 수 있는지 여부,
7. 사용자가 선언한 표준 URL,
8. Google이 대신 선택한 표준 URL입니다.

• 개선 사항 – 이 섹션은 Google이 페이지에서 유효한 구조화된 데이터를 찾았는지 여부와 페이지의 모바일 사용성 및 AMP에 대한 세부정보를 보여줍니다.
• 테스트 라이브 URL – 예를 들어 수정 사항이나 변경 사항을 확인하려는 경우 URL에 대한 라이브 테스트를 실행할 수 있습니다.

URL 검사 도구를 사용하려면 URL별로 색인 생성 상태를 확인해야 하며, 이는 웹사이트가 큰 경우 시간이 많이 소요될 수 있습니다.

그러나 페이지 샘플을 분석하면 사이트에서 어떤 문제를 다루고 있는지 이미 알 수 있습니다.

모든 URL을 검사하는 대신 Google 색인에서 제외된 URL의 일부를 선택하여 확인할 수 있습니다. 색인을 생성해야 하지만 유기적 트래픽이 발생하지 않는 URL을 수집할 수도 있습니다.

또한 귀하의 사이트에는 다음 섹션이 있을 수 있습니다.

• example.com/shop
• example.com/blog
• example.com/gallery.

각 고유 섹션에서 분석할 URL을 여러 개 선택할 수 있습니다. 그러나 몇 개의 URL만 선택하지 말고 각 섹션에 대한 대표적인 샘플을 사용하십시오.

URL 검사 API

2022년 Google 은 단일 Google Search Console 속성에 대해 하루에 최대 2000개의 요청을 보낼 수 있는 URL 검사 API의 출시를 발표했습니다 .

이것은 URL 검사 도구 데이터가 유용하지만 한 번에 하나의 URL만 확인하는 데 어려움을 겪는 모든 사람에게 희소식입니다. API를 통해 URL 검사 데이터에 액세스하면 이 정보를 사용할 수 있는 여러 가지 새로운 가능성을 열어주는 프로세스를 자동화할 수 있습니다.

Google Search Console 도구의 제한 사항

Google Search Console 도구에 결함이 없는 것은 아닙니다.

2021년 10월에 사용자는 색인 범위 보고서에서 ' 크롤링됨 - 현재 색인이 생성되지 않음 '으로 표시된 URL을 보았다고 보고 했습니다. 그러나 URL 검사 도구로 검사했을 때 이러한 URL은 "제출 및 색인 생성됨" 또는 다른 상태로 나열되었습니다.

Google은 이 상황이 버그가 아니라 Index Coverage 보고서의 제한 사항이라고 응답했습니다.

색인 범위 보고서 데이터가 URL 검사와 다른(더 느린) 속도로 새로 고쳐지기 때문입니다. URL 검사에 표시된 결과는 보다 최근의 것이며 색인 범위 보고서와 충돌하는 경우 신뢰할 수 있는 것으로 간주해야 합니다. (2/4)

— Google 검색 센터(@googlesearchc) 2021년 10월 11일

색인 생성 문제 보고

Google은 2021년 4월 사용자가 Google에 색인 문제를 알릴 수 있도록 색인 문제 보고 라는 기능을 도입한다고 발표했습니다. 이 기능은 현재 미국에서 사용할 수 있습니다.

추가 지원이 필요한 사용자를 위해 미국에서 로그인한 Search Console 사용자는 곧 Search Console 도움말 센터의 색인 범위 보고서 및 URL 검사 도구 문서 아래에 '색인 생성 문제 신고' 버튼이 표시됩니다.https://t.co. /3sFqvCvhjohttps://t.co/I7k3BYAH0i pic.twitter.com/Wd9ooXqK0y

— Google 검색 센터(@googlesearchc) 2021년 4월 28일

사용자는 양식에 액세스하여 사이트 또는 페이지의 색인이 생성되지 않았는지 또는 색인이 생성되었지만 순위가 제대로 지정되지 않았는지 여부를 선택할 수 있습니다. 그런 다음 보고된 문제와 관련된 문제 해결 옵션을 안내합니다.

이러한 솔루션이 실패하면 문제를 Google에 직접 보고할 수 있습니다.

그러나 이 기능은 최후의 수단으로 다루어야 하며 Google이 귀하의 요청을 따르고 콘텐츠 색인을 생성할 것이라고 보장할 수 없습니다.

Google은 가장 관련성이 높은 고품질 콘텐츠의 색인을 생성하는 것을 목표로 합니다. 따라서 모범 사례를 따르고 페이지를 최적화하여 크롤링하고 색인을 생성할 수 있으며 Google의 관심을 끌 만한 가치가 있는 페이지로 만들면 사이트에 오래 지속되는 결과를 얻을 수 있습니다.

집타이

ZipTie 는 크기에 관계없이 모든 웹사이트의 인덱싱 상태를 분석하기 위한 광범위한 기능을 제공합니다. 이 도구는 대규모 엔터프라이즈 유형 웹 사이트에 특히 유용합니다.

ZipTie가 제공하는 것은 다음과 같습니다.

인덱스 커버리지 분석

ZipTie의 핵심 기능은 Google에서 색인을 생성하지 않은 페이지를 알려준다는 것입니다.  

그리고 중요한 점은 ZipTie가 분석할 수 있는 URL의 수에는 제한이 없다는 것입니다. 이것은 다른 도구를 사용하여 성공적으로 평가할 수 없는 수천 또는 수백만 개의 URL이 있는 대규모 웹사이트에 중요합니다.

결정적으로, 귀하는 물론 귀하의 경쟁업체도 포함하여 모든 도메인의 인덱스 범위를 확인할 수 있습니다. 그런 다음 색인 상태를 경쟁 도메인 과 비교하고 앞서 나가기 위해 개선해야 할 영역을 확인하십시오.

인덱싱 지연 모니터링

ZipTie를 사용하면 인덱싱 지연을 모니터링 하고 새로 게시된 콘텐츠가 인덱싱되고 트래픽을 유도할 것으로 예상되는 시기를 예측할 수 있습니다.

이는 사이트맵에 추가된 새 URL을 분석하고 콘텐츠 게시와 검색 결과에 나타나는 순간 사이의 시간을 조사하여 수행됩니다.

인덱스 해제된 콘텐츠에 대한 경고

ZipTie는 색인이 해제 된 콘텐츠의 양을 업데이트합니다. 이미 색인이 생성된 페이지는 일정 시간이 지나면 Google 색인에서 제외될 수 있습니다. 이 기능을 사용하면 문제가 발생했을 때 신속하게 대응할 수 있습니다.

자바스크립트 인덱싱

JavaScript 기반 페이지를 인덱싱하는 것은 까다롭지만 ZipTie는 도움의 손길을 제공합니다.

특히 ZipTie는 Google이 JavaScript로 생성된 특정 페이지 조각을 색인화했는지 여부를 결정할 수 있습니다.

Google에서 JavaScript 기반 콘텐츠를 렌더링 하고 색인을 생성 하는 데 문제가 있는지 이해하는 것이 중요합니다 . 이 경우 ZipTie는 문제가 있는 페이지 요소를 정확히 알려줄 수 있습니다.

색인이 생성되지 않은 페이지에 대한 추가 정보

보너스로 ZipTie는 단어 수, 제목, 헤더, 이미지 수, 메타 설명 등과 같은 색인이 생성되지 않은 URL에 대한 추가 정보를 제공합니다. 이는 인덱싱 문제의 가능한 원인을 조사하고 인덱싱되지 않은 페이지 간의 패턴을 식별할 때 중요합니다.

ZipTie 의 데이터를 CSV 파일로 내보내고 Google Analytics 또는 Google Search Console과 같은 다른 도구의 데이터와 쉽게 결합할 수 있습니다.

ZipTie는 아직 공개적으로 사용할 수 없습니다. 이에 대한 자세한 내용은 도구 개발이 진행됨에 따라 공개될 예정입니다. ZipTie의 메일링 리스트에 가입 하면 공식 출시에 대한 최신 정보를 얻을 수 있습니다 .  

하지만 기다릴 필요가 없습니다.

지금 바로 ZipTie 팀에 연락 하여 웹사이트의 인덱싱 상태에 대한 심층 분석을 수행하십시오.

Bing 웹마스터 도구

Bing에 표시되는 것이 우선 순위가 아니더라도 Bing 웹마스터 도구를 사용하면 모든 유형의 인덱싱 문제에 대한 통찰력을 얻을 수 있으며, 그 중 일부는 다른 검색 엔진에서도 발생할 수 있습니다.

사이트 탐색기

먼저 사이트 익스플로러 를 살펴보겠습니다 .  

사이트 탐색기 도구를 사용하면 다른 데이터 중에서 웹사이트의 구조와 페이지의 인덱싱 상태에 대한 세부 정보를 탐색할 수 있습니다.

Site Explorer를 돋보이게 하는 한 가지 측면은 폴더당 URL을 그룹화하는 옵션 입니다. 여기서 각 폴더는 하위 도메인이나 URL 경로의 일부를 나타낼 수 있습니다. 결과적으로 상당한 수의 페이지에 대한 데이터에 액세스할 수 있습니다.

액세스 권한이 있는 크롤링 정보에는 다음이 포함됩니다.

• 인덱싱됨 – 지정된 폴더 내에서 인덱싱된 URL의 수,
• 오류 - 지정된 URL이 인덱싱되지 않도록 하는 치명적인 크롤링 오류,
• 경고 – 이 URL에는 가이드라인 문제, 일시적인 크롤링 문제, robots.txt에서 허용되지 않는 문제 등이 있는 것으로 나타났습니다. 이 섹션을 정기적으로 모니터링하여 영향을 받는 URL의 급증 또는 감소를 확인하고,
• 제외됨 – 예를 들어 스팸 위반 또는 낮은 순위로 인해 색인에서 제외된 URL입니다.

URL을 추가로 필터링하여 특정 기능을 기반으로 페이지를 표시할 수 있는 옵션이 있습니다.

이러한 필터를 사용하면 주의가 필요한 URL을 식별하고 인덱싱 문제를 해결할 때 올바른 방향으로 안내할 수 있습니다.

Bing의 URL 검사 도구

또 다른 훌륭한 기능은 사이트 탐색기를 보완하는 Bing URL 검사 도구 입니다. 특정 URL이 Bing의 색인에 있는지 여부와 색인 생성 또는 크롤링 오류가 인식되었는지 여부를 검토할 수 있습니다.

URL을 도구에 붙여넣으십시오. 그러면 많은 추가 정보가 표시됩니다.

색인 카드 섹션에서 URL의 색인 생성 상태와 URL이 발견된 시기 및 크롤링 방법과 같은 세부정보를 볼 수 있습니다 .

페이지의 HTML 코드와 시스템이 수신한 HTTP 응답도 볼 수 있습니다.

URL이 오류로 인해 색인이 생성되지 않은 경우 URL 색인 생성 요청, 지원팀에 문의, robots.txt 파일 조정 등과 같은 추가 조치를 취할 수 있습니다.

Bing은 페이지가 인덱싱되지 않을 수 있는 이유 에 대한 지침을 제공합니다 . 다음은 몇 가지 이유입니다.

• 귀하의 페이지를 가리키는 링크가 없습니다.
• 페이지가 품질 임계값을 충족하지 않습니다.
• Robots.txt 지시문은 페이지 크롤링을 차단하고 있습니다.
• 페이지에 다른 크롤링 문제가 있습니다. 라이브 URL 기능은 페이지를 자세히 조사하는 데 도움이 됩니다.
• 페이지에 색인 생성을 방지하는 noindex 태그가 있습니다.
• URL이 아직 검색 및 크롤링되지 않았으며 더 많은 시간이 필요합니다.
• 이 페이지는 품질 가이드라인을 위반했으며 제재를 받고 색인에서 제거되었습니다.

Google과 같은 다른 검색 엔진에서 인덱싱 문제를 진단할 때 이를 참조 지점으로 추가로 사용할 수 있습니다 .

URL이 인덱싱되지 않고 인덱싱되어야 하는 경우 Bing을 사용 하여 인덱싱을 위해 URL을 제출할 수 있습니다 .

중요한 것은 제한이 상대적으로 높다는 것입니다. 하루에 최대 10000개의 URL을 제출할 수 있습니다. 이는 Google에서 보고한 최대 URL 50개 제한을 훨씬 초과합니다.

대규모 웹사이트의 일반적인 색인 문제

색인 생성 문제는 대부분의 사이트에서 발생하며 사이트의 자연 검색 성능에 치명적인 영향을 미칠 수 있습니다.

Tomek Rudzki는 다양한 웹사이트 크기에 대한 가장 일반적인 인덱싱 문제 를 조사했습니다.

그의 연구를 통해 우리는 이제 대형 웹사이트가 일반적으로 다음과 같은 문제를 겪고 있음을 알게 되었습니다.

• 크롤링됨 - 현재 인덱싱되지 않음,
• 발견됨 – 현재 인덱싱되지 않음,
• 중복 콘텐츠,
• 소프트 404,
• 크롤링 문제.

또 다른 일반적인 문제는 내부 연결에 관한 것입니다. Googlebot은 페이지를 찾기 위해 경로를 따라야 합니다. 다른 페이지와 연결되어 있지 않으면 색인에서 제외될 수 있습니다.

인덱싱 문제를 해결하는 방법

페이지의 색인을 생성할 가능성을 최대화하기 위한 조치를 취할 수 있습니다.

이러한 솔루션은 색인이 생성되지 않은 URL을 찾고 색인이 생성되지 않은 이유를 식별할 수 없는 경우에도 유용합니다.

페이지의 색인을 생성할 수 있는지 확인

페이지의 색인을 생성할 수 있는지 확인하는 작업은 다음 두 가지 측면으로 구성됩니다.

robots.txt 파일에 지정된 지시문

robots.txt에는 사이트에서 크롤링해야 하는 항목에 대한 웹 크롤러 지침이 포함되어 있습니다. 귀중한 페이지가 크롤링되는 것을 방지하는 "Disallow" 지시문이 없는지 확인하십시오.  

페이지에 noindex 태그가 포함되어 있는지 여부

Noindex 태그를 사용하면 검색 엔진 봇이 페이지를 방문할 수 있지만 색인이 생성되지는 않습니다.

페이지의 색인을 생성할 수 있는지 여부를 일괄 확인 하려면 Screaming Frog 와 같은 SEO 크롤러를 사용하십시오 .  

도구에 URL 목록을 붙여넣고 크롤링을 시작할 수 있습니다. 완료되면 페이지가 인덱싱 가능 또는 인덱싱 불가인지 여부를 알려주는 인덱싱 가능성 열을 확인합니다.

모든 중요한 페이지가 사이트맵에 제출되었는지 확인

색인이 생성 되지 않은 페이지가 사이트맵에 제출 되었는지 확인하십시오 . 그렇지 않은 경우 그에 따라 추가하십시오.

또한 처음부터 색인을 생성해서는 안 되는 URL이 사이트맵에 포함되어 있지 않은지 확인하십시오 . 검색 엔진이 관련 없는 페이지를 검색하고 크롤링하도록 허용하면 크롤링이 비효율적이며 봇이 고품질 콘텐츠를 찾는 데 필요한 시간이 늘어날 수 있습니다.

사이트맵이 없는 경우 사이트맵을 쉽게 만들 거나 Yoast SEO 또는 Screaming Frog's SEO Spider 와 같이 사이트맵을 최신 상태로 유지하는 전용 도구를 사용할 수 있습니다 . 사이트맵 생성 도구 중 하나를 사용할 수도 있습니다 .  

사이트맵에 대한 궁극적인 가이드 는 최적화된 사이트맵을 만들기 위한 최고의 리소스가 될 것입니다.

내부 연결 조정

내부 연결은 SEO 관점에서 사이트의 중요한 측면입니다.

사이트맵에 URL을 포함하는 것만으로는 Google에 충분하지 않습니다. Googlebot은 URL이 주의를 기울일 가치가 있는지 확인해야 합니다. 이러한 이유로 중요성을 강조하는 신호를 찾아야 합니다.

들어오는 링크 가 없는 페이지를 의미하는 고아 페이지 가 없는지 확인하십시오 . 웹사이트를 크롤링하여 고아 페이지를 찾을 수 있습니다. 예를 들어, Screaming Frog의 고아 페이지 보고서를 사용하여 검색할 수 있습니다.

내부 링크를 개선하기 위한 몇 가지 아이디어에는 관련 제품에 대한 섹션을 만들 거나 사이트의 다른 페이지에 링크하는 블로그 게시물을 작성하는 것이 포함됩니다.

또한 깨끗한 웹 사이트 아키텍처 가 필요합니다 . 사용자와 봇이 사이트의 모든 섹션을 직관적이고 빠르게 탐색할 수 있도록 사이트의 콘텐츠를 구성하는 것을 의미합니다.

중복 콘텐츠 문제 수정

귀하의 사이트에 동일하거나 매우 유사한 콘텐츠의 버전이 두 개 이상 있는 경우 검색 엔진은 어떤 페이지가 가장 대표적인 버전인지 결정하는 데 어려움을 겪을 수 있습니다.

검색 엔진의 작업을 더 쉽게 하려면 선택한 표준 URL을 가리키는 표준 태그를 구현하세요. 각 페이지 버전에는 하나의 표준 URL만 있어야 합니다.

Google Search Console의 도구를 사용하여 Google이 이 URL을 표준 URL로 존중하는지 아니면 다른 URL을 선택했는지 확인할 수 있습니다.

표준 태그가 올바른 표준 페이지를 일관되게 가리키는지 확인하세요. 중복 페이지를 가리키는 경우 기본 URL은 색인이 생성되지 않은 상태로 유지될 수 있습니다.

더 쉬운 크롤링 및 인덱싱을 위해 JavaScript SEO의 모범 사례를 따르십시오.

검색 엔진이 JavaScript를 렌더링하고 인덱싱하는 데 훨씬 더 나아졌지만, 검색 엔진의 처리는 여전히 완벽하지 않습니다.

일반적으로 검색 엔진은 콘텐츠에 큰 변화가 없을 것이라고 생각 하는 페이지에서 JavaScript를 렌더링 하지 않을 수 있습니다. 또한 페이지가 JavaScript를 사용하거나 사용하지 않고 완전히 다르게 보이는 경우 색인을 생성하는 데 어려움을 겪을 수 있습니다.

JavaScript 인덱싱을 분석하는 데 사용할 수 있는 도구가 있습니다.

JavaScript가 수행하는 작업 도구 를 사용하여 페이지의 어느 부분이 JavaScript에 의존하는지 쉽게 확인할 수 있습니다 .

Google의 URL 검사 도구에서 실시간 테스트를 사용하여 Googlebot이 페이지의 JavaScript 콘텐츠를 정확히 어떻게 렌더링하는지에 대한 스크린샷을 확인하세요. 그런 다음 추가 정보 탭으로 이동하여 JavaScript 오류를 찾을 수 있습니다.

URL 검사 도구의 크롤링된 페이지 보기 옵션은 Google이 페이지에서 크롤링한 내용과 모든 JavaScript 콘텐츠가 있는지 여부를 알려줍니다.

JavaScript 인덱싱 에 문제가 있는 경우 추가 지침 은 JavaScript SEO에 대한 기사를 참조하십시오 .

크롤링 예산 최적화

크롤링 예산 은 검색 엔진 이 크롤링할 수 있고 크롤링하려는 웹사이트의 페이지 수입니다.

사이트의 크롤링 예산은 다양한 요인의 영향을 받을 수 있습니다.

페이지가 효율적으로 크롤링되도록 하려면 다음 일반 가이드라인을 따르세요.

• 웹 성능 향상,
• 사이트의 JavaScript 및 CSS 파일을 최적화하고,
• 내부 리디렉션 및 리디렉션 체인을 피하고 ,
• 사이트 아키텍처를 조정하고,
• 내부 링크 정리 - 404페이지를 가리키는 링크를 업데이트하고 가장 중요한 콘텐츠로 자주 링크합니다.
• 적절하게 구조화된 사이트맵이 있어야 합니다. Ryte 또는 Sitebulb 와 같은 SEO 크롤러 중 하나를 사용하여 사이트맵의 구조를 분석할 수 있습니다 .

테이크아웃

대형 웹사이트는 많은 페이지의 색인을 생성하는 데 어려움을 겪을 수 있습니다. 하지만 소중한 콘텐츠를 모두 인덱싱하는 것이 불가능하다는 의미는 아닙니다.

대규모 웹사이트의 인덱싱을 분석하려면 약간의 작업이 필요할 수 있습니다. 하지만 Google Search Console 및 Bing 웹마스터 도구에서 사용할 수 있는 기능은 즉시 실행에 옮길 수 있는 실행 가능한 통찰력을 제공합니다.

ZipTie가 인덱싱 분야에서 게임 체인저가 될 것이라고 기대할 수 있다고 생각 합니다 . 인덱싱 분석을 위해 ZipTie 팀에 연락하는 것이 좋습니다.

또한 다루기 시작할 수 없는 대규모 인덱싱 문제를 처리하는 경우 – 우리는 모든 것을 보았고 어떤 문제에 집중해야 하는지 알려줄 것입니다. 우리에게 연락하십시오!