SEO에서 Soft 404란 무엇입니까?

Soft 404는 공식 HTTP 상태 코드가 아니지만 HTTP 상태 코드에 표시되지 않더라도 페이지가 존재하지 않는지 (또는 콘텐츠가 거의 없는지) Google이 감지하는 데 도움이 되는 고급 알고리즘입니다 .  

그러나 알고리즘이 완벽하지 않으며 Google에서 페이지를 분류할 때 실수를 할 수 있습니다.

소프트 404의 이유에 관계없이 웹 사이트에 부정적인 영향을 미치고 자연 검색에서 가시성을 감소시킵니다.

이 기사에서 소프트 404가 사이트에 미치는 영향, 발생 원인 및 해결 방법에 대해 알아봅니다.

소프트 404란?

서버는 HTTP 상태 코드를 통해 클라이언트(예: 브라우저 또는 검색 엔진 봇)와 통신합니다.

페이지 요청이 성공하면 서버는 200 HTTP 상태 코드를 반환합니다. 페이지가 없으면 서버는 404(찾을 수 없음) 상태로 응답합니다.

사용자가 존재하지 않는 페이지를 요청하면 브라우저에 문제가 있음을 나타내는 메시지가 표시됩니다. 그러나 브라우저가 표시하는 메시지가 항상 HTTP 상태 코드와 일치하는 것은 아닙니다.

이것이 soft 404가 작동하는 곳입니다.

Soft 404는 페이지가 존재하지 않는 것처럼 보일 때 Google이 페이지에 부여하는 레이블이며 동시에 성공적인 200 HTTP 상태 코드를 반환합니다.

Google에서 페이지가 소프트 404라고 판단하면 크롤링 속도가 느려집니다.

[페이지]를 소프트 404로 보면 404와 같으며 여기에 아무 것도 없기 때문에 해당 특정 URL의 크롤링 속도가 느려집니다. 왜 매일 크롤링해야 합니까?

출처: 존 뮬러

검색 엔진의 관점에서 소프트 404를 감지하는 것은 다음 두 가지 이유로 필수적입니다.

1. Google은 리소스가 제한되어 있습니다. 웹은 무한히 커서 모든 페이지를 크롤링하는 것은 불가능합니다. 그렇기 때문에 Google은 크롤링할 가치가 있는 페이지의 우선 순위를 지정하고 선택해야 합니다. 소프트 404를 생략하면 더 가치 있는 페이지에 집중할 수 있으므로 크롤링 효율성이 높아집니다.
2. Google은 사용자에게 양질의 페이지를 제공하고자 합니다. Google에서 페이지가 존재하지 않는다고 의심하는 경우 아무도 그것을 찾고 싶어하지 않는 것이 분명하며 검색 결과 페이지에 표시되어서는 안 됩니다.

Soft 404가 웹사이트에 미치는 영향

웹사이트에 미치는 영향은 Google이 소프트 404로 분류한 페이지 유형에 따라 다를 수 있습니다.

Google이 정확하고 페이지가 실제로 존재하지 않는 경우 주요 결과는 크롤링 예산 이 낭비되는 것 입니다.

크롤링 예산은 Google이 웹사이트에서 크롤링할 수 있고 크롤링하려는 페이지 수를 나타냅니다. 예를 들어 페이지가 100,000개이고 크롤링 예산이 50,000개를 크롤링할 수 있는 경우 예산이 중요한 페이지에 사용되도록 하는 것이 중요합니다. Google이 소프트 404를 크롤링하는 데 크롤링 예산을 낭비하는 경우 가장 중요하고 트래픽을 유도하는 페이지가 충분하지 않을 수 있습니다.

동전의 다른 면은 Google이 상태를 할당할 때 실수를 하여 귀중한 페이지가 소프트 404라고 생각하는 경우입니다. 이 경우 페이지가 인덱싱 되지 않고 유기적 트래픽이 발생하지 않습니다.

소프트 404를 어떻게 감지할 수 있습니까?

색인 범위 보고서 의 Google Search Console에서 Google이 소프트 404로 보고하는 페이지를 확인할 수 있습니다 .

사이드바에서 "범위" 옵션을 클릭하여 보고서에 액세스합니다.

Google에서 페이지가 소프트 404라고 생각하면 다음 두 가지 상태 중 하나를 할당할 수 있습니다.

• Soft 404(제외 카테고리), 또는
• 제출된 URL은 Soft 404(오류 범주)인 것 같습니다.

이러한 상태 간의 유일한 차이점은 Google이 URL을 발견한 방식입니다.

"제출된 URL이 Soft 404인 것 같습니다." 상태의 경우 Google은 사이트맵 (인덱싱하려는 페이지만 나열해야 하는 웹사이트 소유자가 만든 텍스트 파일)에서 해당 URL을 찾았습니다. 한편, "Soft 404" 상태의 경우 Google이 이 URL을 자체적으로 찾았습니다.

이러한 상태 중 하나를 클릭하면 소프트 404를 보고하는 개별 URL 목록을 볼 수 있습니다. 이 데이터는 내보낼 수 있지만 URL은 1,000개로 제한됩니다. 더 많이 내보내고 하나 이상의 사이트맵이 있는 경우 각 사이트맵에 대한 URL을 별도로 다운로드할 수 있습니다.

색인 범위 보고서는 URL의 상태를 볼 수 있는 유일한 곳이 아닙니다.

Google Search Console 의 URL 검사 도구 에서 개별 URL을 다시 확인할 수 있습니다. 2개 이상의 URL을 검사하고 싶다면 URL Inspection API 를 이용하여 한번에 최대 2,000개의 URL을 검사할 수 있습니다.

색인 범위 보고서와 URL 검사 도구의 상태 간에 차이가 있는 경우 색인 범위 보고서의 지연일 수 있습니다. 이 경우 최신 데이터를 표시하는 URL 검사 도구를 신뢰하십시오.

색인 범위 보고서 데이터가 URL 검사와 다른(더 느린) 속도로 새로 고쳐지기 때문입니다. URL 검사에 표시된 결과는 보다 최근의 것이며 색인 범위 보고서와 충돌하는 경우 신뢰할 수 있는 것으로 간주해야 합니다. (2/4)

— Google 검색 센터(@googlesearchc) 2021년 10월 11일

모바일 대 데스크톱에서의 Soft 404 감지

2021년 Google은 휴대전화와 데스크톱 기기 에서 소프트 404를 감지하는 방법 에 대한 업데이트를 제공했습니다.

모바일 버전과 데스크톱 버전에 따라 상태가 다르게 할당될 수 있는 것으로 확인됐다. 그러나 Google Search Console은 모바일 버전을 기반으로 상태를 보고하기 때문에 데스크톱 버전에만 soft 404 레이블이 지정되어 있으면 표시되지 않습니다.

기본적으로 데스크탑에서 페이지가 404 페이지처럼 보이는 경우가 있으므로 이것이 데스크탑에서 소프트 404라고 말하며 색인을 생성할 필요가 없습니다. 그리고 모바일에서는 일반 페이지처럼 보이기 때문에 실제로 색인을 생성합니다.

[...] Search Console에서는 soft 404를 표시하지만 모바일 버전에서는 표시합니다. 따라서 모바일 버전에서 모든 것이 괜찮다면 Search Console에서는 정상적으로 색인이 생성된 것처럼 보이지만 […] 데스크톱의 경우 소프트 404로 표시되면 Search Console에서 직접 확인하세요.

출처: 존 뮬러

소프트 404의 원인과 해결 방법

Google이 페이지를 소프트 404로 분류하는 데에는 다음과 같은 몇 가지 이유가 있습니다.

• 200 HTTP 상태 코드로 응답하는 404 페이지,
• 관련 없는 리디렉션,
• 콘텐츠가 거의 또는 전혀 없는 페이지,
• 404와 같은 단어가 포함된 페이지,
• 렌더링 문제.

200 HTTP 상태 코드로 응답하는 404 페이지

페이지가 실제로 404 페이지이지만 200 HTTP 상태 코드를 반환하는 경우 Google은 해당 페이지를 소프트 404로 분류합니다.

이것은 사용자 정의 404 페이지 가 있는 경우 특히 염두에 두어야 할 사항 입니다.  

사용자 정의 404 페이지는 사용자에게 도움이 될 수 있으며 도달하려는 페이지가 존재하지 않는 경우에도 웹사이트를 탐색할 수 있습니다. 그러나 이러한 페이지에서 200 HTTP 상태 코드를 반환하는 것은 드문 일이 아닙니다.

Google은 이러한 페이지를 계속 크롤링하여 크롤링 예산을 낭비하므로 이러한 상황을 피해야 합니다.

이 문제에 대한 해결책은 존재하지 않는 페이지(404 Not Found)에 대해 올바른 상태 코드를 반환하도록 서버를 구성하는 것입니다.  

관련 없는 리디렉션

관련 없는 페이지로 리디렉션하는 것은 사용자에게 혼란을 줄 수 있는 나쁜 습관입니다. 그렇기 때문에 Google에서 리디렉션이 관련 없는 페이지를 가리키는 것을 감지하면 검색 엔진이 리디렉션을 따르지 않고 페이지를 소프트 404로 취급할 수 있습니다.

예, 그것은 좋은 방법이 아니며(사용자를 혼란스럽게 함) 어쨌든 대부분 404로 취급하므로(soft-404) 장점이 없습니다. 심각하게 깨지거나 나쁜 것은 아니지만 정당한 이유 없이 복잡성이 추가됩니다. 대신 더 나은 404 페이지를 만드십시오.

— 존 (@JohnMu) 2019년 1월 8일

문제를 해결하려면 항상 관련 페이지로 리디렉션하십시오.  

사용자의 관점에서 콘텐츠를 봅니다. 예를 들어 사용자가 특정 항목을 찾고 있다면 리디렉션하려는 페이지에서 사용자가 끝나는 것이 의미가 있습니까? 주제와 관련이 있습니까? 그렇지 않다면 그들의 의도에 답할 수 있는 더 나은 페이지가 있거나 리디렉션 대신 404 페이지를 설정해야 합니다.

콘텐츠가 거의 또는 전혀 없는 페이지

페이지에 콘텐츠가 거의 없거나 전혀 없으면 Google에서 페이지가 비어 있다고 생각하고 이를 소프트 404로 분류할 수 있습니다.

예를 들어 제품이 자주 입고되거나 품절되어 제품 카테고리가 비어 있는 전자 상거래 웹사이트를 들 수 있습니다.

이 문제에 대한 해결책은 앞의 두 경우처럼 간단하지 않습니다.

이 문제를 처리하는 한 가지 방법은 빈 페이지의 인덱싱을 차단하는 것입니다. 결국 빈 페이지라면 사용자에게 도움이 되지 않으며 색인이 생성되어서도 안 됩니다. noindex 메타 태그 (검색 엔진에 이 페이지의 색인이 생성되는 것을 원하지 않는다고 알리는 HTML 태그)를 추가하면 됩니다.

또한 전체 웹사이트의 구조를 다시 생각해 볼 가치가 있습니다.

예를 들어 하나의 제품만 있는 제품 범주가 많이 있습니까? 그렇다면 이러한 카테고리가 웹사이트에 필요한지 재고해야 합니다. 이와 같은 페이지는 얇은 콘텐츠로 간주될 수 있으며 두 가지 방식으로 웹사이트에 부정적인 영향을 미칠 수 있습니다.

• 크롤링 예산을 낭비할 수 있으며
• 색인 생성이 가능한 낮은 품질의 페이지가 많은 경우 Google은 전체 웹사이트의 품질이 낮다고 생각하여 웹사이트 크롤링을 자주 중단하기로 결정할 수 있습니다.

인덱싱해야 하는 페이지와 인덱싱하지 않아야 하는 페이지에 대해 자세히 알아보려면 웹사이트에 대한 인덱싱 전략 만들기에 대한 기사를 읽어보세요.

404와 같은 단어가 포함된 페이지

일반적으로 404 페이지에 나타나는 단어가 포함된 경우 Google 알고리즘이 페이지를 잘못 식별하는 경우가 있습니다. 예를 들어, 전자 상거래 웹사이트에서 제품 페이지에서 "재고 없음", "제품을 사용할 수 없음" 또는 "귀하의 위치로 배송하지 않습니다"와 같은 용어를 사용할 때 발생할 수 있습니다.

모든 카테고리 페이지에는 "죄송합니다. 이 위치로 배송하지 않습니다." 이것은 우리가 배달하지 않지만 기본적으로 페이지의 일부인 PIN 코드를 입력하는 고객에게 표시되었습니다. 페이지에서 이 텍스트를 제거하고 소프트 404를 수정했습니다! #seo @JohnMu @methode @rustybrick https://t.co/j3UEsXXb3U

— 니킬 라지. R (@nikhilrajr) 2021년 12월 30일

위 글의 작성자는 단순히 배송 불가 라는 문구를 삭제하여 문제를 해결했습니다.

렌더링 문제

렌더링은 Google에서 귀하의 콘텐츠를 확인하는 데 필요한 단계입니다. 검색 엔진에서 볼 수 없으면 페이지가 비어 있다고 생각하고 소프트 404로 분류할 수 있습니다.

렌더링 문제의 원인 중 하나는 robots.txt 에서 CSS 또는 JavaScript와 같은 리소스를 차단하는 것 입니다. Robots.txt는 검색 엔진 봇이 크롤링할 수 있는 페이지와 크롤링할 수 없는 페이지를 지정할 수 있는 파일입니다. Google이 렌더링에 필요한 리소스에 액세스할 수 없으면 콘텐츠를 볼 수 없습니다.

Google에서 콘텐츠를 올바르게 렌더링하는지 알아보려면 Google Search Console의 URL 검사 도구를 사용하세요. 개별 URL을 검사하고 Google에서 페이지를 어떻게 보는지 확인할 수 있습니다. 콘텐츠가 없으면 렌더링 문제를 나타냅니다.

문제를 해결하려면 Google에서 렌더링에 필요한 리소스에 액세스할 수 있는지 확인하세요. robots.txt 파일을 검토하고 CSS 및 JavaScript 크롤링이 허용되는지 확인하십시오.

렌더링 작동 방식에 대해 자세히 알아보려면 Rendering SEO 선언문 - JavaScript SEO가 충분하지 않은 이유를 확인하십시오.

마무리

소프트 404를 모니터링하는 것은 크롤링 예산을 낭비하거나 색인에서 중요한 페이지를 제외하여 웹사이트를 해치지 않도록 하는 데 중요합니다.

다음은 소프트 404를 피하는 데 도움이 되는 기사의 주요 내용입니다.

• 페이지가 존재하지 않으면 404 HTTP 상태 코드를 반환하는지 확인하고,
• 리디렉션을 생성할 때 항상 관련 콘텐츠로 리디렉션하는지 확인하고,
• robots.txt에서 CSS 또는 JavaScript 파일과 같이 렌더링에 필수적인 리소스를 차단하지 마십시오.
• 빈 페이지가 있는 경우 noindex 메타 태그를 추가하거나 사이트에서 이러한 페이지를 제거하십시오.
• 404와 유사한 문구를 사용할 때 주의하세요. 품절 제품과 같은 페이지가 소프트 404로 표시된 경우 해당 단어를 제거하거나 다른 용어를 사용해 보십시오.