如何為 SEO 優化重複內容
已發表: 2022-08-03重複內容是存在於多個頁面、一個域或不同網站上的相同或相似內容。
重複內容對搜索引擎來說是個問題，因為當在多個位置看到相同的內容時，他們不知道應該是哪個 URL：
- 索引，
- 分配了相關的排名信號，以及
- 在搜索結果中排名較高。
這可能會導致您的網站排名降低、抓取預算浪費和索引問題，從而消耗您網頁的商業潛力。
為了您的業務，您需要了解導致重複內容的原因以及如何優化您網站的各個方面以避免任何問題——讓我們來探索一下。
重複內容如何影響 SEO
重複的內容並不總是一個問題——如果您使用技術搜索引擎優化來控制它，它不會損害您的自然流量。 但是，如果您不優化重複的內容，可能會產生致命的後果。
以下是重複內容會對您的網站產生負面影響的主要方式：
較低的排名
相同內容的多個版本使搜索引擎難以決定應該在搜索結果中索引和顯示哪個頁面。
在這種情況下，如果您的重複頁面首先被抓取並編入索引，則它們可能永遠不會完全達到其排名潛力。
減少鏈接權限的轉移
搜索引擎很難準確地將反向鏈接的排名信號分配給重複頁面。
如果幾個頁面上存在相同的內容，則多個 URL 可能會收到來自其他域的鏈接。 但是總鏈接權限將在頁面之間分配，從而限制您的內容的排名潛力。
索引問題和浪費的抓取預算
如果您有一個大型網站，抓取預算通常是一個問題。 並且搜索引擎可能會在抓取重複頁面上浪費抓取預算。
您總是希望將抓取預算用於抓取有價值的內容。 當您在域中留下未經優化的重複內容時，搜索引擎機器人可能會浪費一些資源，不必要地一遍又一遍地抓取相同的內容。
這不僅會延遲他們發現您網站上的其他內容，而且可能會阻止他們經常返回您的網站。
如果是這種情況，您將面臨處理索引問題的風險。 請記住，大多數情況下，Google 會查看不同的信號，例如站點地圖、內部和外部鏈接、重定向等，然後從眾多 URL 中選擇一個作為索引。 問題是它可能不是您想要索引的版本。
如果 Google 無法抓取您的某些網頁，您可能很難將重要的、獨特的網頁編入索引。
此外，假設其他頁麵包含類似內容，看到大量重複頁面會使搜索引擎認為您的整個網站質量低下。 然後，他們可能會猶豫分配資源以在將來抓取您的網站。
重複內容會導致 Google 處罰嗎？
您可能聽說過關於重複內容是否會給您帶來 Google 處罰的相互矛盾的意見。
重複內容不會讓您的網站受到懲罰，除非它是由惡意活動造成的。
抓取內容是與重複內容相關的操縱實踐的一個示例。 當有人從您的網頁中獲取內容並在他們的網站上重新發佈時，就會發生這種情況。
這種做法相對較少，因為它們通常只會在抓取網站更具權威性並且設法超過最初發佈內容的網站時才會引起問題。
您可以通過實施指向現有頁面的自引用規範標籤來告訴搜索引擎原始內容來自您，從而添加保護措施以保護您的內容免受此類做法的影響。
在極少數情況下，Google 認為顯示重複內容可能是為了操縱我們的排名和欺騙我們的用戶，我們也會對相關網站的索引和排名進行適當的調整。 因此，該網站的排名可能會受到影響，或者該網站可能會完全從 Google 索引中刪除，在這種情況下，它將不再出現在搜索結果中。來源：谷歌的文檔
Google 可以區分重複內容的類型，並了解哪些重複內容似乎不會操縱搜索排名。
非惡意重複內容的示例可能包括：
- 可以生成針對移動設備的常規頁面和精簡頁面的討論論壇
- 在線商店中由多個不同 URL 顯示或鏈接的項目
- 僅打印機版本的網頁
來源：谷歌的文檔
如果您不是故意從其他網站竊取內容，則無需擔心。
重複內容的原因是什麼
您的網站上通常不需要相同內容的多個版本。
因此，重複內容往往是由於錯誤而不是有意識的決定而存在的。
大多數情況下，重複內容的出現是因為糟糕的 Web 開發和站點上的錯誤實現，例如錯誤的服務器配置或未優化的 CMS 平台。
我們可以在所有類型的網站上找到重複項，但有些更容易出現重複項，尤其是擁有數千或數百萬頁面的大型網站。
特別是，電子商務網站可能會處理大量難以跟踪的重複頁面。
電子商務網站上的重複內容通常適用於以下方面：
- 產品頁面幾乎沒有內容，或者在許多頁面中僅包含通用產品描述。 如果頁麵包含製造商對給定產品的描述，這些描述也可能出現在其他域中，Google 可能會將其視為重複內容。
- 類別頁面具有過濾器，可在多個頁面上顯示相同產品的列表。
跨多個 URL 的相同內容也涉及博客文章。
網站可能包括比較文章、產品或工具的列表功能，其中許多內容可能在多個頁面上描述相同的工具、產品或功能。
博客部分可能包含匹配多個類別的文章——因此，許多 URL 可以指向同一篇文章。
新聞網站經常使用標籤來收集相關主題的內容——但在某些情況下，頁面可以使用多個標籤並出現在網站的多個位置。
重複內容的風險還涉及顯示來自其他域使用的數據庫的列表的網站，例如市場或房地產網站。 因此，相同的廣告或帖子可能會出現在多個域中。
許多網站利用用戶生成的內容。 雖然可能有益，但它可能是重複內容的另一個來源——這適用於任何包含用戶創建的帖子、廣告、個人資料頁面等的網站。 通常，用戶可能只寫幾個字，使用複製或垃圾郵件文本，或者只在個人資料頁面上添加指向其網站的鏈接。
這絕不是導致重複內容的詳盡列表，但它應該讓您了解哪種類型的內容會使您的網站處於危險之中並且應該受到監控。
管理重複內容的方法
根據站點層次結構中重複頁面的質量和角色，您可能希望通過不同的方法來解決它們。
以下是您的選擇以及您應該了解的每種解決方案：
使用規範標籤
規範標籤告訴搜索引擎哪個頁麵包含給定內容的主要版本並且應該被索引。
您可以通過規範化通知搜索引擎給定頁面應被視為指定 URL 的副本。 排名信號，如搜索引擎應用於此頁面的鏈接權限，應計入指定的 URL。
與其他解決方案（例如重定向）相比，實施規範標籤所需的開發時間更少，因為它們是在頁面而不是服務器級別添加的。 確保將規範標籤添加到 HTML 的 <head> 部分 - 如果將其放在 <body> 中，它將不會被尊重。
儘管搜索引擎機器人通常遵循規範指令，但在某些情況下，它們可能會忽略它並選擇不同的規範頁面。 如果搜索引擎看到指向另一個 URL 的更強信號（例如更多內部鏈接或權威反向鏈接），則可能會發生這種情況。
添加重定向
對抗重複內容的另一個解決方案是實現從非首選 URL 到其首選版本的重定向。
如果您要永久重定向 URL，請使用 301 重定向，這通常是管理重複內容的最佳選擇。
重定向可幫助您將排名信號整合到一個 URL 下，因此 Google 應該只將目標頁面編入索引。
實現一個 noindex 標籤
您可以將 noindex 標記添加到重複的頁面，這些頁面不應該被搜索引擎索引，但應該對用戶保持可見。
不過，請確保您沒有阻止對這些頁面的抓取——如果您這樣做了，機器人將無法看到 noindex 標記。
刪除重複頁面
如果重複頁面對您的訪問者或您的業務沒有任何用途，並且您不打算對其進行改進，您可以刪除它們。
您可以通過將它們的狀態代碼更改為 404 或 410來刪除它們。
兩種狀態代碼具有相同的長期後果。 唯一的區別是 410 可以從索引中刪除頁面並限制它們比 404 更快的爬行。
解決重複內容的最佳實踐
讓我們通過重複頁面來解決潛在問題需要考慮的方面。
決定是否應抓取重複的頁面
考慮是否應該允許搜索引擎抓取您的重複頁面。 這在很大程度上取決於重複內容的類型以及您打算如何處理它。
如果頁麵包含重定向， Google 需要能夠抓取它們- 否則，它不會看到它們。 如果您添加了noindex 標籤，情況類似——Google 必須抓取頁面以發現 noindex 標籤並跟踪它。
此外，如果您對重複項進行了改進，例如通過添加獨特的內容，Google 將需要抓取該頁面以重新評估其質量。
如果您有重複的內容對您的網站沒有價值並且您無法對其進行更改，請通過在robots.txt中實施適當的指令來限制搜索引擎抓取它的能力。
調整你的 URL 結構
不一致的URL 結構會導致大量重複內容。
以下是您應該注意的 URL 方面：
Wwws 和非 wwws 或 HTTP 和 HTTPS
您的網站上可能有可以在沒有 www 的情況下訪問的 URL，例如example.com和包含 www 的 URL，例如www.example.com 。
同樣的問題與協議有關：URL 可以包含http://example.com或https://example.com 。
大多數現代網站都使用 HTTPS，因為它提供了更安全的通信。 但有時，您可能仍然有一些仍然可以通過 HTTP 訪問的頁面。 而且，如果您遷移到 HTTPS 並且沒有從 HTTP 重定向站點，您甚至可以創建它的兩個版本。
無論您是否添加 www，以及使用哪種協議，都請確保它是一致的。
如果您發現任何不遵循所選模式的 URL，請針對指向首選版本的非首選方式實施 301 重定向。
小寫和大寫字符
Google 將URL 視為區分大小寫。 因此，對於 Google， example.com /page和example.com/PAGE將是兩個不同的頁面。
通常在 URL 中使用小寫字符，因此用戶可以更輕鬆地鍵入它們而不會出錯。
但是，如果您交替使用這些案例，您可能會創建具有相同內容的不同 URL。
如果您發現任何類似的情況，請選擇帶有首選大小寫的 URL 並將不正確的版本重定向到它。
尾隨斜杠
最後帶有和不帶斜杠的相同 URL 也將被視為不同的頁面 - 例如example.com和example.com/ 。
再一次，確保您堅持使用相同的 URL 模式並在必要時重定向錯誤的頁面。
跟踪或過濾參數
電子商務網站上的過濾參數通常會導致重複頁面。
如果有許多過濾器可用，則可以以不同的組合選擇它們，從而生成大量具有相同或幾乎相同內容的 URL。 這方面的一個例子可能是https://www.example.com/clothes/dresses?size=medium 。
參數也傾向於用於跟踪目的，這是重複內容的另一個來源。 例如，您可以添加 UTM 參數來跟踪來自特定來源的訪問，例如 Twitter 或新聞通訊。 這是一個示例： https ://example.com/page?utm_source=twitter 。
您應該將參數化 URL 規範化為沒有跟踪參數的 URL 版本。
會話 ID
會話可能會存儲訪問者信息以進行 Web 分析，其中為訪問網站的每個用戶分配了存儲在 URL 中的不同會話 ID。 它可能看起來像這樣： https ://example.com?sessionId=jsdfo74256sdfh 。
如果訪問者請求的每個 URL 都附加了一個會話 ID，那麼就會有很多重複的頁面，因為這些 URL 上的內容是相同的。
將帶有附加會話 ID 的 URL規範化為沒有它們的 URL。
僅打印 URL
在單獨的 URL 處具有頁面的打印友好版本意味著相同內容有兩個版本，例如https://www.example.com/page/和https://www.example.com/print /頁/ 。
實施從打印友好版本到頁面標準版本的規範 URL。
優化您的內容
您可以通過關注頁面上的內容來進行進一步的調整。
最重要的是，如果您有有價值的頁面應該排名和增加流量，請確保它們包含針對特定用戶意圖的獨特、高質量的內容。
儘管它耗費時間和資源，但從長遠來看是值得的。
以下是優化時要考慮的一些內容方面：
改進產品頁面
提供獨特的產品描述，而不是複制製造商的通用描述。
常見問題解答是包含有關您的產品或服務的其他信息的好地方。 不過要小心——如果您列出產品描述中提到的確切細節，則可能是部分內容重複。
調整類別頁面
每個類別頁面都應該是唯一的和相關的。 瀏覽您的類別並考慮每個類別是否有必要——它們對用戶有多大幫助？
考慮刪除一些或將它們合併為一個。 對類別中可用的任何過濾或排序選項執行相同操作。
整合內容
如果您有幾篇討論相關主題的文章，請考慮將它們合併為一個更大的內容，這可能是其最全面的版本。
這樣，您可以創建有用的內容，在一個地方提供所有信息，而不是將其分散在幾個 URL 上，從而最大限度地減少相似頁面的數量。
用一篇高質量的文章進行排名也可能比針對同一主題的多篇平庸的文章更好。
創建補充內容
考慮創建可以使頁面更加獨特和有價值的補充內容，並增加它們被索引和排名良好的機會。 想一想改善用戶體驗以及什麼對訪問者最有幫助。
例如，假設您有一個提供工作機會的網站。
在這種情況下，您可以創建一個工資計算器。 您可以通過概述不同類型的合同、解釋每項扣除、提供各種就業形式的利弊等來提供訪問者可能尋求的其他信息。
瀏覽內容很少的頁面，想想是否有什麼可以添加的。
但是，如果您無法改進它們並且它們為用戶提供的價值有限並且無法為您的網站帶來自然流量，那麼最好添加一個 noindex 標籤以防止它們被編入索引。
利用用戶生成的內容
用戶創建的獨特、全面的內容可能對您的網站有益。 例如，您可以鼓勵客戶留下評論並將其顯示在您的頁面上。
評論可以提供客戶如何使用您的產品或他們對您的服務的體驗的真實描述，從而豐富您的網站。
特別是，產品頁面可以受益於包含產品圖像和特定信息的深入、公正的評論。
實施特定機制，例如用戶在您的網站上發布評論或廣告所需的最少字符數，是防止用戶生成內容過少或重複的絕佳方法。
優化服務國際內容
如果您的網站有多個具有相同內容的語言版本，則不同語言版本不會被視為重複。
但是，如果您擁有相同的內容並將其用於針對不同地區講相同語言的人，則可能會出現問題。 例如，您可以在不同英語版本的網站上擁有相同的內容——一種用於美國，一種用於加拿大，一種用於英國。
如果您向不同的受眾提供相同的內容，請實施 hreflang 標記以向 Google 發出信號，以告知您要訪問的語言和國家/地區。
有時，即使具有 hreflang 屬性，Google 也可能會將內容歸類為重複內容，並將兩個或多個版本簡單地折疊在一起。 在許多情況下，這可能不是一個嚴重的問題，但它可能會對用戶體驗產生負面影響。
這就是為什麼您應該簡單地避免在多個頁面中顯示相同的內容。
努力本地化您的內容，尤其是針對戰略性國際市場。 本地化不僅僅是翻譯——您需要使其適合您所針對的特定國家，同時考慮當地詞彙、習俗、貨幣等。
管理內部鏈接
一旦您決定了 URL 的首選版本，請檢查您網站的內部鏈接並確保每個鏈接都指向正確的 URL 版本。
正確地聯合內容
聯合內容時，必須選擇原始來源作為規範來源。
同樣，當另一個網站聯合您的內容時，請確保它們包含指向您的原始內容的鏈接並指向正確的 URL。
禁用對暫存環境的訪問
登台或測試環境包含生產中可用的站點副本。 因此，它們不應該被搜索引擎抓取或索引。 為了防止它們被機器人和用戶訪問，請實施 HTTP 身份驗證。
使內部搜索結果頁面不可索引
使用您的內部搜索結果的訪問者會查看您網頁的不同變體，通常會顯示相同或相似的 URL。
確保您沒有鏈接到內部搜索結果頁面，因此機器人無法按照路徑查找和抓取它們。
您應該向這些頁面添加 noindex 標記，這樣它們就不會被編入索引。 但是，如果您發現漫遊器過度抓取這些頁面，您可以在 robots.txt 文件中限制它們的訪問。
值得注意的是，在某些情況下，您實際上可能希望您的一些內部搜索頁面被編入索引——但只是其中的一些。 如果您分析您的用戶如何在 Google 上查找您的內容，並發現內部搜索頁面可以完美地回答用戶意圖，請隨意使該頁面可索引。
防止由 CMS 引起的重複內容問題
CMS 平台會因重複內容而引起他們的問題。
例如， WordPress 會自動生成標籤和類別頁面。 這樣的頁面可能會嚴重浪費爬蟲的資源。
WordPress 還創建了評論分頁，分頁後的頁面顯示原始內容，只在底部顯示不同的評論。
您可能還會發現您的 CMS 會為不包含任何其他內容的圖像創建單獨的頁面。
將 noindex 標記添加到不需要的頁面或在 CMS 中禁用這些功能。
如何在您的網站上查找重複的內容問題
有一些快速方法可以檢查您的內容是否重複。
您可以使用Copyscape之類的工具來查看您網頁中的哪些內容出現在網絡上。
要了解您網站上的重複內容問題，請使用Siteliner ，它可以揭示您網站上的頁面如何匹配彼此的內容。
Google 的索引覆蓋率報告
要更詳細地分析重複內容問題，請訪問Google Search Console 的索引覆蓋率報告，該報告將向您展示具體問題以及如何解決這些問題。
您可以在那裡找到以下錯誤，這些錯誤表明與重複內容相關的索引問題：
沒有用戶選擇的規範的重複
Google 發現了未規範化為首選版本的重複 URL。 您可以通過導航到URL 檢查工具來檢查哪個 URL 被選為規範。
要解決此問題，建議您自己選擇規範 URL 。
重複，谷歌選擇了與用戶不同的規範
Google 忽略了指定的規範 URL，並選擇了一個它認為更合適的其他 URL。
此問題表明Google 沒有找到足夠的信號指向代表給定內容的主要版本的指定 URL - 了解如何修復 Duplicate，Google 選擇了與 user 不同的規範。
重複的，提交的 URL 未被選為規範
此狀態表明您提交的網址沒有規範網址，並且 Google 認為提交的網址重複，因此選擇了不同的規範網址。
儘管此狀態類似於 Duplicate，但 Google 選擇了與用戶不同的規範，不同之處在於您明確要求 Google 將這些 URL 編入索引，而不包括規範 URL 。
再次，您需要將規範標籤添加到首選 URL。
概括
重複的內容不會導致 Google 處罰，但它仍然可以有效地減緩您的網站在網絡上的增長。
這就是為什麼您應該注意任何重複頁面並監控您的實現，以確保沒有任何機制可以在沒有您監督的情況下創建大量頁面。
在頁面上創建獨特的內容、確保 URL 的一致性以及在適當的情況下實施規範標籤和重定向是幫助 Google 正確索引和排名頁面的好方法。