19個常見的技術SEO問題（推薦解決方案）

已發表: 2020-08-19

在 Semetrical，我們的 SEO 專家多年來進行了無數次技術 SEO 審核，並遇到了網站在多個行業中遇到的常見技術問題。我們的指南概述了最常見的技術 SEO 問題以及推薦的解決方案。

下面列出了最常見的技術 SEO 問題：

機器人中不區分大小寫的規則，txt
大寫和小寫 URL 重複
HTTP 302 重定向到 HTTPS
影響內部鏈接的規範 URL
鏈接到 404 URL 的規範 URL
多個規範標籤
主頁複製
移動版和桌面版網站不同
國際IP檢測
國際網站複製
XML 站點地圖，包括歷史 URL 和暫存 URL
登台網站被索引導致重複
內部搜索被索引
導致重複的參數
產品網址重複
網站深度
JavaScript
Meta Robots NOINDEX 的錯誤使用
軟 404 頁面

1.機器人中不區分大小寫的規則，txt

問題：

在進行技術 SEO 審核時，我們經常發現 robots.txt 中的禁止規則不能同時滿足大寫和小寫規則。

例如，在電子商務網站上，購物籃路徑通常會同時出現在 /basket/ 和 /Basket/ 上，但作為規則，robots.txt 中只包含小寫路徑。這意味著帶有 /Basket/ 的 URL 仍然是可索引的，這會導致內容重複，您必須避免這種情況，以改進您的網站在搜索引擎上的索引。

Robots.txt 規則：

不允許：/籃子/

不允許：/basket/*

解決方案：

審核您的網站並檢查是否有需要阻止的路徑的大寫和小寫版本。您可以使用網絡爬蟲來執行此操作，例如我們在 DeepCrawl 的朋友。如果網站上同時存在兩個版本，請在 robots.txt 中添加第二條規則，以適應要阻止的大寫路徑。例如，不允許：/Basket/*

如果您無權訪問網絡爬蟲，則站點協議搜索對於查看是否同時索引大寫和小寫版本非常有用。

2.大小寫URL重複

問題：

我們發現的一個常見問題是在整個網站上鍊接到的不區分大小寫的 URL 重複，而 Google 認為這是兩個不同的 URL。例如：

https://www.example.co.uk/Panerai/Watches

https://www.example.co.uk/panerai/watches

這可能是由於博客文章中的編輯添加了指向產品頁面的直接鏈接，但他們輸入了大寫字母而不是小寫字母。

我們也看到了這種情況的發生，因為內部鏈接模塊存在一個錯誤，即流行的產品鏈接通過大寫字母鏈接到。

解決方案：

我們建議在服務器級別設置規則，其中所有大寫 URL 通過 301 重定向重定向到小寫。這將保護網站免受任何將來鏈接到大寫和小寫 URL 的重複。

添加 301 重定向規則還將合併任何鏈接資產，其中外部站點可能通過大寫字母錯誤地鏈接到您的站點。

如果無法進行 301 重定向，我們建議在大寫 URL 的源代碼中添加規範標記以引用小寫 URL 版本。

3. HTTP 302 重定向到 HTTPS

問題：

公司經常將他們的網站遷移到安全的 HTTPS URL，但他們並不總是實施 301 重定向規則，而是實施 302 重定向，因此這在理論上告訴搜索引擎 URL 的 HTTP 版本只是暫時移動而不是永久移動。這可能會降低您網站的鏈接權益和整體權限，因為隨著時間的推移獲得反向鏈接的 HTTP URL 不會完全將鏈接權益傳遞給 HTTPS 版本，除非有 301 重定向。

解決方案：

我們建議在服務器級別設置一個規則，其中所有 HTTP URL 301 重定向到 HTTPS 版本。

4. 影響內部鏈接的規範 URL

問題：

在許多電子商務網站上，我們看到產品具有多個產品 URL 變體，但每個變體都鏈接到規範產品 URL 以防止重複。但是，規範產品頁面只能通過規範標籤找到，不能通過其他內部鏈接找到。

此外，規範的產品頁面不包含任何影響整個網站的內部鏈接的麵包屑。

這種內部鏈接規範設置有時會阻止搜索引擎獲取規範的 URL 版本，因為忽略了該指令，因為整個站點的內部鏈接正在發送混合信號。這可能會導致產品的非規範版本被索引，從而導致 URL 蠶食——最終對您的 SEO 性能產生負面影響。

解決方案：

為了幫助規範 URL 被索引，網站應該：

將規範 URL 添加到 XML 站點地圖，而不是其他 URL 變體

內部鏈接到站點範圍內部鏈接模塊（例如“流行產品”）中的規範 URL 版本

將主要麵包屑結構添加到規範 URL 頁面。

5. 鏈接到 404 URL 的規範 URL

問題：

規範 URL 偶爾會引用 404 URL，但這會向搜索發送混合信號

引擎。規範 URL 正在指示首選 URL 的爬網程序編制索引，但首選 URL 當前已不存在。

解決方案：

首先，您應該確定規範 URL 是否應該是 404 或是否應該恢復。如果它被恢復，那麼問題就解決了，但是如果規範 URL 應該是 404，那麼您應該選擇一個新的規範 URL 或將規範更新為自引用。

6.多個Canonical標籤

問題：

在網頁的 HTML 代碼中，有時可能會找到兩個規範標籤。這可能會向搜索引擎發送相互衝突的消息，並且只會計算和使用第一個規範。

解決方案：

一些網站爬蟲可能會標記多個規範標籤，但是，如果不是這種情況，那麼您應該在爬取網站時設置自定義提取以查找多個規範標籤。

需要更新 HTML 代碼中具有多個規範標籤的網頁，其中一個被刪除並且只保留正確的規範標籤。

7.首頁複製

問題：

網站偶爾會有多個主頁 URL，這會導致重複，並可能導致鏈接資產分裂。常見的主頁複製 URL 包括：

www.example.com

www.example.com/home

www.example.com/index.html

www.example.com/home.html

解決方案：

如果您的網站有多個主頁 URL，我們建議設置 301 重定向，其中所有重複版本都重定向到主主頁版本。

8. 移動版和桌面版網站不同

問題：

移動網站應包含與桌面版網站相同的內容。在進行網站審核並將桌面與移動網站抓取進行比較時，我們遇到了內容差異，即移動版本在某些頁面上包含的內容少於桌面版本。

這可能會導致問題，因為網站的幾乎所有索引都來自移動版本，如果缺少優先內容，排名可能會開始下降。

解決方案：

網站的移動版本應包含與桌面版本相同的內容，並且應將缺少的內容添加到移動網站。

9.國際知識產權檢測

問題：

對於已實施地理 IP 重定向的網站，最常見的問題是實施重定向所有用戶，其中包括機器人。

Googlebot 通常會從美國 IP 抓取，如果機器人是根據地理位置重定向的，那麼 Googlebot 只會抓取美國版本的網站並將其編入索引。這將防止網站的其他地理版本被抓取和索引。

此外，這可能會導致電子商務網站上的產品定價模式標記出現問題，其中定價會根據地理位置進行更新，因為所有市場中只會出現美國價格。例如，下面的代碼片段顯示了英國網站英國版的美國定價。

解決方案：

如果您需要實施地理 IP 重定向，那麼我們建議您從重定向規則中排除所有機器人，因為這將允許 Googlebot 等機器人抓取所有國際版本並將其編入索引。

如果您不實施地理 IP 重定向，我們建議您保持您的網站對來自任何地理位置的所有用戶開放，並顯示一個用戶友好的 JavaScript 橫幅，允許用戶選擇他們自己的語言/位置。

如果用戶登陸了錯誤的國際網站版本，這是一個有用的 UX 功能。彈出窗口將根據 IP 檢測顯示，例如，如果用戶從英國 IP 登陸美國網站，則會出現橫幅，告訴用戶英國網站可能更合適。

10. 國際網站複製

問題：

當公司在全球不同國家開展業務時，通常會看到網站的多個版本。這是一種常見的做法，因為理想情況下您希望提供最佳的用戶體驗，為此，特定國家/地區的網站使公司能夠根據用戶在世界上的位置來定制用戶旅程。

但是，公司可能會錯誤地創建其網站的多個版本，但不會向搜索引擎發送任何信號來指示哪個網站應該針對特定國家或地區。

當網站所有者在沒有搜索引擎說明的情況下創建多個網站版本時，這可能會導致網站重複和跨域蠶食等混亂。

解決方案：

在創建網站的國際版本時，應使用 Hreflang 標籤來幫助向搜索引擎（如 Google）發出信號，根據用戶的位置和語言向用戶提供正確的網頁。

Hreflang 標籤還可以防止網站的國際版本被搜索引擎視為重複，因為 Hreflang 標籤本質上表明需要特定頁面來使用 X 語言設置在 X 位置為用戶提供服務。

設置和映射 Hreflang 標籤可能會讓人感到困惑，並且是一項艱鉅的任務，具體取決於您網站的大小。如果設置不正確，可能會損害您的網站流量。

如果您正在規劃國際網站擴展或對您的國際網站有疑問，請訪問我們的國際 SEO 服務頁面。

11. XML 站點地圖，包括歷史 URL 和暫存 URL

問題：

我們遇到的一個有趣的問題比您想像的要多，那就是網站在其 XML 站點地圖中包含舊 URL，或者暫存 URL 以某種方式將自身壓縮到 XML 站點地圖中。

這可能會導致問題，就像登台 URL 出現在您的站點地圖中，並且您的登台站點可能不會被搜索引擎阻止，這些 URL 可能會開始被編入索引，進而導致不必要的重複。

您站點地圖中現在提供 4xx 或 3xx 狀態代碼的歷史 URL 可能會向搜索引擎發送令人困惑的信號，您希望在哪些頁面上抓取或編入索引。

解決方案：

確保通過密切關注 Search Console 並監控出現的錯誤或在 Deepcrawl 等工具中設置定期抓取來定期審核您的 XML 站點地圖。

在 Deepcrawl 中設置 XML 站點地圖的定期爬網非常有用，因為這可以快速標記任何不應出現在站點地圖中的 URL，並使您能夠掌握這個潛在問題。

12. 登台網站被索引導致重複

問題：

令人驚訝的是，許多公司的登台網站可被谷歌等搜索引擎索引，這不是故意的，而是錯誤的。這可能會導致大量重複，因為登台網站通常是您的實時環境的副本。通過在 Google 上進行簡單的 URL 協議搜索，就有數百萬個暫存網頁是實時的和可索引的。

解決方案：

在 Semetrical，我們建議添加一個身份驗證層，您需要在其中輸入用戶名和密碼才能訪問暫存網站。添加禁止規則也是防止登台環境被索引的一種選擇，但是如果登台站點尚未被索引，則最好實施此操作。例如：

用戶代理： *

不允許： /

大多數網站爬蟲工具都有 robots.txt 覆蓋功能，因此您可以在暫存環境中進行測試時輕鬆覆蓋禁止規則。

13. 內部搜索被索引

問題：

網站上的內部搜索 URL 非常適合 SEO，它允許網站對超長尾搜索查詢進行排名，或者對沒有主要 URL 進行排名的關鍵字進行排名。

但是，在很多情況下，內部搜索頁面會導致網站上出現大量重複，並且還會導致大型網站上的抓取預算問題。對於本指南，我們將重點關注內部搜索的消極方面。

內部搜索頁面通常質量非常低，因為它們不會被優化，並且在很多情況下被歸類為薄內容，因為它們將包含少量結果，例如產品。

解決方案：

在決定阻止內部搜索頁面之前，建議檢查這些頁面當前沒有為任何關鍵字排名或帶來常規流量。

另外檢查這些 URL 多年來是否沒有建立反向鏈接。如果您的內部搜索頁面沒有權威的反向鏈接並且不產生自然流量，那麼在 Semetrical 我們建議兩個步驟：

第一步：將 NOINDEX,FOLLOW 標籤添加到所有搜索頁面，以允許搜索引擎取消索引這些頁面。一旦這些頁面在幾個月內被取消索引，我們就會實施第二步。

第二步：將內部搜索目錄添加到robots.txt文件如Disallow: */search*

14.導致重複的參數

問題：

在審核網站時，排序和過濾參數重複可能是一個常見問題。許多網站將使用過濾器，因為它可以增強用戶體驗並允許用戶過濾他們的搜索結果。然而，主要問題是當網站保持過濾器可索引時，因為這會在整個網站上產生大量重複。例如：

https://www.example.com/path1/path2?sort-by=size&sort-order=asc

https://www.example.com/path1/path2?view=grid

有時，我們會遇到一些網站，它們在內部鏈接的 URL 末尾添加跟踪參數，以指示該鏈接在網站中的哪個位置被點擊。我們不建議一開始就使用這種設置，但是當網站已經有了這個設置時，它可能會導致網站上出現大量重複，因為它可以創建同一頁面的多個版本。例如：

https://www.example.com/path-1/path-2?wa_origin=paHomePage

https://www.example.com/path-1/path-2?wa_origin=gnb

https://www.example.com/path-1/path-2?source=header

另一個可能導致重複的常見跟踪參數是 UTM 跟踪參數，其中鏈接用於特定活動，以跟踪活動的執行情況。例如：

https://www.example.com/path-1/path-2?utm_source=creativeLIVE&utm_medium=email&utm_campaign=2020_Flash_Sale

解決方案：

有許多方法可以防止參數被索引並導致重複，其中包括：

將參數 URL 規範化為乾淨的 URL 版本

在 robots.txt 文件中添加規則以禁止特定參數

向 Search Console 中的 URL 參數工具添加參數，這會向 Google 發出信號，表明不應抓取某些參數。

15.產品網址重複

問題：

在電子商務網站上，產品 URL 重複可能是一個大問題，在出版商網站上也是如此。產品 URL 重複的主要原因是產品可以繼承其 URL 結構中的類別/子類別，如果產品位於多個類別/子類別中，則因此會創建多個 URL。

在出版商網站上，文檔也可以位於多個區域，如果文檔 URL 繼承文檔位置，則會創建多個版本。例如：

https://www.example.com/product/woman-collections-dresses/71hdo/bella-lula-floral-mini-dress

https://www.example.com/product/woman-collections-dresses-day-dresses/71hdo/bella-lula-floral-mini-dress

https://www.example.com/willsandprobate/document/introduction-to-wills

https://www.lexisnexis.com/privateclient/introduction-to-wills/

解決方案：

當我們遇到這樣的重複時，有多種方法可以清理它，這樣我們就可以確保正確的 URL 版本被抓取和索引。

要修復 URL 重複，我們建議將所有產品 URL 變體規範化為父版本或通用版本。例如：

父規範示例

https://www.example.com/product/

女裝系列連衣裙日裝

/71hdo/bella-lula-花卉迷你連衣裙

將規範化為：

https://www.example.com/product/

女裝系列

/71hdo/bella-lula-花卉迷你連衣裙

通用規範示例：

https://www.example.com/product/

女裝系列連衣裙日裝

/71hdo/bella-lula-花卉迷你連衣裙

https://www.example.com/product/

女裝系列

/71hdo/bella-lula-花卉迷你連衣裙

將規範化為

https://www.example.com/product//71hdo/bella-lula-floral-mini-dress

備擇方案：

如果您可以訪問開發人員，那麼另一種解決方案是在整個網站內部鏈接到產品規範，並 301 將所有超出類別/子類別的產品 URL 重定向到通用規範產品 URL。

這將停止產品重複並使您能夠通過多條路徑鏈接到產品

16. 網站的深度

問題：

頁面深度是特定頁面來自網站主頁的點擊次數。在進行網站審核時，我們會遇到網站深度大於 10 的網站。這意味著這些頁面距離主頁有 10 次點擊！

查找網頁所需的點擊次數越多，搜索引擎就越難找到該 URL，並且該 URL 更有可能不會像網站中較高的頁面那樣頻繁地被重新訪問。

此外，頁面在您的網站架構中越高，被搜索引擎視為優先頁面的機會就越高。如果架構中的優先級頁面較低，則存在排名不高的風險。

解決方案：

提高網站深度並確保優先頁面在網站架構中處於較高位置的主要方法包括：

跨網站的內部鏈接，例如推薦產品、相關產品和特色頁面

在整個網站上使用麵包屑

設置分頁，其中包括您所在頁面兩側的第一個、最後一個和兩個結果頁面

進行關鍵字研究以發現應在網站主導航中鏈接的頂級類別頁面，並添加指向優先頁面的鏈接

17. JavaScript 技術 seo 問題

問題

今天的許多網站都將使用 JavaScript，但是當禁用 JavaScript 時，一些網站的功能不完整，鏈接可能會消失，搜索引擎將無法發現。這是一個常見的技術 SEO 問題。

我們經常看到，電商產品頁面上的“你也可能喜歡”模塊，搜索引擎爬蟲是看不到的，使得內部鏈接模塊變得多餘。

此外，包含關鍵字豐富的 UGC 的評論模塊位於 JavaScript 模塊中，爬蟲也無法發現。

各種電子商務網站都有一個有趣的問題，當在結果頁面上禁用 JavaScript 時，仍然可以找到產品鏈接，但所有圖像都會消失，因為沒有可供發現圖像的後備選項。

解決方案：

與開發團隊合作，嘗試創建一個 JavaScript 後備方案，其中圖像仍然存在於源代碼中，並且 JavaScript 模塊可以通過 HTML 抓取。

測試 JavaScript 內容如何被索引的一個好方法是轉到網頁的緩存版本並查看頁面的“完整版本”以及查看“純文本版本”。

18. Meta Robots NOINDEX 的錯誤使用

問題：

我們的SEO技術團隊對網站進行了審核，發現NOINDEX標籤被錯誤地添加到了頁面的源代碼中。此外，查看歷史上帶有 NOINDEX 標記的流量的頁面。

令人驚訝的是，一個比您想像的更頻繁發生的問題是開發人員在源代碼中仍然存在 NOINDEX 標記的情況下推動暫存環境。

最終，NOINDEX 標籤將告訴搜索引擎不要索引該頁面，並阻止該頁面出現在搜索結果中。

解決方案：

如果您在審核網站時遇到帶有 NOINDEX 標籤的頁面，並且不清楚為什麼要使用該標籤，請諮詢開發團隊以了解這些頁面何時以及為何包含該標籤。

如果錯誤添加了 NOINDEX 標籤，那麼您應該要求開發人員更新源代碼並完全刪除標籤或將其更新為讀取 <meta name=”robots” content=” INDEX, FOLLOW”>

19. 軟 404 頁面

問題：

網站上不應存在軟 404 頁面，它發生在應返回 404 狀態代碼的不存在頁面返回 200 OK 狀態代碼時。如果 404 頁面返回 200 狀態代碼，它們仍然可以被抓取和索引。

這最終是一個問題，因為諸如 Google 之類的搜索引擎可能會浪費時間來抓取這些頁面，而這些頁面沒有提供任何價值，浪費抓取預算，而不是將時間集中在有價值的頁面上。這些頁面還可能在網站上創建重複問題，特別是如果網站有 1,000 個軟 404 頁面顯示“頁面未找到”消息。

有幾種不同的方法可以找到軟 404 頁面，其中包括：

訪問 Search Console 並在其中標記軟 404 頁面

爬取您的網站並尋找 200 個帶有“頁面未找到”標題標籤的狀態代碼頁面

使用自定義提取來抓取您的網站，該提取會查找 404 狀態代碼頁上存在的正文副本消息，並且帶有該消息的任何 200 狀態代碼頁都應該是軟 404

解決方案：

如果您在網站上遇到軟 404 頁面，則可以實施一些解決方案，其中包括：

301 將軟 404 頁面重定向到適當的替代頁面（如果可用）

將這些頁面的狀態代碼更改為 404 或 410 狀態代碼，但檢查不會丟失鍊接資產。

如果您的網站遇到問題或需要技術 SEO 審核，請訪問我們的技術 SEO 服務頁面，了解有關 Semetrical 如何提供幫助的更多信息。