“搜索引擎的局限性以及我們如何克服它們”的熱門見解
已發表: 2021-12-012021 年 11 月 30 日，Bartosz Goralewicz 和 Tomasz Rudzki 與Bing 首席項目經理Fabrice Ca nel 坐下來討論搜索引擎目前面臨的挑戰——如何繼續抓取和索引不斷變得越來越大的網絡?
如果您想了解整個對話的進展情況，可以在此處觀看網絡研討會。
在本文中，我想介紹網絡研討會中最激動人心的見解和公告。
IndexNow 幫助優化爬網預算
談話從現在 SEO 行業的一個熱門話題開始——IndexNow 試圖解決什麼問題？
搜索引擎對互聯網上發生的事情知之甚少。 所以他們需要不斷地爬取頁面以發現是否有任何更新或新的內容。 因此，他們可能會將抓取預算浪費在低質量頁面或尚未更新的頁面上。
我們相信改變這種模式對行業是有好處的。 它將幫助您獲得在搜索引擎中索引的最新內容，並且您可以幫助我們最大限度地減少抓取，這對整個行業都有好處。資料來源： Fabrice Canel
搜索引擎不知道您何時發布下一篇博客文章 - 但您知道！ 通知他們您網站上的新內容會帶來共同利益——您的內容可以更快地出現在 SERP 中，搜索引擎可以減少他們抓取和索引網站所需的資源量。
ping 搜索引擎的解決方案並不是一個新想法。 幾年前，網站管理員能夠向搜索引擎提交 URL。 問題在於，通過不必要的提交向搜索引擎發送垃圾郵件很容易，因此需要改進。
與向搜索引擎發送簡單 ping 的舊解決方案相比，IndexNow 增加了一層信任。 您需要生成 API 密鑰並將其託管在您的網站上。 這樣，搜索引擎可以驗證提交的 URL 是否屬於您，從而最大限度地減少結果數據中的噪音。
站點地圖還不夠
如果您想知道為什麼優化好的站點地圖不足以支持抓取以及為什麼我們仍然需要 IndexNow，那麼答案是：站點地圖還不夠！
一般來說，必應每天或多或少都會嘗試下載一次站點地圖。 [...] 但互聯網每天不止一次。 您不想等待發布新聞稿的那一天。 也許您需要立即通知搜索引擎。資料來源： Fabrice Canel
因此，IndexNow 可以幫助您在時間敏感時將您的內容推送到搜索引擎。 這對於新聞網站尤其重要，但對於任何網站來說，盡快將新內容編入索引尤為重要。
此外，站點地圖非常適合列出 URL，但不適合更新內容。 lastmod 標籤經常被濫用並且設置不正確。
IndexNow 比站點地圖噪音小。 Fabrice 表示，來自 IndexNow 的數據非常有前景，事實證明它可以引導機器人獲取高質量的內容並最大限度地減少爬行。
要記住的一件事是，如果您要提交未更改的 URL，Bing 可能會失去信任並在您使用 IndexNow 後停止抓取該頁面。
這並不意味著您應該停止使用 XML 站點地圖。 Fabrice 指出，站點地圖與 IndexNow 配合使用時效果特別好——您不應該使用其中一種。
Cloudflare 現在支持 IndexNow
在網絡研討會期間，Fabrice 宣布 Cloudflare 現在支持 IndexNow。
Cloudflare 有一個稱為 Crawler Hints 的功能，它為搜索引擎提供有關您的內容更改的數據。 現在，Crawler Hints 支持 IndexNow，並且可以通過這個新協議直接通知搜索引擎任何新的、更新的或刪除的內容。
超過 60,000 個網站已經調整了 Cloudflare 支持 IndexNow 的能力。 這意味著每天有數十億個 URL 來告訴我們互聯網上發生了什麼變化。 [...] 它為 Bing 和其他搜索引擎以及網站所有者帶來了好處。資料來源： Fabrice Canel
您只需單擊一下即可在您的網站上啟用 Crawler Hints，其餘的工作由 Cloudflare 處理！ 您可以在此處找到有關如何打開爬蟲提示的更多信息。
IndexNow 沒有提升排名
Bartosz 向 Fabrice 詢問了一個事實，即許多開始使用 IndexNow 的域現在似乎從 Bing 獲得了流量增加。 但是不， IndexNow 不會給您任何排名提升。
我們沒有根據 IndexNow 進行優先級排序。 這不是排名信號。 啟用 IndexNow 不會幫助您獲得更高的排名。資料來源： Fabrice Canel
但是，隨著不斷創建的 Internet 內容的數量，您越早被索引，您在 SERP 中出現的機會就越大。
這對於有新聞欄目的網站尤其重要。 盡快編入索引至關重要。 如果搜索引擎在抓取和索引您的內容方面遲到了，您可能會落後於競爭對手。
這就是為什麼使用 IndexNow 的網站可能在 SERP 中做得更好的原因。 網站管理員最清楚他們的內容何時發生變化，並且可以通知搜索引擎快速抓取和索引頁面。
IndexNow 釋放渲染所需的資源
正如 Fabrice 在網絡研討會中提到的，渲染對於搜索引擎理解內容至關重要。 這就是為什麼必應努力呈現盡可能多的內容。
通過採用 IndexNow，您可以幫助搜索引擎釋放資源以抓取呈現頁面所需的其他內容，例如 JavaScript。
此外，網站的呈現取決於其大小。 如果您只有幾頁，搜索引擎可能會在渲染方面做得很好。 儘管如此，如果您是一個大型電子商務網站，擁有數百萬個充滿 JavaScript 內容的頁面，那麼它們的資源可能不足以呈現所有內容。 在這種情況下，通知搜索引擎機器人他們應該抓取什麼並幫助他們節省抓取預算至關重要。
幾年後，我們希望能夠在互聯網上呈現所有內容。 但是，創建網站要合理——如果客戶需要點擊頁面上的某些內容來訪問某些內容，搜索引擎也需要這樣做，但它們還沒有比客戶更聰明。 確保頁面上的所有內容立即顯示在其上並且不要隱藏它。資料來源： Fabrice Canel
搜索引擎協作的未來
過去，搜索引擎在 schema.org 或 robots.txt 協議等重要舉措上進行合作。
在網絡研討會期間，Fabrice 被問及在不久的將來可能進行此類合作的潛在領域。 他指出了 hreflang 標籤的問題，以及它們如何負責生成數以萬億計的冗餘 URL，這些 URL 會為搜索引擎和整個互聯網帶來浪費。
Fabrice 表示，他希望與其他搜索引擎合作，尋找瞄準國際市場的新方法，這也將允許搜索引擎將信號整合到一種語言的單個頁面上。 這必須涉及網站所有者的解決方案，將相同語言的用戶引導到針對特定市場的內容（例如，阿根廷和烏拉圭的西班牙語使用者將登陸同一頁面，然後被引導到特定於阿根廷和烏拉圭的內容） .
Fabrice 總結說，未來應該沒有必要針對特定的搜索引擎優化您的網站。 相反，搜索引擎應該遵循通用協議並創建解決方案以改善當前的限制並使行業受益。