Arama motorları web'deki her sayfayı keşfedemez ve dizine ekleyemez - bu konuda seçimler yapmaları gerekir. Ve tüm arama motorları aynı amaca hizmet etse de, hangi sayfaların dizine ekleneceği konusunda farklı kriterler kullanırlar.

Bununla birlikte, bir arama motorunun mümkün olduğunca çok değerli içeriği tarayıp dizine eklemesi genellikle iyidir - kullanıcılara aradıklarını gösterme olasılığını artırır.

Hangi arama motorunun – Bing veya Google – genel olarak daha fazla içeriği dizine eklediğini merak ediyordum.

Bu makale, araştırmamın farklı yönlerini açıklıyor ve kesin sonuçlar çıkarmak için daha fazla veriye ihtiyacım olsa da, yine de birçok benzersiz ve değerli içgörü toplamayı başardım.

İşte Bing ve Google'ın web sayfalarını nasıl indekslediği hakkında keşfettiğim şey.

Dizin oluşturma verilerini analiz etme: metodoloji ve sonuçlar

Rastgele bir WordPress sitesi örneğinin dizin kapsamı

Araştırmamın ilk adımı, indeksleme istatistiklerini kontrol etmek için bir sayfa örneği toplamaktı.

Yoast SEO WordPress eklentisini kullanan bir web sitesi örneği kullanmanın iyi bir başlangıç ​​noktası olacağına karar verdim . Bu eklentiyi seçmenin pratik bir nedeni vardı: site haritalarını bölümlere ayırıyor, bu da en çok hangi bölümlerin dizine eklendiğini analiz etmeme izin veriyor.

Verilen teknolojileri veya araçları kullanan web siteleri hakkında rapor veren yerleşikwith.com'da Yoast SEO eklentisini kullanan web sitelerinin bir listesini buldum . Yoast SEO kullanan siteler listesinden rastgele 200 web sitesi örneği seçtim.

Ardından ZipTie.dev kullanan bu sitelerin indeksleme istatistiklerine baktım ve ortaya çıkan veriler çok ilginç.

Bing, Google'dan daha fazla web sayfasını dizine ekledi.

Belirli site haritası kategorileri için indeksleme istatistiklerini gösteren aşağıdaki grafiklere bir göz atın:

Dizin kapsamı, haber ve basın kategorileri için Bing ve Google için aynıdır. Ayrıca Google, kılavuzlarda ve konumlarda daha fazla içerik dizine ekledi. Bununla birlikte, kalan tüm site haritası kategorilerinde Bing'in dizine eklemesi, gönderiler, ürünler ve resimler gibi önemli kategoriler dahil olmak üzere Google'ınkini aşıyor.

Ancak bu, Bing'in Google'dan daha fazla sayfa tarayabileceği anlamına mı geliyor? Yoksa benzer miktarda içeriği mi tarıyorlar, ancak dizine ekleme konusunda farklı tercihlere mi sahipler?

Müşterilerimizden bir örnek için tarama verileri

Bulgularımı genişletmek için hem Bing Web Yöneticisi Araçları'nda hem de Google Arama Konsolunda birkaç müşterimizin verilerini kontrol ettim .  

Bu araçlar, belirli bir alan için ilgili arama motorunun bildiği sayfaları gösterir.

Google Arama Konsolunda, Dizin Kapsamı raporunda görünen tüm bilinen sayfalara baktım ve dört durumun tümü için (Hatalar, Geçerli, Uyarılarla Geçerli ve Hariç Tutulan) URL sayısını kontrol ettim.

Bing Web Yöneticisi Araçları'nda, belirli bir etki alanındaki sayfalar için dizin oluşturma verilerini içeren Site Gezgini bölümünde, Görünümü Tüm URL'leri gösterecek şekilde filtreledim.

Bu bana analiz ettiğim her alan için keşfedilen tüm URL'leri gösterdi.

Bu araçların her ikisinde de aldığım verileri karşılaştırdıktan sonra Google'ın Bing'den daha fazla sayfa keşfettiğini fark ettim.

Öte yandan (bu bulguların test edilen her iki web sitesi örneğinde tutarlı olduğu varsayılarak), Google ve Bing tarafından keşfedilen sayfaların Bing tarafından dizine eklenmesinin daha olası olduğunu zaten biliyoruz.

Bu sonuçların yalnızca küçük bir site örneği için olduğunu ve tüm web'i temsil etmeyebileceğini unutmayın.

Popüler sitelerin bir örneğinin dizin kapsamı

Araştırmamın üçüncü yönü, Bing ve Google arasında nasıl değişiklik gösterdiğini görmek için ZipTie kullanan birkaç popüler web sitesinin indeksleme durumunu kontrol etmekti .

Bing'in bu siteleri dizine eklemeye Google'dan çok daha hevesli olduğunu öğrendim. Bu, YoastSEO kullanan WordPress web siteleri örneği için daha önceki bulgularımı doğruladı.

Aldığım verilere bir göz atın:

Bing ve Google indeksleme – ilk gözlemler

Verilere dayanarak Bing'in daha iyi bir arama motoru olduğunu söyleyebilir miyiz?

Bing daha fazla içeriği indekslese de, sadece indeksleme istatistiklerine bakarak tek bir kazananı gösteremeyiz. Bing'in neden Google'dan daha fazla dizine eklediğini bilmiyoruz.

Benim hipotezim, Google'ın Bing'den "daha seçici" olabileceği yönünde. Dizin seçiminin bir şey olduğu bir sır değil.

Bunu yıllardır söylüyoruz – Google tarafından dizine eklenmek giderek daha zor hale geliyor.

Arama motorlarının sayfaları farklı oranlarda taradığını da biliyoruz .

John Mueller, Googlebot'un sayfaları ne sıklıkta taradığı hakkında şunları söyledi:

Bence buradaki zor kısım, URL'leri her zaman aynı sıklıkta taramamamız. Bu nedenle, bazı URL'leri günlük olarak tarayacağız. Bazı URL'ler belki haftalık. Diğer URL'ler birkaç ayda bir, hatta belki her yarım yılda bir. Bu, sunucunuzu aşırı yüklememek için doğru dengeyi bulmaya çalıştığımız bir şey. […] Yani, özellikle, site sorguları gibi şeyler yaparsanız, o zaman her altı ayda bir taranan URL'leri görme şansınız vardır. Birkaç ay sonra hala orada olacaklar. […] Eğer bu URL'lerin gerçekten hiç dizine eklenmemesi gerektiğini düşünüyorsanız, o zaman belki bunu bir şekilde yedekleyebilir ve diyebilirsiniz ki, işte son değişiklik tarihi olan bir site haritası dosyası, böylece Google kapanıp iki katına çıkarmaya çalışacaktır. bunları diğerlerinden biraz daha hızlı kontrol edin.

kaynak: John Mueller

Ayrıca Bing'in belgelerinde bazı ilginç fikirler buldum:

Tarayıcımızın ne kadar akıllı olduğunu ölçmek için bingbot tarama verimliliğini ölçüyoruz. Tarama verimliliği, taranan sayfa başına yeni ve taze içeriği ne sıklıkta taradığımız ve keşfettiğimizdir. Kuzey yıldızı tarama verimliliğimiz, bir URL'yi yalnızca içerik eklendiğinde (URL daha önce taranmadığında), güncellendiğinde (yeni sayfa içi bağlam veya faydalı giden bağlantılar) taramasıdır. Yinelenen, değişmemiş içeriği ne kadar çok tararsak, Tarama Verimliliği metriğimiz o kadar düşük olur.

kaynak: Bingbot Serisi: Tarama Verimliliğini En Üst Düzeye Çıkarma”

Bing, web sitelerini tararken derinlere inmek istemeyebilir, çünkü bunu yapmak çok az değer sağlayabilir ve KPI'larının düşmesine neden olabilir.

Bing'in taramayı daha verimli hale getirmek için çalıştığını biliyoruz. Örneğin, Bing , statik içeriğin taranmasını optimize etmeye ve birçok web sitesinde tarama sıklığını azaltacak kalıpları belirlemeye çalıştı.

Ayrıca, Google ve Bing'in rastgele WordPress web sitelerini dizine ekleme biçimlerindeki farklılıkları göz önünde bulundurun - bunlar çok daha küçüktü. Çok popüler web siteleri söz konusu olduğunda, bunlar çok daha önemlidir.

Bu beni, Bing'in algoritmalarında kullanıcı davranışı verilerini kullandıklarını açıkça kabul ettiği gerçeğine paralel olarak, Bing'in popüler olan web sitelerini dizine eklemeye büyük ölçüde öncelik verdiğini, Google için ise popülerliğin daha az faktör olduğunu düşündürüyor.

IndexNow Tanıtımı

Son zamanlarda Bing , IndexNow protokolünü benimseyerek bunu bir adım daha ileri götürdü . Bing ve Yandex'i yeni veya güncellenmiş içerik hakkında bilgilendirmek için IndexNow'u kullanabilirsiniz.

Testlerimiz sayesinde, Bing'in genellikle IndexNow kullanılarak gönderildikten sonra 5 saniye ile 5 dakika arasında bir sayfayı taramaya başlayacağını öğrendik.

IndexNow daha verimli bir İnternet girişimidir: Web sitesi sahipleri, arama motorlarına bir URL'nin değiştirilip değiştirilmediğini bildirerek, arama motorlarının bu URL'ler için taramaya öncelik vermesine yardımcı olan açık bir sinyal sağlar ve böylece içeriğin değişip değişmediğini test etmek için keşif amaçlı tarama ihtiyacını sınırlar. değişti […].

[a] daha büyük ölçekte öğrenmeye ve gelişmeye devam edeceğiz ve IndexNow uygulayan siteler için tarama oranlarını ayarlayacağız. Amacımız, her bir kullanıcıya indeksleme, tarama yükü yönetimi ve içeriğin arama yapanlara tazeliği açısından maksimum fayda sağlamaktır.

kaynak: Bing Blog, “IndexNow - Web içeriğinizi Arama Motorlarında Anında Dizine Ekleyin”

IndexNow, web sitelerinin içeriklerini daha hızlı dizine eklemesine ve tarama için daha az kaynak kullanmasına olanak tanır. Sonuç olarak işletmeler, müşterileri için en alakalı bilgilere erişim sağlayarak daha iyi bir deneyim yaratabilir.

URL'leri veya site haritalarını IndexNow'a daha hızlı ve daha kolay göndermenize yardımcı olacak bir araç oluşturduk .

En önemlisi, IndexNow, Bing ve Yandex gibi daha küçük arama motorlarının kapsamlı bir içerik veritabanından dizinlerine ekleme yapma fırsatıdır. IndexNow, Google da dahil olmak üzere arama motorlarının günümüzde mücadele ettiği sorunu ele alıyor - artan miktarda içeriği taramak ve oluşturmak zorunda.

Google'ın IndexNow protokolünü benimseyip benimsemediğini veya site sahiplerinin dizine eklenmek üzere sayfaları göndermesine izin verecek alternatif bir çözüm oluşturup oluşturmadığını zaman gösterecek.

Sayfaların nasıl tarandığını ve dizine eklendiğini optimize etme

Dizin oluşturma analizimden bir başka çıkarım da, arama motorları için taramayı ve dizine eklemeyi basitleştirmenin ne kadar önemli olduğudur.

İlk olarak, değerli URL'lerinizi içeren site haritaları oluşturmanız ve bakımını yapmanız gerekir. Site haritaları, dizine eklemeleri gereken içeriği keşfetmeleri için Bing ve Google için yararlıdır.

Optimize edilmiş bir site haritası gönderemezseniz, arama motorları hangi sayfaların alakalı olduğunu ve dizine eklenmesi gerektiğini bulmakta zorlanır. Bir site haritası oluşturma ve hangi sayfaların dahil edileceği hakkında daha fazla bilgi için, XML Site Haritalarına İlişkin Nihai Kılavuzumuzu okuyun.

Ek olarak, botlar için doğru yönergeleri ve dizine eklenmemesi gereken sayfalarda düzgün şekilde uygulanmış 'noindex' etiketlerini içeren bir robots.txt dosyanız olması gerekir.

toparlamak

Bing'in ve Google'ın indekslemesinde net bir kalıp tanımlamak için daha birçok web sitesini incelemem gerekir, ancak benim veri örneklerimden alabileceğimiz bazı fikirler var:

• Bing, Google'dan daha fazla içeriği dizine ekler.
• Google, Bing'den daha fazla içerik keşfeder, bu da Google'ın dizine ekleme konusunda daha seçici olduğunu gösterir. Bing'in yol gösterici ilkesi, daha az tarama yapmak ve eklenen veya güncellenen içeriğe odaklanmaktır.
• Bing, popüler web sitelerinin dizine eklenmesine öncelik verirken, popülerlik Google için daha az faktördür.

Ayrıca, içerik kalitesinin ve sitenizin taranmasını ve dizine eklenmesini optimize etmenin SEO'nun hayati yönleri olduğunu ve hafife alınamayacağını veya ihmal edilemeyeceğini görebiliriz. Ayrıca, web büyüdükçe ve arama motoru algoritmaları daha karmaşık hale geldikçe bu faktörlerin önemli olmaya devam etmesi muhtemeldir.