Belirli bir sitedeki kaç sayfanın Google'da dizine eklendiğini kontrol etmemizi sağlayan bir araç geliştirdik .

Şimdiye kadar yüzlerce web sitesini kontrol ettik ve araç, tarama bütçesi ve dizine ekleme gibi müşterilerimizin uğraştığı SEO sorunlarını teşhis etmemize yardımcı oldu.

Bu sorunları araştırırken sıklıkla veri anormallikleri ile karşılaşıyoruz ve site haritalarında ciddi hatalar yapan birçok web sitesi görüyoruz.

Bu web sitenizi nasıl etkileyebilir?

Site haritanız düzgün bir şekilde uygulanmazsa, Googlebot düşük kaliteli URL'leri taramak için çok zaman harcayabilir ve bu da tarama bütçesini boşa harcar. Sonuç olarak, web sitenizdeki birçok değerli URL, bunları taramak için yeterli kaynağa sahip olmayacağından Google'da dizine eklenmeyebilir.

Popüler web siteleri site haritalarında hangi hataları yapıyor ve Google'ın tarama bütçesini alakasız içeriklere harcamamasını sağlamak için bu hataları nasıl önleyebilirsiniz?

Hadi kazalım.

Tarama bütçesi nedir?

Öncelikle, tarama bütçesinin ne olduğunu ve web sitesi dizine eklemeyle tam olarak ne kadar alakalı olduğunu açıklamama izin verin.

Google çok sayıda içeriği tarayabilir, ancak kaynakları sonsuz değildir - bu nedenle sahip olduğu kaynaklarla seçim yapması gerekir.

Bu nedenle Googlebot, tüm web siteleri için bir tarama bütçesi tanımlar - tarayabileceği ve taramak istediği URL sayısı.

Bir sitenin tarama bütçesi iki ölçüme bağlıdır :

• Tarama kapasitesi sınırı – bir web sitesindeki tüm önemli içeriği, sunucunun sınırlarını aşmadan taramak için hesaplanmıştır – ve,
• Tarama talebi – bir web sitesinin boyutuna, popülerliğine ve güncelleme sıklığına göre belirlenir.

Site yavaşlarsa veya sunucu hatalarıyla yanıt verirse sınır düşer ve Googlebot daha az tarama yapar.

kaynak: Google'ın belgeleri

Googlebot'un sınırlı yetenekleri nedeniyle, Googlebot'un web sitenizde hangi URL'leri taradığını planlamalısınız.

Hangi URL'lerin taranacağını ayarlamanın anahtarı Google'ın belgelerinde açıklanmıştır:

URL envanterinizi yönetin: Google'a hangi sayfaların taranacağını ve hangilerinin taranmayacağını söylemek için uygun araçları kullanın. Google, dizine uygun olmayan URL'leri taramak için çok fazla zaman harcarsa, Googlebot sitenizin geri kalanına bakmak için zaman ayırmaya değmeyeceğine karar verebilir.

kaynak: Google'ın belgeleri

Özetlemek gerekirse - şu ana kadar bildiklerimiz:

• Web siteniz yavaşsa, Google daha az URL tarayabilir, dolayısıyla daha az URL Google dizinine girme yolunu bulur.
• Google, sitenizi tararken çok sayıda düşük kaliteli URL keşfedebilirse, sitenizin genel kalitesinin düşük olduğuna karar verebilir.

İşte çok önemli bir paket servis:

Google'ın taraması için tonlarca düşük kaliteli URL ile, Googlebot bunları tararken çok zaman kaybedebilir ve web sitenizdeki birçok yüksek kaliteli URL'yi tarayamayabilir.

Bu, trafik çekmek için sık sık ve kapsamlı bir şekilde taranmaları gerektiğinden, büyük veya hızla değişen web siteleri için en fazla ağırlığı taşır.

Tarama bütçeniz için site haritaları ne kadar önemlidir?

Açıkladığım gibi, tarama bütçenizi optimize etmek sitenizin dizine eklenmesi için son derece önemli bir adımdır.

URL envanterinizi yönetmenin yollarından biri, iyi optimize edilmiş bir site haritası oluşturmak ve sürdürmektir.  

Site haritası , sitenizdeki sayfalar, videolar ve diğer dosyalar ve bunlar arasındaki ilişkiler hakkında bilgi verdiğiniz bir dosyadır […]. Site haritası, Google'a sitenizde önemli olduğunu düşündüğünüz sayfaları ve dosyaları bildirir ve ayrıca bu dosyalar hakkında değerli bilgiler sağlar. Örneğin, sayfanın en son ne zaman güncellendiği ve sayfanın alternatif dil sürümleri.

kaynak: Google'ın belgeleri

Ancak, tonlarca web sitesi iyi optimize edilmiş site haritaları oluşturamıyor. Neyse ki, onların hatalarından öğrenebiliriz.

Site haritanızda hangi hatalardan kaçınmalısınız?

Birçok popüler siteyi analiz ettim ve birçoğunun site haritalarında tarama bütçelerini olumsuz etkileyen ve dizin kapsamıyla ilgili sorunlara yol açabilecek hatalar yaptığını gördüm.

Site haritası oluştururken kaçınılması gereken hataların dökümü burada.

1. Hatalı biçimlendirilmiş URL'ler gönderme

Bulduğum hatalardan biri, site haritalarındaki URL'lerin yapısıyla ilgiliydi.  

Belirli bir örneğe bakarak analiz edelim.

viski.de

Yazılımımız tarafından toplanan istatistikleri gördüğümde hayrete düştüm: Viski.de'nin site haritalarına gönderilen sayfalarının %0'ının Google'da dizine eklendiğini gösterdi.

Bunun doğru olamayacağını biliyordum, bu yüzden verileri daha fazla araştırdım.

Viski.de'nin site haritalarındaki çoğu URL geçerli görünüyordu:

• Onlar kanonikti,
• noindex robots meta etiketi tarafından engellenmediler,
• Robots.txt dosyasındaki izin vermeme yönergesi tarafından engellenmediler,
• 200 durum koduyla yanıt veriyorlardı.

Ancak daha sonra tüm URL'lerde üst düzey alan adının ardından çift eğik çizgi olduğunu fark ettim – şu örneğe bir göz atın:

• https://www.whisky.de//wissen/herstellung/hintergrundwissen/fasstypen/whisky-in-marsala-weinfaessern.html
• https://www.whisky.de//wissen/herstellung/hintergrundwissen/jim-beam-fassfabrik.html
• https://www.whisky.de//presse/pressespiegel/playboy.html

Çift eğik çizgi, site haritaları oluştururken bariz bir program hatası gibi görünüyor ve düzeltilmesi kolay bir hata.

Bununla birlikte, site haritalarına dahil edilen sayfalarda, ilgili URL'lere işaret eden kurallı etiketler bulunur - bunların tek bir eğik çizgi ile doğru sürümleri.

Sonuç olarak, Google'ın amaçlanandan iki kat daha fazla URL'yi ziyaret etmesi kuvvetle muhtemeldir: tek eğik çizgili ve çift eğik çizgili URL'ler.

Google'ın URL'lerdeki hatalı kalıpları tespit etme mekanizmaları vardır ve teknik olarak konuşursak, Google'ın hatayı tespit etmesi olasıdır. Dolayısıyla, viski.de uygun şekilde taranıyor ve doğru yapılandırılmış URL'leri dizine ekliyor olabilir. Ancak, web sitesinin Google Arama Konsolu hesabına veya sunucu günlüklerine erişmeden bunu kontrol etmemizin bir yolu yok.

Pratikte, hatalarınızı düzeltmek için Google'ın algoritmalarına güvenmemelisiniz - tarif ettiğim gibi uygulamalar, tarama bütçenizi zorlayabilir ve hatta sayfalarınızı Google'ın dizininin dışında tutabilir.

İnce içerik URL'leri gönderme

Site haritalarında ince içerik sayfaları içeren bir web sitesi vebası var .

Sana bir örnek göstereyim.

Ann Taylor

Bu hatayı, kadın giyiminde en çok puan alan mağaza olan AnnTaylor.com'da keşfettim.

Ürün kategorilerinin kaçının Google'da dizine eklendiğini kontrol etmek istedim, bu yüzden kategori sayfalarına ayrılmış site haritalarını araştırdım.

İlk kontrol, kategori sayfalarının yalnızca %46'sının Google'da dizine eklendiğini gösterdi.

Bu yüzden, bunu daha ayrıntılı inceledim ve kategori sayfalarının çoğunun yumuşak 404'ler olduğunu öğrendim.

Özellikle, bu sayfalar aşağıdaki mesajı görüntüledi:

Google'ın onları dizine eklemek istememesi şaşırtıcı değildi!

Bir sonraki mantıklı adım, soft 404'leri örneğimden çıkarmaktı . Bu amaçla, aynı site haritasının indekslenme durumunu kontrol ettim, ancak yukarıdaki resimde örneklendiği gibi “Şık bir şekilde aradık ve şanssız” ifadesini içeren sayfaları hariç tutan bir tetikleyici kullandım.

Soft 404 URL'leri hariç tutulduktan sonra , kategori site haritasındaki sayfaların %82 ​​kadarının dizine eklendiği ortaya çıktı.  

Yine de, kategori sayfalarının %18'i Google'da dizine eklenmedi - SEO'larının araştırmaya odaklanması gereken şey bu.

AnnTaylor'un durumu aşağıdaki nedenlerden dolayı ciddi:

• Her şeyden önce, Google, zayıf içeriği taramak için tarama bütçesini boşa harcıyor.
• Ayrıca, Google'ın kaliteyi üç düzeyde değerlendirdiği bir sır değil: sayfa, bölüm ve site genelinde. Google, genel olarak kategori sayfalarının düşük kaliteli olduğuna ve hepsinin dizinden kaldırılabileceğine karar verebilir . Geçmişte, makalelerimden birinde anlattığım gibi Giphy, Instagram veya Pinterest gibi web sitelerine oldu . Umalım da bu AnnTaylor'ın başına gelmesin.

Değerli URL'leri atlama

Daha önce de belirttiğim gibi site haritaları, Google'ın web sitenizi daha iyi anlamasına ve daha akıllıca taramasına yardımcı olur.

Ancak, birçok web sitesinin en değerli URL'lerini site haritalarına dahil etmediğini fark ettim .

İşte bir örnek.

İyi Okumalar

GoodReads için genel bir örneği ( site haritalarındaki tüm URL'lerden alınan ) kontrol ettim ve bunların yalnızca %35'inin dizine eklendiğini öğrendim.

Çok kaliteli bir site olduğunu bildiğim için çok şaşırdım. İncelemeleri okumak ve belirli bir kitabın okumaya değer olup olmadığını öğrenmek için GoodReads'i ziyaret eden tek kişinin ben olmadığımı biliyorum.

Ardından, kontrol ettiğimiz örneğin kitapların dahil olduğu hiçbir URL'sinin olmadığını gördüm. Bu yüzden tüm site haritalarını indirmeye karar verdim.

Sonuç: site haritalarında kitaplar içeren URL yok.  

Neden kötüye işaret?

Google'ın site haritalarında bulunan URL'lere öncelik verme ve bir şekilde ürün sayfalarını ziyaret etmeyi atlama riski vardır.

Sorumluluk Reddi: GoodReads bizim müşterimiz değil. Dolayısıyla teknik olarak, Google Arama Konsoluna gönderilen özel bir site haritasına sahip olmaları mümkündür.

<lastmod> parametresini aşırı kullanma

Site haritası dosyanıza ekleyebileceğiniz parametrelerden biri, bir sayfanın en son ne zaman güncellendiğini belirten <lastmod>'dur. Bu şekilde Google, yakın zamanda değişen URL'leri kolayca seçebilir.

Ancak, bazı web siteleri bu tekniği aşırı kullanır. Ve bunu yapmanın olumsuz etkileri olabilir, çünkü Google'ın yönergelerinde okuduğumuz gibi , " Google, tutarlı ve doğrulanabilir bir şekilde (örneğin, sayfanın son değişikliğiyle karşılaştırarak) doğruysa <lastmod> değerini kullanır."

<lastmod> parametresini aşırı kullanan bir site örneğine bakalım.

avon

Avon'un ürün site haritasına baktım ve listelenen tüm URL'ler aynı <lastmod> parametresine sahip – geçerli gün:

Avon'un tüm URL'lerinin günlük olarak değişmediğini varsaymak güvenlidir , bu nedenle Google, sayfalarını dizine eklemek konusunda isteksizdir.

Site haritaları içinde hazırlama ortamınıza bağlanma

Google'ın hazırlama URL'lerini dizine eklemesi oldukça yaygındır.  

Google'ın bu tür sayfalara bağlantıları nasıl bulduğu genellikle bir gizemdir. Ancak yaygın bir açıklama, bu URL'lerin doğrudan site haritalarından bağlanmasıdır.

Acehardware.com

acehardware.com'un o zamandan beri site haritalarını güncellediğini ve aşağıdaki hatayı düzelttiğini unutmayın.

İşte başlangıçta kontrol ettiğim bir örnek.

Gördüğünüz gibi, site haritalarından hazırlama sitesine bağlandıklarını buldum .

Hazırlama ortamınızı bir site haritasına dahil etmek neden kötü?

1. Google gereksiz URL'leri tarar.
2. Hazırlama URL'leri dizine eklenirse, belirli bir bilgi parçası arayan kullanıcıların kafasını karıştırır ve arama sonuçlarında bunlara rastlar.

Site haritalarında izlenecek en iyi uygulamalar

Bir web sitesi için site haritası oluştururken ve yönetirken kaçınılması gereken şeylere genel bakışımı gözden geçirdiniz.

Peki şimdi, izlemeniz gereken bazı uygulamalar nelerdir?

İşte önerdiğim en iyi uygulamalardan bazıları:

– Site haritalarınıza yalnızca standart URL'ler ekleyin.

– Maksimum site haritası boyutu 50.000 URL olmalıdır. Daha fazla URL'niz varsa, bunları daha küçük site haritalarına bölebilirsiniz.

– URL'lerinizdeki oturum kimliklerini site haritalarına dahil etmeyin – bu şekilde, verilen URL'lerin yinelenen taranmasını azaltabilirsiniz.

– Tutarlı ve eksiksiz URL'ler kullanın – göreli URL'ler yerine mutlak URL'ler ekleyin.

Bahsettiğim gibi, site haritalarınızın yalnızca değerli URL'ler içerdiğinden emin olun. Bir taramada bulunan herhangi bir URL'nin site haritanızda eksik olup olmadığını kontrol etmek için tam bir web sitesi taraması gerçekleştirebilirsiniz.

Konu site haritanızı optimize etmeye geldiğinde bu sadece buzdağının görünen kısmıdır – daha fazla öneri için XML site haritalarına yönelik nihai kılavuzumuzu okuyun.  

toparlamak

Site haritaları her web sitesi için değerlidir.

Yine de, listelediğim site örneklerinden de görebileceğiniz gibi, birçok popüler web sitesinin optimize edilmiş site haritaları yoktur, bu da bir bedeli vardır - dizin kapsamı büyük ölçüde etkilenir.

Ayrıca, site haritalarındaki SEO hatalarının, orta veya büyük bir web siteniz varsa çok önemli olan tarama bütçenizi olumsuz etkileyebileceğini unutmayın .

Umarım artık hangi hatalardan kaçınmanız gerektiğini biliyorsunuzdur ve Google'ın sitenizi daha verimli bir şekilde taramasına yardımcı olan ve daha iyi dizin kapsamı sağlayan bir site haritası oluşturma yolundasınız.