SEO 101 Dizin Oluşturma: Web Siteniz İçin Dizin Oluşturma Stratejisi Nasıl Oluşturulur
Yayınlanan: 2021-12-14Arama motorları web sitenizdeki tüm sayfaları dizine eklememelidir.
Sitenizdeki her şeyin harika olduğunu düşünseniz bile, çoğu web sitesinde arama sonuçlarında yer almayan tonlarca sayfa vardır. Arama motorlarının bu sayfaları dizine eklemesine izin verirseniz, olumsuz sonuçlarla karşılaşabilirsiniz.
Bu yüzden siteniz için bir indeksleme stratejisine ihtiyacınız var . Anahtar unsurları şunlardır:
- Arama motorlarının hangi sayfaları indekslemesini istediğinize karar vermek ve indekslenme şanslarını en üst düzeye çıkarmak için uygun yöntemleri kullanmak,
- Potansiyel arama görünürlüğünüzü sınırlamadan, hangi sayfaların dizine eklenmeyeceğine ve bunların aramadan nasıl hariç tutulacağına karar vermek.
Hangi sayfaların dizine eklenip eklenmeyeceğine karar vermek zordur. Belirli sayfalar için bazı yönergeler ve ipuçları bulabilirsiniz, ancak genellikle kendi başınıza kalırsınız.
Ve bu sayfaları arama sonuçlarından çıkarmak için uygun yöntemleri seçmek daha da fazla düşünmeyi gerektirir. Noindex etiketini mi yoksa kurallı etiketi mi kullanmalısınız, sayfayı robots.txt'de mi engellemelisiniz yoksa kalıcı bir yönlendirme mi kullanmalısınız?
Bu makale, web siteniz için özel bir dizin oluşturma stratejisi oluşturmanıza olanak sağlayacak karar verme sürecini özetleyecektir .
Önerdiğim mantığa uymayan uç durumlarla karşılaşabilirsiniz, ancak aşağıda altı çizilen süreç, vakaların ezici çoğunluğunda size harika sonuçlar verecektir.
Neden bazı sayfalar dizine eklenmemeli?
Arama motorlarının tüm sayfalarınızı dizine eklemesini istememenizin iki ana nedeni vardır:
- Tarama bütçesini optimize etmeye yardımcı olur,
- Dizine eklenebilen çok sayıda düşük kaliteli içerik, arama motorlarının web sitenizi görme biçimine zarar verebilir.
Tarama bütçenizi optimize edin
Arama motorları botları, belirli bir web sitesinde sınırlı sayıda sayfayı tarayabilir. İnternet sonsuz büyüklüktedir ve her şeyi taramak, arama motorlarının sahip olduğu kaynakları aşacaktır.
Arama motoru botlarının web sitenizi taramak için harcadığı zaman ve kaynak miktarına tarama bütçesi denir. Tarama bütçesini düşük kaliteli sayfalara harcarsanız, gerçekten dizine eklenmesi gereken en değerli olanlar için yeterli olmayabilir.
Hangi sayfaların dizine eklenmesini istediğinize karar vermek için zaman ayırarak, tarama bütçenizi optimize edebilir ve arama motoru botlarının kaynaklarını daha az önemli sayfalarda boşa harcamamasını sağlayabilirsiniz.
Tarama bütçenizi optimize etme hakkında daha fazla bilgi edinmek istiyorsanız, Tarama Bütçesi Optimizasyonu için Nihai Kılavuzumuza göz atın.
Düşük kaliteli içeriğin web sitenize zarar vermesine izin vermeyin
Arama motorları, çok sayıda düşük kaliteli içeriğiniz olduğunu fark ederse, web sitenizi sık sık taramayı bırakmaya karar verebilirler.
Tomek Rudzki, Ultimate Guide to Indexing SEO'sunda buna “ ortak sorumluluk ” adını verdi .
Bu bir kısır döngü:
- Google, düşük kaliteli sayfaları tarar.
- Google, web sitesini sık sık ziyaret etmeyi bırakır.
- Çoğu sayfa, yüksek kaliteli sayfalar olsa bile Google tarafından taranmaz.
- Dizine eklenmemiş değerli sayfalar var.
Bu, sıralama, tarama ve dizine eklemenin birbiriyle nasıl bağlantılı olduğunu gösterir.
kaynak: Tomasz Rudzki
İndekslemeyi kontrol etme yöntemleri
Sayfalarınızın dizine eklenmesini kontrol etmek için kullanabileceğiniz çeşitli yöntemler vardır:
- Noindex robotları meta etiketi,
- robots.txt'deki yönergeye izin verme,
- kanonik etiket,
- Kalıcı yönlendirme,
- XML site haritası.
Yukarıdaki yöntemlerin her birinin kendi kullanımı ve işlevi vardır.
Noindex robotları meta etiketi
<meta name="robotlar" content="noindex">Yukarıdaki yönergeyi sayfanızın HTML <head> bölümüne eklerseniz, arama motoru botları onu dizine almamaları gerektiğini anlayacaktır. Sayfanın arama motorlarının sonuç sayfasında görünmesini engeller.
Sayfanın dizine eklenmesini istemiyorsanız, ancak yine de arama motoru botlarının sayfanızı taramasını ve örneğin o sayfadaki bağlantıları takip etmesini istiyorsanız bu etiketi kullanmalısınız.
robots.txt dosyasındaki yönergeye izin verme
Kullanıcı aracısı: * İzin verme: /example/page.html
robots.txt dosyasındaki izin vermeme yönergesi, arama motorlarının sayfaya erişimini engellemenize olanak tanır. Bir arama motoru botu yönergeye uyarsa, izin verilmeyen sayfaları taramaz ve sonuç olarak bunlar dizine eklenmez.
Disallow yönergesi taramayı kısıtladığından, bu yöntem tarama bütçenizden tasarruf etmenize yardımcı olabilir.
Not: Disallow yönergesi, hassas sayfalarınıza erişimi engellemenin uygun bir yolu değildir. Kötü amaçlı botlar robots.txt dosyasını yok sayar ve içeriğe erişmeye devam edebilir. Bazı sayfaların tüm botlar tarafından erişilebilir olmadığından emin olmak istiyorsanız, onları bir şifre ile engellemek daha iyidir.
kanonik etiket
<link rel="canonical" href="https://www.example.com/page.html">Kurallı etiket, arama motorlarına hangi yinelenen URL'lerin orijinal olduğunu söyleyen bir HTML öğesidir.
Kurallı etiketi kullanarak, bir sayfanın tam olarak hangi sürümünün dizine eklenmesini ve arama sonuçlarında görünmesini istediğinizi belirtirsiniz. Kurallı etiket olmadan, sayfanızın hangi sürümünün dizine ekleneceği üzerinde hiçbir kontrolünüz yoktur.
Arama motoru botlarının standart etiketi keşfetmek için yine de sayfayı taraması gerekir, bu nedenle onu kullanmak tarama bütçenizden tasarruf etmenize yardımcı olmaz.
Kalıcı yönlendirme
301 yönlendirmesi, kalıcı bir yönlendirmeyi belirten bir HTTP yanıt kodudur. İstenen sayfanın yeni bir konuma sahip olduğunu ve eski sayfanın sunucudan kaldırıldığını belirtir.
301 yönlendirmesi kullandığınızda, kullanıcılar ve arama motoru botları eski URL'ye erişemez. Bunun yerine, trafik ve sıralama sinyalleri yeni sayfaya yönlendirilecektir.
301 yönlendirmesini kullanmak, tarama bütçesinden tasarruf etmek için iyi bir yöntemdir. Web sitenizde bulunan sayfaların sayısını azaltıyorsunuz, bu nedenle arama motoru botlarının taranacak daha az içeriği var.
Yalnızca ilgili bir sayfaya yönlendirmeniz gerektiğini unutmayın. İlgisiz bir sayfaya yönlendirme, kullanıcıların kafasını karıştırabilir. Ek olarak, arama motorları botları yönlendirmeyi takip etmeyebilir ve sayfayı bir soft 404 olarak değerlendirebilir.
XML Site Haritaları
XML site haritası, arama motorlarının dizine eklemesini istediğiniz URL'leri listeleyen bir metin dosyasıdır. Amacı, arama motoru botlarının ilgilendiğiniz sayfaları kolayca bulmasına yardımcı olmaktır.
İyi optimize edilmiş bir site haritası, arama motorlarını yalnızca değerli sayfalarınıza yönlendirmekle kalmaz, aynı zamanda tarama bütçenizden tasarruf etmenize de yardımcı olur. Onsuz, değerli içeriğinizi keşfetmek için botların tüm siteyi taraması gerekir.
Bu nedenle site haritaları, web sitenizdeki yalnızca dizine eklenebilir URL'leri listelemelidir. Bu, site haritasına koyduğunuz sayfaların şöyle olması gerektiği anlamına gelir:
- kanonik,
- noindex robots meta etiketi tarafından engellenmemiştir ve
- robots.txt dosyasındaki izin vermeme yönergesi tarafından engellenmemiş,
- 200 durum koduyla yanıt verme.
XML Site Haritaları için Ultimate Kılavuzumuzda site haritalarını optimize etme hakkında daha fazla bilgi edinebilirsiniz .
Hangi sayfaların dizine eklenip eklenmeyeceğine nasıl karar verilir?
Hangi sayfaların dizine eklenip eklenmeyeceğine karar vermenize yardımcı olmak için, yanıtlamanız gereken tüm temel soruları içeren bir karar ağacı oluşturdum.
Resmi tam boyutta görüntüleyin.
Yukarıda da görebileceğiniz gibi, temel soru şudur: Bu sayfa herkes için değerli midir?
Bu sorunun olası üç yanıtı var:
- Sayfa, arama motoru kullanıcıları (ve arama motorları) için değerlidir,
- Sayfa arama motorları için değerlidir,
- Sayfa kimse için değerli değildir.
Sonuç olarak, yalnızca kullanıcılar için değerli olan sayfaların dizine eklenmesi gerekir. Ancak, o kategoride bile dizine alınmaması gereken sayfa türleri vardır.
Hadi parçalayalım.
Kullanıcılar için değerli sayfalar
Bir sayfa, aramalarına bir yanıt sağlıyorsa veya cevaba gitmelerine izin veriyorsa, arama motoru kullanıcıları için değerlidir.
Çoğu durumda, bir sayfa kullanıcılar için değerliyse, dizine eklenmelidir. Ancak yine de bir sayfanın kullanıcılar için değerli olduğu ancak dizine eklenmemesi gereken bir durum olabilir.
Dizine eklenmesi gereken kullanıcılar için değerli sayfalar
Aşağıdaki durumlarda bir sayfa dizine eklenmelidir:
- Trafik getiren yüksek kaliteli, benzersiz içerik sağlar,
- Farklı bir yüksek kaliteli sayfanın (varsa) alternatif bir dil sürümüdür.
Yüksek kaliteli, benzersiz içerik
Sitenize trafik getiren yüksek kaliteli, benzersiz sayfalar kesinlikle site haritanıza gelmelidir. Bunları robots.txt dosyasında engellemediğinizden ve noindex meta robots etiketine sahip olmadıklarından emin olun.
İşletmeniz için en değerli sayfalara özellikle dikkat edin . Genellikle en çok dönüşümü sağlayanlar onlar. Şuna benzer sayfalar:
- ana sayfa,
- Hakkımızda ve iletişim sayfaları,
- Verdiğiniz hizmetle ilgili bilgilerin yer aldığı sayfalar,
- Uzmanlığınızı gösteren blog makaleleri,
- Belirli öğelere sahip sayfalar (e-Ticaret ürünleri gibi),
her zaman indekslenebilir olmalı ve indekslemelerini düzenli olarak izlemelisiniz.
Alternatif dil sürümü
Çevrilmiş içerik, arama motorları tarafından kopya olarak değerlendirilmez. Aslında, arama motorları, farklı ülkelerdeki kullanıcılara en uygun sürümü sunmak için birden fazla dil sürümünüz olup olmadığını bilmek ister.
Bir sayfanın alternatif bir dil versiyonuna sahipseniz, bunu bir hreflang etiketi ile belirtmeli ve sayfayı site haritanıza eklemelisiniz.
Site haritanızda, HTML'nizde veya her ikisinde hreflang etiketlerini belirtebilirsiniz. Site haritalarında kullanılan Hreflang etiketleri, arama motoru açısından gayet iyi. Ancak, SEO araçları veya tarayıcı eklentileri ile doğrulamaları zor olabilir. Bu nedenle, etiketi eklemenin önerilen yolu, HTML kodunda ve site haritasında veya yalnızca HTML kodundadır.
Her sayfanın kendi dili de dahil olmak üzere tüm dil sürümlerini belirtmesi gerektiğini unutmayın .
Dizine eklenmemesi gereken, kullanıcılar için değerli sayfalar
Bazı durumlarda sayfalar kullanıcılar için değerli olabilir, ancak yine de dizine eklenmemeleri gerekir. Durumlar şunları içerir:
- Yinelenen veya yinelenene yakın içerik,
- Arama talebi olmayan sayfalar.
Farklı bir sayfanın kopyası veya neredeyse kopyası
Arama motoru botları, aşağıdaki durumlarda bir sayfanın kopyalandığını veya neredeyse kopyalandığını düşünebilir:
- İki veya daha fazla farklı URL aynı sayfaya yönlendiriyor,
- İki farklı sayfa çok benzer içeriğe sahip.
Yinelenen içeriğin en yaygın örneklerinden biri, e-ticaret sitelerindeki filtrelenmiş kategori sayfalarıdır. Kullanıcılar, ürünleri daraltmak ve aradıklarını daha hızlı bulmak için filtreler uygulayabilir. Ne yazık ki, uygulanan her filtre, parametreleri URL'ye kaydederek aynı sayfaya yönlendiren birden çok URL oluşturabilir.
Örneğin, store.com/dresses/item ve store.com/dresses/item?color=yellow aynı içeriğe işaret edebilir.
Yinelenen veya neredeyse yinelenen içeriğin diğer nedenleri şunları içerir:
- Mobil ve masaüstü sürümleri için farklı URL'lere sahip olmak,
- Web sitenizin basılı bir versiyonuna sahip olmak veya
- Yanlışlıkla yinelenen içerik oluşturma.
Dizine eklenebilir yinelenen içeriğe sahip olmanın riskleri şunları içerir:
- Arama sonuçlarında hangi sürümün görünebileceği üzerinde hiçbir kontrole sahip olmamak. Örneğin, basılı ve normal sürümleriniz varsa, arama motorları aramada basılı sürümü gösterebilir.
- Sıralama sinyallerini birden çok URL arasında bölme.
- Arama motorlarının taraması gereken URL'lerin sayısını önemli ölçüde artırmak.
- Arama motorları sıralamayı değiştirmek istediğinize karar verirse SERP'lerdeki konumunuzu düşürmek (nadir bir sonuç).
Yinelenen içeriğe sahip olmanın olumsuz sonuçlarından kaçınmak için, onu birleştirmeyi hedeflemelisiniz . Bunu yapmanın ana yolları, kurallı etiketleri ve 301 yönlendirmelerini içerir.
Tüm sayfaların kullanıcılara açık olması gerekiyorsa, standart etiketler en iyi seçenektir.
Sitenizde bulunması gereken yinelenen içeriğe bir örnek, Kullanıcı Deneyimini iyileştiren içeriktir. Örneğin, kullanıcılar bir e-ticaret sitesindeki ürünleri filtrelediğinde, onları yeniden yönlendirmek, ani bir kırıntı değişikliği gibi çeşitli nedenlerle kafa karıştırıcı olabilir.
Ayrıca, farklı cihazlar için farklı sürümleriniz olduğunda sitenizde yinelenen içeriğin olması gerekebilir.
301 yönlendirmesi ile sitenizdeki sayfalardan yalnızca biri kullanılabilir durumda kalır. Gerisi otomatik olarak yönlendirilecektir.
Bir 301 yönlendirmesi, örneğin, birbirine çok benzeyen iki blog yayınınız olduğunda ve yalnızca birinin sitenizde kalması gerektiğine karar verdiğinizde yardımcı olabilir. 301 durum kodu, trafiği ve sıralama sinyallerini seçtiğiniz makaleye yönlendirecektir. Tarama bütçenizi optimize etmek için mükemmel bir yöntemdir, ancak bunu yalnızca yinelenen sayfayı kaldırmak istediğinizde kullanabilirsiniz.
Kalıcı yönlendirmeler kullandığınızda site haritanızda değişiklik yapmayı unutmayın. Site haritanıza yalnızca 200 durum koduyla yanıt veren sayfaları koymalısınız. Bu nedenle, içeriği birleştirmek için 301 yönlendirmesini kullanıyorsanız, site haritasında yalnızca web sitenizde kalan sürüm kalmalıdır.
Arama talebi olmayan sayfalar
Sitenizde herhangi bir arama talebi olmayan iyi içerikler olabilir. Başka bir deyişle, kimse onu aramıyor. Bu, niş bir hobi hakkında yazarken veya örneğin kullanıcılarınız için bir "teşekkür ederim" notu içeren sayfalarınız olduğunda olabilir.
Bu sayfalar trafik veya dönüşüm getirmeyebilir. Belki de, kullanıcıların yolculuklarını tamamladıkları için onlardan ayrılmak istiyorsunuz, ancak bunların, kullanıcıların arama sonuçlarında gördüğü ilk şey olmasını istemiyorsunuz.
Kullanıcıların arama sonuçlarında belirli bir sayfayı görmemesi gerektiğini düşünüyorsanız veya sayfa hiç trafik getirmiyorsa, onu dizine eklemenize gerek yoktur. Bu şekilde, arama motoru botları size gerçekten trafik sağlayan sayfalara odaklanabilir.
Arama talebi olmayan bir sayfanın dizine eklenmesini engellemek için noindex meta robots etiketini kullanın. Botlar onu dizine eklemez, ancak yine de onu tarar ve o sayfadaki bağlantıları takip ederek onlara web siteniz hakkında daha fazla bağlam verir.
Yalnızca arama motorları için değerli sayfalar
Tüm sayfalar kullanıcılara yardımcı olmayı amaçlamaz. Bazıları, arama motorlarının web siteniz hakkında bilgi edinmesine ve bağlantıları keşfetmesine yardımcı olur.
Bu LinkedIn sayfasına bir göz atın :
Tüm kullanıcıların profillerini listeleyerek arama motorlarının tüm bağlantıları bulmasını kolaylaştırır.
Bir yandan, bunun gibi sayfalar kullanıcıların kafasını karıştırabilir ve sitede kalmalarını engelleyebilir. Onlar için değerli değillerdir, bu nedenle arama sonuçlarında görünmemeli ve dizine eklenmemelidirler.
Öte yandan, arama motorları için faydalıdırlar - dahili bağlantınızı güçlendirirler.
Bu nedenle en iyi çözüm, noindex meta robots etiketlerini uygulamak, bu sayfaları site haritanızın dışında bırakmak ve robots.txt dosyasında gezinmelerine izin vermektir. Dizine eklenmeyecekler, ancak botlar onları tarayacak.
Sayfalar kimse için değerli değil
Bazı sayfalar, kullanıcılar veya arama motorları için değerli değildir.
Bazılarının yasalarca sitenizde bulunması zorunludur, örneğin gizlilik politikası, ancak dürüst olalım – kimse bu tür içeriği aramıyor. Elbette onları kaldıramazsınız, ancak indekslenmelerine gerek yoktur çünkü kimse onları bulmak istemez. Bazı durumlarda, daha değerli içeriği geride bırakabilir ve trafiği "çalabilir".
Değeri olmayan sayfalar ayrıca ince, düşük kaliteli içerik içerir. Kullanıcıların ve arama motorlarının sitenizin genel kalitesini algılama biçimine zarar verebileceğinden bunlara özellikle dikkat etmelisiniz. Daha fazla bilgi için Düşük kaliteli içerik web sitenize zarar verebilir bölümüne bakın.
En önemlisi, değeri olmayan sayfaların noindex meta robots etiketine sahip olduğundan emin olmanız gerekir . Dizine eklenmesini engellemezseniz, sıralamanıza zarar verebilir ve kullanıcıları web sitenizi ziyaret etmekten caydırabilirler.
Ek olarak, tarama bütçenizi optimize etmek istiyorsanız, robots.txt dosyasında bu sayfaları engelleyin ve bunlara işaret eden dahili bağlantıları kaldırın. Bu, daha değerli sayfalar için tarama bütçesinden tasarruf etmenize yardımcı olacaktır.
toparlamak
Hangi sayfalarınızın dizine eklenmesi ve hangilerinin dizine alınmaması gerektiğini bilmek ve bunu arama motoru botlarına iletmek, sağlam bir dizin oluşturma stratejisi oluşturmak için çok önemlidir.
Web sitenizin doğru şekilde taranma ve dizine eklenme şansını en üst düzeye çıkaracak ve kullanıcılarınızın tüm değerli içeriğinizi arama sonuçlarında bulmasını sağlayacaktır.
İndeksleme stratejinizi oluştururken aklınızda bulundurmanız gereken önemli noktalar şunlardır:
- Bir sayfanın dizine eklenip eklenmeyeceğine karar verirken, kendinize bu sayfanın kullanıcılar için değeri olan benzersiz içeriği olup olmadığını sorun. Benzersiz, değerli sayfaların noindex meta robots etiketleri tarafından dizine eklenmesi veya robots.txt disallow yönergeleri kullanılarak taranması engellenmemelidir.
- Düşük kaliteli içeriğiniz dizine eklenebilirse, sıralamanızı olumsuz etkileyebilir ve değerli sayfalarınızı dizine eklenmeme riskine sokabilir.
- Sitenizde yinelenen veya kopyaya yakın içerik varsa, bunu bir kurallı etiket veya 301 yönlendirmesi ile birleştirmelisiniz.
- Bir sayfanın arama talebi yoksa, dizine eklenmesi gerekmez - meta robots etiketindeki noindex'i kullanın.
- Yalnızca arama motorları için değerli olan içerik veya bağlantılar içeren sayfaların, noindex meta robots etiketi kullanılarak dizine eklenmesi engellenmelidir, ancak bunların robots.txt dosyasında taranmasını engellemeyin.
- Belirli bir sayfayı ziyaret etmekten ne kullanıcılar ne de arama motorları yararlanmıyorsa, meta robots etiketinde sayfa noindex olarak ayarlanmalıdır.
- Aynı sayfanın birden çok alternatif dil sürümüne sahipseniz, bunları dizine eklenebilir durumda tutun. Arama motorlarının bu sayfaların nasıl ilişkili olduğunu anlamasına yardımcı olmak için hreflang etiketini kullanın.