SEO için Noindex Etiketi için Nihai Kılavuz

Yayınlanan: 2022-02-14

Belirli sayfaların arama sonuçlarında görünmesini engellemek, indeksleme stratejinizin ayrılmaz bir parçasıdır .

Sitenizin dizine eklenmesini kontrol etmenin en önemli yöntemlerinden biri, meta robot etiketlerindeki veya x-robots etiketlerindeki noindex yönergesidir.

noindex etiketi, botlara, verilen sayfayı taramalarını ve üzerindeki bağlantıları izlemelerini istediğinizde bir sayfanın dizine eklenmemesi gerektiğini söylemek için kullanılabilir.

noindex yönergesinin yanlış uygulanması, içeriğinizin Google'ın dizininden etkin bir şekilde çıkarılmasına neden olabilir.

Bunun olmadığından emin olun – noindex etiketinin ne zaman kullanılacağını, nasıl uygulanacağını ve izlenecek en iyi uygulamaları öğrenmek için rehberimi takip edin.

İçindekiler gizle
1 noindex etiketi nedir?
1.1 Noindex vs nofollow
2 noindex etiketini ne zaman kullanmalısınız?
3 noindex etiketi nasıl uygulanır
3.1 noindex etiketini bir sayfanın HTML koduna ekleyin
3.1.1 Robot meta etiketlerinin artıları ve eksileri
3.2 Noindex etiketini HTTP başlıklarına ekleyin
3.2.1 Apache sunucusu
3.2.2 Nginx sunucusu
3.2.3 HTTP başlıklarını kullanmanın artıları ve eksileri
3.3 noindex etiketini uygulamanızı nasıl kontrol edebilirsiniz?
4 noindex etiketini kullanma hakkında daha fazla bilgi
5 noindex etiketlerini, robots.txt dosyalarını ve kurallı etiketleri karşılaştırma
5.1 Robots.txt dosyaları
5.2 Kanonik etiketler
6 Toplama

noindex etiketi nedir?

noindex etiketi, botların sitenizdeki belirli bir sayfaya veya dosyaya nasıl davranacağını kontrol etmek ve o sayfa veya dosyayı dizine eklemelerini durdurmak için kullanılan bir HTML etiketidir.

Bir robots meta etiketine bir noindex yönergesi ekleyerek arama motorlarına bir sayfayı dizine eklememelerini söyleyebilirsiniz – aşağıdaki kodu HTML'nin <head> bölümüne eklemeniz yeterlidir:

 <meta adı=”robotlar” içerik=”noindex”>

Alternatif olarak, noindex etiketi bir HTTP başlığına x-robots etiketi olarak eklenebilir :

 x-robots-tag: noindex

Googlebot gibi bir arama motoru botu, noindex etiketine sahip bir sayfayı taradığında, onu dizine eklemez. Sayfa daha önce dizine eklendiyse ve etiket daha sonra eklendiyse, diğer siteler ona bağlantı verse bile Google onu arama sonuçlarından çıkarır.

Genel olarak, arama motoru tarayıcılarının, uymaları gereken kurallardan ziyade öneriler olarak hizmet ettikleri için meta yönergeleri izlemeleri gerekmez . Bazı arama motoru tarayıcıları, robots meta değerlerini farklı yorumlayabilir.

Ancak, çoğu arama motoru tarayıcısı – Googlebot gibi – noindex yönergesine uyar.

Noindex vs nofollow

Google'ın desteklediği başka meta robot yönergeleri de vardır - en popüler olanları nofollow ve takiptir. Ancak, robots meta etiketi eklenmemişse takip etiketi varsayılan ayardır, bu nedenle Google bunu gereksiz görür .

Nofollow etiketi, arama motorlarının bir sayfadaki bağlantıları taramasını engeller. Sonuç olarak, o sayfanın sıralama sinyalleri, bağlantı verdiği sayfalara iletilmez.

noindex yönergesini tek başına kullanmak mümkündür, ancak diğer yönergelerle de birleştirilebilir. Örneğin, arama motoru botlarının bir sayfayı indekslemesini ve üzerindeki bağlantıları takip etmesini istemiyorsanız hem noindex hem de nofollow etiketi ekleyebilirsiniz .

Bir noindex etiketi uyguladıysanız, ancak sayfanız arama sonuçlarında görünmeye devam ediyorsa, etiket eklendiğinden beri Google'ın sayfayı taramamış olması muhtemeldir. Google'dan bir sayfayı yeniden taramasını istemek için URL Denetleme aracını kullanabilirsiniz.

noindex etiketini ne zaman kullanmalısınız?

Sayfaların Google tarafından dizine eklenmesini önlemek için noindex etiketini kullanmalısınız.

Google, web'de bulduğu her sayfayı taramak ve dizine eklemek için yeterli kaynağa sahip olmadığı için, daha az önemli sayfaları dizine eklenemez hale getirmek çok önemlidir. Aynı zamanda indekslenmesi gereken değerli sayfalarınızı belirlemeli ve optimizasyonlarına öncelik vermelisiniz.

Noindex etiketini dizine eklenemez hale getirmek için ne tür sayfalara uygulamanız gerektiğini görelim.

noindex etiketini şuraya yerleştirin:

  • Stokta olmayan ve bir daha kullanılamayacak ürünler için sayfalar.
  • Yinelenen içeriğe sahip sayfalar, genellikle e-Ticaret web sitelerinde baskındır. Ayrıca, arama motorlarını sayfalarınızın birincil sürümlerine yönlendirmek ve yinelenen içerik sorunlarını önlemek için standart etiketler kullanmanız önerilir.
  • Arama sonuçlarında erişilmemesi gereken sayfalar, örneğin hazırlama ortamları veya parola korumalı sayfalar.
  • Arama motorları için değerli ancak kullanıcılar için değerli olmayan sayfalar – botların diğer sayfaları keşfetmesine yardımcı olan bağlantılar içeren sayfalar gibi.

Sayfaları dizine eklenemez hale getirmek, iyi kurulmuş bir dizin oluşturma stratejisinin bir parçası olarak yapılmalıdır .

Noindex'i aşağıdakiler gibi değerli sayfalara asla dahil etmemelisiniz:

  • En popüler ürün sayfaları,
  • Blog makaleleri (eski değilse),
  • Hakkımda ve İletişim sayfaları,
  • Sunduğunuz hizmetleri açıklayan sayfalar.

Genel olarak, önemli miktarda organik trafik oluşturmasını beklediğiniz sayfalara hiçbir zaman noindex yerleştirmeyin.

noindex etiketi nasıl uygulanır

noindex etiketi, bir sitenin HTML koduna veya HTTP yanıt başlıklarına yerleştirilebilir.

Yoast gibi bazı CMS eklentileri , yayınladığınız sayfaları otomatik olarak noindexlemenize izin verir.

Adım adım iki temel uygulama yöntemini inceleyelim ve artılarını ve eksilerini analiz edelim.

noindex etiketini bir sayfanın HTML koduna ekleyin

noindex etiketi, bir sayfanın HTML'sinin <head> bölümünde bir robots meta etiketi olarak uygulanabilir.

Robot meta etiketleri , bir web sitesinin taranmasını ve dizine eklenmesini kontrol etmek için kullanılan kodlardır. Kullanıcılar onları göremez, ancak bir sayfayı tararken botlar onları bulur.

Kodun nasıl uygulanacağı aşağıda açıklanmıştır:

 <!DOCTYPE html>
<html>
<kafa>
<meta name="robotlar" content="noindex" >
</head>
<body>
</body>
</html>

Bir robots meta etiketinin nasıl yapılandırıldığını açıklayalım.

Bir meta etiketin içinde bir çift nitelik ve değer bulunur:

 <meta nitelik=”değer”>

Robots meta etiketinin iki özelliği vardır:

  • isim – arama motoru botlarının adını belirtir,
  • içerik – botlar için yönergeler içerir.

Her iki özellik de botların ne yapmasını istediğinize bağlı olarak farklı değerler gerektirir. Ayrıca, hem ad hem de içerik öznitelikleri büyük/küçük harfe duyarlı değildir.

name niteliği , bir yönergenin tüm botları hedeflediğini belirten tipik olarak "robotlar" değerini alacaktır .

Bunun yerine "googlebot" gibi belirli bir bot adını kullanmak da mümkündür, ancak bununla çok daha az karşılaşacaksınız. Farklı botlara hitap etmek istiyorsanız, her biri için ayrı meta etiketler oluşturmanız gerekecektir.

Arama motorlarının farklı amaçlar için farklı tarayıcıları olduğunu unutmayın – Google'ın tarayıcı listesine bakın.

Bu arada, içerik özelliği, botların izlemesi için yönergeyi içerir. Bizim durumumuzda, “noindex” dir. Buraya birden fazla değer koyabilir ve nitelikleri virgülle ayırabilirsiniz.

Robot meta etiketlerinin artıları ve eksileri

HTML yönteminin uygulanması ve değiştirilmesi, HTTP başlık yönteminden daha kolaydır. Ayrıca sunucunuza erişmenizi gerektirmez.

Ancak, noindex etiketini HTML'nize uygulamak zaman alabilir - noindex'e eklemek istediğiniz her sayfaya manuel olarak eklemeniz gerekir.

Noindex etiketini HTTP başlıklarına ekleyin

Başka bir çözüm, bir x-robots-etiketinde noindex yönergesini belirtmektir.

Bu, bir HTTP başlık yanıtının bir öğesidir. HTTP başlıkları, bir sunucu ve bir istemci (bir tarayıcı veya arama motoru botu) arasındaki iletişim için kullanılır.

HTTP web sunucunuzda yapılandırabilirsiniz. Apache, Nginx veya diğerleri gibi kullandığınız sunucuya bağlı olarak kod biraz farklı görünecektir.

İşte bir x-robots-tag'li bir HTTP yanıtının nasıl görünebileceğine dair bir örnek:

 HTTP/1.1 200 TAMAM
(…)
x-robots-tag: noindex
(…)

Apache sunucusu

Apache tabanlı bir sunucunuz varsa ve “.pdf” ile biten tüm dosyaları noindex olarak kullanmak istiyorsanız, yönergeyi .htaccess dosyasına eklemelisiniz .

İşte örnek kod:

 <Dosyalar ~ "\.pdf$">
Başlık seti x-robots-tag "noindex"
</Dosyalar>

Nginx sunucusu

Nginx tabanlı bir sunucunuz varsa , yönergeyi .conf dosyasına uygulayın :

 konum ~* \.pdf$ {
add_header x-robots etiketi "noindex";
}

HTTP başlıklarını kullanmanın artıları ve eksileri

HTTP başlıklarında noindex kullanmanın önemli bir avantajı, onu PDF dosyaları, videolar veya resimler gibi HTML sayfası olmayan web belgelerinde kullanabilmenizdir . Ayrıca bu yöntem, sayfanın belirli bir bölümünü hedeflemenize olanak tanır.

Ek olarak, x-robots-tag, normal ifadelerin ( RegEx ) kullanımını destekler. Başka bir deyişle, noindexlenmesi gereken sayfaları, ortak noktaları belirterek hedefleyebilirsiniz. Örneğin, belirli parametreler veya semboller içeren URL'lere sahip sayfaları hedefleyebilirsiniz.

Öte yandan, bir x-robots etiketi uygulamak için sunucunuza erişmeniz gerekir.

Etiket eklemek ayrıca teknik beceriler gerektirir ve bir web sitesinin HTML'sine robots meta etiketlerini eklemekten daha karmaşıktır.

noindex etiketini uygulamanızı nasıl kontrol edebilirsiniz?

Noindex veya diğer robots meta yönergelerinin uygulanıp uygulanmadığını kontrol etmek istiyorsanız, bir sayfaya nasıl eklendiklerine göre yapabilirsiniz.

Dolayısıyla, bir sayfanın HTML'sine noindex etiketi eklendiyse, kaynak kodunu kontrol edebilirsiniz, HTTP üstbilgileri için ise Chrome'daki Inspect seçeneğini kullanabilirsiniz . Bu araçlar, belirli bir sayfada hangi yönergelerin tanındığını size gösterecektir.

Diğer seçenekler arasında Google Search Console'un URL Denetleme aracına bir URL girme veya Bağlantı Yeniden Yönlendirme İzleme uzantısını kullanma yer alır.

noindex etiketini kullanma hakkında daha fazla bilgi

Noindex etiketinin kullanımına ilişkin bazı ek yönergeler ve özellikleriyle ilgili ayrıntılar:

  1. Kodunuza noindex eklemediğinizde, varsayılan seçenek, botların sayfanızı dizine eklemesidir .
  2. Doğru yerlere virgül koymak gibi koddaki hatalara dikkat edin – sözdizimi yanlışsa botlar komutlarınızı anlamaz.
  3. Etiketleri HTML kodunuza veya HTTP yanıt üstbilgilerine ekleyin, ancak ikisini birden eklemeyin. İlgili yerlerdeki direktifler birbiriyle çelişiyorsa, bunu yapmak ağırlıklı olarak olumsuz bir etkiye sahip olabilir. Bu durumda Googlebot, dizine eklemeyi sınırlayan yönergeyi seçecektir.
  4. Noindex'e benzer şekilde çalışacak ancak yalnızca belirli bir sayfadaki resimlerin dizine eklenmesini önleyecek bir noimageindex yönergesi kullanabilirsiniz.
  5. Bir süre sonra botlar noindex'i nofollow olarak da görüntülemeye başlar. Birçok kişi, noindex kullanarak sayfaların dizine eklenmesini devre dışı bırakır, ancak robotların bir sayfadaki bağlantıları taramaya devam etmesini sağlamak için bunu takip yönergesiyle birleştirir. Ancak Google, bir noindex, follow yönergesinin sonunda noindex, nofollow olarak değerlendirileceğini açıkladı çünkü bir noktada noindexed sayfalardaki bağlantıları taramayı bıraktılar. Sonuç olarak, bağlantı hedef sayfaları dizine eklenmeyebilir ve sıralamalarını olumsuz etkileyebilecek azalan sıralama sinyalleri alabilir.
  6. noindex'i robots.txt dosyalarında kullanmayın. Bu ve diğer bazı kurallar resmi olarak desteklenmese de, arama motoru botları robots.txt dosyalarında noindex yönergelerini izledi. Ancak Google, Eylül 2019 itibarıyla, noindex gibi robots.txt dosyalarında desteklenmeyen ve yayınlanmamış kuralları işleyen kodu Eylül 2019'da kullanımdan kaldırdığını duyurdu.

Noindex etiketlerini, robots.txt dosyalarını ve kurallı etiketleri karşılaştırma

noindex etiketleri, robots.txt dosyaları ve kurallı etiketler birbiriyle ilişkilidir – sayfaların taranmasını ve/veya dizine eklenmesini kontrol etmek için kullanılabilirler .

Ancak, onları farklı durumlarda uygun kılan bazı ayırt edici özelliklere sahiptirler.

Noindex etiketlerinin bir web sitesindeki belirli sayfaların dizine eklenmesi gerekip gerekmediğini kontrol ettiğini ve sayfa düzeyinde çalıştıklarını belirledik .

Bunun robots.txt dosyaları ve kurallı etiketlerle nasıl karşılaştırıldığına bakalım.

Robots.txt dosyaları

Robots.txt dosyaları , arama motoru botlarının web sitenizin bölümlerini bir dizin düzeyinde nasıl taradığını kontrol etmek için kullanılabilir.

Özellikle robots.txt dosyaları, arama motoru botları için davranışlarına "izin vermemeye" veya "izin vermeye" odaklanan yönergeler içerir. Botlar yönergeyi takip ederse, izin verilmeyen sayfaları taramazlar ve sayfalar dizine eklenmez.

Robots.txt yönergeleri, bir web sitesinin tarama bütçesinden tasarruf etmek için yaygın olarak kullanılır .

noindex etiketlerini uygularken ve robots.txt dosyalarında kuralları ayarlarken dikkatli olun. Bir noindex yönergesinin etkili olması için, verilen sayfanın taramaya açık olması gerekir, yani robots.txt dosyası tarafından engellenemez.

Tarayıcı sayfaya erişemezse noindex etiketini görmez ve buna saygı duymaz. Sayfa daha sonra taranabilir ve arama sonuçlarında görünebilir - örneğin, başka sayfalar ona bağlantı veriyorsa.

Bir sayfayı noindex oluşturmak için robots.txt dosyasında taranmasına izin verin ve dizine eklenmesini engellemek için bir noindex meta etiketi kullanın – Googlebot daha sonra noindex yönergesini izleyecektir.

kanonik etiketler

Kanonik etiketler , arama motorlarına benzer birkaç sayfadan hangisinin birincil sürüm olduğunu ve dizine eklenmesi gerektiğini bildiren HTML öğeleridir . İkincil sayfalara yerleştirilirler ve kurallı URL'yi belirtirler - sonuç olarak, bu ikincil sayfalar dizine dahil edilmemelidir.

Standart etiketler, standart olmayan sayfaların dizine eklenmesini sınırlayabilir, ancak Google bu etiketlere her zaman uymaz . Örneğin, Google başka bir sayfaya daha fazla bağlantı bulursa, bunu belirtilen standart URL'den daha önemli olarak değerlendirebilir ve birincil sürüm olarak kabul edebilir.

Ayrıca, kurallı etiketler yalnızca tarama sırasında botlar tarafından keşfedilebilir. Robots.txt dosyalarının aksine, bir sayfanın taranmasını durdurmak için kullanılamazlar.

Kurallı etiketler ve noindex etiketleri arasındaki hayati bir fark, kurallı sayfaların sıralama sinyallerini tek bir URL altında birleştirmesidir. Bu arada, dizine eklenmemiş sayfalar sıralama sinyallerini geçemezler ki bu da dahili bağlantı için hayati önem taşır – bağlantı verdikleri URL'lere sıralama sinyallerini iletmezler.

toparlamak

Düşük kaliteli sayfaları dizine eklenemez hale getirmek, dizin oluşturma stratejinizi optimize etmek için SEO'nun en iyi uygulamalarından biridir ve noindex meta etiketini kullanmak, bir sayfayı Google dizininin dışında tutmanın en uygun yollarından biridir .

Etiketi kullanarak, önemsiz sayfaların dizine eklenmesini engelleyebilir ve ardından arama motoru tarayıcılarının en değerli içeriğinize odaklanmasına yardımcı olabilirsiniz.

Web sitenizin verimli bir şekilde taranması ve dizine eklenmesi, değerli sayfaların sitenize çekebileceği organik trafikten en iyi şekilde yararlanmanın anahtarıdır. Dizine ekleme süreci hakkında daha fazla bilgi edinmek için, bir sonraki SEO dizini oluşturma kılavuzumuzu okuduğunuzdan emin olun !