Robots.txt Tarafından Engellenmesine rağmen Dizine Eklendi: Bilmeniz Gereken Her Şey

Web sitenizde Google'ın dizine eklediği ancak tarayamadığı sayfalarınız varsa, Google Arama Konsolunuzda (GSC) “İndekslendi, Robots.txt Tarafından Engellendi” mesajı alırsınız.

Google bu sayfaları görüntüleyebilirken, onları hedef anahtar kelimeleri için arama motoru sonuç sayfalarının bir parçası olarak göstermez.

Bu durumda, bu sayfalar için organik trafik alma fırsatını kaçıracaksınız.

Bu özellikle, yalnızca bu sorunla karşılaşmak üzere aylık binlerce organik ziyaretçi üreten sayfalar için çok önemlidir.

Bu noktada, muhtemelen bu hata mesajıyla ilgili birçok sorunuz var. Neden aldın? Nasıl oldu? Ve daha da önemlisi, zaten iyi sıralamaya sahip bir sayfanın başına böyle bir şey gelirse, bunu nasıl düzeltebilir ve trafiği nasıl kurtarabilirsiniz.

Bu gönderi, tüm bu soruları yanıtlayacak ve bu sorunun sitenizde tekrar olmasını nasıl önleyeceğinizi gösterecektir.

Sitenizde Bu Sorun Varsa Nasıl Anlaşılır?

Normalde, Google'dan sitenizdeki bir "dizin kapsamı sorunu" hakkında sizi bilgilendiren bir e-posta almalısınız. İşte e-postanın nasıl göründüğü:

E-posta, etkilenen sayfaların veya URL'nin tam olarak ne olduğunu belirtmez. Kendinizi bulmak için Google Arama Konsolunuza giriş yapmanız gerekecek.

Bir e-posta almadıysanız, sitenizin mükemmel durumda olduğundan emin olmak için yine de kendiniz görmeniz en iyisidir.

GSC'ye giriş yaptıktan sonra, İndeks altında Kapsama'ya tıklayarak İndeks Kapsamı Raporuna gidin. Ardından, bir sonraki sayfada, GSC tarafından bildirilen sorunları görmek için aşağı kaydırın.

“İndekslendi, Robots.txt Tarafından Engellendi”, “Uyarı ile Geçerli” altında etiketlendi. Bu, URL'de kendi başına yanlış bir şey olmadığı anlamına gelir, ancak arama motorları, sayfaları arama motoru sonuçlarında göstermez.

Sitenizde Neden Bu Sorun Var (ve Nasıl Düzeltilir)?

Bir çözüm düşünmeye başlamadan önce, öncelikle hangi sayfaların dizine eklenmesi gerektiğini ve arama sonuçlarında görünmesi gerektiğini bilmelisiniz.

"Robots.txt Tarafından Engellenmesine Rağmen Dizine Eklendi" sorunuyla GSC'de gördüğünüz URL'lerin sitenize organik trafik çekmesi amaçlanmayabilir. Örneğin, ücretli reklam kampanyalarınızın açılış sayfaları. Bu nedenle sayfaları düzeltmek zaman ve çabanıza değmeyebilir.

Sayfalarınızdan bazılarında bu sorunun olmasının nedenleri ve bunları düzeltmeniz gerekip gerekmediği aşağıda açıklanmıştır:

Sayfanızın HTML'sindeki Robots.txt ve Noindex Meta Etiketinizde Kurala İzin Verme

Bu sorunun ortaya çıkmasının en yaygın nedeni, sizin veya sitenizi yöneten birinin sitenizin robots.txt dosyasında söz konusu URL için İzin Verme kuralını etkinleştirmesi ve aynı URL'ye noindex meta etiketi eklemesidir.

İlk olarak, site sahipleri, site URL'lerinizi nasıl ele alacakları konusunda arama motoru tarayıcılarını bilgilendirmek için robots.txt dosyasını kullanır. Bu durumda, web sitenizin robots.txt dosyasına sitenizin sayfalarında ve klasörlerinde İzin Verme Kuralını eklediniz.

Sitenizin robots.txt dosyasını açtığınızda şunları görebilirsiniz:

Kullanıcı aracısı: * İzin verme: /

Yukarıdaki örnekte, bu kod satırı, tüm web tarayıcılarının (*) site sayfalarınızı taramasını engeller (İzin Verme), ana sayfanızı içerir (/). Sonuç olarak, tüm arama motorları site sayfalarınızı ne tarar ne de dizine ekler.

Robots.txt dosyasını web tarayıcılarını (Googlebot, msnbot, magpie-crawler vb.) ayırmak ve tarayıcıların dokunmasını istemediğiniz sayfa veya sayfaları (/page1, /page2, /page3, vb.) belirlemek için düzenleyebilirsiniz. ).

Ancak, sunucunuza kök erişiminiz yoksa, arama motoru botlarının noindex etiketini kullanarak site sayfalarınızı dizine eklemesini engelleyebilirsiniz.

Bu yöntem, robots.txt'deki izin vermeme kuralıyla aynı etkiye sahiptir. Ancak SERP'lerde görünmesini engellemek istediğiniz sitenizdeki farklı sayfaları ve klasörleri bir robots.txt dosyasında listelemek yerine, sitenizin istemediğiniz her sayfasına noindex meta etiketini girmeniz gerekir. arama sonuçlarında görünmek için

Bu, önceki yönteme göre çok daha fazla zaman alan bir işlemdir, ancak hangi URL'yi engelleyeceğiniz konusunda size daha ayrıntılı kontrol sağlar. Bu aynı zamanda sizin açınızdan daha düşük bir hata payı olduğu anlamına gelir.

Düzeltme: Yine, GSC'deki sorun, sitenizdeki sayfaların robots.txt dosyasında izin vermeme kuralına ve bir noindex etiketine sahip olması durumunda ortaya çıkar.

Arama motorlarının bir sayfayı indeksleyip indekslemeyeceğini bilmesi için sitenizden onu tarayabilmesi gerekir. Ancak arama motorlarının robots.txt'niz üzerinden bunu yapmasını engellerseniz, o sayfayla ne yapacağını bilemez.

Robots.txt ve noindex etiketini birbirini tamamlayacak ve rekabet etmeyecek şekilde kullanarak, siteniz, sayfalarını işlerken arama motoru botlarının izlemesi için çok daha net ve daha doğrudan kurallara sahip olacaktır.

Bunu yapmak için robots.txt dosyanızı düzenlemelisiniz. WordPress site sahipleri için Yoast SEO veya Rank Math gibi bir robots.txt düzenleyicisi ile SEO eklentileri kullanmak en uygunudur.

Robots.txt sizin tarafınızdan yazılabilir değilse, dosya ve klasörlerinizde izin değişiklikleri yapmak için barındırma sağlayıcınızla iletişime geçmelisiniz.

Başka bir yol da FTP istemcinizde veya barındırma sağlayıcınızın Dosya Yöneticisinde oturum açmaktır. Bu, geliştiriciler arasında tercih edilen yöntemdir, çünkü diğer şeylerin yanı sıra dosyayı nasıl düzenleyecekleri üzerinde tam kontrole sahiptirler.

Yanlış URL Biçimi

Sitenizdeki tam anlamıyla "sayfa" olmayan URL'ler, "Robots.txt Tarafından Engellenmiş Olsa da Dizine Eklendi" mesajını alabilir.

Örneğin, https://example.com?s=what+is+seo, "seo nedir" sorgusu için arama sonuçlarını gösteren bir site sayfasıdır. Bu URL, arama özelliğinin site genelinde etkinleştirildiği WordPress sitelerinde yaygındır.

Düzeltme: URL'nin zararsız olduğu ve arama trafiğinizi derinden etkilemediği varsayıldığında, normalde bu sorunu çözmenize gerek yoktur.

Dizine Eklenmesini İstemediğiniz Sayfaların Dahili Bağlantıları Var

Sayfada dizine eklenmesini istemediğiniz noindex etiketiniz olsa bile, Google bunları kural yerine öneri olarak değerlendirebilir. Bu, sitenizde arama motorlarının taradığı ve dizine eklediği sayfalarda noindex yönergesi veya izin vermeme kuralı olan sayfalara bağlantı verdiğinizde belirgindir.

Bu nedenle, istemeseniz bile bu sayfaların SERP'lerde çıktığını görebilirsiniz.

Düzeltme : Bu belirli sayfaya işaret eden bağlantıları kaldırmalı ve onları benzer bir sayfaya yönlendirmelisiniz.

Bunu yapmak için, hangi sayfaların engellenen sayfalarınıza bağlantı verdiğini belirlemek için Screaming Frog (500 URL'li web siteleri için ücretsiz) veya Ahrefs Webmaster Tools (çok daha iyi ücretsiz bir alternatif) gibi bir araç kullanarak bir SEO denetimi çalıştırarak dahili bağlantılarını belirlemelisiniz.

Ahrefs'i kullanarak bir denetim çalıştırdıktan sonra Raporlar > Dahili sayfalar'a gidin. Web tarayıcılarından engellediğiniz ve indekslenmemiş sayfaları bulun ve Bağlantı Sayısı sütununda hangi sayfaların bunlara bağlantı verdiğini görün.

Buradan, bu sayfalardaki bağlantıları birer birer düzenleyin. Veya bunları noindex etiketli sayfanıza bir bağlantıyla değiştirebilirsiniz.

Bir Yönlendirme Zincirine İşaret Etmek

Sitenizdeki bir bağlantı sonsuz bir yönlendirme akışına işaret ediyorsa, Googlebot sayfanın gerçek URL'sini bulmadan önce her bir bağlantıdan geçmeyi durduracaktır.

Bu yönlendirme zincirleri, daha büyük SEO sorunlarına neden olabilecek yinelenen içerik sorunlarına da neden olabilir. Bunu çözmenin tek yolu, Google'ın birçok sayfa arasından hangisini tarayıp dizine eklemesi gerektiğini bilmesi için, tercih ettiğiniz ve standart sayfanızı standart etiketle belirlemektir.

Ayrıca, standart sayfa yerine yönlendirmeye bağlantı vermenin tarama bütçenizi kullandığını düşünün. Yönlendirme bağlantısı birden çok yönlendirmeye işaret ediyorsa, sitenizdeki önemli sayfalarda tarama bütçenizi kullanamazsınız. En önemli sayfalara ulaştığında, Google bir süre sonra bunları düzgün bir şekilde tarayamaz ve dizine ekleyemez.

Düzeltme: Sitenizdeki yönlendirme bağlantılarını kaldırın ve bunun yerine standart sayfaya bağlantı verin.

Ahrefs Web Yöneticisi Araçlarını tekrar kullanarak, Araçlar > Bağlantı Gezgini sayfasında yönlendirme bağlantılarınızı görüntüleyebilirsiniz. Ardından, sonuçları yalnızca sitenizdeki bağlantıları yeniden yönlendirecek şekilde filtreleyin.

Sonuçlardan, hangi bağlantıların sonsuz bir yönlendirme zinciri oluşturduğunu belirleyin. Ardından, yönlendirmelere bağlanan her sayfanın bağlantı vermesi gereken doğru sayfayı bularak zinciri kırın.

Bu Sorunu Düzelttikten Sonra Yapılması Gerekenler

Yukarıdaki çözümleri "Dizinli, Robots.txt Tarafından Engellendi" sorunu bulunan önemli sayfalara uyguladıktan sonra, Google Search Console'un bunları çözüldü olarak işaretleyebilmesi için değişiklikleri doğrulamanız gerekir.

GSC'deki Dizin Kapsamı Raporuna geri dönersek, bu sorunla ilgili çözdüğünüz bağlantılara tıklayın. Bir sonraki ekranda, Düzeltmeyi Doğrula düğmesine tıklayın.

Bu, Google'dan sayfada artık sorun olup olmadığını doğrulamasını isteyecektir.

Çözüm

Google Arama Konsolu tarafından ortaya çıkarılan diğer sorunlardan farklı olarak, “Robots.txt Tarafından Engellenmiş Olsa da Dizine Eklendi”, kovada bir düşüş gibi görünebilir. Bununla birlikte, bu düşüşler, sitenizin tamamında organik trafik oluşturmasını engelleyecek bir sorun selinde birikebilir.

En önemli sayfalarınızdaki sorunu nasıl çözeceğinize ilişkin yukarıdaki yönergeleri izleyerek, web sitenizi Google'ın doğru şekilde taraması ve dizine eklemesi için optimize ederek web sitenizin değerli trafik kaybetmesini önleyebilirsiniz.