Siteniz İçin İyi Bir Robots.txt Dosyası Nasıl Oluşturulur

Robots.txt – Daha çok teknik bir konudur. Robots.txt dosyası çoğu insan için yeni bir terim olabilir. Aslında, web sitenizin geleceğine karar veren küçük bir metindir.

Bu nasıl mümkün olabilir?

Bu mümkün. Bu küçük metin site trafiğinizi kontrol edebilir. Yanlış girerseniz sayfanız arama sonucunda çıkmayabilir. Bu nedenle, nasıl doğru kullanılacağını bilmek önemlidir.

Sitenize uygulayabileceğiniz basit ve en kolay SEO yöntemlerinden biridir. robots.txt'nin gücünü kontrol etmek için herhangi bir teknik bilgi gerektirmez. Kaynak kodunu bulabilirseniz işiniz kolay.

Ayrıca robots.txt dosyasını sitenin herhangi bir yerine yerleştirmek de yardımcı olmaz. Bunun için önce kaynak kodu bulmanız ve orada tutmanız gerekir. O zaman yalnızca web tarayıcısı talimatınızı tanımlayabilir ve buna göre hareket edebilir.

Bu makaleden aşağıdaki soruların cevabını alacaksınız:

• robots.txt dosyası nedir?
• robot.txt dosyasının kullanım alanları
• O nasıl çalışır?
• Nasıl oluşturulur?
• robots.txt dosyasının önemi?
• Bu dosyaya neler dahil edilmelidir?

Önce terimi açıklayayım

Robots.txt Dosyası Nedir?

Robots.txt, bir sitenin kök dizininde bulunan bir metin dosyasıdır. Belirli bir web sitesini ziyaret eden arama motoru tarayıcılarını ve örümcekleri kontrol eder. Bu, arama motoruna ziyaret etmek isteyen veya ziyaret etmeyen web sitesi sayfaları hakkında bilgi verdiği anlamına gelir.

Günümüzde her web sitesi sahibi fark edilmeye çalışır. Bunu bu küçük metni kullanarak yapabilirsiniz. Belirli bir sayfanın arama sonucuna dahil edilmesine veya hariç tutulmasına yardımcı olur. Bu makaleyi okuduktan sonra bu konuda bir fikir edineceksiniz.

Bir tarayıcı bir siteye eriştiğinde, talep ettiği ilk şey 'robots.txt' dosyasıdır. Böyle bir dosya varsa, daha fazla prosedür için indeksleme talimatlarına gider.

Bir robots.txt dosyası eklemediyseniz, arama motoru sitenize herhangi bir yerden kolayca girebilir ve sitenizde bulduğu her şeyi dizine ekleyebilir. Ancak site haritanızı belirtmek iyi bir uygulamadır. Arama motorunun yeni içerikleri gecikmeden bulmasını kolaylaştırır.

robots.txt'nin kullanım alanları:

• Bu metni kullanarak yinelenen sayfaları önleyebilirsiniz
• Arama motorunun dahili arama sonucu sayfanızı dizine eklemesini istemiyorsanız bu metni kullanabilirsiniz.
• Arama motorlarının web sayfanızın belirli alanlarını veya tüm siteyi dizine eklemesini istemiyorsanız kullanın.
• Belirli görüntüleri veya dosyaları indekslemekten kaçınabilirsiniz.
• Arama motorunu site haritanıza yönlendirebilirsiniz
• Tarayıcılar aynı anda birden fazla içerik yüklediğinde sunucuların aşırı yüklenmesini önlemek için bir tarama gecikmesi kullanabilirsiniz.

Robots.txt dosyasını yalnızca belirli bir sayfaya erişimi kontrol etmeniz gerektiğinde kullanın. Böyle bir şey yoksa kullanmak zorunda değilsin

Robots.txt dosyası nasıl çalışır:

Bir arama motorunun iki ana işlevi vardır.

1. İçeriği keşfetmek için web sitesini taramak
2. Belirli bir bilgiyi arayan arama yapanlara hizmet etmek için bu içeriği indekslemek

Arama motoru bir siteden başka bir siteye gezinir. Böylece milyarlarca sitede gezinir. Tarama işlemi aynı zamanda örümceklenme olarak da bilinir.

Bir web sitesine geldikten sonra ve bir siteden diğerine tarama yapmadan önce, tarayıcı robots.txt dosyasını arar. Bir tane bulursa, tarayıcı o siteye devam etmeden önce onu okur. Bu robots.txt dosyası, bir web tarayıcısı için talimatlar içerir. Devam edip etmeyeceğini söylüyor. Tarayıcı ne yapacağına dair herhangi bir talimat veya bilgi bulamazsa, daha sonraki faaliyetler için devam edecektir.

robots.txt nereye gidecek?

Robots.txt, bir WebCrawler'ın veya arama motorunun bir siteyi ziyaret ettiğinde baktığı ilk şeydir. Sadece ana dizinde görünüyor. Orada bulunamazsa, tarayıcı sitedeki her şeyle devam eder. Bu nedenle , ana dizine veya kök etki alanına bir robot.txt dosyası yerleştirmek önemlidir.

Bunu açıklamak için wordpress.com örneğini ele alalım. Kullanıcı aracısı www.wordpress.com/robots.txt adresini ziyaret ederse ve robot dosyası yoksa sitede talimat olmadığını varsayar. Böylece her sayfayı indekslemeye başlar. Eğer robot dosyası www.wordpress.com/index/robots.text veya www.wordpress.com/homepage/robots.txt kullanıcı aracısında varsa onu bulamaz. Robot.txt içermeyen bir site olarak ele alınacaktır.

Robots.txt dosyası Oluşturma Adımları?

Bir robots.txt dosyası iki alan içerir; bir satır, bir kullanıcı aracısı adıyla veya direktifle birlikte birkaç satırdır. İkinci satır, tarayıcının bir web sitesinde ne yapması gerektiğini gösterir. Bir robots.txt dosyasının nasıl oluşturulacağını kontrol edelim

• İlk adım, yeni bir metin dosyası açmaktır. PC'ler için Not Defteri'ni ve Mac için metin düzenleyiciyi kullanabilir ve metin eklenmiş bir dosya olarak kaydedebilirsiniz.
• Kök dizininize yükleyin. 'htdocs' veya 'www' adlı kök düzeyinde bir klasördür. Yani bu, alan adınızdan hemen sonra gelir.
• Alt etki alanı varsa, her alt etki alanı için oluşturun

İşte robots.txt dosyasının temel biçimi

Kullanıcı-aracı : [kullanıcı-aracı-adı]

Disallow : [ taranmayacak URL dizesinin adı]

Bu temelde robots.txt dosyası olarak bilinir. Birden fazla kullanıcı satırı ve yönergesi olabilir. İzin vermek, izin vermemek, tarama gecikmeleri vb.

robots.txt'deki teknik terimler:

Robots.txt dili ile ilgili bazı yaygın kelimeler vardır. Robots.txt sözdizimi olarak bilinirler. Robots.txt dosyasında yaygın olarak beş ana kelime kullanılmaktadır. Bunlar:

Kullanıcı aracısı:

Kullanıcı aracısı, talimat verdiğiniz web tarayıcısı veya arama motorudur.

İzin verme:

Bu komut, tarayıcıya belirli bir URL'yi taramaması için talimat verir. Her URL, yalnızca bir izin verilmeyen satırı kullanabilir.

İzin vermek:

Bu komut yalnızca Google Bot için kullanılır. Bu komutu vererek Google bot, üst sayfasına izin verilmese bile o alt klasöre veya sayfaya erişebilir.

Tarama gecikmesi:

Sayfa içeriğini yüklemeden ve taramadan önceki bekleme süresini gösterir. Google bot için çalışmayacak, ancak Google Arama konsolu için zaman ayarlayabilirsiniz

Site Haritası:

Bir URL ile ilişkili herhangi bir XML site haritasının konumunu çağırmak için kullanılır. Yalnızca Google, Yahoo, Bing ve Ask tarafından desteklenir.

Bunlar, robot.txt sözdiziminde bilmeniz gereken en yaygın terimlerdir. Artık sadece bir robots.txt dosyası görerek komutu tahmin edebilirsiniz.

Bir Robots.txt dosyasına ne eklenmeli?

Robot.txt, web robotlarına herhangi bir şeye erişme veya erişmeme konusunda bir talimat verir. Kullanıcılara herhangi bir web sayfası göstermek istemiyorsanız robots.txt dosyasını kullanarak tarayıcıya yön verebilirsiniz. Aksi takdirde, bir şifre kullanarak koruyabilirsiniz. Bunun gibi, herhangi bir yönetici veya özel sayfanın konumunu gizleyebilirsiniz. Bu özel sayfalara robotların taranmasını engeller.

Şimdi bazı örneklerle nasıl yapılacağını kontrol edelim

• Her şeye izin verin ve site haritasını gönderin:

Bu, tüm siteler için iyi bir seçenektir. Bu, arama motorunun her yerde gezinmesini ve tüm verileri dizine eklemesini sağlar. Ayrıca, tarayıcının yeni sayfalara kolayca erişebilmesi için XML konumunun gösterilmesine de olanak tanır.

Kullanıcı aracısı:*

İzin vermek: /

#site haritası referansı

Site Haritası: www.wordpress.com/sitemap.xml

• Bir alt dizin dışında her şeye izin ver

Bazen sayfanızda arama sonuçlarında görünmesini istemediğiniz bir alan olabilir. Bir resim, ödeme alanı, dosyalar, denetim bölümü vb. herhangi bir şey olabilir. Buna izin vermeyebilirsiniz.

Kullanıcı aracısı: *

İzin vermek: /

# izin verilmeyen alt dizin

İzin verme: /checkout/

İzin verme: /images/

İzin verme:/denetim raporu/

• Belirli dosyalardan başka her şeye izin ver: -

Bazen web sitenizde medya veya resim göstermek veya belgeleri göstermek isteyebilirsiniz. Ancak arama sonuçlarında görünmelerini istemezsiniz. Animasyonlu dosyaları, gifleri, pdf veya PHP dosyalarını aşağıda gösterildiği gibi gizleyebilirsiniz.

Kullanıcı aracısı:*

İzin vermek: /

#Dosya türlerine izin verme

İzin verme: /*.gif$

İzin verme: /*.pdf$

İzin verme: /*.php$

• Belirli Web Sayfalarından başka her şeye izin ver:-

Bazen okunmaya uygun olmayan bazı sayfaları gizlemek isteyebilirsiniz, bu sizin şartlarınızdan herhangi bir şey veya başkalarına göstermek istemediğiniz herhangi bir hassas konu olabilir. Bunları aşağıdaki gibi gizleyebilirsiniz

Kullanıcı aracısı: *

İzin vermek: /

#disallow web sayfaları

İzin verme: /terms.html

İzin verme:/ secret-list-of contact.php

• Belirli URL kalıpları dışında her şeye izin ver

Bazen belirli URL kalıplarına izin vermemek isteyebilirsiniz. Bir test sayfası, herhangi bir dahili arama sayfası vb. olabilir.

Kullanıcı aracısı: *

İzin vermek: /

#disallow URL kalıpları

İzin verme: /*arama=

İzin verme: /*test.php$

Yukarıdaki bu koşullarda birçok sembol ve karakter buldunuz. Burada her birinin aslında ne anlama geldiğini açıklıyorum

• Yıldız sembolü (*), herhangi bir sayıda karakteri veya tek bir karakteri temsil eder.
• Dolar sembolü ($), URL'nin sonunu gösterir. Koymayı unuttuysanız, yanlışlıkla çok sayıda URL'yi engellersiniz.

Not : – etki alanının tamamına izin vermemeye dikkat edin. Bazen böyle bir komut görebilirsiniz

Kullanıcı aracısı: *

İzin verme: /

Bunun ne anlama geldiğini biliyor musun? Arama motorunun tüm alan adınıza izin vermemesini söylüyorsunuz. Bu nedenle, web sayfalarınızın hiçbirini dizine eklemez ve herhangi bir arama sonucunda olamazsınız. Bu yüzden bunu yanlışlıkla koymamaya dikkat edin.

Son Test:

Robots.txt dosyanızın çalışıp çalışmadığını kontrol etmeniz önemlidir. Doğru yapmış olsanız bile uygun bir kontrol önerilir

Dosyanızda her şeyin yolunda olup olmadığını öğrenmek için Google'ın robots.txt aracını kullanabilirsiniz. Öncelikle robots.txt dosyasını uyguladığınız siteyi Google webmaster aracına kaydetmeniz gerekiyor. Kaydolduktan sonra bu araca giriş yapın ve kendi sitenizi seçin. Artık Google, hatayı göstermek için size tüm notları gösterecektir.

Sitenizde robot.txt dosyası olup olmadığı nasıl kontrol edilir?

Bunu kolayca kontrol edebilirsiniz. Önceki word press örneğini ele alalım. Web sitenizin adresini www.wordpress.com yazın ve yanına /robots.txt ekleyin. yani, www.wordpress.com/robots.txt. Artık sitenizin roborts.txt dosyasının olup olmadığını görebilirsiniz.

Diğer hızlı robot.txt ipuçları:

• Robots.txt dosyasını bir web sitesinin üst düzey dizinine yerleştirirseniz, not almak kolaydır
• Herhangi bir alt dizine izin vermediyseniz, alt dizindeki herhangi bir dosya veya web sayfasına izin verilmeyecektir.
• Robots.txt büyük/küçük harf duyarlıdır. Bunu robots.txt olarak girmelisiniz. Aksi halde çalışmaz
• Bazı kullanıcı aracıları robots.txt dosyanızı yok sayabilir. E-posta kazıyıcıları veya kötü amaçlı yazılım robotları vb. gibi bazı tarayıcılar bu dosyayı yok sayabilir
• /robots.txt herkese açıktır. Bu nedenle, herhangi bir özel kullanıcı bilgisini gizlememek daha iyidir. Herhangi bir kök etki alanının sonuna /robots.txt eklerseniz, robot.txt dosyası varsa, taramak istediğiniz veya taramak istemediğiniz sayfaları görebilirsiniz.
• Bir arama motorunun izin verilmeyen bir URL'yi belirlemesi ve onu dizininden kaldırması birkaç gün sürer.
• Bir kökteki her bir alt etki alanı, ayrı bir robots.txt dosyası kullanır. Örneğin, blog.wordpress.com ve wordpress.com ayrı robots.txt dosyaları kullanır. yani, blog.wordpress.com/robots.txt ve wordpress.com/robots.txt
• Herhangi bir site haritasına robots.txt dosyasının alt kısmına konum eklemek daha iyidir

Konsept hakkında bir fikriniz var mı? Basit bir şey değil mi? Bunu sitenize uygulayabilir ve performansını artırabilirsiniz. Sitenizde her şeyi göstermek gerekli değildir. Yönetici sayfalarınızı veya şartlar ve koşulları vb. kullanıcılardan gizleyebilirsiniz. Robots.txt dosyası bu konuda size yardımcı olacaktır. Site haritasını belirtmek ve sitenizin daha hızlı dizine eklenmesini sağlamak için akıllıca kullanın.

Robot.txt, yalnızca istenmeyen içeriklere veya dosyalara izin vermemekle ilgili değildir. Daha hızlı indirme için de çok önemlidir. Bunu kolayca yapabilirsiniz. Bu görevi yapmak için teknik bilgi ile ilgili hiçbir şey yoktur. Bunu çok iyi bir analizden sonra herkes yapabilir. Bunu uyguladıktan sonra Google.robot.txt aracıyla test etmeyi unutmayın. Eklediğiniz metinde herhangi bir hata olup olmadığını belirlemenize yardımcı olur.

Kendinizi SEO'nun tüm yönleriyle güncellemek çok önemlidir. Her gün yeni değişikliklerin meydana geldiği bir pazarda olduğunuz için, etrafınızda olup biten her şeyi bilmek zorundasınız. Sitenizi büyük bir başarıya dönüştürmek için en modern teknikleri uygulamaya çalışın.