WordPress ile Robots.txt Allow / Disallow Oluşturma

Robots.txt sunucunuz da bulunan bir metin dosyasıdır. Bu hangi dosyalara erişilip yada erişilemeyeceğini örümceklere söyleyen bir komuttur.

Robots.TXT Komut Dosyalarını Öğrenme

Aşağıda yaygın olarak kullanılan robots txt komut dosyaları örneklerini göreceksiniz.

Tam Erişime izin Ver (Allow Full Access)

User-agent: *
Disallow:

Tüm Erişimi Engelle (Block All Access)

User-agent: *
Disallow: /

Bir Klasörü Engelle (Block One Folder)

User-agent: *
Disallow: /klasor/

Bir Dosyayı Engelle (Block One File)

User-agent: *
Disallow: /file.html

Robots txt Hakkında Önemli Birkaç Bilgi

  • Robots.txt yanlış kullanımı ve ayarları ile arama sonuçları sıralamanıza zarar verebilir.
  •  Googlebot, Yandexbot, Bingbot gibi arama motoru örümcekleri web sitenizin nasıl göründüğünü ve etkileşimde bulunduğunu kontrol edecektir.
Robots.TXT

Robots.TXT

Googlebot, Yandexbot, Bingbot Örümcekleri

Googlebot, Yandexbot, Bingbot arama motoru örümcekleri sayfanızda ilk olarak ziyaret edeceği bölüm robots txt dosyası olacaktır.

Bunu yapmasının sebebi bu sayfaya veya dosyaya erişim izni olup, olmayacağını kontrol etmesidir. Eğer herhangi bir engel yok ise örümcekler sayfalar arası dolaşıma devam edecektir.

Googlebot, Yandexbot, BingBot Robots.txt Dosyasını Kontrol Ederken

Googlebot, Yandexbot, BingBot Robots.txt Dosyasını Kontrol Ederken

Arama motoru örümceklerine bir talimat verecekseniz eğer, bunu belirtmeniz gerekecektir. Bunu yapabilecek olan robots.txt dosyasıdır.

Robots txt Dosyası Hakkında Bilmeniz Gerekenler

Bilmeniz gereken birkaç bilgi;

  • Sık sık, robots txt dosyasının olup olmadığını kontrol etmelisiniz.
  • Sıralama sonuçlarında sıkıntı yaşıyorsanız eğer komut dosyalarını kontrol ediniz.
  • Search Console ile sitenizde bulunan robots txt dosyası aynı komutlara mı sahip?

Robots.txt dosyası her zaman herhangi bir web sitesinde aynı yerde bulunur, bu nedenle bir robots txt dosyasının olup olmadığını kontrol etmek isterseniz, aşağıda gösterildiği gibi /robots.txt ekleyerek öğrenebilirsiniz.

www.sitenizinadi.com/robots.txt

Yukarıda yazdığım gibi bir komut dosyalarına ulaştıysanız eğer bu sitenize ait bir robots.txt dosyasıdır.

Robots txt Hakkında Rehber

Aslında çoğu zaman bir robots txt dosyasına ihtiyacınız olmayabilir belki.

Ama neden bir robots txt dosyasının neden muhakkak olması gerektiğini şimdi anlayacaksınız.

  • Google, Bing yada Yandex arama sonuçlarında görmesini istemediğiniz herhangi bir içerikleriniz varsa.
  • Özel talimatlar, reklamlar yada ücretli bağlantılar kullanıyorsanız.
  • Test aşamalı bir site oluşturuyor ve bunu örümceklerin dizine eklenmesini istemiyorsanız.

Yukarıdaki durumların her biri diğer yöntemlerle kontrol edilebilir, ancak robots txt dosyası bunlarla ilgilenmek için bir merkezi yerdir  ve çoğu web yöneticisinin bir robots txt dosyası oluşturması ve kullanması için gerekli yetkileri ve erişimi vardır.

Robots txt Dosyası Oluşturma ve Yapımı

Robots txt sadece bir metin dosyasıdır, bir tane oluşturmak için bir not defteri yardımıyla veya metin düzenleyicisi programları ile oluşturabilirsiniz.

Yada, takip ettiğiniz herhangi bir blog sayfasının kullandığı komut dosyalarını da kopyalayıp, yapıştırabilirsiniz.

Robots txt Allow Disallow Komutlarını Öğrenme

Robots txt Allow Disallow Komutlarını Öğrenme

No Responses

Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d blogcu bunu beğendi: