WordPress Robots.TXT Oluşturma Rehberi

Robots.txt dosyası nedir?

  • Robots.txt dosyası, web sunucunuza bir dosyaya erişip erişmemeleri gerektiğinde Googlebot gibi webcrawlers’a söyleyen basit bir metin dosyasıdır .

Temel robots.txt örnekleri

İşte bazı yaygın robots.txt kurulumları (aşağıda ayrıntılı olarak açıklanacaktır).

Tam erişime izin ver

User-agent: *
Disallow:

Tüm erişimi engelle

User-agent: *
Disallow: /

Bir klasörü engelle

User-agent: *
Disallow: /folder/

Bir dosyayı engelle

User-agent: *
Disallow: /file.html

Neden robots.txt hakkında bilgi edinmelisiniz?

  • Robots.txt dosyasının yanlış kullanımı, sıralamanıza zarar verebilir
  • Robots.txt dosyası, arama motoru örümceklerinin web sayfalarınızla nasıl göründüğünü ve etkileşimde bulunduğunu kontrol eder
  • Bu dosya, Google kurallarının birkaçında belirtilmiştir
  • Bu dosya ve etkileşimde bulundukları botlar, arama motorlarının nasıl çalıştığının temel parçalarıdır.

İpucu: robots.txt dosyanızın Google tarafından kullanılan önemli dosyaları engelleyip engellemediğini görmek için Google yönergeleri aracını kullanın .

Robots.TXT

Robots.TXT

Arama motoru örümcekleri

Googlebot gibi bir arama motoru örümceğinin ilk olarak bir sayfayı ziyaret ettiğinde baktığı şey robots.txt dosyasıdır.

Bunu yapar, çünkü bu sayfaya veya dosyaya erişim izni olup olmadığını bilmek ister. Robots.txt dosyası girebileceğini söylerse, arama motoru örümceği sayfa dosyalarına devam eder.

Bir arama motoru robotuna ilişkin talimatlarınız varsa, bu talimatları belirtmeniz gerekir. Bunu yaptığınız şekilde robots.txt dosyasıdır. 2

Web siteniz için öncelikler

Herhangi bir web yöneticisinin robots.txt dosyasına gelmesi gereken üç önemli şey vardır.

  • Bir robots.txt dosyanız olup olmadığını belirleme
  • Varsa, sıralamanıza zarar vermediğinden veya engellenmesini istemediğiniz içeriğin engellenmediğinden emin olun.
  • Bir robots.txt dosyasına ihtiyacınız olup olmadığını belirleyin

Bir robots.txt dosyanız olup olmadığını belirleme

Aşağıda bir web sitesi girebilir, tıklayıp sitenin bir robots.txt dosyası olup olmadığını ve dosyanın ne yazdığını görüntüleyeceğini (bu sayfadaki sonuçları burada gösterir) görebilirsiniz .

Yukarıdaki aracı kullanmak istemiyorsanız, herhangi bir tarayıcıdan kontrol edebilirsiniz. Robots.txt dosyası her zaman herhangi bir web sitesinde aynı yerde bulunur, bu nedenle bir sitenin var olup olmadığını belirlemek kolaydır. Aşağıda gösterildiği gibi bir alan adının sonuna “/robots.txt” ekleyin.

www.siteniz.com/robots.txt

Orada bir dosyanız varsa, bu sizin robots.txt dosyanızdır. İçinde kelimeler bulunan bir dosya bulur, içinde kelime olmayan bir dosya bulur veya hiç bir dosya bulamazsınız.

Robots.txt dosyanızın önemli dosyaları engelleyip engellemediğini belirleyin.

Google’ın sayfalarınızı anlaması gereken belirli sayfa kaynaklarını engelliyorsanız sizi uyaran Google yönergeleri aracını kullanabilirsiniz .

Erişiminiz ve izniniz varsa, robots.txt dosyanızı test etmek için Google arama konsolunu kullanabilirsiniz. Bunu yapmak için talimatlar burada bulunur (araç kamu değil – giriş gerektirir) .

Robots.txt dosyanızın engellenmesini istemediğiniz bir şeyi engellemediğini tam olarak anlamak için ne söylediğini anlamanız gerekir. Bunu aşağıda ele alıyoruz.

Robots.txt

Robots.txt

Bir robots.txt dosyasına ihtiyacınız var mı?

Sitenizde bir robots.txt dosyasının olması bile gerekmeyebilir. Aslında çoğu zaman ihtiyacın yok.

Bir robots.txt dosyasına sahip olmak isteyebileceğiniz nedenler:

  • Arama motorlarından engellemek istediğiniz içerikleriniz var
  • Robotlar için özel talimatlar gerektiren ücretli bağlantılar veya reklamlar kullanıyorsunuz
  • Saygın robotlardan sitenize erişiminizi hassas bir şekilde ayarlamak istiyorsunuz
  • Canlı bir site geliştiriyorsunuz, ancak arama motorlarının henüz dizine eklenmesini istemiyorsunuz
  • Bazı durumlarda bazı Google yönergelerini izlemenize yardımcı olurlar
  • Yukarıdakilerin bazılarına veya tümüne ihtiyacınız var, ancak web sunucunuza tam erişiminiz yok ve nasıl yapılandırılmış?

Yukarıdaki durumların her biri diğer yöntemlerle kontrol edilebilir, ancak robots.txt dosyası bunlara dikkat etmek için iyi bir merkezi yerdir ve çoğu web yöneticisinin bir robots.txt dosyası oluşturması ve kullanması için gerekli yeteneği ve erişimi vardır.

Nedenleri sen olabilir değil bir robots.txt dosyası istiyorum:

  • Bu basit ve hatasız
  • İstediğiniz veya arama motorlarından engellenmesi gereken dosyalarınız yok.
  • Bir robots.txt dosyasına sahip olmak için yukarıdaki nedenlerle listelenen durumların hiçbirinde kendinizi bulamıyorsunuz

Bir robots.txt dosyası olmaması iyi bir şey.

Bir robots.txt dosyası bulunmadığında Googlebot gibi arama motoru robotlarının sitenize tam erişimi olacaktır. Bu çok yaygın olan normal ve basit bir yöntemdir.

Robots.txt dosyası nasıl oluşturulur

Yazabilir veya kopyalayıp yapıştırabilirseniz, bir robots.txt dosyası da oluşturabilirsiniz.

Dosya sadece bir metin dosyasıdır; bu, bir tane oluşturmak için not defteri veya başka bir düz metin düzenleyicisi kullanabileceğiniz anlamına gelir. Bunları bir kod düzenleyicide de yapabilirsiniz. Hatta onları “kopyalayıp yapıştırabilirsiniz”.

“Ben bir robots.txt dosyası hazırlıyorum” düşüncesini düşünmek yerine, “bir not yazıyorum” diye düşünün, hemen hemen aynı süreçlerdir.

Robots.txt ne demeli?

Bu yapmak istediğin şeye bağlı.

All robots.txt instructions result in one of the following three outcomes

  • Full allow: Tüm içerik taranabilir.
  • Full disallow: Hiçbir içerik taranamadı.
  • Conditional allow: robots.txt dosyasındaki yönergeler, belirli içeriği tarayabilme özelliğini belirler.Her birini açıklayalım.

Tam izin – tüm içerik taranabilir

Çoğu insan web sitelerinde her şeyi ziyaret etmek için robotlar ister. Bu durum sizin için geçerliyse ve robotun sitenizin tüm bölümlerini dizine eklemesini istiyorsanız, robotların hoş karşılandıklarını bilmelerini sağlamak için üç seçenek vardır.

1) Bir robots.txt dosyası yok

Web sitenizin bir robots.txt dosyası yoksa, bu ne olur?

Googlebot gibi bir robot ziyarete geliyor. Robots.txt dosyasını arar. Onu bulamıyor çünkü orada değil. Robot daha sonra tüm web sayfalarınızı ve içeriğinizi ziyaret etmekte özgürsünüz çünkü bu, bu durumda programlandığı gibi.

2) Boş bir dosya oluştur ve bunu robots.txt olarak adlandır

Web sitenizde hiçbir şeye sahip olmayan bir robots.txt dosyası varsa, bu ne olur?

Googlebot gibi bir robot ziyarete geliyor. Robots.txt dosyasını arar. Dosyayı bulur ve okur. Okumak için bir şey yok, bu yüzden robot daha sonra tüm web sayfalarınızı ve içeriğinizi ziyaret etmekte özgürsünüz çünkü bu, bu durumda ne yapılacağıdır.

3) robots.txt adında bir dosya oluşturun ve aşağıdaki iki satırı yazın.

User-agent: *
Disallow:

Web sitenizde bu talimatları içeren bir robots.txt dosyası varsa, bu ne olur?

Googlebot gibi bir robot ziyarete geliyor. Robots.txt dosyasını arar. Dosyayı bulur ve okur. İlk satırı okur. Sonra ikinci satırı okur. Robot daha sonra tüm web sayfalarınızı ve içeriğinizi ziyaret etmekte özgür olur, çünkü bunu yapmasını istediğin şey budur (bunu aşağıda açıklarım).

Tam izin verme – içerik taranamadı

Uyarı: Bu, Google’ın ve diğer arama motorlarının web sayfalarınızı dizine eklemeyeceği veya göstermeyeceği anlamına gelir.

Tüm saygın arama motorlarını örümcekleri sitenizden engellemek için robots.txt dosyasında şu talimatları bulabilirsiniz.

User-agent: *
Disallow: /

It is not recommended to do this as it will result in none of your web pages being indexed.

Web sayfalarınızın hiçbirinin dizine eklenmemesiyle sonuçlanması önerilmez.

Robot.txt talimatları ve anlamları

İşte bir robots.txt dosyasında farklı kelimelerin ne anlama geldiğinin bir açıklaması

User-agent / Kullanıcı aracısı

User-agent:

The “User-agent” part is there to specify directions to a specific robot if needed. There are two ways to use this in your file.

“User-agent” bölümü, gerektiğinde belirli bir robotun yönünü belirtmek için var. Bunu dosyanızda kullanmanın iki yolu vardır.

Eğer tüm robotlara aynı şeyi anlatmak isterseniz, “User-agent” dan sonra bir “*” koymuştunuz.

User-agent: *

Yukarıdaki çizgi “bu yönler tüm robotlara uygulanır” diyor.

Spesifik bir robotu (bu örnekte Googlebot) bir şeyler söylemek isterseniz, şöyle görünecekti:

User-agent: Googlebot

Yukarıdaki satır “bu yönergeler sadece Googlebot için geçerlidir” diyor.

Disallow:

“Disallow” kısmı, robotlara hangi klasörlere bakmaması gerektiğini söyleyecek. Bu, örneğin, arama motorlarının sitenizdeki fotoğrafları dizine eklemesini istemiyorsanız, bu fotoğrafları bir klasöre yerleştirip hariç tutabilirsiniz demektir.

Tüm bu fotoğrafları “fotoğraflar” adlı bir klasöre koyduğunuzu söyleyelim. Artık arama motorlarına bu klasörü dizine eklememeyi söylemek istersiniz.

İşte robots.txt dosyanızın bu senaryoda nasıl görünmesi gerektiği:

User-agent: *
Disallow: /photos

Robots.txt dosyanızdaki yukarıdaki iki metin satırı, robotlarınızın fotoğraf klasörünüzü ziyaret etmesini engeller. “Kullanıcı aracı *” bölümü, “bu, tüm robotlar için geçerlidir” diyor. “Disallow: / photos” bölümü “fotoğraf klasörümü ziyaret etme veya dizine ekleme” diyor.

Googlebot’a özel talimatlar

Robots.txt dosyanızdaki yukarıdaki iki metin satırı, robotlarınızın fotoğraf klasörünüzü ziyaret etmesini engeller. “Kullanıcı aracı *” bölümü, “bu, tüm robotlar için geçerlidir” diyor. “Disallow: / photos” bölümü “fotoğraf klasörümü ziyaret etme veya dizine ekleme” diyor.

Googlebot’a özel talimatlar

Google’ın arama motorunu dizine eklemek için kullandığı robota Googlebot denir. Diğer robotlardan daha fazla talimatı anlıyor.

“User-name” ve “Disallow” ye ek olarak Googlebot, İzin Verme talimatını da kullanır.

Allow / İzin vermek

“Allow” yönergeleri, bir robota, başka yönergelere göre “İzin verilmeyen” bir klasördeki bir dosyayı görmenin iyi olduğunu bildirmenizi sağlar. Bunu göstermek için, robotun fotoğraflarınızı ziyaret etmemesi veya dizine eklememesini söylemek için yukarıdaki örneği ele alalım. Tüm fotoğrafları “fotoğraflar” adlı bir klasöre koyduk ve bu şekilde görünen bir robots.txt dosyası oluşturduk …

User-agent: *
Disallow: /photos

Şimdi, Googlebot’un dizine eklemesini istediğiniz klasörde yerlikaya.jpg adlı bir fotoğraf olduğunu varsayalım. İzin Ver: talimatı ile, Googlebot’a bunu söyleye bildiğimizi söyleyebiliriz.

User-agent: *
Disallow: /photos
Allow: /photos/yerlikaya.jpg

Bu, Googlebot’a, “photos” klasörü hariç tutulsa bile, fotoğraf klasöründeki “yerlikaya.jpg” adresini ziyaret edebileceğini söyler.

Robots.txt dosyanızı test etme

Tek bir sayfanın robots.txt tarafından engellenip engellenmediğini öğrenmek için Google için önemli olan dosyaların engellenip engellenmediğini ve ayrıca robots.txt dosyasının içeriğini gösterip göstermeyeceğini size söyleyen bu teknik SEO aracını kullanabilirsiniz .

Anahtar kavramlar

  • Bir robots.txt dosyası kullanırsanız, doğru şekilde kullanıldığından emin olun.
  • Yanlış bir robots.txt dosyası, Googlebot’un sayfanızı dizine eklemesini engelleyebilir
  • Google’ın sayfalarınızı sıralaması gereken sayfaları engellemediğinizden emin olun .
  • Hakan Yerlikaya

    WordPress Robots.TXT Oluşturma Rehberi

    Summary
    Review Date
    Reviewed Item
    WordPress Robots.TXT Oluşturma Rehberi
    Author Rating
    51star1star1star1star1star

No Responses

Reply