RobotsTXT Nihai Rehber

Robots.txt dosyası, web sunucunuza yerleştirilen ve bir dosyaya erişip erişemeyeceklerini Googlebot gibi tanıyan basit bir metin dosyasıdır .

Temel robots.txt örnekleri

Bazı yaygın robots.txt kurulumları (aşağıda ayrıntılı olarak açıklanacaktır).

Tam erişime izin ver

User-agent: *
Disallow:

Tüm erişimi engelle

User-agent: *
Disallow: /

Bir klasörü engelle

User-agent: *
Disallow: /folder/

Bir dosyayı engelle

User-agent: *
Disallow: /file.html

Neden robots.txt hakkında bilgi edinin?

  • Robots.txt dosyasının yanlış kullanımı, sıralamanıza zarar verebilir
  • Robots.txt dosyası, arama motoru örümceklerinin web sayfalarınızı nasıl gördüğünü ve etkileşimde bulunduğunu denetler.
  • Bu dosya, birkaç Google yönergesinde belirtilmiştir
  • Bu dosya ve etkileşimde bulunduğu botlar, arama motorlarının nasıl işlediğinin temel kısımlarıdır

İpucu: robots.txt dosyanızın Google tarafından kullanılan önemli dosyaları engelleyip engellemediğini öğrenmek için Google yönergeleri aracını kullanın .

Arama motoru örümcekleri

Googlebot gibi bir arama motoru örümcekinin , bir sayfayı ziyaret ettiği zaman baktığı ilk şey , robots.txt dosyasıdır.

Bu, sayfa veya dosyaya erişme izninin olup olmadığını öğrenmek istediği için bunu yapar. Robots.txt dosyası girilebileceğini söylüyorsa, arama motoru örümceği sayfa dosyalarına devam eder.

Bir arama motoru robotu için talimatlarınız varsa, o talimatları söylemelisiniz. Bu şekilde robots.txt dosyası. 

Web siteniz için öncelikler

Herhangi bir web yöneticisinin robots.txt dosyası söz konusu olduğunda yapması gereken üç önemli şey vardır.

  • Robots.txt dosyanıza sahip olup olmadığınızı belirleyin
  • Varsa, bloke edilmek istemediğiniz sıralamaya veya engelleme içeriğinize zarar vermediğinden emin olun.
  • Bir robots.txt dosyası gerekip gerekmeyeceğini belirleyin

Bir robots.txt dosyanız olup olmadığını belirleme

Herhangi bir tarayıcıdan kontrol edebilirsiniz. Robots.txt dosyası her zaman herhangi bir web sitesinde aynı yerde bulunur, bu nedenle bir sitenin bir sitesinde yer alıp almadığını belirlemek kolaydır. Aşağıda gösterildiği gibi bir alan adının sonuna “/robots.txt” eklemeniz yeterlidir.

www.sitenizin-adi.com/robots.txt

Orada bir dosyanız varsa, robots.txt dosyasıdır. Ya içindeki kelimeleri içeren bir dosyayı bulabilir, içinde kelime bulunmayan bir dosya bulabilir veya hiç bir dosya bulamazsınız.

Robots.txt dosyanızın önemli dosyaları engelliyor olup olmadığını belirleyin

Google’ın sayfalarınızı anlaması gereken belirli sayfa kaynaklarını engellediğinizde sizi uyaracak Google yönergeleri aracını kullanabilirsiniz .

Erişim ve izniniz varsa, robots.txt dosyanızı test etmek için Google arama konsolunu kullanabilirsiniz. Bunu yapmak için talimatlar burada bulunur (araç genel değil – giriş gerektirir) .

Robots.txt dosyanızın engellemesini istemediğiniz herhangi bir şeyi engellemez olup olmadığını tam olarak anlamak için, ne söylediğini anlamanız gerekir. Bunu aşağıda göreceğiz.

Robots.txt dosyasına mı ihtiyacınız var?

Sitenizde bir robots.txt dosyası olması bile gerekmeyebilir. Aslında sık sık ihtiyaç duymadığınız durumdur.

Bir robots.txt dosyası olmasını isteme nedeniniz:

  • Arama motorlarından engellenmesini istediğiniz içeriğiniz var
  • Ücretli bağlantıları veya robotlar için özel talimatlara ihtiyaç duyan reklamları kullanıyorsunuz
  • Saygın robotlardan sitenize ince ayar yapmak istiyorsun
  • Canlı olan bir site geliştiriyorsunuz, ancak arama motorlarının henüz dizine eklemesini istemiyorsunuz.
  • Bazı durumlarda bazı Google yönergelerine uymanıza yardımcı olurlar.
  • Yukarıdakilerin bazılarına veya hepsine ihtiyacınız var, ancak web sunucunuza tam erişiminiz ve nasıl yapılandırıldığı bilgisi yok.

Yukarıdaki durumların her biri diğer yöntemlerle kontrol edilebilir, ancak robots.txt dosyası kendilerine iyi bakmak için merkezi bir yerdir ve çoğu web yöneticisi bir robots.txt dosyası oluşturmak ve kullanmak için gereken yeteneğe ve bilgiye sahiptir.

Nedenleri sen olabilir değil bir robots.txt dosyası istiyorum:

  • Basit ve hatasızdır
  • İstediğiniz veya arama motorlarından engellenmesi gereken dosyalarınız yok
  • Yukarıda belirtilen nedenlerle listelenen bir robots.txt dosyasına sahip olmak için kendinizi bulamazsınız.

Bir robots.txt dosyası bulunmaması gerekmez.

Bir robots.txt dosyanız olmadığında Googlebot gibi arama motoru robotlarının sitenize tam erişime sahip olacakları anlamına gelir. Bu, çok yaygın olan basit ve normal bir yöntemdir.

Robots.txt dosyası nasıl oluşturulur

Yazabilir veya kopyalayabilir ve yapıştırdıysanız, bir robots.txt dosyası da oluşturabilirsiniz.

Dosya sadece bir metin dosyasıdır, yani not defterini veya başka herhangi bir düz metin düzenleyicisini kullanarak bir tane oluşturabilirsiniz. Ayrıca bir kod düzenleyicisinde de yapabilirsiniz. Onları “kopyalayıp yapıştır” bile yapabilirsiniz.

“Bir robots.txt dosyası hazırlıyorum” diye düşünmek yerine, “bir not yazıyorum” düşünün; bunlar hemen hemen aynı işlemlerdir.

Robots.txt ne yazmalıdır?

Bu, ne yapmak istediğine bağlı.

Tüm robots.txt talimatları, aşağıdaki üç sonuçtan biriyle sonuçlanır:

  • Full allow: Tüm içerik taranabilir.
  • Full allow: Hiçbir içerik taranmayabilir.
  • Conditional allow:  robots.txt dosyasındaki yönerge, belirli içeriği tarama yeteneğini belirler.

Her birini açıklayalım.

Tam izin – tüm içerik taranabilir

Çoğu kişi, robotların kendi web sitesinde bulunan her şeyi ziyaret etmesini ister. Sizin durumunuz buysa ve robotun sitenizin tüm bölümlerini dizine eklemesini istiyorsan, robotların hoş karşılandıklarını bildirmesine izin veren üç seçenek var.

1) Bir robots.txt dosyası bulunmuyor

Web sitenizde bir robots.txt dosyası yoksa o zaman olanlar olur …

Googlebot gibi bir robot ziyarete geliyor. Robots.txt dosyasını arar. Bulamıyor çünkü orada değil. Robot daha sonra tüm web sayfalarınızı ve içeriğinizi ziyaret etme konusunda özgür hissedecektir, çünkü bu durum bu durumda yapması programlanmıştır.

2) Boş bir dosya oluşturun ve robots.txt olarak adlandırın

Web sitenizde hiçbir şey olmayan bir robots.txt dosyası varsa, bu gerçekleşecek şey …

Googlebot gibi bir robot ziyarete geliyor. Robots.txt dosyasını arar. Dosyayı bulur ve okur. Okunacak bir şey yok, bu nedenle robot bu durumda tüm web sayfalarınızı ve içeriğinizi ziyaret etmekte özgür hissettiğinden, bu durumda bu şekilde yapılması programlanmıştır.

3) robots.txt adlı bir dosya oluşturun ve şu iki satırı yazın:

User-agent: *
Disallow:

Web sitenizde bu talimatları içeren bir robots.txt varsa, o zaman ne olur …

Googlebot gibi bir robot ziyarete geliyor. Robots.txt dosyasını arar. Dosyayı bulur ve okur. İlk satırı okuyor. Sonra ikinci satırı okur. Robot, daha sonra tüm web sayfalarınızı ve içeriğinizi ziyaret etmekte özgür hissedecektir, çünkü bunu yaptığınızı söylemişsinizdir (aşağıda açıklayacağım).

Tam izin verme – içerik taranamayabilir

Uyarı: Bu, Google’ın ve diğer arama motorlarının web sayfalarınızı dizine ekleyemeyeceği veya görüntüleyemeyeceği anlamına gelir.

Sitenizdeki saygın arama motorları örümceklerini engellemek için robots.txt dosyanızdaki talimatları almanız gerekir:

User-agent: *
Disallow: /

Web sayfalarınızın hiçbirinin dizine eklenmemesine neden olacağı için bunu yapmak önerilmez.

Robot.txt yönergeleri ve anlamları

İşte, farklı kelimelerin bir robots.txt dosyasında ne anlama geldiğine ilişkin bir açıklama.

User-Agent

User-agent:

“Kullanıcı aracı” kısmı, gerekirse belirli bir robot için yön belirlemek için kullanılır. Dosyanızda bunu kullanmanın iki yolu vardır.

Tüm robotlara “User-agent” dan sonra “*” koyduğunuzla aynı şeyi söylemek isterseniz … şöyle görünecektir …

User-agent: *

Yukarıdaki satır “bu yönergeler tüm robotlar için geçerlidir” diyor.

Belirli bir robota bir şeyler söylemek isterseniz (bu örnekte Googlebot) şu şekilde görünecektir …

User-agent: Googlebot

Yukarıdaki satır “bu talimatlar yalnızca Googlebot’a uygulanır” diyor.

Disallow:

“İzin Verme” kısmı robotlara hangi klasörleri bakmamaları gerektiğini söylemek için vardır. Bu, örneğin arama motorlarının sitenizdeki fotoğrafları dizine eklemesini istemiyorsanız, o fotoğrafları bir klasöre yerleştirebilir ve hariç tutabilirsiniz.

Diyelim ki tüm bu fotoğrafları “fotoğraflar” isimli bir klasöre koydunuz. Şimdi arama motorlarına bu klasörü dizinlememesini söylemek istiyorsunuz.

İşte robots.txt dosyanızın bu senaryoda olduğu gibi görünmesi gerekiyor:

User-agent: *
Disallow: /photos
Robots.txt dosyanızdaki yukarıdaki iki metin satırı, robotların fotoğraf klasörünüzü ziyaret etmesini önler. “User-agent *” bölümü “Bu, tüm robotlar için geçerli” yazıyor. “Disallow: / photos” bölümü, “fotoğraflarım klasörünü ziyaret etmeyin veya dizine ekleme” yazıyor.

Googlebot’a özgü talimatlar

Google’ın arama motorunu endekslemek için kullandığı robota Googlebot denir. Diğer robotlardan birkaç talimat daha iyi anlıyor.

“Kullanıcı adı” ve “İzin Verme” ye ek olarak, Googlebot, İzin Ver talimatını da kullanır.

 Allow

Allow:

“İzin ver” talimatları, bir robota başka talimatlar tarafından “İzin verilmedi” klasöründeki bir dosyayı görmek için uygun olduğunu söylemenize izin verir. Bunu göstermek için, robotun fotoğraflarınızı ziyaret etmemesini veya dizinde bulunmamasını söyleyen yukarıdaki örneği ele alalım. Tüm fotoğrafları “fotoğraflar” adlı bir klasöre yerleştirdik ve şu gibi görünen bir robots.txt dosyası yaptık …

User-agent: *
Disallow: /photos

Şimdi, Googlebot’un dizine eklemesini istediğiniz bu klasörde mycar.jpg adlı bir fotoğraf olduğunu varsayalım. Allow: komutuyla, Googlebot’a bunu yapmasını söyleyebiliriz, şu şekilde görünecektir …

User-agent: *
Disallow: /photos
Allow: /photos/mycar.jpg

Bu, Googlebot’a “fotoğraf” klasörünün aksine hariç tutulmasına rağmen fotoğraf klasöründeki “mycar.jpg” dosyasını ziyaret edebileceğini söyler.

Robots.txt dosyasını test etme

Tek bir sayfanın robots.txt tarafından engellenip engellenmediğini öğrenmek için Google’a önemli dosyaların engellenip engellenmediğini ve robots.txt dosyasının içeriğini görüntüleyip görüntülemediğini söyleyecektir. Herhangi bir tarayıcıdan kontrol edebilirsiniz.

www.sitenizin-adi.com/robots.txt

Anahtar kavramlar

  • Bir robots.txt dosyası kullanıyorsanız, dosyanın düzgün bir şekilde kullanıldığından emin olun.
  • Yanlış bir robots.txt dosyası Googlebot’un sayfanızın dizine eklenmesini engelleyebilir
  • Google’ın sayfalarınızı sıralaması için gereken sayfaları engellemediğinizden emin olun
Summary
Review Date
Reviewed Item
Robots.TXT Nihai Rehber
Author Rating
51star1star1star1star1star

RobotsTXT Nihai Rehber” için bir yorum

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir