robots.txt Dosyasını Test Etme

robots.txt testi aracı, robots.txt dosyanızın sitenizdeki bir dosyaya veya dizine Googlebot’un erişimini yanlışlıkla engelleyip engellemediğini veya web’de görünmemesi gereken dosyaları Googlebot’un taramasına izin verip vermediğini gösterir. Önerilen bir robots.txt dosyasının metnini girdiğinizde bu araç bu metni, Googlebot ile aynı şekilde okur ve dosyanın etkilerini ve bulunan tüm sorunları listeler.

Bir sitenin robots.txt dosyasını test etmek için:

  1. Web Yöneticisi Araçları Ana Sayfası’nda, istediğiniz siteyi tıklayın.
  2. Site yapılandırması altında Tarayıcı erişimi‘ni tıklayın
  3. Henüz seçili değilse robots.txt testi sekmesini tıklayın.
  4. Robots.txt dosyanızın içeriğini kopyalayın ve ilk kutuya yapıştırın.
  5. URL’ler kutusunda test edilecek siteyi listeleyin.
  6. User-agen’lar listesinde istediğiniz user-agent’ları seçin.

Bu araçta yaptığınız hiçbir değişiklik kaydedilmeyecektir. Değişiklikleri kaydetmek için içerikleri kopyalamanız ve robots.txt dosyasına yapıştırmanız gereklidir.


Bu araç yalnızca Google user-agent’lar (örn., Googlebot) için sonuçlar verir. Diğer botlar ise robots.txt dosyasını aynı şekilde tanımayabilir. Örneğin Googlebot, standart robots.txt protokolünün genişletilmiş bir tanımını destekler. Allow: yönergelerinin yanı sıra bazı dize kalıbı eşlemelerini de tanır. Dolayısıyla araç bu uzantıları tanındığı gibi içeren satırları gösterirken, bunun yalnızca Googlebot için geçerli olduğunu ve sitenizi tarayabilecek diğer botlar için geçerli olması gerekmediğini unutmayın.

Diğer Benzer Yazılar:


One thought on “robots.txt Dosyasını Test Etme

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir