robots.txt testi aracı, robots.txt dosyanızın sitenizdeki bir dosyaya veya dizine Googlebot’un erişimini yanlışlıkla engelleyip engellemediğini veya web’de görünmemesi gereken dosyaları Googlebot’un taramasına izin verip vermediğini gösterir. Önerilen bir robots.txt dosyasının metnini girdiğinizde bu araç bu metni, Googlebot ile aynı şekilde okur ve dosyanın etkilerini ve bulunan tüm sorunları listeler.

Bu Kategorideki Diger yazılar:

• Microsoft Office Word 2007 İlk Sayfadaki Sayfa Numarasını Kaldırma
• İnsanlar Gerçek Güçlerinden Habersiz
• Atatürk’ün El Yazısı Font Oldu
• QR Kod Nedir?
• Video Green Screen Problem

1. Web Yöneticisi Araçları Ana Sayfası’nda, istediğiniz siteyi tıklayın.
2. Site yapılandırması altında Tarayıcı erişimi‘ni tıklayın.
3. robots.txt dosyası oluşturun sekmesini tıklayın.
4. Varsayılan robot erişiminizi seçin. Tüm robotlara izin vermenizi ve sitenize erişmesini istemediğiniz belirli botları hariç tutmak için sonraki adımı kullanmanızı öneririz. Böylece önemli tarayıcıların sitenizi taramasını yanlışlıkla engellemenizin neden olabileceği sorunları önlemiş olursunuz.
5. Varsa, diğer kuralları belirtin. Örneğin, Googlebot’un sitenizdeki tüm dosyaları ve dizinleri taramasını engellemek için:
   1. Eylem listesinden İzin Verme seçeneğini belirtin.
   2. Robot listesinden Googlebot‘u tıklayın.
   3. Dosyalar veya Dizinler kutusuna / yazın.
   4. Ekle‘yi tıklayın. robots.txt dosyanızın kodu otomatik olarak oluşturulur.
6. Dosyayı indirerek veya içeriği bir metin dosyasına kopyalayıp robots.txt olarak kaydederek robots.txt dosyanızı kaydedin. Bu dosyayı sitenizin en üst düzey dizinine kaydedin. robots.txt dosyası, etki alanının kök dizinine yerleştirilmeli ve “robots.txt” olarak adlandırılmalıdır. Botlar bu dosyayı yalnızca etki alanının kök düzeyinde kontrol ettiği için, alt dizinde bulunan bir robots.txt dosyası geçerli değildir. Örneğin, http://www.example.com/robots.txt geçerli bir yerdir ancak http://www.example.com/sitem/robots.txt geçerli bir yer değildir.

Bu Kategorideki Diger yazılar:

• Microsoft Office Word 2007 İlk Sayfadaki Sayfa Numarasını Kaldırma
• İnsanlar Gerçek Güçlerinden Habersiz
• Atatürk’ün El Yazısı Font Oldu
• QR Kod Nedir?
• Video Green Screen Problem

Bir robots.txt dosyası web’i tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler. (Saygın robotların tümü bir robots.txt dosyasındaki yönergeleri gözetse de bazı robotlar yönergeleri farklı yorumlayabilir. Ancak, bir robots.txt dosyası dayatılamaz ve bazı spam göndericilerle diğer kötü amaçlı kişiler bu dosyayı göz ardı edebilir. Bu nedenle, gizli bilgileri şifreyle korumayı öneriyoruz.)

Yalnızca sitenizde arama motorlarının dizine eklemesini istemediğiniz içerik varsa, robots.txt dosyasına gereksinim duyarsınız. Arama motorlarının sitenizdeki her şeyi dizine eklemesini istiyorsanız, robots.txt dosyasına (boş olanına bile) ihtiyacınız yoktur.

Google, robots.txt tarafından engellenen içerik sayfalarını taramamasına veya dizine eklememesine karşın, URL’lerini web üzerindeki diğer sayfalarda bulduğu takdirde bu URL’leri dizine ekleyebilir. Sonuç olarak, sayfanın URL’si ve büyük olasılıkla bağlantı metni gibi halka açık olan veya Açık Dizin Projesi’ndeki (www.dmoz.org) başlık gibi diğer bilgiler Google arama sonuçlarında görüntülenebilir.

Bir robots.txt dosyası kullanmak için etki alanınızın köküne erişebilmeniz gerekir (emin değilseniz, web barındırıcınızdan bunu öğrenebilirsiniz). Bir alan adının köküne erişiminiz yoksa, erişimi robots meta etiketini kullanarak kısıtlayabilirsiniz.

Bu Kategorideki Diger yazılar:

• Microsoft Office Word 2007 İlk Sayfadaki Sayfa Numarasını Kaldırma
• İnsanlar Gerçek Güçlerinden Habersiz
• Atatürk’ün El Yazısı Font Oldu
• QR Kod Nedir?
• Video Green Screen Problem