Meta Tagları İle Site İndexlemeyi Önleme

Web sitelerinizde bazen sitenin internette indexlenmesini istemeyebilirsiniz. Bu siteyi farklı şeyler için kullanabilirsiniz. Yaptığınız sitenin indexlenmemesi için sitenize aşağıdaki meta kodlarını <head> … </head> etiketleri arasına ekleyiniz.


<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Bu kodları ekledikten sonra index.html, index.php sayfalarının bulunduğu dizine robots.txt dosyası oluşturuyoruz. Aşağıdaki örnek kullanımlardan kendinize göre olanı seçip robots.txt içine ekleyiniz.

Örnek Kullanımlar

Bütün robotların, site üzerindeki bütün dosyaları tarayabileceğine izin veren örnek; ” * ” yıldız işareti istisnasız tüm robotları indeksleme yapabileceğini gösterir.

User-agent: *
Disallow:

Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;

User-agent: *
Disallow: /

Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

İsmi verilen robot, site üzerindeki ismi verilen klasörün içeriğini indekslememeli;

User-agent: BadBot # ‘BadBot’ kelimesi ilgili botun adı ile değiştirilir.
Disallow: /private/

Bütün robotlar, site üzerindeki aşağıdaki dosyayı indekslememeli; O klasördeki diğer bütün dosyalar ve sayfalar taratılır.

User-agent: *
Disallow: /directory/dosyaniz.html

Kod içinde yorum yazılan örnekler;

# Yorumlar “#” işaretinden sonra bir satır başında ya da bir komuttan sonra kullanılabilir.
User-agent: * # bütün botları kapsasın
Disallow: / # bütün botları uzak tutsun

Diğer Benzer Yazılar:


robots.txt Dosyasını Test Etme

robots.txt testi aracı, robots.txt dosyanızın sitenizdeki bir dosyaya veya dizine Googlebot’un erişimini yanlışlıkla engelleyip engellemediğini veya web’de görünmemesi gereken dosyaları Googlebot’un taramasına izin verip vermediğini gösterir. Önerilen bir robots.txt dosyasının metnini girdiğinizde bu araç bu metni, Googlebot ile aynı şekilde okur ve dosyanın etkilerini ve bulunan tüm sorunları listeler.

Bir sitenin robots.txt dosyasını test etmek için:

  1. Web Yöneticisi Araçları Ana Sayfası’nda, istediğiniz siteyi tıklayın.
  2. Site yapılandırması altında Tarayıcı erişimi‘ni tıklayın
  3. Henüz seçili değilse robots.txt testi sekmesini tıklayın.
  4. Robots.txt dosyanızın içeriğini kopyalayın ve ilk kutuya yapıştırın.
  5. URL’ler kutusunda test edilecek siteyi listeleyin.
  6. User-agen’lar listesinde istediğiniz user-agent’ları seçin.

Bu araçta yaptığınız hiçbir değişiklik kaydedilmeyecektir. Değişiklikleri kaydetmek için içerikleri kopyalamanız ve robots.txt dosyasına yapıştırmanız gereklidir.

Devamını Oku

Diğer Benzer Yazılar:


robots.txt Oluşturma Aracını Kullanarak Bir robots.txt Dosyası Oluşturma

  1. Web Yöneticisi Araçları Ana Sayfası’nda, istediğiniz siteyi tıklayın.
  2. Site yapılandırması altında Tarayıcı erişimi‘ni tıklayın.
  3. robots.txt dosyası oluşturun sekmesini tıklayın.
  4. Varsayılan robot erişiminizi seçin. Tüm robotlara izin vermenizi ve sitenize erişmesini istemediğiniz belirli botları hariç tutmak için sonraki adımı kullanmanızı öneririz. Böylece önemli tarayıcıların sitenizi taramasını yanlışlıkla engellemenizin neden olabileceği sorunları önlemiş olursunuz.
  5. Varsa, diğer kuralları belirtin. Örneğin, Googlebot’un sitenizdeki tüm dosyaları ve dizinleri taramasını engellemek için:
    1. Eylem listesinden İzin Verme seçeneğini belirtin.
    2. Robot listesinden Googlebot‘u tıklayın.
    3. Dosyalar veya Dizinler kutusuna / yazın.
    4. Ekle‘yi tıklayın. robots.txt dosyanızın kodu otomatik olarak oluşturulur.
  6. Dosyayı indirerek veya içeriği bir metin dosyasına kopyalayıp robots.txt olarak kaydederek robots.txt dosyanızı kaydedin. Bu dosyayı sitenizin en üst düzey dizinine kaydedin. robots.txt dosyası, etki alanının kök dizinine yerleştirilmeli ve “robots.txt” olarak adlandırılmalıdır. Botlar bu dosyayı yalnızca etki alanının kök düzeyinde kontrol ettiği için, alt dizinde bulunan bir robots.txt dosyası geçerli değildir. Örneğin, http://www.example.com/robots.txt geçerli bir yerdir ancak http://www.example.com/sitem/robots.txt geçerli bir yer değildir.

Devamını Oku

Diğer Benzer Yazılar: