Meta Tagları İle Site İndexlemeyi Önleme

Web sitelerinizde bazen sitenin internette indexlenmesini istemeyebilirsiniz. Bu siteyi farklı şeyler için kullanabilirsiniz. Yaptığınız sitenin indexlenmemesi için sitenize aşağıdaki meta kodlarını <head> … </head> etiketleri arasına ekleyiniz.


<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Bu kodları ekledikten sonra index.html, index.php sayfalarının bulunduğu dizine robots.txt dosyası oluşturuyoruz. Aşağıdaki örnek kullanımlardan kendinize göre olanı seçip robots.txt içine ekleyiniz.

Örnek Kullanımlar

Bütün robotların, site üzerindeki bütün dosyaları tarayabileceğine izin veren örnek; ” * ” yıldız işareti istisnasız tüm robotları indeksleme yapabileceğini gösterir.

User-agent: *
Disallow:

Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;

User-agent: *
Disallow: /

Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

İsmi verilen robot, site üzerindeki ismi verilen klasörün içeriğini indekslememeli;

User-agent: BadBot # ‘BadBot’ kelimesi ilgili botun adı ile değiştirilir.
Disallow: /private/

Bütün robotlar, site üzerindeki aşağıdaki dosyayı indekslememeli; O klasördeki diğer bütün dosyalar ve sayfalar taratılır.

User-agent: *
Disallow: /directory/dosyaniz.html

Kod içinde yorum yazılan örnekler;

# Yorumlar “#” işaretinden sonra bir satır başında ya da bir komuttan sonra kullanılabilir.
User-agent: * # bütün botları kapsasın
Disallow: / # bütün botları uzak tutsun

Diğer Benzer Yazılar:


robots.txt Dosyasını Test Etme

robots.txt testi aracı, robots.txt dosyanızın sitenizdeki bir dosyaya veya dizine Googlebot’un erişimini yanlışlıkla engelleyip engellemediğini veya web’de görünmemesi gereken dosyaları Googlebot’un taramasına izin verip vermediğini gösterir. Önerilen bir robots.txt dosyasının metnini girdiğinizde bu araç bu metni, Googlebot ile aynı şekilde okur ve dosyanın etkilerini ve bulunan tüm sorunları listeler.

Bir sitenin robots.txt dosyasını test etmek için:

  1. Web Yöneticisi Araçları Ana Sayfası’nda, istediğiniz siteyi tıklayın.
  2. Site yapılandırması altında Tarayıcı erişimi‘ni tıklayın
  3. Henüz seçili değilse robots.txt testi sekmesini tıklayın.
  4. Robots.txt dosyanızın içeriğini kopyalayın ve ilk kutuya yapıştırın.
  5. URL’ler kutusunda test edilecek siteyi listeleyin.
  6. User-agen’lar listesinde istediğiniz user-agent’ları seçin.

Bu araçta yaptığınız hiçbir değişiklik kaydedilmeyecektir. Değişiklikleri kaydetmek için içerikleri kopyalamanız ve robots.txt dosyasına yapıştırmanız gereklidir.

Devamını Oku

Diğer Benzer Yazılar:


robots.txt dosyası kullanarak sayfaları engelleme veya kaldırma

Bir robots.txt dosyası web’i tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler. (Saygın robotların tümü bir robots.txt dosyasındaki yönergeleri gözetse de bazı robotlar yönergeleri farklı yorumlayabilir. Ancak, bir robots.txt dosyası dayatılamaz ve bazı spam göndericilerle diğer kötü amaçlı kişiler bu dosyayı göz ardı edebilir. Bu nedenle, gizli bilgileri şifreyle korumayı öneriyoruz.)

Yalnızca sitenizde arama motorlarının dizine eklemesini istemediğiniz içerik varsa, robots.txt dosyasına gereksinim duyarsınız. Arama motorlarının sitenizdeki her şeyi dizine eklemesini istiyorsanız, robots.txt dosyasına (boş olanına bile) ihtiyacınız yoktur.

Google, robots.txt tarafından engellenen içerik sayfalarını taramamasına veya dizine eklememesine karşın, URL’lerini web üzerindeki diğer sayfalarda bulduğu takdirde bu URL’leri dizine ekleyebilir. Sonuç olarak, sayfanın URL’si ve büyük olasılıkla bağlantı metni gibi halka açık olan veya Açık Dizin Projesi’ndeki (www.dmoz.org) başlık gibi diğer bilgiler Google arama sonuçlarında görüntülenebilir.

Bir robots.txt dosyası kullanmak için etki alanınızın köküne erişebilmeniz gerekir (emin değilseniz, web barındırıcınızdan bunu öğrenebilirsiniz). Bir alan adının köküne erişiminiz yoksa, erişimi robots meta etiketini kullanarak kısıtlayabilirsiniz.

Devamını Oku

Diğer Benzer Yazılar: