Robots.txt Dosyası Kullanımı

Robots.txt Dosyası Kullanımı

Bu derste Robots.txt dosyasının kullanımını ve konu anlatımını göreceğiz.

ROBOTS.TXT nedir, önce onunla başlayalım. Robot.txt arama motoru tarafından algılanan bir metin belgesidir ve sitenin ana dizininde hep aynı isimle yer alır. Bu dosyalara ait eklenen kodlar ile arama motorların site haritasının bulunduğu konumu klasörler kolaylıkla belirtilebilir. Arama motorları sitelerin ziyaret ettikleri zaman ilk olarak robots.txt dosyasını inceler ve bu dosyadaki erişim sağlama veya erişim kısıtlama yetkilerine bağlı olarak siteyi gezerler.

Neden Arama Motorları Ziyareti Engellenebilir ?

  • Yapım aşamasında olan sitelerin arama motorları tarafından görüntülenmesini engellemek.
  • Tüm ziyaretçilere açık olmayan içerikleri engellemek. Sadece sizin mail veya özel paylaşım yoluyla özel kullanıcılar için oluşturduğunuz sayfaları engellemek.
  • Site hakkında kötü izlenim oluşturabilecek sayfalar.
  • Yönlendirme yapılmış sayfaları engellemek.
  • Arama motoru dışındaki zararlı botları engellemek.
  • Hata sayfaları, cgi-bin klasörü, çok az metin bulunan veya bulunmayan sayfaları engellemek.

Robots.txt Örnek Kullanımları

Örnek kullanımlarda user-agent hangi botlara yönelik bir düzenleme olduğunu gösterir. Eğer * yıldız işareti kullanılırsa tüm botlar için geçerli anlamına gelir. Bir bot ismi yazılırsa, sadece o bota yönelik bir müdehale olduğu anlamına gelir. Örnek olarak User-agent: Googlebot kullanımı sadece Google botları için yapılan erişim izinleri gösterir. Disallow tek başına kullanılırsa hicbir kısıtlama olmadığını gösterir. Ancak yanında bir slaş veya yıldız kullanılıyorsa hiçbir sayfanın indexlenmemesi istenilir. Disallow ile birlikte bir klasör veya link kullanılırsa sadece o klasör veya linkin indexlenmesi önlenir.

Tam erişim yetkisi vermektedir. Tüm botlar tüm sayfaları indexler.

User-agent: *
Disallow:

Tam kısıtlama sağlar. Tüm botlar hiçbir sayfayı indexlemez.

User-agent: *
Disallow: /

Kısmi kısıtlama sağlar. Tüm botlar için gizli klasörü, ve diğer iki sayfanın indexlenmemesini sağlar.

User-agent: *
Disallow: /gizli/
Disallow: /bana.ozel.yazilar.html
Disallow: /404.html

Sadece Altavista botu için kısıtlama sağlar. Altavista arama motoru hiçbir sayfayı indexlemez.

User-agent: Scooter
Disallow: /

Google botlarının resim dosyalarına erişim kısıtlar.

User-agent: Googlebot-image
Disallow: /

Site haritasının yolunu botlara gösterir. Eğer ana dizin dışında veya XML formatı dışında farklı bir konum ve formattaysa kullanımı gereklidir. Aksi halde zorunlu değildir.

Sitemap: www.siteniz.com/sitemap.xml

 

  • Bu dersimizinde sonuna geldik eğerki analamadığınız bir konu varsa hemen yorum yapabilirsiniz merak etmeyin yorumlara 5 dk içerisinde geri dönmekteyim beni takip etmeyi unutmayın.
Yunus Emre SAK
Eğitmen • Yazar • Girişimci
Yorum Yaz

Yorum yazabilmek için üye girişi yapmanız gerekiyor!

Yukarı Git