Robots.txt dosyası

Robots.txt dosyasının kullanım amaçları ve örnekler ile anlatımı

Robots.txt dosyasını Not Defteri ve benzeri bir program ile kolayca oluşturabiliriz.

Robots.txt dosyasının kullanım amacı sitenizin arama motorları tarafından indekslenmesini sağlamaktır. İstenmediğiniz dizinlerin isimlerini yazarak o dizinlerin Google ve benzeri arama motorları sonuçlarında çıkmamasını da sağlayabilirsiniz.

Örnek kullanımı aşağıda görüyorsunuz:


User-agent: [Robot İsmi]

Disallow: [Klasör ya da Dosya İsmi]

buda google bot için örnek kullanımı ;

User-agent: [Googlebot]

Disallow: [/ozel/]



Aynı işlemi tüm arama motorları için yapmak içinde * işaretini kullanıyoruz.


User-agent: *

Disallow:



Hiçbir botun sitenize gelmesini istemiyorsanız ise disallow ifadesinin karşısına / işareti koyarak yapabilirsiniz. Bu işlemden sonra hiç bir bot sitenizi indekslemeyecektir.
  • Etiketler;
Okan O. Yurdakadim
Meslek lisesi veritabanı programcılığı bölümü mezunu olan Yurdakadim, şu an Ankara Üniversitesi Bilgisayar Programcılığı bölümünde okuyor. <p>6 yıl önce başladığı web tasarım sektöründe uzun yol katettikten sonra grafik tasarım ve programlamaya merak sardı. Programlama dilleri olarak ileri düzey Delphi kullanıyor. Web yazılım dillerinden ise Php kullanarak projelerini sürdürüyor. Freelance olarak çalışan Yurdakadim bir çok firma ve kişilere web tasarım, web yazılım, grafik tasarım, SEO ve Google Adwords hizmeti sağlamakta. Daha yakından tanımak isterseniz kişisel blogunu incelemenizde fayda var.
Yorum Yaz

Yorum yazabilmek için üye girişi yapmanız gerekiyor!

Öncelikle paylaşım için teşekkürler. Ben sadece bu dosyada User-agent:* Disalow:[lisemilleti] yazsam kaydetsem bu işlem gerçekleşirmi ve nereye kaydedicem.
robot ismi demişsin ve ayrıca kalasör demişsin bunları açıklayabilirmisin hocam
lşli

Yukarı Git