Arama motorları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Burada kısaca robot.txt dosyası nasıl oluşturulur, ne işe yarar, onu öğreneceğiz.
ÇEVRİMİÇİ
98 Ziyaretçi, 3 Üye melihornek, ziyade, CLEveR KST Bugün: 663, Dün: 4674, Bu Ay: 20315, Toplam Ziyaret: 1048181, Toplam Üye: 92364, Son Üye:djfiesta Toplam Ders: 1645, Toplam Yazar: 40, Toplam Dosya: 43, Toplam Link: 109