Dosyayı sitenizin kök dizinine koyun — yani siteadresi.com/robots.txt adresinden erişilebilmeli. Alt klasörlerdeki robots.txt dosyaları dikkate alınmaz.
robots.txt bir güvenlik önlemi değildir. Dosya herkese açıktır ve kötü niyetli botlar kurallara uymaz — aksine, gizlemek istediğiniz yolları buraya yazmak onları işaret etmek olur. Bir sayfanın arama sonuçlarında görünmemesi için noindex meta etiketini, gerçekten gizli kalması için ise sunucu tarafı yetkilendirme kullanın.
Sık Sorulan Sorular
Arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini söyler. Sunucu yükünü azaltmak ve yönetim paneli, arama sonuç sayfaları gibi değersiz adreslerin taranmasını önlemek için kullanılır.
Hayır, güvenilir biçimde gizlemez. Disallow verilen bir sayfa başka sitelerden bağlantı alıyorsa Google onu yine de dizine ekleyebilir. Bir sayfanın arama sonuçlarında kesinlikle görünmemesi için sayfaya noindex meta etiketi eklemelisiniz.
“Yapay zekâ botlarını engelle” şablonu GPTBot, CCBot, Google-Extended ve anthropic-ai için Disallow kuralı ekler. Bu botların çoğu robots.txt'e uyduğunu beyan eder, ancak uymayanlar için teknik bir zorlama yoktur.
Sitenizin kök dizinine — yani siteadresi.com/robots.txt adresinden erişilebilecek şekilde. Alt klasörlere konan robots.txt dosyaları dikkate alınmaz. Next.js kullanıyorsanız app/robots.ts dosyasıyla da üretebilirsiniz.
Bu araç işine yaradı mı?
Favorilerine ekle ya da ihtiyacı olan birine gönder.
