robots.txt dosyanız GPTBot'u, ClaudeBot'u sessizce engelliyor olabilir

Bir işletme sahibiyle geçen hafta konuşurken şunu fark ettik: sitesinde schema.org yapılandırılmış verisi eksiksizdi, SSS bölümü doluydu, içerik somut ve bölgeye özeldi — GEO açısından yapılması gereken hemen her şey yapılmıştı. Ama yine de hiçbir yapay zeka asistanının cevabında çıkmıyordu. Sebep içerikte değil, üç yıl önce bir eklenti tarafından otomatik oluşturulmuş ve kimsenin bir daha bakmadığı robots.txt dosyasındaydı.

robots.txt, bir sitenin kök dizininde duran ve hangi otomatik programların (botların) siteyi tarayabileceğini belirten basit bir metin dosyası. Google'ın klasik arama botu (Googlebot) genelde sorunsuz geçer, çünkü çoğu kurulum onu düşünerek yapılandırılmış. Ama yapay zeka motorlarının kendi ayrı botları var — OpenAI'ın GPTBot'u, Anthropic'in ClaudeBot'u, Perplexity'nin PerplexityBot'u, Google'ın AI Overviews için kullandığı Google-Extended. Bunlardan biri ya da birkaçı, fark edilmeden Disallow satırıyla engellenmiş olabiliyor.

Bu genelde kötü niyetle değil, ihmalle oluyor. Bazı hazır tema ya da güvenlik eklentileri, "bilinmeyen botları engelle" gibi genel bir kural koyarken yapay zeka botlarını da bu listeye dahil ediyor; bazı siteler ise içerik hırsızlığından çekinip bilinçli olarak tüm botları kapatıyor, farkında olmadan kendi GEO görünürlüğünü de kapatmış oluyor. Sonuç aynı: içerik ne kadar iyi olursa olsun, model o siteyi hiç okuyamadığı için cevabına hiç dahil edemiyor.

Kontrolü kendiniz de yapabilirsiniz: sitenizin adresine "/robots.txt" ekleyip tarayıcıda açın (örnek: siteniz.com/robots.txt). GPTBot, ClaudeBot, PerplexityBot, Google-Extended isimlerini arayın — biri "User-agent: GPTBot" satırının altında "Disallow: /" görüyorsa, o motor sitenizi hiç taramıyor demektir. Hiçbiri özel olarak adlandırılmamışsa ve sadece genel bir "User-agent: *" kuralı varsa, o kuralın içeriğine bakmak gerekir.

Bu kontrol beş dakika sürüyor ama atlanması aylarca sürebilecek bir GEO çalışmasını baştan anlamsız kılıyor. Biz her yeni GEO projesine içerik ya da schema ile değil, bu teknik kontrolle başlıyoruz — çünkü kapıda engel varken içeriyi ne kadar güzelleştirirseniz güzelleştirin, kimse içeri giremiyor.