SEO ve GEO
AI sistemleri bir web sitesine nasıl erişir?
Robots kuralları, HTTP yanıtı, sayfa içeriği ve JavaScript davranışı farklı botların sitenizi bulmasını ve anlamasını etkiler.
Botun türü, yaptığı iş ve kullandığı kontrol birbirinden ayrıdır
Bir web isteği bot tarafından sayfa keşfi, arama sonucu veya başka bir ürün işlevi için yapılabilir. Aynı şirketin farklı botları aynı amaçla çalışmayabilir. OpenAI, OAI-SearchBot ile GPTBot için robots.txt tercihlerini ayrı kontrol etmeye izin verdiğini açıklıyor; diğer sağlayıcıların isim ve politikaları kendi güncel belgelerinden doğrulanmalıdır.
Bir User-Agent başlığı taklit edilebilir. Gerçek bot trafiğini değerlendirirken yalnızca istek metnine güvenmeyin; sağlayıcının doğrulama yönergelerini ve sunucu/CDN kayıtlarını kullanın. Botun engellenmesi, izin verilmesi veya eğitim dışı bırakılması farklı sonuçlara yol açabilir.
Robots.txt ile noindex aynı işi yapmaz
Robots.txt, hangi yolların taranmasına izin verildiğine dair kuralları duyurur. Sayfanın arama sonuçlarından çıkarılmasına yönelik noindex direktifi ise bot sayfayı alabiliyorsa HTML meta etiketi veya HTTP yanıt başlığıyla okunur. Bir yolu robots.txt ile engelleyip aynı anda sayfa içi noindex kuralının görülmesini beklemek tutarsız olabilir.
robots.txt gizli veri koruma mekanizması değildir. Özel bilgiler giriş kontrolü ve sunucu yetkilendirmesiyle korunmalıdır. Her yeni bot kuralını yazmadan önce izin verilecek kullanım amacını, içeriği ve ticari tercihi netleştirin.
Sunucu yanıtı ve HTML içeriği botun görebildiğini belirler
Sayfanın doğru HTTP durum koduyla yanıt vermesi, ana metnin ilk HTML’de yer alması ve bağlantıların standart HTML bağlantıları olması taramayı kolaylaştırır. Google JavaScript ile oluşturulan içeriği işleyebilir; ancak tarama ve render aşamaları bulunur ve tüm botların aynı JavaScript yeteneğine sahip olduğu varsayılmamalıdır.
CDN güvenlik kuralı, hız limiti, coğrafi kısıtlama, CAPTCHA veya zaman aşımı gerçek bot erişimini etkileyebilir. İzin kararı verildikten sonra istek günlüklerini, durum kodlarını ve kural eşleşmelerini kontrol ederek erişimin gerçekten çalıştığını doğrulayın.
Kontrolü sayfa sayfa yapın ve sonuç vaadi vermeyin
Önce ana sayfa, hizmetler, vaka çalışmaları ve rehberler gibi önemli URL’lerden örnek alın. Her URL’de HTML içeriğini, canonical, noindex, yönlendirme, robots erişimi ve CDN yanıtını kontrol edin. Değişiklik sonrası aynı örnekleri tekrar ederek beklenen davranışı kaydedin.
Bir botun sayfayı alabilmesi, o içeriğin yanıtlarında kullanılacağını veya marka adının önerileceğini garanti etmez. Platformun kaynak seçimi ve sonuç oluşturma davranışı dışında kalır. Bu nedenle teknik hazırlık raporunu gerçek atıf ölçümünden ayrı sunun.