AI Botları: GPTBot, ClaudeBot, CCBot — Hangisine İzin Vermeli

GPTBot, ClaudeBot, CCBot ve benzerleri; ChatGPT, Claude, Perplexity gibi yapay zeka sistemlerinin web’i taramak için kullandığı botlar. Kimi eğitim verisi topluyor, kimi gerçek zamanlı arama sonucu üretiyor. robots.txt dosyanızda bu botlara izin verip vermediğiniz, sitenizin AI aramalarında (ChatGPT, Perplexity, Google AI Overviews) hiç görünüp görünmeyeceğini belirliyor — SEO’daki Googlebot karşılığı gibi düşünün, ama beş farklı şirkete, beş farklı kurala.

Hangi Bot Ne İşe Yarıyor

Her AI şirketinin kendi botu var ve her biri farklı bir amaçla tarıyor — bazısı modeli eğitiyor, bazısı gerçek zamanlı cevap için sayfa çekiyor. Karıştırmayın, ikisi farklı kararlar gerektirir.

Bu liste GEO’nun (Generative Engine Optimization) teknik ayağı; kavramın bütününe bakmak isterseniz GEO Rehberi’nden devam edebilirsiniz.

robots.txt’te Nasıl Kontrol Edilir

Sitenizin hangi botlara izin verdiğini öğrenmek iki dakika sürer, kod bilmenize gerek yok.

1. Tarayıcıda siteniz.com/robots.txt adresini açın (örnek: oguzerol.com/robots.txt).
2. Dosyada User-agent: satırlarını arayın — her bot kendi adıyla ayrı bir blokta listelenir (GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot, OAI-SearchBot).
3. O bloğun altında Disallow: / yazıyorsa bot sitenin tamamından men edilmiş demektir. Disallow: boşsa ya da o bot için hiç blok yoksa, bot serbesttir.
4. Bir botun adı dosyada hiç geçmiyorsa, en üstteki genel User-agent: * kuralı o bot için de geçerli olur.
5. WordPress kullanıyorsanız robots.txt genelde Rank Math veya Yoast tarafından sanal üretilir — sunucuda fiziksel bir dosya aramayın, eklentinin robots.txt düzenleyici ekranına bakın.
6. Değişiklik yaptıktan sonra Google Search Console’un robots.txt test aracıyla doğrulayın; en azından Googlebot tarafı için hatasız olduğunu görürsünüz.

Açık mı Kapalı mı Tutmalı

Tek doğru cevap yok, ama karar kriterleri net.

AI görünürlüğü öncelikliyse: hepsini açık tutun — özellikle OAI-SearchBot, PerplexityBot ve Google-Extended’ı. Bunlar şu anda gerçek kullanıcıya cevap üretirken sitenizi kaynak olarak gösterebiliyor; kapatırsanız o trafikten tamamen çıkarsınız.

Rakiplerinizin içeriğinizi ‘öğrenmesinden’ rahatsızsanız: salt eğitim botlarını (GPTBot, ClaudeBot, CCBot) kapatmayı düşünebilirsiniz. Ama şunu bilerek karar verin — bunun bugün ölçülebilir bir ticari zararı yok, ilke meselesi. İçeriğiniz zaten yayında ve herkes okuyabiliyor; fark, modelin onu ‘ezberleyip ezberlemediği’.

Ortada bir yol arıyorsanız: arama botlarını açık, eğitim botlarını kapalı tutmak mantıklı görünüyor ama pratikte sınır bulanık — ClaudeBot gibi bazı botlar hem eğitim hem canlı erişim için aynı user-agent’ı kullanıyor, ikisini robots.txt seviyesinde ayıramıyorsunuz.

Kendi kuralım: birincil geliri içerik satışı olmayan bir site (danışmanlık, hizmet, ürün) için kapatmanın somut bir kazancı yok ama görünmemenin somut bir maliyeti var. GEO’nun geleneksel SEO’dan farkını anladıysanız bu tercih zaten kendiliğinden netleşir. Ben varsayılan olarak hepsini açık bırakıyorum.

Bir Satırlık Hata Koca Siteyi Nasıl Siler

robots.txt küçük bir dosya ama etkisi geri dönüşü zor olabiliyor. Bu hafta konuşulan bir örnek tam da bunu gösterdi: bir site, robots.txt’ine derleme çıktılarının bulunduğu /_next/ klasörünü Disallow olarak eklemiş. O klasördeki dosyalar sayfayı tarayıcıda ‘inşa eden’ JavaScript parçaları olduğu için, arama motorları sayfayı artık boş görmeye başlamış — sonuç, sitenin neredeyse tamamının aramadan tamamen düşmesi. Tek satırlık, iyi niyetli bir kural (muhtemelen ‘gereksiz dosyaları taratmayalım’ diye eklenmiş) koca bir siteyi indeksten sildi.

Benzer bir şeyi kendi operasyonumda da gördüm: yönettiğim sitelerden birinde bir eklenti güncellemesi robots.txt çıktısını sıfırlayıp üzerine genel bir Disallow kuralı yazmıştı; fark edilmesi haftalar sürebilirdi, şans eseri rutin bir kontrolde yakalandı. Not: llms.txt ile robots.txt’i karıştırmayın — llms.txt sadece bilgi verir, hiçbir botu engellemez; asıl bağlayıcı erişim kuralı her zaman robots.txt’tedir.

Çıkarım basit: robots.txt’e her dokunuşta değişikliği canlıya atmadan önce test aracıyla doğrulayın ve geniş kapsamlı bir Disallow yazmadan önce hangi klasörlerin gerçekten görüntüleme için gerekli olduğunu bilin.

Botlara İzin Vermek Yetmiyor

robots.txt’i doğru ayarlamak bir botun sitenizi taramasına izin verir, taranmak ise görünür olmak anlamına gelmez. İzni verdikten sonra asıl soru şu: o içerik AI’nın cevap olarak sizi seçmesi için yeterince net, alıntılanabilir ve yapılandırılmış mı? Bunu Web Siteniz ChatGPT’de Nasıl Görünür yazısında ayrıntılı anlattım.

Kendi başınıza uğraşmak istemiyorsanız Yapay Zeka Aramalarında Görünürlük hizmetimde robots.txt’ten şema işaretlemesine kadar tüm katmanı denetleyip düzeltiyorum.

Bu İşi Benden İsteyebilirsiniz

Bu işi benden isteyebilirsiniz: robots.txt’inizi denetleyip hangi AI botlarının açık/kapalı olması gerektiğini ve mevcut bir kuralın sitenizi yanlışlıkla engelleyip engellemediğini çıkarmak — genelde 2 saat ile 2 hafta arasında süren, tamamen uzaktan, saatlik ücretli bir iş. Detay için Yapay Zeka Aramalarında Görünürlük sayfasına bakabilir ya da doğrudan yazabilirsiniz.

Sıkça Sorulan Sorular

robots.txt’i değiştirdikten sonra AI botları ne kadar sürede fark eder?

Değişir. Google Search Console’da ‘yeniden tara’ isteği gönderirseniz Googlebot ve Google-Extended günler içinde fark edebilir. GPTBot, ClaudeBot, PerplexityBot gibi botlar için elle hızlandırma aracı yok — kendi tarama takvimlerine göre birkaç gün ile birkaç hafta arasında yeniden uğrarlar.

GPTBot’u engellersem ChatGPT sitemi hiç göstermez mi?

Hayır, iki farklı bot karıştırılıyor. GPTBot eğitim verisi topluyor; ChatGPT’nin canlı arama/cevap özelliği ayrı bir bot olan OAI-SearchBot’u kullanıyor. GPTBot’u kapatsanız bile OAI-SearchBot açıksa ChatGPT arama modunda sitenizi hâlâ gösterebilir.

CCBot bir arama motoru değil, neden önemli?

CCBot kendisi cevap üretmiyor ama topladığı Common Crawl arşivi, çoğu büyük dil modelinin ilk eğitim setinin parçası. Onu bugün kapatmak modelin şu anki ‘hafızasındaki’ bilgiyi değiştirmez ama gelecekteki model sürümlerinin sizi yeniden öğrenmesini engelleyebilir.

robots.txt’teki bot izni ile llms.txt aynı şey mi?

Hayır. robots.txt resmi bir erişim kuralı — botlar buna uyar (ya da bazıları uymaz, ama kural budur). llms.txt ise sadece bir bilgi/öneri dosyası, hiçbir botu engellemez. İkisi farklı işler görür, birini yapmak diğerini gereksiz kılmaz.

Tüm AI botlarını açık bırakırsam sunucuma yük biner mi?

Çok yüksek trafikli büyük sitelerde evet, özellikle CCBot ve GPTBot fark edilir bir tarama yükü yaratabilir. Küçük-orta ölçekli bir WordPress sitesinde bu pratikte önemsiz — oguzerol.com’da herhangi bir performans etkisi görmedim.