Kaynak: https://oguzerol.com/ai-botlarina-robots-txt-izni/ GEO / AEO # AI Botları: GPTBot, ClaudeBot, CCBot — Hangisine İzin Vermeli [Oğuz Erol](https://oguzerol.com/hakkimda/) | 9 dk okuma | Yayın: 3 Ağustos 2026 | Güncelleme: 13 Ekim 2026 ## Kısa özet GPTBot robots.txt kuralı nasıl yazılır? Arama botu ile eğitim botunu ayırın, ChatGPT'de görünürken eğitimi engelleyin: hazır örnekler ve kontrol adımları. GPTBot, OpenAI’ın model eğitimi için kullandığı tarayıcıdır. robots.txt’te engellemek sitenizin ChatGPT aramasında görünmesini tek başına bitirmez; arama için ayrı bir bot (OAI-SearchBot) var. Kısa cevap: **görünürlük istiyorsanız arama botlarına izin verin, eğitimi istemiyorsanız yalnız eğitim botlarını kapatın.** Bu sayfa her botun ne yaptığını, hazır robots.txt örneklerini ve kontrol adımlarını sırayla anlatıyor. Bilgiler Ekim 2026 itibarıyla her şirketin kendi bot belgesine dayanıyor; kaynaklar tablonun altında. Bot adları ve davranışları değişebildiği için karar vermeden önce ilgili belgeye bakın. ## Hızlı karar: hangi botu açmalı, hangisini kapatmalı | İstediğiniz | Açık kalsın | Kapatılabilir | | --- | --- | --- | | ChatGPT, Claude, Perplexity cevaplarında görünmek; eğitim verisi olmak istemiyorum | OAI-SearchBot, Claude-SearchBot, PerplexityBot | GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot | | Hem görünmek hem eğitimde kullanılmak sorun değil | Hepsi | Hiçbiri | | Yapay zekâ ürünlerinden uzak durmak | Googlebot gibi klasik arama botları | Yukarıdaki tüm AI botları | Bu tablo bir görünürlük garantisi değildir: izin vermek botun sayfayı okuyabileceği anlamına gelir, cevaplarda seçileceğiniz anlamına gelmez. ## Hangi Bot Ne İşe Yarıyor Bir AI şirketinin genellikle birden fazla botu var ve her biri başka bir iş yapıyor: eğitim verisi toplamak, arama indeksi kurmak ya da kullanıcı isteğiyle tek bir sayfayı açmak. Kararı bu üç işe göre verin. | Bot | Şirket | İşi | robots.txt’e davranışı | | --- | --- | --- | --- | | GPTBot | OpenAI | Üretken yapay zekâ modellerinin eğitimi için içerik tarar | Engellemek, içeriğin eğitimde kullanılmaması yönünde sinyaldir | | OAI-SearchBot | OpenAI | ChatGPT aramasında siteleri göstermek için tarar | Kapatırsanız ChatGPT arama cevaplarında gösterilmezsiniz (gezinme bağlantısı olarak görünebilirsiniz) | | ChatGPT-User | OpenAI | Kullanıcı sorduğunda tek bir sayfayı açar; otomatik tarama yapmaz | OpenAI’a göre eylem kullanıcıdan geldiği için robots.txt kuralları uygulanmayabilir | | ClaudeBot | Anthropic | Model eğitimine katkı sağlayabilecek içerik toplar | Engellemek, sitenin gelecekteki içeriklerinin eğitim dışında tutulması anlamına gelir | | Claude-SearchBot | Anthropic | Arama sonuçlarının isabetini artırmak için tarar | Engellerseniz içerik arama için indekslenmez | | Claude-User | Anthropic | Kullanıcı bir soru sorduğunda siteye erişir | Engellerseniz Claude kullanıcı sorularında içeriğinize erişemez | | PerplexityBot | Perplexity | Perplexity sonuçlarında siteleri göstermek için; model eğitimi için kullanılmaz | robots.txt ile yönetilir | | Perplexity-User | Perplexity | Kullanıcı soru sorunca sayfayı açar | Perplexity’ye göre kullanıcı isteğiyle çalıştığı için genellikle robots.txt’i dikkate almaz | | Google-Extended | Google | İçeriğin Gemini eğitiminde ve Gemini’daki grounding’de kullanılıp kullanılmayacağını belirler | Ayrı bir tarayıcı değil, yalnız robots.txt belirteci; Google Aramaya dahil olmayı etkilemez | | Applebot-Extended | Apple | Applebot’un topladığı verinin Apple’ın üretken modellerinin eğitiminde kullanılıp kullanılmayacağını belirler | Sayfa taramaz; engellemek arama sonuçlarından çıkarmaz | | CCBot | Common Crawl (kâr amacı gütmeyen) | Herkese açık bir web arşivi için tarar | robots.txt’e uyar | | Meta-ExternalAgent | Meta | Yapay zekâ modellerini eğitmek ya da içeriği doğrudan indekslemek için tarar | robots.txt ile engellenebilir | Kaynaklar (Ekim 2026’da okundu): [OpenAI botları](https://developers.openai.com/api/docs/bots) · [Anthropic botları](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) · [Perplexity botları](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) · [Google tarayıcıları](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers) · [Apple botları](https://support.apple.com/en-us/119829) · [CCBot](https://commoncrawl.org/ccbot) · [Meta tarayıcıları](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/). İki şey sık karıştırılıyor. Google-Extended bir bot değil: Google’ın belgesine göre kendi HTTP kullanıcı aracısı dizesi yok, bu yüzden sunucu kayıtlarında göremezsiniz. Ayrıca Google Aramaya dahil olmayı etkilemiyor; kapatmak sitenizi Google sonuçlarından çıkarmaz. Bu botların GEO’daki yerini [GEO Rehberi](https://oguzerol.com/geo-rehberi/) bütünüyle anlatıyor. ## GPTBot’a İzin Vermeli miyim Eğitim verisi olmak sizin için sakınca değilse evet: izin verin, hiçbir şey yazmanız gerekmez. İstemiyorsanız GPTBot’u kapatın, ama ChatGPT aramasında görünmek istiyorsanız OAI-SearchBot’u açık bırakın. OpenAI iki ayarı birbirinden bağımsız tutuyor; GPTBot’u kapatmak OAI-SearchBot’un arama listesini etkilemiyor. Kapatmanın bir bedeli de var. İçerik satmayan bir site (danışmanlık, hizmet, ürün) için eğitimi engellemenin somut bir kazancını göremiyorum, ama görünmemenin somut bir maliyeti var. Ben kendi sitemde hepsini açık bırakıyorum: `oguzerol.com/robots.txt` yalnızca `User-agent: *` ile `Allow: /` içeriyor. [GEO’nun SEO’dan farkını](https://oguzerol.com/geo-nedir-seo-farki/) anladıysanız bu tercih zaten netleşir. İçeriğin kendisi gelir kaynağıysa (haber, eğitim materyali) karar farklı olabilir; o zaman eğitim botlarını kapatmak makul. ## Hazır robots.txt Örnekleri Her bot kendi `User-agent` satırıyla yazılır. Örnekleri kendi dosyanıza ekleyin. **Yalnız eğitimi engelle, arama botlarına izin ver:** ``` User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: PerplexityBot Allow: / ``` **Yalnız bir bölümü kapat** (örneğin üyelik alanı): ``` User-agent: GPTBot Disallow: /uyelik/ Allow: / ``` Bir noktaya dikkat: Google’ın belgesine göre bir tarayıcı yalnızca tek bir kural grubunu kullanır, adıyla eşleşen en özel grubu. `GPTBot` için ayrı grup yazdıysanız `User-agent: *` altındaki satırları o bot için ayrıca tekrar yazmanız gerekebilir. Bu kural Google’ın tarayıcılarını anlatıyor; diğer şirketlerin botları için kendi belgelerine bakın. ## robots.txt’te Nasıl Kontrol Edilir Sitenizin hangi botlara izin verdiğini öğrenmek iki dakika sürer, kod bilmenize gerek yok. 1. Tarayıcıda `siteniz.com/robots.txt` adresini açın (örnek: `oguzerol.com/robots.txt`). 2. Dosyada `User-agent:` satırlarını arayın. Her bot kendi adıyla ayrı bir blokta listelenir. 3. O bloğun altında `Disallow: /` yazıyorsa bot sitenin tamamından men edilmiş demektir. `Disallow:` boşsa ya da o bot için hiç blok yoksa bot serbesttir. 4. Bir botun adı dosyada hiç geçmiyorsa en üstteki genel `User-agent: *` kuralı onun için de geçerlidir. 5. WordPress kullanıyorsanız robots.txt genelde Rank Math veya Yoast tarafından sanal üretilir. Sunucuda fiziksel dosya aramayın, eklentinin robots.txt düzenleyici ekranına bakın. 6. Siteniz Cloudflare arkasındaysa aşağıdaki bölümü de okuyun; dosyanızda görmediğiniz satırlar eklenmiş olabilir. 7. Değişiklikten sonra Google Search Console’daki robots.txt raporuna bakın. Google önbelleğini yaklaşık 24 saatte bir yeniliyor; daha hızlı olsun istiyorsanız aynı raporda yeniden tarama isteği var ([Google belgesi](https://developers.google.com/search/docs/crawling-indexing/robots/submit-updated-robots-txt)). OpenAI ve Perplexity da değişikliğin yaklaşık 24 saatte yansıyabileceğini söylüyor. ## Cloudflare’in AI Bot Engelleme Ayarı Siteniz Cloudflare arkasındaysa robots.txt’iniz siz yazmasanız da değişmiş olabilir. Cloudflare’in “managed robots.txt” özelliği açıksa kendi kurallarını sizin dosyanızın önüne ekleyip ikisini tek dosya olarak sunuyor; sizin dosyanız yoksa yalnız kendi Disallow satırlarını sunuyor. Belgesine göre bu blokta Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ve meta-externalagent kapatılır ([Cloudflare belgesi](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/), Ekim 2026’da okundu). Yani yalnız kendi dosyanıza bakmak yetmez: sitenizin canlı `/robots.txt` adresini açın. Zorlayıcı engelleme ayrı bir araçla (AI Crawl Control) yapılıyor ([belge](https://developers.cloudflare.com/ai-crawl-control/)). Arama botlarını açık tutmak istiyorsanız bu ayarların OAI-SearchBot ve PerplexityBot’u kapatmadığını ayrıca doğrulayın; bunu belgelerden değil, sitenizdeki ayarlardan görebilirsiniz. ## Doğru Bot mu Geliyor: Doğrulama User-agent satırı taklit edilebilir; birisi isteğine “GPTBot” yazarak kuralınızı kullanabilir. Kritik karar vermeden önce kaynak adresine bakın. - OpenAI, GPTBot, OAI-SearchBot ve ChatGPT-User için IP aralıklarını yayımlıyor (`openai.com/gptbot.json`, `openai.com/searchbot.json`, `openai.com/chatgpt-user.json`). - Anthropic aralıkları `claude.com/crawling/bots.json` adresinde yayımlıyor. Aynı belge, IP engellemenin botun robots.txt’inizi okumasını da engelleyeceği için opt-out’u garanti etmeyebileceğini söylüyor. - Perplexity, PerplexityBot ve Perplexity-User için ayrı IP listeleri yayımlıyor. - CCBot için ters DNS (`crawl.commoncrawl.org`) ve JSON aralık listesi var. Güvenlik duvarı kuralı yazarken bot dizesindeki sürüm numarasına bağlanmayın; OpenAI belgesinde GPTBot/1.4 örneği veriliyor ama sürüm değişebilir. ## Bir Satırlık Hata Koca Siteyi Nasıl Etkiler robots.txt küçük bir dosya ama etkisi geri dönüşü zor olabilir. Google’ın belgesi, sayfanın anlaşılması için gereken kaynakları engellememenizi söylüyor ([Google belgesi](https://developers.google.com/search/docs/crawling-indexing/robots/intro)). Sayfayı tarayıcıda oluşturan betik ya da stil dosyalarının klasörünü iyi niyetle `Disallow` yapmak, arama motorunun sayfayı eksik görmesine yol açabilir. Benzer bir şeyi kendi operasyonumda da gördüm: yönettiğim sitelerden birinde bir eklenti güncellemesi robots.txt çıktısını sıfırlayıp üzerine genel bir Disallow kuralı yazmıştı; fark edilmesi haftalar sürebilirdi, şans eseri rutin bir kontrolde yakalandı. Not: [llms.txt](https://oguzerol.com/llms-txt-nedir/) ile robots.txt’i karıştırmayın. llms.txt yalnız bilgi verir, hiçbir botu engellemez; erişim kuralı robots.txt’tedir. Tersi de geçerli: robots.txt bir sayfayı sonuçlardan çıkarma yöntemi değil. Google’a göre engellenen bir sayfanın adresi yine de açıklamasız görünebilir; sayfayı çıkarmak istiyorsanız `noindex` ya da parola koruması gerekir. Çıkarım basit: robots.txt’e her dokunuşta değişikliği canlıya aldıktan sonra mutlaka kontrol edin ve geniş kapsamlı bir `Disallow` yazmadan önce hangi klasörlerin sayfa için gerekli olduğunu bilin. ## Botlara İzin Vermek Yetmiyor robots.txt’i doğru ayarlamak bir botun sitenizi taramasına izin verir; taranmak görünür olmak anlamına gelmez. İzni verdikten sonra asıl soru, içeriğin AI’nın sizi seçmesi için yeterince net, alıntılanabilir ve yapılandırılmış olup olmadığı. Bunu [Web Siteniz ChatGPT’de Nasıl Görünür](https://oguzerol.com/chatgpt-de-firmam-nasil-cikar/) yazısında ayrıntılı anlattım. Kendi başınıza uğraşmak istemiyorsanız [Yapay Zeka Aramalarında Görünürlük](https://oguzerol.com/yapay-zeka-aramalarinda-gorunurluk/) hizmetimde robots.txt’ten şema işaretlemesine kadar tüm katmanı denetleyip düzeltiyorum. ## Bu İşi Benden İsteyebilirsiniz **Bu işi benden isteyebilirsiniz:** robots.txt’inizi denetleyip hangi AI botlarının açık/kapalı olması gerektiğini ve mevcut bir kuralın sitenizi yanlışlıkla engelleyip engellemediğini çıkarmak. Genelde 2 saat ile 2 hafta arasında süren, tamamen uzaktan, saatlik ücretli bir iş. Detay için [Yapay Zeka Aramalarında Görünürlük](https://oguzerol.com/yapay-zeka-aramalarinda-gorunurluk/) sayfasına bakabilir ya da doğrudan yazabilirsiniz. ## Sıkça Sorulan Sorular ### GPTBot’a izin vermeli miyim? Eğitim verisi olmak sakıncalı değilse evet, ek bir şey yazmanız gerekmez. Eğitimi istemiyorsanız GPTBot’u engelleyin ama ChatGPT aramasında görünmek istiyorsanız OAI-SearchBot’u açık bırakın; OpenAI bu iki ayarı bağımsız tutuyor. ### GPTBot’u engellersem ChatGPT sitemi hiç göstermez mi? Hayır, iki farklı bot karıştırılıyor. GPTBot eğitim içeriği için tarıyor; ChatGPT’nin arama özelliği için ayrı bir bot olan OAI-SearchBot var. OpenAI’ın belgesine göre OAI-SearchBot’u kapatan siteler ChatGPT arama cevaplarında gösterilmez; GPTBot’u kapatmak ise bunu etkilemez. ### robots.txt’i değiştirdikten sonra AI botları ne kadar sürede fark eder? OpenAI ve Perplexity yaklaşık 24 saat diyor. Google önbelleğini de genelde 24 saatte bir yeniliyor ve Search Console’da yeniden tarama isteyebilirsiniz. Diğer botlar için hızlandırma aracı yok; süre o şirketin tarama takvimine bağlı. ### ChatGPT-User ve Perplexity-User robots.txt’e uyar mı? İki şirket de bu botların kullanıcı isteğiyle çalıştığını, bu yüzden robots.txt kurallarının uygulanmayabileceğini ya da genellikle dikkate alınmadığını söylüyor. Bu botları robots.txt ile durduramazsınız; kısıtlama gerekiyorsa sunucu ya da CDN düzeyinde yapılır. ### CCBot bir arama motoru değil, neden önemli? CCBot cevap üretmez; Common Crawl’ın herkese açık web arşivi için tarar ve bu arşiv başka kişilerce kullanılabilir. Kapatırsanız gelecekteki taramalarda arşive girmezsiniz; zaten arşivlenmiş içerik bu yolla silinmez. ### robots.txt’teki bot izni ile llms.txt aynı şey mi? Hayır. robots.txt resmî bir erişim kuralı; uyumlu botlar ona uyar, bazıları uymayabilir. llms.txt ise bir bilgi/öneri dosyası, hiçbir botu engellemez. İkisi farklı işler görür. ### Tüm AI botlarını açık bırakırsam sunucuma yük biner mi? Çok yüksek trafikli büyük sitelerde olabilir. Küçük ve orta ölçekli bir WordPress sitesinde pratikte önemsiz; oguzerol.com’da herhangi bir performans etkisi görmedim. Yük sorun olursa Anthropic, Crawl-delay uzantısını destekliyor. [Başa dön ↑](https://oguzerol.com/ai-botlarina-robots-txt-izni/#icerik) ## Bunları da okumak ister misiniz? [llms.txt Nedir, Nasıl Hazırlanır?llms.txt nedir, robots.txt farkı ne? WordPress'te Rank Math ile otomatik kurulum, içine ne yazılmalı — dürüst bir değerlendirmeyle anlatıyorum.](https://oguzerol.com/llms-txt-nedir/)[GEO Rehberi: Yapay Zeka Aramalarında GörünürlükGEO ve yapay zeka aramalarında görünürlük için neyin işe yaradığı, Google'ın resmî görüşü ve 20 yazılık okuma sırası: anlama, uygulama, ölçme.](https://oguzerol.com/geo-rehberi/)[Siteyi AI Aramasına HazırlamaYapay zekâ siteyi okuyamıyorsa sizi anamaz. llms.txt, tarayıcı izinleri, entity şeması ve alıntılanabilir içerik yapısını kurup siteyi AI'ya açıyorum.](https://oguzerol.com/siteyi-ai-aramasina-hazirlama/) [Tüm yazılara göz atın →](https://oguzerol.com/yazilarim/)