Yapay Zeka Botları İçin robots.txt Rehberi: GPTBot, OAI-SearchBot, ClaudeBot

robots.txt Nedir ve Yapay Zeka Botları İçin Neden Önemli?

robots.txt, sitenizin kök dizininde (örneğin siteniz.com/robots.txt) yer alan ve otomatik tarayıcılara sitenin hangi bölümlerine erişebileceklerini bildiren düz metin dosyasıdır. Yıllarca ağırlıklı olarak Googlebot ve Bingbot gibi arama motoru botlarını yönetmek için kullanılan bu dosya, üretken yapay zekanın yaygınlaşmasıyla yeni bir önem kazandı.

Bugün ChatGPT, Claude, Perplexity ve Gemini gibi sistemler web içeriğini farklı amaçlarla ziyaret ediyor. Bu botlara verdiğiniz izinler; içeriğinizin model eğitiminde kullanılıp kullanılmayacağını, yapay zeka arama yanıtlarında kaynak gösterilip gösterilmeyeceğini ve bir kullanıcı sayfanızı paylaştığında yapay zekanın onu okuyup okuyamayacağını etkiler.

Başka bir deyişle robots.txt artık yalnızca teknik bir SEO dosyası değil; markanızın yapay zeka görünürlüğünü doğrudan etkileyen bir GEO kararıdır.

llms.txt, robots.txt'nin yerini alır mı?

Hayır. llms.txt, yapay zeka sistemlerine sitenin önemli içeriklerini özetlemeyi amaçlayan öneri niteliğinde bir dosya formatıdır ve yaygın kabul görmüş bir standart değildir. Bot erişimini yönetmenin temel yolu robots.txt olmaya devam ediyor.

Yapay Zeka Botları Hangi Üç Görevi Üstlenir?

Yapay zeka botları üç farklı görev üstlenir: model eğitimi, yapay zeka araması için dizinleme ve kullanıcı isteğiyle anlık sayfa ziyareti. Doğru robots.txt kararı vermenin ilk adımı, her botun ne işe yaradığını bilmektir. Büyük yapay zeka şirketleri botlarını artık görevlerine göre ayırıyor ve her biri için ayrı bir kullanıcı aracısı adı yayımlıyor.

1. Eğitim Botları

İçeriği, gelecekteki yapay zeka modellerinin eğitiminde kullanılabilecek veri olarak toplar. Bu botların sitenize doğrudan ziyaretçi ya da kaynak bağlantısı getirmesi beklenmez. Örnekler: GPTBot, ClaudeBot, CCBot.

2. Arama Botları

Yapay zeka destekli arama özellikleri için içerik dizini oluşturur. Bu botlar, sitenizin yapay zeka yanıtlarında kaynak olarak gösterilmesinin ön koşuludur. Örnekler: OAI-SearchBot, Claude-SearchBot, PerplexityBot.

3. Kullanıcı İsteği Botları

Bir kullanıcı yapay zekaya soru sorduğunda ya da bir bağlantı paylaştığında ilgili sayfayı o anda ziyaret eder. Web'i otomatik olarak taramaz. Örnekler: ChatGPT-User, Claude-User, Perplexity-User.

OpenAI Botları GPTBot, OAI-SearchBot ve ChatGPT-User Ne İşe Yarar?

OpenAI'de GPTBot eğitim, OAI-SearchBot ChatGPT araması, ChatGPT-User ise kullanıcı istekleri için çalışır; GPTBot ve OAI-SearchBot robots.txt'de ayrı yönetilir, ChatGPT-User için ise robots.txt kuralları uygulanmayabilir. OpenAI, botlarını resmi dokümantasyonunda ayrı ayrı tanımlar ve her ayarın birbirinden bağımsız çalıştığını vurgular.

Yani bir site, OAI-SearchBot'a izin verip GPTBot'u engelleyerek ChatGPT aramasında görünmeye devam ederken içeriğinin model eğitiminde kullanılmamasını talep edebilir.

GPTBot

GPTBot, OpenAI'nin üretken yapay zeka temel modellerinin eğitiminde kullanılabilecek içerikleri tarar. Bu botu engellemek, sitenizin içeriğinin model eğitiminde kullanılmaması gerektiğini bildirir. GPTBot'u engellemek sitenizi ChatGPT arama sonuçlarından çıkarmaz.

OAI-SearchBot

OAI-SearchBot, ChatGPT'nin arama özelliklerinde web sitelerini göstermek için kullanılır. OpenAI'ye göre bu botu engelleyen siteler ChatGPT arama yanıtlarında yer almaz, yalnızca gezinme amaçlı bağlantılarda görünebilir. Bu nedenle OpenAI, arama sonuçlarında görünmek isteyen sitelere OAI-SearchBot'a izin vermelerini öneriyor. GEO açısından OpenAI ekosistemindeki en kritik bot budur.

ChatGPT-User

ChatGPT-User, bir kullanıcı ChatGPT'ye ya da özel bir GPT'ye soru sorduğunda sayfaları anlık olarak ziyaret eder. Otomatik tarama yapmaz ve sitenizin aramada görünüp görünmeyeceğini belirlemez. Bu ziyaretler kullanıcı tarafından başlatıldığı için OpenAI, robots.txt kurallarının bu bota uygulanmayabileceğini belirtiyor.

OAI-AdsBot

OpenAI'nin dokümantasyonunda yer alan bu bot, ChatGPT'de reklam olarak gönderilen açılış sayfalarının politikalara uygunluğunu kontrol eder. Yalnızca reklam olarak gönderilen sayfaları ziyaret eder ve topladığı veriler model eğitiminde kullanılmaz.

Not: OpenAI, her bot için resmi IP aralıklarını JSON dosyaları olarak yayımlıyor (örneğin openai.com/gptbot.json ve openai.com/searchbot.json). Sunucu kayıtlarında kendini OpenAI botu olarak tanıtan isteklerin doğruluğunu bu listelerle kontrol edebilirsiniz.

Anthropic Botları ClaudeBot, Claude-SearchBot ve Claude-User Ne İşe Yarar?

Anthropic'te ClaudeBot eğitim, Claude-SearchBot arama kalitesi, Claude-User ise kullanıcı istekleri için kullanılır. Anthropic de botlarını görevlerine göre ayırır ve botlarının robots.txt'deki standart “taramayın” direktiflerine uyduğunu belirtir (Anthropic).

ClaudeBot

ClaudeBot, Anthropic'in modellerinin eğitimine katkı sağlayabilecek web içeriklerini toplar. Bu botu engellemek, sitenizin gelecekteki içeriklerinin eğitim veri setlerinin dışında tutulmasını talep etmek anlamına gelir.

Claude-SearchBot

Claude-SearchBot, kullanıcılara sunulan arama sonuçlarının kalitesini artırmak için web'i tarar. Anthropic'e göre bu botu engellemek içeriğinizin arama için dizinlenmesini önler ve sitenizin kullanıcı aramalarındaki görünürlüğünü azaltabilir.

Claude-User

Claude-User, kullanıcılar Claude'a soru sorduğunda sayfaları anlık olarak ziyaret eder. Bu botu engellemek, Claude'un kullanıcı sorularına yanıt verirken sitenizdeki içeriği getirmesini engeller ve kullanıcı odaklı aramalardaki görünürlüğünüzü azaltabilir.

Anthropic, standart dışı Crawl-delay direktifini de destekler. Sunucu yükünü azaltmak isterseniz tarama sıklığını aşağıdaki gibi sınırlayabilirsiniz:

User-agent: ClaudeBot
Crawl-delay: 1

Not: Eski robots.txt dosyalarında hâlâ görülen Claude-Web ve anthropic-ai ifadeleri, Anthropic'in güncel bot belgesinde yer almıyor; güncel yönetim için yukarıdaki üç bot adını kullanın. Anthropic ayrıca IP engelleme gibi alternatif yöntemlerin robots.txt dosyasının okunmasını da engelleyebileceği için güvenilir bir çıkış yolu olmadığını belirtiyor.

Google ve Diğer Yapay Zeka Botları Nasıl Çalışır?

Google'ın yapısı OpenAI ve Anthropic'ten farklıdır. Google Arama, AI Bakışı ve AI Modu aynı dizinle, yani Googlebot'un taradığı içerikle çalışır. Google-Extended ise ayrı bir tarayıcı değil, robots.txt'de kullanılan bir kontrol ifadesidir. İçeriğinizin Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki yanıtların temellendirilmesinde kullanılıp kullanılmayacağını belirler; Google Arama'daki görünürlüğünüzü etkilemez (Google Search Central).

Bu ayrım kritiktir: Google AI Modu'nda görünmek istiyorsanız Googlebot'u engellememelisiniz (Google Search Central). AI Modu'nun kaynak seçimini nasıl yaptığını Google AI Modu Nedir? Sorgu Bölme (Query Fan-Out) ve İçeriğe Etkisi yazımızda ayrıntılı olarak ele aldık.

Hangi Botu Engellersem Ne Olur?

GPTBot veya ClaudeBot'u engellemek sitenizi ChatGPT ya da Claude yanıtlarından çıkarmaz; arama botlarını engellemek ise görünürlüğü doğrudan azaltabilir. Google AI Modu ve AI Bakışı Googlebot'un dizinini kullanır; Google-Extended engeli Google Arama görünürlüğünü etkilemez. Aşağıdaki tablo, en sık karşılaşılan botların engellenmesinin olası sonuçlarını özetler. Karar verirken her satırı markanızın hedefleriyle birlikte değerlendirin.

Senaryolara Göre Örnek robots.txt Yapılandırmaları

Doğru yapılandırma markanızın önceliklerine bağlıdır. Aşağıdaki örnekler en yaygın dört senaryoyu kapsar. Örneklerdeki siteniz.com adresini ve dizin yollarını kendi sitenize göre düzenleyin.

1. Maksimum Yapay Zeka Görünürlüğü

İçeriğinizin yapay zeka aramalarında kaynak gösterilmesini ve modellerin markanızı tanımasını istiyorsanız botlara açıkça izin verin, yalnızca özel alanları kapatın.

# Yapay zeka arama ve eğitim botlarına izin ver
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
Disallow: /admin/

User-agent: *
Disallow: /admin/

Sitemap: https://www.siteniz.com/sitemap.xml

2. Eğitime Kapalı, Aramaya Açık

Pek çok marka için en dengeli senaryo budur: içerik model eğitiminde kullanılmaz, ancak ChatGPT, Claude ve Perplexity aramalarında kaynak olarak gösterilmeye devam eder.

# Model eğitimi: kapalı
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Yapay zeka araması ve kullanıcı istekleri: açık
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
Disallow: /admin/

# Diğer tüm botlar (Googlebot dahil)
User-agent: *
Disallow: /admin/

Sitemap: https://www.siteniz.com/sitemap.xml

3. Belirli Dizinleri Koruma

Ücretli raporlar, üye içerikleri veya özgün araştırmalar gibi bölümleri eğitim botlarına kapatıp sitenin geri kalanını açık tutabilirsiniz.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /raporlar/
Disallow: /uyeler/
Disallow: /admin/

User-agent: *
Disallow: /admin/

4. Tüm Yapay Zeka Botlarını Engelleme

Bu yaklaşım içeriği yapay zeka sistemlerinden olabildiğince uzak tutar; ancak markanızı ChatGPT, Claude ve Perplexity yanıtlarında büyük ölçüde görünmez kılar. Googlebot'u engellemediğiniz sürece Google Arama ve AI Modu görünürlüğünüz korunur.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/

robots.txt Yazarken Sık Yapılan Hatalar

Yapay zeka botları için hazırlanan robots.txt dosyalarında en sık karşılaşılan hatalar, çoğu zaman botların görevlerinin karıştırılmasından kaynaklanır.

• Yalnızca GPTBot'u engelleyip işin bittiğini düşünmek: OAI-SearchBot ve ChatGPT-User ayrı botlardır ve ayrı kullanıcı aracısı adlarıyla tanımlanır.
• Eğitim botuyla birlikte arama botunu da kapatmak: “Tüm OpenAI botlarını engelle” yaklaşımı, ChatGPT aramasındaki görünürlüğü de ortadan kaldırır.
• Bota özel grubun genel kuralları devraldığını sanmak: Bir bot için ayrı bir User-agent grubu tanımladığınızda bot genellikle yalnızca kendine en uygun grubu uygular ve “User-agent: *” altındaki kuralları dikkate almaz. Özel dizin kısıtlamalarını her grupta tekrarlayın (Google Search Central).
• Eski bot adlarını kullanmak: Claude-Web ve anthropic-ai gibi adlar Anthropic'in güncel belgesinde yer almaz; güncel botlar ClaudeBot, Claude-SearchBot ve Claude-User adlarıyla yönetilir.
• Alt alan adlarını unutmak: Her alt alan adının (örneğin blog.siteniz.com) kendi robots.txt dosyası olmalıdır.
• Yanlış konum veya biçim: Dosya kök dizinde, robots.txt adıyla ve düz metin olarak yayımlanmalıdır.
• Googlebot'u yanlışlıkla engellemek: Geniş kapsamlı bir Disallow kuralı, Google Arama ile birlikte AI Bakışı ve AI Modu görünürlüğünü de kaybettirebilir.

robots.txt'nin Sınırları: CDN, Güvenlik Duvarı ve Sahte Botlar

robots.txt, kurallara uyan botlar için bir talimat dosyasıdır; zorlayıcı bir güvenlik mekanizması değildir. Bu nedenle üç noktaya ayrıca dikkat etmek gerekir.

1. CDN ve Güvenlik Duvarı Ayarları

Cloudflare gibi CDN ve güvenlik duvarı hizmetleri, yapay zeka botlarını robots.txt dosyasına ulaşmadan engelleyebilir. robots.txt izin veriyor gibi görünse bile CDN katmanındaki bir bot yönetimi ayarı, OAI-SearchBot veya Claude-SearchBot'un sitenize erişmesini sessizce durdurabilir. Bot yönetimi ayarlarınızı robots.txt kararlarınızla uyumlu hale getirin.

2. Sahte Botlar

Bazı kötü niyetli tarayıcılar kendilerini GPTBot veya ClaudeBot gibi tanıtabilir. Kullanıcı aracısı adı tek başına güvenilir bir kimlik doğrulaması değildir. Şirketlerin yayımladığı resmi IP listeleriyle doğrulama yapmak ve şüpheli trafiği hız sınırlama ya da güvenlik duvarı kurallarıyla yönetmek gerekir.

3. Kurallara Uymayan Botlar

Her tarayıcı robots.txt'ye uymaz; kullanıcı isteğiyle çalışan bazı botlar da kuralları uygulamayabilir. Hassas içerikler için tek güvenilir koruma yetkilendirme ve erişim kontrolüdür.

Yapay Zeka Botu Erişimi Nasıl Test Edilir ve İzlenir?

Yapay zeka botu erişimini test etmek için robots.txt dosyanızın erişilebilir ve güncel olduğunu doğrulayın, Google Search Console'daki robots.txt raporunu ve sunucu kayıtlarını inceleyin, kendini yapay zeka botu olarak tanıtan istekleri resmi IP listeleriyle doğrulayın, CDN ve güvenlik duvarı kurallarını gözden geçirin ve markanızın yapay zeka yanıtlarında kaynak gösterilip gösterilmediğini izleyin.

Bir robots.txt değişikliğinin beklenen sonucu verdiğinden emin olmak için düzenli kontrol gerekir:

• Tarayıcınızda siteniz.com/robots.txt adresini açarak dosyanın erişilebilir ve güncel olduğunu doğrulayın.
• Google Search Console'daki robots.txt raporuyla Google'ın dosyanızı nasıl okuduğunu kontrol edin.
• Sunucu kayıtlarında GPTBot, OAI-SearchBot, ClaudeBot ve Claude-SearchBot gibi kullanıcı aracılarının ziyaretlerini ve aldıkları yanıt kodlarını inceleyin.
• Kendini yapay zeka botu olarak tanıtan istekleri, şirketlerin yayımladığı resmi IP listeleriyle doğrulayın.
• CDN ve güvenlik duvarı panellerinde yapay zeka botlarına yönelik engelleme veya sınırlama kurallarını gözden geçirin.
• Değişikliklerden sonra hedef sorularda markanızın ChatGPT, Claude ve Perplexity yanıtlarında kaynak gösterilip gösterilmediğini izleyin.

Bu ölçümü yapay zeka görünürlüğü stratejinizle birlikte kurgulamak isteyen şirketler yapay zeka danışmanlığı hizmetimize başvurabilir.

Yapay Zeka Botları İçin robots.txt Kontrol Listesi

• Hedef net mi? Eğitim, arama ve kullanıcı isteği botları için ayrı ayrı karar verildi mi?
• Arama botları açık mı? Yapay zeka aramalarında görünmek istiyorsanız OAI-SearchBot, Claude-SearchBot ve PerplexityBot'a izin veriliyor mu?
• Googlebot erişebiliyor mu? Google Arama ve AI Modu görünürlüğü için Googlebot'a yanlışlıkla engel konmadığı kontrol edildi mi?
• Özel dizin kuralları her grupta var mı? Bota özel gruplar, genel gruptaki kısıtlamaları da içeriyor mu?
• Bot adları güncel mi? Eski veya yanlış yazılmış kullanıcı aracısı adları temizlendi mi?
• CDN ayarları uyumlu mu? Güvenlik duvarı ve bot yönetimi kuralları robots.txt kararlarıyla çelişiyor mu?
• Sahte botlara karşı önlem var mı? Şüpheli istekler resmi IP listeleriyle doğrulanıyor mu?
• Düzenli kontrol planlandı mı? Yeni botlar ve değişen dokümantasyonlar için robots.txt periyodik olarak gözden geçiriliyor mu?

Lein Digital ile Teknik GEO ve Yapay Zeka Görünürlüğü

Lein Digital, bir GEO ajansı olarak robots.txt'yi tek başına bir teknik dosya olarak değil, markanın yapay zeka görünürlüğü stratejisinin bir parçası olarak ele alır. OpenAI Select Partner statüsü ve Anthropic Claude Partner Network üyeliği, bu ekosistemlerdeki gelişmeleri yakından takip etmemize yardımcı olur.

Teknik GEO çalışmalarımızda robots.txt yapılandırmasını sunucu kayıtları, CDN ayarları, içerik mimarisi ve ölçüm süreçleriyle birlikte değerlendiriyoruz.

Bu süreçte kararlar; markanın ticari öncelikleri, içeriğin değeri ve yasal gereksinimler dikkate alınarak verilir. Yaklaşımımız insan veya yapay zeka değil, insan + yapay zeka modelidir.

Sonuç: robots.txt, Yapay Zeka Görünürlüğünün İlk Kapısıdır

Yapay zeka botları artık tek bir kategori değil. Eğitim, arama ve kullanıcı isteği botları farklı amaçlara hizmet ediyor ve her birine verilen izin, markanızın yapay zeka ekosistemindeki konumunu farklı biçimde etkiliyor. GPTBot ile OAI-SearchBot'u, ClaudeBot ile Claude-SearchBot'u birbirinden ayırmak, bilinçli bir robots.txt stratejisinin temelidir.

Doğru yapılandırılmış bir robots.txt, içeriğinizi korumak istediğiniz yerde korur; görünür olmak istediğiniz yerde ise kapıları açık tutar. Markanız için yapay zeka botu erişimi ve GEO odaklı bir teknik yol haritası oluşturmak istiyorsanız Lein Digital ile iletişime geçebilirsiniz.