Ana içeriğe geç
Tüm Araçlar
%100 Ücretsiz
Robots.txt Oluşturucu
Web siteniz için profesyonel robots.txt dosyası oluşturun.
Önizleme
User-agent: * Disallow: /admin/ Disallow: /private/
Robots.txt Nedir?
Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayabileceklerini söyleyen bir dosyadır. Doğru yapılandırılmış bir robots.txt, SEO performansınızı artırır ve sunucu kaynaklarınızı korur.
En İyi Uygulamalar
- Sitemap URL'nizi robots.txt'e ekleyin.
- Admin paneli ve özel sayfaları Disallow ile engelleyin.
- AI botlarını (GPTBot, ClaudeBot) gerekirse ayrı kural ile yönetin.