%100 Ücretsiz

Robots.txt Oluşturucu

Web siteniz için profesyonel robots.txt dosyası oluşturun.

User-Agent

Disallow (Engelle)

Allow (İzin ver)

Sitemap URL

Crawl-delay (saniye)

Önizleme

User-agent: *
Disallow: /admin/
Disallow: /private/

Robots.txt Nedir?

Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayabileceklerini söyleyen bir dosyadır. Doğru yapılandırılmış bir robots.txt, SEO performansınızı artırır ve sunucu kaynaklarınızı korur.

En İyi Uygulamalar

Sitemap URL'nizi robots.txt'e ekleyin.
Admin paneli ve özel sayfaları Disallow ile engelleyin.
AI botlarını (GPTBot, ClaudeBot) gerekirse ayrı kural ile yönetin.