Robots.txt Üreteci
Web siteniz için robots.txt dosyası oluşturun. Bot kurallarını kolayca ayarlayın.
100% Gizlilik Garantisi
Dosyalarınız sunucuya gönderilmez — tüm işlemler tarayıcınızda gerçekleşir
Kural 1
Bu Aracı Puanlayın
Bir yıldıza tıklayarak puanlayın
Sıkça Sorulan Sorular
What is robots.txt?
robots.txt is a file located in the root directory of your website that tells search engines which pages can or cannot be crawled.
What is the difference between Disallow and Allow?
Disallow prevents bots from crawling the specified URLs. Allow specifies exceptions to the Disallow rule.
Where should I put the robots.txt file?
Upload the file to your website's root directory: it should be accessible at example.com/robots.txt.