By default all robots are
Crawl delay
Sitemap URL. Leave blank for none.
Robots are allowed to crawl your site:
Restricted directories or files. Relative to root, with trailing slash for dirs.
Your Robots.txt
Robots.txt Generator. |
By default all robots are
Crawl delay
Sitemap URL. Leave blank for none.
Robots are allowed to crawl your site:
Restricted directories or files. Relative to root, with trailing slash for dirs.
Your Robots.txt
Il file robot.txt su un sito Web è Aiuta il Webmaster Ignora i file o le directory specificati quando il ragno del motore di trablio che striscia un sito.
Robots.txt Generator ti aiuta a ottenere il file robost.txt più semplice, Wehn selezioni il motore di ricerca consentito e il tempo di ritardo del crawl, immettere l'URL del sito e selezionare i rototi consentiti quindi prendi il codice. Il codice come sotto:
.User-Agent: *
Non consentire: /
User-Agent: IA_Archiver
Non consentire:
User-Agent: Slurp
Non consentire:
User-Agent: Aport
Non consentire:
User-Agent: Teoma
Non consentire:
User-Agent: Baiduspider
Non consentire:
User-Agent: Twiceler
Non consentire:
User-Agent: Robozilla
Non consentire:
User-Agent: Gigabot
Non consentire:
User-Agent: Googlebot
Non consentire:
User-Agent: GoogleBot-Image
Non consentire:
User-Agent: GoogleBot-Mobile
Non consentire:
User-Agent: mail.ru
Non consentire:
User-Agent: MSNBOT
Non consentire:
User-Agent: PsBot
Non consentire:
User-Agent: Naverbot
Non consentire:
User-Agent: Yeti
Non consentire:
User-Agent: Nuch
Non consentire:
User-Agent: Stackrambler
Non consentire:
User-Agent: Scruby
Non consentire:
User-Agent: Asterias
Non consentire:
User-Agent: Yahoo-Slurp
Non consentire:
User-Agent: Yandex
Non consentire:
seleziona lingua:日本語 | 한국어 | Français | Español | ไทย| عربي | русский язык | Português | Deutsch| Italiano | Ελληνικά | Nederlands | Polskie| Tiếng Việt| বাংলা| Indonesia| Pilipino| Türk| فارسی| ລາວ| ဗမာ| български| Català| čeština| Қазақ| Magyar| Română| Україна
Copyright ©2021 - 2031 All Rights Reserved.