Strumenti › Generatore Robots.txt
Generatore Robots.txt · Preset CMS
Generatore Robots.txt
Crea un file robots.txt senza errori in 30 secondi con le regole giuste per il tuo CMS.
Il tuo CMS
Accesso dei crawler
Percorsi disallow aggiuntivi
Candidati comuni: /carrello/, /checkout/, /admin/
Opzioni avanzate
Secondi tra le scansioni. Google lo ignora.
robots.txt
A cosa serve il robots.txt?
Un file robots.txt indica ai crawler dei motori di ricerca quali parti del sito possono o non possono richiedere. Si trova nella radice del dominio ed è il primo file che la maggior parte dei crawler legge.
È ottimo per tenere fuori dall'indice aree admin, carrelli e ricerche interne — ma non è una misura di sicurezza, e gli URL bloccati possono comunque apparire se collegati altrove.
Un solo errore può bloccare accidentalmente l'intero sito da Google. Vuoi un audit tecnico completo per la tua attività a Milano? Contattaci.