{"id":11504,"date":"2026-09-16T08:25:16","date_gmt":"2026-09-16T08:25:16","guid":{"rendered":"https:\/\/www.visilay.com\/?p=11504"},"modified":"2026-09-16T08:25:16","modified_gmt":"2026-09-16T08:25:16","slug":"robots-txt","status":"publish","type":"post","link":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/","title":{"rendered":"Robots.txt: cos’\u00e8, come si scrive e cosa non pu\u00f2 fare"},"content":{"rendered":"\n

Il robots.txt \u00e8 un file di testo che sta nella radice di un sito e dice ai crawler quali URL possono scaricare e quali devono lasciare stare.<\/p>\n\n\n\n

Quello che non fa \u00e8 decidere cosa compare nei risultati di ricerca. Un URL bloccato l\u00ec dentro pu\u00f2 finire lo stesso su Google, senza descrizione sotto il titolo, se qualcun altro lo linka. Per tenere una pagina fuori dall’indice serve il noindex, che \u00e8 un’altra istruzione e sta in un altro posto.<\/p>\n\n\n\n

Una sola posizione possibile<\/h2>\n\n\n\n

Il file si chiama robots.txt tutto minuscolo e vale solo per la combinazione esatta di protocollo, host e porta da cui \u00e8 stato scaricato. https:\/\/esempio.it\/robots.txt<\/code> non dice niente su https:\/\/shop.esempio.it\/<\/code>, n\u00e9 su http:\/\/esempio.it\/<\/code>, n\u00e9 su https:\/\/esempio.it:8181\/<\/code>: ognuno di questi indirizzi ha bisogno del proprio file. La specifica di Google<\/a> elenca i casi uno per uno, punycode e FTP compresi.<\/p>\n\n\n\n

Un robots.txt dentro una sottocartella non esiste: nessun crawler lo cerca l\u00ec. Il formato \u00e8 testo semplice in UTF-8, e Google scarta le righe che non riesce a leggere invece di buttare via tutto il file. Il limite di dimensione \u00e8 500 kibibyte, oltre i quali il resto viene ignorato, e la copia in cache dura al massimo 24 ore.<\/p>\n\n\n\n

Le quattro righe che Google legge davvero<\/h2>\n\n\n\n

La sintassi \u00e8 campo: valore<\/code>, una direttiva per riga, con #<\/code> per i commenti. I campi che i crawler di Google interpretano sono quattro, e tutto il resto viene saltato.<\/p>\n\n\n\n

Direttiva<\/th>Cosa fa<\/th>Esempio<\/th>Google<\/th><\/tr><\/thead>
user-agent<\/td>Apre un gruppo e dice a quale crawler \u00e8 rivolto<\/td>User-agent: Googlebot<\/code><\/td>S\u00ec<\/td><\/tr>
disallow<\/td>Percorso che non deve essere scaricato<\/td>Disallow: \/carrello\/<\/code><\/td>S\u00ec<\/td><\/tr>
allow<\/td>Eccezione dentro un percorso bloccato<\/td>Allow: \/carrello\/guida.html<\/code><\/td>S\u00ec<\/td><\/tr>
sitemap<\/td>URL assoluto di una sitemap, valido per tutti i bot<\/td>Sitemap: https:\/\/esempio.it\/sitemap.xml<\/code><\/td>S\u00ec<\/td><\/tr>
crawl-delay<\/td>Secondi di attesa fra due richieste<\/td>Crawl-delay: 5<\/code><\/td>No<\/td><\/tr>
host, noindex<\/td>Dominio preferito, esclusione dall’indice<\/td>Host: esempio.it<\/code><\/td>No<\/td><\/tr><\/tbody><\/table>
Fonte: In che modo Google interpreta la specifica del file robots.txt<\/a>, Google Search Central.<\/figcaption><\/figure>\n\n\n\n

Il nome del campo non distingue maiuscole e minuscole, il valore s\u00ec: Disallow: \/listino<\/code> non blocca \/Listino<\/code>. I caratteri jolly ammessi sono due, *<\/code> che sostituisce qualsiasi sequenza e $<\/code> che \u00e0ncora la fine dell’URL, quindi Disallow: \/*.pdf$<\/code> prende solo i percorsi che finiscono davvero in .pdf e lascia passare \/scheda.pdf?v=2<\/code>.<\/p>\n\n\n\n

Quando due regole si contraddicono vince quella pi\u00f9 lunga, cio\u00e8 quella che combacia con pi\u00f9 caratteri dell’URL. A parit\u00e0 di lunghezza lo standard dice di preferire allow. \u00c8 il punto in cui i file scritti a mano si comportano pi\u00f9 spesso in modo diverso da come si aspettava chi li ha scritti.<\/p>\n\n\n\n

C’\u00e8 poi il caso che si vede in met\u00e0 degli audit: un gruppo specifico batte quello generico, ma non lo eredita. Se scrivi tre Disallow<\/code> sotto User-agent: *<\/code> e pi\u00f9 sotto apri un blocco User-agent: Googlebot<\/code> con una riga sola, Googlebot legge quella riga e ignora le altre tre. Le regole vanno ripetute dentro il gruppo specifico.<\/p>\n\n\n\n

Bloccare la scansione non \u00e8 togliere dai risultati<\/h2>\n\n\n\n

Google lo mette in evidenza nella sua introduzione ai file robots.txt<\/a>: il file \u00abnon \u00e8 un meccanismo che permette di escludere una pagina web da Google\u00bb. Se altre pagine rimandano a un URL bloccato, Google pu\u00f2 indicizzarlo senza averlo mai scaricato, e lo mostra nei risultati senza descrizione.<\/p>\n\n\n\n

Il rovescio \u00e8 pi\u00f9 insidioso. Se metti il noindex<\/a> su una pagina e poi blocchi la stessa URL nel robots.txt, il crawler non scarica la pagina, quindi non legge mai il noindex, e l’indirizzo resta in indice a volte per mesi. Le due istruzioni non si sommano: la seconda annulla la prima.<\/p>\n\n\n\n

Terzo effetto, quello che si nota molto dopo: i link dentro una pagina bloccata non vengono scoperti. Se un articolo \u00e8 raggiungibile solo da una pagina in Disallow, per Google quell’articolo non esiste.<\/p>\n\n\n\n

Cosa succede quando il server risponde male<\/h2>\n\n\n\n

Questa parte manca in quasi tutte le guide in circolazione, e riguarda l’incidente pi\u00f9 costoso che un robots.txt possa causare.<\/p>\n\n\n\n

Risposta HTTP a \/robots.txt<\/th>Comportamento del crawler<\/th><\/tr><\/thead>
2xx<\/td>Il file viene elaborato e le regole applicate<\/td><\/tr>
3xx<\/td>Google segue almeno cinque redirect, poi tratta la richiesta come un 404<\/td><\/tr>
4xx, escluso il 429<\/td>Come se il file non esistesse: nessuna restrizione di scansione<\/td><\/tr>
429<\/td>Errore temporaneo, non assenza di file<\/td><\/tr>
5xx<\/td>Regole indefinite: il crawler deve assumere il divieto completo sul sito<\/td><\/tr><\/tbody><\/table>
Righe 2xx, 3xx, 4xx e 429: documentazione Google Search Central<\/a>. Riga 5xx: RFC 9309, sezione 2.3.1.4<\/a>.<\/figcaption><\/figure>\n\n\n\n

La riga che conta \u00e8 l’ultima. Se il server risponde 500 o 503 alla richiesta di \/robots.txt<\/code>, lo standard impone al crawler di comportarsi come se l’intero sito fosse in Disallow, perch\u00e9 le regole risultano indefinite. Non \u00e8 un blocco parziale su qualche cartella: \u00e8 tutto il sito che smette di essere scansionato, finch\u00e9 il file non torna raggiungibile o non passa abbastanza tempo (l’RFC indica trenta giorni come esempio) perch\u00e9 il crawler lo consideri semplicemente assente.<\/p>\n\n\n\n

\u00c8 il motivo per cui un robots.txt generato da un plugin, da un middleware o da una regola di firewall che va in errore sotto carico pu\u00f2 fermare le scansioni senza che nessuno abbia toccato una riga di configurazione. Quando il traffico organico cala e il sito smette di comparire<\/a> senza una causa evidente, il codice di stato del robots.txt \u00e8 uno dei primi controlli di un audit tecnico<\/a>, prima di guardare i contenuti.<\/p>\n\n\n\n

Dal 1994 a uno standard vero<\/h2>\n\n\n\n

Il file nasce nel giugno 1994 da una discussione sulla mailing list robots-request, dopo che un crawler aveva messo in ginocchio un server. La proposta \u00e8 di Martijn Koster. Per ventotto anni \u00e8 rimasta una convenzione: tutti la rispettavano, nessuno l’aveva messa per iscritto in un documento normativo.<\/p>\n\n\n\n

Nel 2022 l’IETF ha pubblicato l’RFC 9309<\/a>, Robots Exclusion Protocol, su Internet Standards Track. Da l\u00ec il protocollo ha una sintassi formale in ABNF, regole obbligatorie sulla gestione degli errori, sulla cache e sui limiti di parsing, che devono essere di almeno 500 kibibyte. Lo stesso documento chiarisce in una riga cosa il robots.txt non \u00e8: \u00abThese rules are not a form of access authorization\u00bb.<\/p>\n\n\n\n

Buona parte del materiale in italiano \u00e8 ferma a prima di quella data. La voce di Wikipedia in italiano<\/a> scrive ancora che \u00abnon esiste un vero e proprio standard per il protocollo robots\u00bb, e robotstxt.org<\/a>, che diverse guide indicano come riferimento, riflette la versione del 1994: senza caratteri jolly, senza Allow, senza Sitemap.<\/p>\n\n\n\n

Chi lo legge oggi, oltre a Googlebot<\/h2>\n\n\n\n

Il traffico dei crawler non arriva pi\u00f9 solo dai motori di ricerca. Sulla rete Cloudflare, a maggio 2025, Googlebot valeva il 50% delle richieste di questa categoria, con un aumento del 96% in un anno, e GPTBot di OpenAI era salito al 7,7% con un +305%. \u00c8 un campione globale<\/a>, non italiano, ma l’ordine di grandezza indica dove sta andando la cosa.<\/p>\n\n\n\n

Sull’adozione i numeri sono meno lusinghieri. Il 6 giugno 2025 Cloudflare ha trovato un robots.txt su 3.816 dei primi 10.000 domini, poco meno di quattro su dieci. Fra questi, 546 (circa il 14%) contenevano una regola rivolta esplicitamente ai bot AI. Il token pi\u00f9 bloccato era GPTBot, con 312 domini, seguito da CCBot e Google-Extended.<\/p>\n\n\n\n

Su Google-Extended serve una nota tecnica, perch\u00e9 genera confusione: non \u00e8 uno user agent che vedrai nei log del server. \u00c8 un token che serve solo a dire a Google se i contenuti possono essere usati per l’addestramento dei modelli, mentre le richieste continuano ad arrivare da Googlebot. Chi cerca corrispondenze fra le righe del robots.txt e gli access log per quel nome non ne trover\u00e0 mai. Discorso diverso per llms.txt<\/a>, che \u00e8 una proposta separata e non sostituisce niente di tutto questo.<\/p>\n\n\n\n

Come si verifica, ora che il tester non c’\u00e8 pi\u00f9<\/h2>\n\n\n\n

Lo strumento che molte guide continuano a citare non esiste da anni. Google ha pensionato il Tester dei file robots.txt a novembre 2023<\/a>, sostituendolo con il report robots.txt<\/a> dentro Search Console<\/a>, nella sezione Impostazioni.<\/p>\n\n\n\n

Il report mostra i file trovati per i primi 20 host della propriet\u00e0, quando sono stati scaricati l’ultima volta, la dimensione in byte e gli eventuali errori di parsing. Conserva anche le versioni recuperate negli ultimi 30 giorni, ed \u00e8 la parte pi\u00f9 utile: quando qualcuno ricarica per sbaglio una vecchia copia del file, l\u00ec si vede il momento esatto in cui \u00e8 successo.<\/p>\n\n\n\n

Per sapere se un singolo indirizzo \u00e8 bloccato si usa Controllo URL. Per provare le regole in locale, Google pubblica su GitHub la libreria open source robotstxt<\/a>, che \u00e8 lo stesso parser usato nella Ricerca; Screaming Frog permette di caricare un file personalizzato e vedere cosa bloccherebbe prima di pubblicarlo. Il report va guardato quando si mette mano al file, non ogni settimana: nella checklist SEO<\/a> sta fra i controlli trimestrali.<\/p>\n\n\n\n

Il file migliore, per molti siti, \u00e8 quello che non c’\u00e8<\/h2>\n\n\n\n

Un robots.txt assente restituisce un 404, e un 404 significa nessuna restrizione: Google scansiona tutto. Per un sito di quaranta pagine \u00e8 esattamente il comportamento che vuoi, e un file scritto male fa pi\u00f9 danni di un file mancante. Serve quando hai davvero qualcosa da escludere: filtri di navigazione che moltiplicano gli URL su un ecommerce<\/a>, risultati di ricerca interna, carrelli, pagine di confronto generate al volo. In quei casi il lavoro vero \u00e8 capire quali indirizzi tagliare, che \u00e8 la prima cosa che guardiamo quando prendiamo in carico la SEO di un sito<\/a>; scrivere le righe \u00e8 la parte da cinque minuti.<\/p>\n\n\n\n

Una cosa che si dice poco: il file \u00e8 pubblico e lo leggono anche le persone. Mettere Disallow: \/area-riservata-clienti\/<\/code> non nasconde quella cartella, la annuncia a chiunque apra l’indirizzo. Il NIST lo scrive da anni nelle sue linee guida sulla sicurezza dei server, e vale qui alla lettera: la sicurezza di un sistema non pu\u00f2 dipendere dalla segretezza dei suoi componenti.<\/p>\n\n\n\n

Domande frequenti sul file robots.txt<\/h2>\n\n\n\n
Serve un file robots.txt su ogni sito?<\/strong>

No. Se non c'\u00e8 niente da escludere dalla scansione, l'assenza del file va benissimo: Google la interpreta come nessuna restrizione e scansiona tutto. Un robots.txt scritto male fa pi\u00f9 danni di un robots.txt mancante.<\/p><\/div>

Il robots.txt impedisce a una pagina di comparire su Google?<\/strong>

No. Blocca il download della pagina, non la sua presenza nei risultati. Un URL bloccato ma linkato da altri siti pu\u00f2 comparire lo stesso, senza descrizione sotto il titolo. Per tenerlo fuori dall'indice serve il meta tag noindex o l'intestazione X-Robots-Tag, e la pagina deve restare scansionabile perch\u00e9 il crawler possa leggerli.<\/p><\/div>

Google legge la direttiva crawl-delay?<\/strong>

No. I campi interpretati dai crawler di Google sono solo user-agent, allow, disallow e sitemap. Altri motori, fra cui Bing e Yandex, la riconoscono ancora, ognuno con la propria interpretazione. Per ridurre la frequenza di scansione di Googlebot si passa dalle impostazioni di Search Console.<\/p><\/div>

Ogni sottodominio ha bisogno del suo robots.txt?<\/strong>

S\u00ec, e lo stesso vale per ogni protocollo e ogni porta. Le regole si applicano soltanto all'host, al protocollo e alla porta esatti da cui il file \u00e8 stato scaricato: https:\/\/esempio.it\/robots.txt non vale per https:\/\/blog.esempio.it\/ n\u00e9 per http:\/\/esempio.it\/.<\/p><\/div>

Quanto ci mette Google ad accorgersi di una modifica al file?<\/strong>

In genere meno di 24 ore, che \u00e8 la durata massima della copia in cache. Se serve prima, dal report robots.txt di Search Console si pu\u00f2 chiedere una nuova scansione del file.<\/p><\/div>

Cosa succede se il server restituisce un errore 500 sul robots.txt?<\/strong>

Secondo l'RFC 9309 il crawler deve considerare le regole indefinite e comportarsi come se l'intero sito fosse vietato. Un errore server prolungato su quel singolo file pu\u00f2 quindi fermare la scansione di tutto il sito, anche se nessuna direttiva \u00e8 cambiata.<\/p><\/div><\/div>\n","protected":false},"excerpt":{"rendered":"

Il robots.txt \u00e8 un file di testo che sta nella radice di un sito e dice ai crawler quali URL possono scaricare e quali devono lasciare stare. Quello che non fa \u00e8 decidere cosa compare nei risultati di ricerca. Un URL bloccato l\u00ec dentro pu\u00f2 finire lo stesso su Google, senza descrizione sotto il titolo, […]<\/p>\n","protected":false},"author":12,"featured_media":0,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_joinchat":[],"footnotes":""},"categories":[1],"tags":[],"class_list":["post-11504","post","type-post","status-publish","format-standard","hentry","category-seo"],"yoast_head":"\nRobots.txt: cos'\u00e8, a cosa serve e come si scrive | Visilay<\/title>\n<meta name=\"description\" content=\"Il robots.txt dice ai crawler quali URL possono scaricare, non cosa Google pu\u00f2 mostrare. Sintassi, codici di stato, limiti e come si verifica oggi.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:title\" content=\"Robots.txt: cos'\u00e8, a cosa serve e come si scrive | Visilay\" \/>\n<meta name=\"twitter:description\" content=\"Il robots.txt dice ai crawler quali URL possono scaricare, non cosa Google pu\u00f2 mostrare. Sintassi, codici di stato, limiti e come si verifica oggi.\" \/>\n<meta name=\"twitter:label1\" content=\"Scritto da\" \/>\n\t<meta name=\"twitter:data1\" content=\"Matteo Pellegrini\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo di lettura stimato\" \/>\n\t<meta name=\"twitter:data2\" content=\"9 minuti\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/\"},\"author\":{\"name\":\"Matteo Pellegrini\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/person\\\/cd1f8d753b965cacbae0a53347a87b90\"},\"headline\":\"Robots.txt: cos’\u00e8, come si scrive e cosa non pu\u00f2 fare\",\"datePublished\":\"2026-09-16T08:25:16+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/\"},\"wordCount\":1873,\"publisher\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#organization\"},\"articleSection\":[\"SEO\"],\"inLanguage\":\"it-IT\"},{\"@type\":[\"WebPage\",\"FAQPage\"],\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/\",\"name\":\"Robots.txt: cos'\u00e8, a cosa serve e come si scrive | Visilay\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#website\"},\"datePublished\":\"2026-09-16T08:25:16+00:00\",\"description\":\"Il robots.txt dice ai crawler quali URL possono scaricare, non cosa Google pu\u00f2 mostrare. Sintassi, codici di stato, limiti e come si verifica oggi.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#breadcrumb\"},\"mainEntity\":[{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-1\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-2\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-3\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-4\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-5\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-6\"}],\"inLanguage\":\"it-IT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"SEO\",\"item\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/seo\\\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Robots.txt: cos’\u00e8, come si scrive e cosa non pu\u00f2 fare\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#website\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/\",\"name\":\"Visilay\",\"description\":\"Visilay\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#organization\"},\"alternateName\":\"Visilay marketing services for B2B\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"it-IT\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#organization\",\"name\":\"Visilay\",\"alternateName\":\"Visilay marketing services for b2b\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/wp-content\\\/uploads\\\/2024\\\/09\\\/logo-visilay-mark-purple.png\",\"contentUrl\":\"https:\\\/\\\/www.visilay.com\\\/wp-content\\\/uploads\\\/2024\\\/09\\\/logo-visilay-mark-purple.png\",\"width\":512,\"height\":512,\"caption\":\"Visilay\"},\"image\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/logo\\\/image\\\/\"}},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/person\\\/cd1f8d753b965cacbae0a53347a87b90\",\"name\":\"Matteo Pellegrini\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g\",\"caption\":\"Matteo Pellegrini\"},\"description\":\"I\u2019m a Business Developer, and at Visilay I focus on developing data-driven SEO, Google Ads, and CRO strategies. I love historical museums, have been practicing Karate for as long as I can remember, and on weekends I enjoy exploring Italian villages in search of authentic local food.\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-1\",\"position\":1,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-1\",\"name\":\"Serve un file robots.txt su ogni sito?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"No. Se non c'\u00e8 niente da escludere dalla scansione, l'assenza del file va benissimo: Google la interpreta come nessuna restrizione e scansiona tutto. Un robots.txt scritto male fa pi\u00f9 danni di un robots.txt mancante.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-2\",\"position\":2,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-2\",\"name\":\"Il robots.txt impedisce a una pagina di comparire su Google?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"No. Blocca il download della pagina, non la sua presenza nei risultati. Un URL bloccato ma linkato da altri siti pu\u00f2 comparire lo stesso, senza descrizione sotto il titolo. Per tenerlo fuori dall'indice serve il meta tag noindex o l'intestazione X-Robots-Tag, e la pagina deve restare scansionabile perch\u00e9 il crawler possa leggerli.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-3\",\"position\":3,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-3\",\"name\":\"Google legge la direttiva crawl-delay?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"No. I campi interpretati dai crawler di Google sono solo user-agent, allow, disallow e sitemap. Altri motori, fra cui Bing e Yandex, la riconoscono ancora, ognuno con la propria interpretazione. Per ridurre la frequenza di scansione di Googlebot si passa dalle impostazioni di Search Console.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-4\",\"position\":4,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-4\",\"name\":\"Ogni sottodominio ha bisogno del suo robots.txt?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"S\u00ec, e lo stesso vale per ogni protocollo e ogni porta. Le regole si applicano soltanto all'host, al protocollo e alla porta esatti da cui il file \u00e8 stato scaricato: https:\\\/\\\/esempio.it\\\/robots.txt non vale per https:\\\/\\\/blog.esempio.it\\\/ n\u00e9 per http:\\\/\\\/esempio.it\\\/.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-5\",\"position\":5,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-5\",\"name\":\"Quanto ci mette Google ad accorgersi di una modifica al file?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"In genere meno di 24 ore, che \u00e8 la durata massima della copia in cache. Se serve prima, dal report robots.txt di Search Console si pu\u00f2 chiedere una nuova scansione del file.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-6\",\"position\":6,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/robots-txt\\\/#faq-question-6\",\"name\":\"Cosa succede se il server restituisce un errore 500 sul robots.txt?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"Secondo l'RFC 9309 il crawler deve considerare le regole indefinite e comportarsi come se l'intero sito fosse vietato. Un errore server prolungato su quel singolo file pu\u00f2 quindi fermare la scansione di tutto il sito, anche se nessuna direttiva \u00e8 cambiata.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Robots.txt: cos'\u00e8, a cosa serve e come si scrive | Visilay","description":"Il robots.txt dice ai crawler quali URL possono scaricare, non cosa Google pu\u00f2 mostrare. Sintassi, codici di stato, limiti e come si verifica oggi.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/","twitter_card":"summary_large_image","twitter_title":"Robots.txt: cos'\u00e8, a cosa serve e come si scrive | Visilay","twitter_description":"Il robots.txt dice ai crawler quali URL possono scaricare, non cosa Google pu\u00f2 mostrare. Sintassi, codici di stato, limiti e come si verifica oggi.","twitter_misc":{"Scritto da":"Matteo Pellegrini","Tempo di lettura stimato":"9 minuti"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#article","isPartOf":{"@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/"},"author":{"name":"Matteo Pellegrini","@id":"https:\/\/www.visilay.com\/it\/#\/schema\/person\/cd1f8d753b965cacbae0a53347a87b90"},"headline":"Robots.txt: cos’\u00e8, come si scrive e cosa non pu\u00f2 fare","datePublished":"2026-09-16T08:25:16+00:00","mainEntityOfPage":{"@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/"},"wordCount":1873,"publisher":{"@id":"https:\/\/www.visilay.com\/it\/#organization"},"articleSection":["SEO"],"inLanguage":"it-IT"},{"@type":["WebPage","FAQPage"],"@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/","url":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/","name":"Robots.txt: cos'\u00e8, a cosa serve e come si scrive | Visilay","isPartOf":{"@id":"https:\/\/www.visilay.com\/it\/#website"},"datePublished":"2026-09-16T08:25:16+00:00","description":"Il robots.txt dice ai crawler quali URL possono scaricare, non cosa Google pu\u00f2 mostrare. Sintassi, codici di stato, limiti e come si verifica oggi.","breadcrumb":{"@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#breadcrumb"},"mainEntity":[{"@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-1"},{"@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-2"},{"@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-3"},{"@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-4"},{"@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-5"},{"@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-6"}],"inLanguage":"it-IT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.visilay.com\/it\/blog\/robots-txt\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.visilay.com\/it\/"},{"@type":"ListItem","position":2,"name":"SEO","item":"https:\/\/www.visilay.com\/it\/blog\/seo\/"},{"@type":"ListItem","position":3,"name":"Robots.txt: cos’\u00e8, come si scrive e cosa non pu\u00f2 fare"}]},{"@type":"WebSite","@id":"https:\/\/www.visilay.com\/it\/#website","url":"https:\/\/www.visilay.com\/it\/","name":"Visilay","description":"Visilay","publisher":{"@id":"https:\/\/www.visilay.com\/it\/#organization"},"alternateName":"Visilay marketing services for B2B","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.visilay.com\/it\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"it-IT"},{"@type":"Organization","@id":"https:\/\/www.visilay.com\/it\/#organization","name":"Visilay","alternateName":"Visilay marketing services for b2b","url":"https:\/\/www.visilay.com\/it\/","logo":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/www.visilay.com\/it\/#\/schema\/logo\/image\/","url":"https:\/\/www.visilay.com\/wp-content\/uploads\/2024\/09\/logo-visilay-mark-purple.png","contentUrl":"https:\/\/www.visilay.com\/wp-content\/uploads\/2024\/09\/logo-visilay-mark-purple.png","width":512,"height":512,"caption":"Visilay"},"image":{"@id":"https:\/\/www.visilay.com\/it\/#\/schema\/logo\/image\/"}},{"@type":"Person","@id":"https:\/\/www.visilay.com\/it\/#\/schema\/person\/cd1f8d753b965cacbae0a53347a87b90","name":"Matteo Pellegrini","image":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/secure.gravatar.com\/avatar\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g","caption":"Matteo Pellegrini"},"description":"I\u2019m a Business Developer, and at Visilay I focus on developing data-driven SEO, Google Ads, and CRO strategies. I love historical museums, have been practicing Karate for as long as I can remember, and on weekends I enjoy exploring Italian villages in search of authentic local food."},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-1","position":1,"url":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-1","name":"Serve un file robots.txt su ogni sito?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"No. Se non c'\u00e8 niente da escludere dalla scansione, l'assenza del file va benissimo: Google la interpreta come nessuna restrizione e scansiona tutto. Un robots.txt scritto male fa pi\u00f9 danni di un robots.txt mancante.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-2","position":2,"url":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-2","name":"Il robots.txt impedisce a una pagina di comparire su Google?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"No. Blocca il download della pagina, non la sua presenza nei risultati. Un URL bloccato ma linkato da altri siti pu\u00f2 comparire lo stesso, senza descrizione sotto il titolo. Per tenerlo fuori dall'indice serve il meta tag noindex o l'intestazione X-Robots-Tag, e la pagina deve restare scansionabile perch\u00e9 il crawler possa leggerli.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-3","position":3,"url":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-3","name":"Google legge la direttiva crawl-delay?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"No. I campi interpretati dai crawler di Google sono solo user-agent, allow, disallow e sitemap. Altri motori, fra cui Bing e Yandex, la riconoscono ancora, ognuno con la propria interpretazione. Per ridurre la frequenza di scansione di Googlebot si passa dalle impostazioni di Search Console.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-4","position":4,"url":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-4","name":"Ogni sottodominio ha bisogno del suo robots.txt?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"S\u00ec, e lo stesso vale per ogni protocollo e ogni porta. Le regole si applicano soltanto all'host, al protocollo e alla porta esatti da cui il file \u00e8 stato scaricato: https:\/\/esempio.it\/robots.txt non vale per https:\/\/blog.esempio.it\/ n\u00e9 per http:\/\/esempio.it\/.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-5","position":5,"url":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-5","name":"Quanto ci mette Google ad accorgersi di una modifica al file?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"In genere meno di 24 ore, che \u00e8 la durata massima della copia in cache. Se serve prima, dal report robots.txt di Search Console si pu\u00f2 chiedere una nuova scansione del file.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-6","position":6,"url":"https:\/\/www.visilay.com\/it\/blog\/robots-txt\/#faq-question-6","name":"Cosa succede se il server restituisce un errore 500 sul robots.txt?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"Secondo l'RFC 9309 il crawler deve considerare le regole indefinite e comportarsi come se l'intero sito fosse vietato. Un errore server prolungato su quel singolo file pu\u00f2 quindi fermare la scansione di tutto il sito, anche se nessuna direttiva \u00e8 cambiata.","inLanguage":"it-IT"},"inLanguage":"it-IT"}]}},"_links":{"self":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts\/11504","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/users\/12"}],"replies":[{"embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/comments?post=11504"}],"version-history":[{"count":1,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts\/11504\/revisions"}],"predecessor-version":[{"id":11505,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts\/11504\/revisions\/11505"}],"wp:attachment":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/media?parent=11504"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/categories?post=11504"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/tags?post=11504"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}