{"id":11715,"date":"2026-09-21T16:22:02","date_gmt":"2026-09-21T16:22:02","guid":{"rendered":"https:\/\/www.visilay.com\/?p=11715"},"modified":"2026-09-21T16:22:02","modified_gmt":"2026-09-21T16:22:02","slug":"crawling","status":"publish","type":"post","link":"https:\/\/www.visilay.com\/it\/blog\/crawling\/","title":{"rendered":"Crawling: cos'\u00e8, come funziona e cosa lo blocca"},"content":{"rendered":"\n

Il crawling \u00e8 il processo con cui un motore di ricerca scopre l'indirizzo di una pagina, lo richiede al server e ne scarica il contenuto. In italiano si chiama scansione ed \u00e8 il primo dei passaggi che portano una pagina nei risultati.<\/p>\n\n\n\n

La cosa da sapere prima di mettere mano a qualsiasi cosa: una pagina non scansionata non pu\u00f2 essere indicizzata, ma una pagina scansionata non entra automaticamente nell'indice. Sono due problemi distinti, si leggono in due report diversi di Search Console e si risolvono in modi diversi. Confonderli \u00e8 il motivo per cui capita di vedere siti da duecento pagine impegnati a ottimizzare il crawl budget mentre il problema sta altrove.<\/p>\n\n\n\n

Cosa succede quando Googlebot passa sul sito<\/h2>\n\n\n\n

Googlebot \u00e8 il nome generico di due crawler: Googlebot Smartphone e Googlebot Desktop. Per quasi tutti i siti Google indicizza la versione mobile del contenuto, quindi la maggior parte delle richieste arriva dal crawler mobile e solo una minoranza da quello desktop. I due rispondono allo stesso token nel robots.txt, quindi non si possono scrivere regole diverse per l'uno e per l'altro: capita di trovare file che ci provano, e non funzionano.<\/p>\n\n\n\n

Dentro una singola visita succedono tre cose separate. Il crawler scopre un URL, nella maggioranza dei casi seguendo un link su una pagina gi\u00e0 scansionata. Lo richiede al server e scarica la risposta. Poi consegna quello che ha raccolto alla coda di indicizzazione, dove la pagina viene eventualmente renderizzata, cio\u00e8 aperta eseguendo il JavaScript, e valutata. Il rendering \u00e8 una fase successiva con una coda propria: per questo una pagina pu\u00f2 risultare scansionata e contenere comunque parti che Google non ha mai letto. Su chi passa davvero sul tuo sito e su come si verifica che sia Googlebot e non qualcuno che si spaccia per lui, c'\u00e8 la voce dedicata ai web crawler<\/a>.<\/p>\n\n\n\n

I limiti di scansione che Google dichiara per iscritto<\/h2>\n\n\n\n

Non sono stime della comunit\u00e0 SEO: stanno nella documentazione di Google Search Central e in RFC 9309<\/a>, lo standard IETF che dal 2022 definisce il protocollo di esclusione dei robot. Due valori sono stati aggiornati a febbraio 2026, quindi conviene riguardarli anche se pensi di conoscerli.<\/p>\n\n\n\n

Limite<\/th>Valore dichiarato<\/th>Dove \u00e8 scritto<\/th><\/tr><\/thead>
Porzione di un file HTML recuperata<\/td>primi 2 MB, il resto non viene scaricato<\/td>Google Search Central, pagina Googlebot<\/a><\/td><\/tr>
Porzione di un PDF recuperata<\/td>primi 64 MB<\/td>Google Search Central, pagina Googlebot<\/td><\/tr>
Frequenza media di accesso<\/td>non pi\u00f9 di una richiesta ogni pochi secondi, per la maggior parte dei siti<\/td>Google Search Central, pagina Googlebot<\/td><\/tr>
Porzione di robots.txt analizzata<\/td>500 KiB, il resto viene ignorato<\/td>Google, interpretazione del REP<\/a><\/td><\/tr>
Durata della cache del robots.txt<\/td>fino a 24 ore, di pi\u00f9 in caso di timeout o errori 5xx<\/td>Google, interpretazione del REP<\/td><\/tr>
Redirect seguiti sul robots.txt<\/td>almeno 5, poi il file viene trattato come un 404<\/td>Google, interpretazione del REP<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Il limite dei 2 MB si applica ai dati non compressi e vale separatamente per ogni risorsa richiamata nell'HTML: un bundle JavaScript o un foglio di stile sopra quella soglia viene troncato esattamente come una pagina. Quando il limite scatta, Googlebot interrompe il download e manda all'indicizzazione solo la parte che ha gi\u00e0 scaricato.<\/p>\n\n\n\n

Come Google scopre un indirizzo nuovo<\/h2>\n\n\n\n

La documentazione \u00e8 netta: Googlebot trova i nuovi URL soprattutto dai link contenuti in pagine gi\u00e0 scansionate. La sitemap<\/a> \u00e8 un supporto, non un sostituto. Una pagina presente in sitemap ma che nessun'altra pagina del sito collega viene scoperta con priorit\u00e0 bassa e pu\u00f2 restare l\u00ec per settimane. \u00c8 il motivo per cui i link interni<\/a> sono prima di tutto una leva di scansione, e solo dopo una leva di posizionamento.<\/p>\n\n\n\n

Sul tag lastmod vale una regola semplice: Google consiglia di includerlo, ma un lastmod che si aggiorna a ogni deploy senza che il contenuto sia cambiato smette di valere come segnale. Sui siti che cambiano spesso c'\u00e8 una leva pi\u00f9 trascurata, il codice 304 (Not Modified). Dice a Google che la pagina non \u00e8 cambiata dall'ultima richiesta, gli fa riusare la copia che ha gi\u00e0 e libera richieste per gli URL che invece sono cambiati davvero. Nel report Statistiche di scansione il 304 compare tra i codici di risposta validi, non tra i problemi.<\/p>\n\n\n\n

Quando il robots.txt non risponde, Google smette di scansionare<\/h2>\n\n\n\n

Il punto pi\u00f9 fragile di tutta la catena \u00e8 il file che dovrebbe governarla. Google considera accettabili tre risposte per il robots.txt<\/a>: un 200 con un file qualsiasi, anche vuoto o con errori di sintassi, e un 403, 404 o 410, che significano semplicemente che il file non esiste. Tutto il resto \u00e8 un problema di connessione, e la documentazione di Search Console descrive nel dettaglio cosa succede dopo.<\/p>\n\n\n\n

Da quanto il robots.txt non d\u00e0 una risposta valida<\/th>Cosa fa Google<\/th><\/tr><\/thead>
Meno di 24 ore dall'ultimo recupero riuscito<\/td>usa il file in cache e scansiona normalmente<\/td><\/tr>
Prime 12 ore di indisponibilit\u00e0<\/td>interrompe la scansione del sito, continua a richiedere il file<\/td><\/tr>
Da 12 ore a 30 giorni<\/td>riprende a scansionare usando l'ultimo robots.txt recuperato correttamente<\/td><\/tr>
Oltre 30 giorni, home page raggiungibile<\/td>si comporta come se il robots.txt non esistesse e scansiona senza restrizioni<\/td><\/tr>
Oltre 30 giorni, home page non raggiungibile<\/td>interrompe la scansione del sito<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Le due righe in fondo meritano attenzione: un robots.txt rotto abbastanza a lungo non blocca il sito, lo apre. Tutte le regole che pensavi di aver messo smettono di valere e le sezioni che avevi escluso tornano scansionabili.<\/p>\n\n\n\n

Quanto \u00e8 diffuso il problema? I dati del Web Almanac 2025 di HTTP Archive<\/a>, raccolti su milioni di siti in tutto il mondo, dicono che l'85% delle richieste di robots.txt restituisce 200, il 13% restituisce 404, circa l'1% va in timeout e lo 0,1% risponde con un errore 5xx. Quello 0,1% \u00e8 poca cosa in percentuale ed \u00e8 esattamente il caso in cui la scansione si ferma senza che nessuno se ne accorga, perch\u00e9 il sito per gli utenti continua a funzionare.<\/p>\n\n\n\n

Gli altri freni sono meno drammatici e molto pi\u00f9 comuni. Errori 5xx e risposte 429 sulle pagine abbassano il limite di capacit\u00e0 di scansione che Google calcola per il sito. Le catene di redirect consumano richieste, e nel report ogni salto viene contato come una richiesta a s\u00e9: se la pagina 1 rimanda alla 2 che rimanda alla 3, Google registra tre richieste. Un tempo medio di risposta che peggiora riduce il numero di pagine recuperate nella stessa finestra.<\/p>\n\n\n\n

Il crawl budget riguarda molti meno siti di quanti ne parlino<\/h2>\n\n\n\n

Google dice con precisione a chi si rivolge la propria guida sul crawl budget<\/a>: siti oltre il milione di pagine uniche con contenuti che cambiano circa una volta a settimana, siti oltre le 10.000 pagine uniche con contenuti che cambiano ogni giorno, e siti con una quota consistente di URL classificati come \"Rilevata, attualmente non indicizzata\". Per tutti gli altri la stessa pagina suggerisce di tenere aggiornata la sitemap e controllare il report Indicizzazione delle pagine. Niente di pi\u00f9.<\/p>\n\n\n\n

La soglia dichiarata per il report Statistiche di scansione \u00e8 ancora pi\u00f9 bassa: Google scrive che se il sito ha meno di mille pagine non dovrebbe servire guardare le scansioni a quel livello di dettaglio. Il report, tra l'altro, \u00e8 disponibile solo per le propriet\u00e0 a livello di directory principale, quindi una propriet\u00e0 impostata su una sottocartella non lo mostra affatto.<\/p>\n\n\n\n

Il budget \u00e8 la somma di due componenti. Il limite di capacit\u00e0 dipende dalla salute del server: sale se il sito risponde in modo stabile, scende se rallenta o restituisce errori. La domanda di scansione dipende da popolarit\u00e0, frequenza di aggiornamento e qualit\u00e0 percepita delle pagine. Sul primo si interviene con l'infrastruttura, sulla seconda riducendo il numero di URL inutili esposti al crawler, a partire da filtri, parametri e contenuti duplicati<\/a>. L'ordine in cui conviene affrontare questi lavori \u00e8 nella guida alla SEO tecnica<\/a>.<\/p>\n\n\n\n

Tre cose che si continuano a ripetere e che la documentazione smentisce<\/h2>\n\n\n\n

La prima: la direttiva crawl-delay nel robots.txt non \u00e8 supportata da Google. I campi riconosciuti sono quattro, user-agent, allow, disallow e sitemap, e la documentazione dice esplicitamente che gli altri vengono ignorati. Se devi ridurre la frequenza di scansione per qualche ora o un paio di giorni, Google indica di restituire 500, 503 o 429, e avverte di non insistere oltre i due o tre giorni perch\u00e9 il segnale diventa permanente.<\/p>\n\n\n\n

La seconda: rispondere 403 o 404 a Googlebot per rallentarlo non serve. I codici 4xx diversi dal 429 non hanno alcun effetto sulla frequenza di scansione e in compenso portano alla rimozione dei contenuti dalla Ricerca. Vale anche il contrario: un 404 su una pagina rimossa davvero \u00e8 la risposta giusta, come spiega la voce sull'errore 404<\/a>.<\/p>\n\n\n\n

La terza: bloccare un URL nel robots.txt non lo fa uscire dall'indice. Se la pagina \u00e8 bloccata il crawler non pu\u00f2 leggere il noindex<\/a> che ci hai messo dentro, e l'indirizzo pu\u00f2 continuare a comparire nei risultati senza descrizione. Le due direttive agiscono su fasi diverse: una sulla scansione, l'altra sull'indicizzazione<\/a>.<\/p>\n\n\n\n

C'\u00e8 un dato del Web Almanac che racconta la gestione della scansione meglio di qualsiasi guida: il 97,5% dei file robots.txt pesa meno di 100 byte, il 77% contiene solo la wildcard, e googlebot compare esplicitamente in circa il 6% dei file. Per la quasi totalit\u00e0 dei siti, quindi, la scansione non la governa nessuno: \u00e8 quella che il CMS ha generato da solo il giorno dell'installazione e che poi nessuno ha pi\u00f9 aperto. Se il tuo sito \u00e8 abbastanza grande perch\u00e9 la cosa abbia conseguenze sul fatturato, aprire quel file e leggerlo \u00e8 il primo controllo da cui partiamo in ogni progetto SEO<\/a>.<\/p>\n\n\n\n

Domande frequenti sul crawling<\/h2>\n\n\n\n
Qual \u00e8 la differenza tra crawling e indicizzazione?<\/strong>

Il crawling \u00e8 il recupero della pagina da parte del crawler. L'indicizzazione \u00e8 la decisione successiva di archiviarla nell'indice. Senza scansione non c'\u00e8 indicizzazione, ma la scansione da sola non garantisce nulla: in Search Console lo stato \u00abScansionata, attualmente non indicizzata\u00bb descrive esattamente questo caso.<\/p><\/div>

Ogni quanto Googlebot scansiona un sito?<\/strong>

Google scrive che per la maggior parte dei siti Googlebot non dovrebbe accedere pi\u00f9 di una volta ogni pochi secondi in media. La frequenza reale dipende dal limite di capacit\u00e0 calcolato sulla salute del server e dalla domanda di scansione. Il report Statistiche di scansione mostra l'andamento del sito nel periodo considerato.<\/p><\/div>

Come si fa a far scansionare subito una pagina nuova?<\/strong>

Lo strumento Controllo URL di Search Console permette di richiedere una scansione, senza garanzie sui tempi. Nella pratica pesa di pi\u00f9 collegare la pagina da URL che Google visita gi\u00e0 spesso e includerla nella sitemap. Google precisa che non \u00e8 possibile chiedere un aumento della frequenza di scansione.<\/p><\/div>

Il crawl budget \u00e8 un problema per il mio sito?<\/strong>

Secondo la guida di Google riguarda i siti oltre il milione di pagine uniche aggiornate ogni settimana, quelli oltre le 10.000 pagine aggiornate ogni giorno e quelli con molti URL in stato Rilevata, attualmente non indicizzata. Sotto queste soglie Google stessa consiglia di limitarsi a tenere aggiornata la sitemap e a controllare il report sull'indicizzazione.<\/p><\/div>

Google supporta la direttiva crawl-delay nel robots.txt?<\/strong>

No. I campi supportati sono user-agent, allow, disallow e sitemap; gli altri vengono ignorati. Per ridurre la frequenza di scansione per un tempo breve Google indica di restituire 500, 503 o 429, senza insistere oltre i due o tre giorni.<\/p><\/div><\/div>\n","protected":false},"excerpt":{"rendered":"

Il crawling \u00e8 il processo con cui un motore di ricerca scopre l'indirizzo di una pagina, lo richiede al server e ne scarica il contenuto.<\/p>\n","protected":false},"author":12,"featured_media":0,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_joinchat":[],"footnotes":""},"categories":[1],"tags":[],"class_list":["post-11715","post","type-post","status-publish","format-standard","hentry","category-seo"],"yoast_head":"\nCrawling: cos'\u00e8 e come funziona la scansione | Visilay<\/title>\n<meta name=\"description\" content=\"Cos'\u00e8 il crawling, i limiti di scansione che Google dichiara, cosa succede quando il robots.txt non risponde e a chi riguarda davvero il crawl budget.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.visilay.com\/blog\/crawling\/\" \/>\n<meta property=\"og:locale\" content=\"it_IT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Crawling: cos'\u00e8 e come funziona la scansione | Visilay\" \/>\n<meta property=\"og:description\" content=\"Cos'\u00e8 il crawling, i limiti di scansione che Google dichiara, cosa succede quando il robots.txt non risponde e a chi riguarda davvero il crawl budget.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.visilay.com\/blog\/crawling\/\" \/>\n<meta property=\"og:site_name\" content=\"Visilay\" \/>\n<meta property=\"article:published_time\" content=\"2026-09-21T16:22:02+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.visilay.com\/wp-content\/uploads\/2024\/09\/logo-payoff-site-image.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1270\" \/>\n\t<meta property=\"og:image:height\" content=\"675\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Matteo Pellegrini\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Scritto da\" \/>\n\t<meta name=\"twitter:data1\" content=\"Matteo Pellegrini\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo di lettura stimato\" \/>\n\t<meta name=\"twitter:data2\" content=\"9 minuti\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/\"},\"author\":{\"name\":\"Matteo Pellegrini\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/person\\\/cd1f8d753b965cacbae0a53347a87b90\"},\"headline\":\"Crawling: cos'\u00e8, come funziona e cosa lo blocca\",\"datePublished\":\"2026-09-21T16:22:02+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/\"},\"wordCount\":1844,\"publisher\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#organization\"},\"articleSection\":[\"SEO\"],\"inLanguage\":\"it-IT\"},{\"@type\":[\"WebPage\",\"FAQPage\"],\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/\",\"name\":\"Crawling: cos'\u00e8 e come funziona la scansione | Visilay\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#website\"},\"datePublished\":\"2026-09-21T16:22:02+00:00\",\"description\":\"Cos'\u00e8 il crawling, i limiti di scansione che Google dichiara, cosa succede quando il robots.txt non risponde e a chi riguarda davvero il crawl budget.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#breadcrumb\"},\"mainEntity\":[{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000001\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000002\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000003\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000004\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000005\"}],\"inLanguage\":\"it-IT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"SEO\",\"item\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/seo\\\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Crawling: cos'\u00e8, come funziona e cosa lo blocca\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#website\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/\",\"name\":\"Visilay\",\"description\":\"Visilay\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#organization\"},\"alternateName\":\"Visilay marketing services for B2B\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"it-IT\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#organization\",\"name\":\"Visilay\",\"alternateName\":\"Visilay marketing services for b2b\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/wp-content\\\/uploads\\\/2024\\\/09\\\/logo-visilay-mark-purple.png\",\"contentUrl\":\"https:\\\/\\\/www.visilay.com\\\/wp-content\\\/uploads\\\/2024\\\/09\\\/logo-visilay-mark-purple.png\",\"width\":512,\"height\":512,\"caption\":\"Visilay\"},\"image\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/logo\\\/image\\\/\"}},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/person\\\/cd1f8d753b965cacbae0a53347a87b90\",\"name\":\"Matteo Pellegrini\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g\",\"caption\":\"Matteo Pellegrini\"},\"description\":\"I\u2019m a Business Developer, and at Visilay I focus on developing data-driven SEO, Google Ads, and CRO strategies. I love historical museums, have been practicing Karate for as long as I can remember, and on weekends I enjoy exploring Italian villages in search of authentic local food.\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000001\",\"position\":1,\"url\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000001\",\"name\":\"Qual \u00e8 la differenza tra crawling e indicizzazione?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"Il crawling \u00e8 il recupero della pagina da parte del crawler. L'indicizzazione \u00e8 la decisione successiva di archiviarla nell'indice. Senza scansione non c'\u00e8 indicizzazione, ma la scansione da sola non garantisce nulla: in Search Console lo stato \u00abScansionata, attualmente non indicizzata\u00bb descrive esattamente questo caso.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000002\",\"position\":2,\"url\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000002\",\"name\":\"Ogni quanto Googlebot scansiona un sito?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"Google scrive che per la maggior parte dei siti Googlebot non dovrebbe accedere pi\u00f9 di una volta ogni pochi secondi in media. La frequenza reale dipende dal limite di capacit\u00e0 calcolato sulla salute del server e dalla domanda di scansione. Il report Statistiche di scansione mostra l'andamento del sito nel periodo considerato.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000003\",\"position\":3,\"url\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000003\",\"name\":\"Come si fa a far scansionare subito una pagina nuova?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"Lo strumento Controllo URL di Search Console permette di richiedere una scansione, senza garanzie sui tempi. Nella pratica pesa di pi\u00f9 collegare la pagina da URL che Google visita gi\u00e0 spesso e includerla nella sitemap. Google precisa che non \u00e8 possibile chiedere un aumento della frequenza di scansione.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000004\",\"position\":4,\"url\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000004\",\"name\":\"Il crawl budget \u00e8 un problema per il mio sito?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"Secondo la guida di Google riguarda i siti oltre il milione di pagine uniche aggiornate ogni settimana, quelli oltre le 10.000 pagine aggiornate ogni giorno e quelli con molti URL in stato Rilevata, attualmente non indicizzata. Sotto queste soglie Google stessa consiglia di limitarsi a tenere aggiornata la sitemap e a controllare il report sull'indicizzazione.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000005\",\"position\":5,\"url\":\"https:\\\/\\\/www.visilay.com\\\/blog\\\/crawling\\\/#faq-question-1726000000005\",\"name\":\"Google supporta la direttiva crawl-delay nel robots.txt?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"No. I campi supportati sono user-agent, allow, disallow e sitemap; gli altri vengono ignorati. Per ridurre la frequenza di scansione per un tempo breve Google indica di restituire 500, 503 o 429, senza insistere oltre i due o tre giorni.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Crawling: cos'\u00e8 e come funziona la scansione | Visilay","description":"Cos'\u00e8 il crawling, i limiti di scansione che Google dichiara, cosa succede quando il robots.txt non risponde e a chi riguarda davvero il crawl budget.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.visilay.com\/blog\/crawling\/","og_locale":"it_IT","og_type":"article","og_title":"Crawling: cos'\u00e8 e come funziona la scansione | Visilay","og_description":"Cos'\u00e8 il crawling, i limiti di scansione che Google dichiara, cosa succede quando il robots.txt non risponde e a chi riguarda davvero il crawl budget.","og_url":"https:\/\/www.visilay.com\/blog\/crawling\/","og_site_name":"Visilay","article_published_time":"2026-09-21T16:22:02+00:00","og_image":[{"width":1270,"height":675,"url":"https:\/\/www.visilay.com\/wp-content\/uploads\/2024\/09\/logo-payoff-site-image.png","type":"image\/png"}],"author":"Matteo Pellegrini","twitter_card":"summary_large_image","twitter_misc":{"Scritto da":"Matteo Pellegrini","Tempo di lettura stimato":"9 minuti"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.visilay.com\/blog\/crawling\/#article","isPartOf":{"@id":"https:\/\/www.visilay.com\/blog\/crawling\/"},"author":{"name":"Matteo Pellegrini","@id":"https:\/\/www.visilay.com\/it\/#\/schema\/person\/cd1f8d753b965cacbae0a53347a87b90"},"headline":"Crawling: cos'\u00e8, come funziona e cosa lo blocca","datePublished":"2026-09-21T16:22:02+00:00","mainEntityOfPage":{"@id":"https:\/\/www.visilay.com\/blog\/crawling\/"},"wordCount":1844,"publisher":{"@id":"https:\/\/www.visilay.com\/it\/#organization"},"articleSection":["SEO"],"inLanguage":"it-IT"},{"@type":["WebPage","FAQPage"],"@id":"https:\/\/www.visilay.com\/blog\/crawling\/","url":"https:\/\/www.visilay.com\/blog\/crawling\/","name":"Crawling: cos'\u00e8 e come funziona la scansione | Visilay","isPartOf":{"@id":"https:\/\/www.visilay.com\/it\/#website"},"datePublished":"2026-09-21T16:22:02+00:00","description":"Cos'\u00e8 il crawling, i limiti di scansione che Google dichiara, cosa succede quando il robots.txt non risponde e a chi riguarda davvero il crawl budget.","breadcrumb":{"@id":"https:\/\/www.visilay.com\/blog\/crawling\/#breadcrumb"},"mainEntity":[{"@id":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000001"},{"@id":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000002"},{"@id":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000003"},{"@id":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000004"},{"@id":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000005"}],"inLanguage":"it-IT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.visilay.com\/blog\/crawling\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/www.visilay.com\/blog\/crawling\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.visilay.com\/it\/"},{"@type":"ListItem","position":2,"name":"SEO","item":"https:\/\/www.visilay.com\/blog\/seo\/"},{"@type":"ListItem","position":3,"name":"Crawling: cos'\u00e8, come funziona e cosa lo blocca"}]},{"@type":"WebSite","@id":"https:\/\/www.visilay.com\/it\/#website","url":"https:\/\/www.visilay.com\/it\/","name":"Visilay","description":"Visilay","publisher":{"@id":"https:\/\/www.visilay.com\/it\/#organization"},"alternateName":"Visilay marketing services for B2B","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.visilay.com\/it\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"it-IT"},{"@type":"Organization","@id":"https:\/\/www.visilay.com\/it\/#organization","name":"Visilay","alternateName":"Visilay marketing services for b2b","url":"https:\/\/www.visilay.com\/it\/","logo":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/www.visilay.com\/it\/#\/schema\/logo\/image\/","url":"https:\/\/www.visilay.com\/wp-content\/uploads\/2024\/09\/logo-visilay-mark-purple.png","contentUrl":"https:\/\/www.visilay.com\/wp-content\/uploads\/2024\/09\/logo-visilay-mark-purple.png","width":512,"height":512,"caption":"Visilay"},"image":{"@id":"https:\/\/www.visilay.com\/it\/#\/schema\/logo\/image\/"}},{"@type":"Person","@id":"https:\/\/www.visilay.com\/it\/#\/schema\/person\/cd1f8d753b965cacbae0a53347a87b90","name":"Matteo Pellegrini","image":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/secure.gravatar.com\/avatar\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g","caption":"Matteo Pellegrini"},"description":"I\u2019m a Business Developer, and at Visilay I focus on developing data-driven SEO, Google Ads, and CRO strategies. I love historical museums, have been practicing Karate for as long as I can remember, and on weekends I enjoy exploring Italian villages in search of authentic local food."},{"@type":"Question","@id":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000001","position":1,"url":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000001","name":"Qual \u00e8 la differenza tra crawling e indicizzazione?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"Il crawling \u00e8 il recupero della pagina da parte del crawler. L'indicizzazione \u00e8 la decisione successiva di archiviarla nell'indice. Senza scansione non c'\u00e8 indicizzazione, ma la scansione da sola non garantisce nulla: in Search Console lo stato \u00abScansionata, attualmente non indicizzata\u00bb descrive esattamente questo caso.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000002","position":2,"url":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000002","name":"Ogni quanto Googlebot scansiona un sito?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"Google scrive che per la maggior parte dei siti Googlebot non dovrebbe accedere pi\u00f9 di una volta ogni pochi secondi in media. La frequenza reale dipende dal limite di capacit\u00e0 calcolato sulla salute del server e dalla domanda di scansione. Il report Statistiche di scansione mostra l'andamento del sito nel periodo considerato.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000003","position":3,"url":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000003","name":"Come si fa a far scansionare subito una pagina nuova?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"Lo strumento Controllo URL di Search Console permette di richiedere una scansione, senza garanzie sui tempi. Nella pratica pesa di pi\u00f9 collegare la pagina da URL che Google visita gi\u00e0 spesso e includerla nella sitemap. Google precisa che non \u00e8 possibile chiedere un aumento della frequenza di scansione.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000004","position":4,"url":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000004","name":"Il crawl budget \u00e8 un problema per il mio sito?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"Secondo la guida di Google riguarda i siti oltre il milione di pagine uniche aggiornate ogni settimana, quelli oltre le 10.000 pagine aggiornate ogni giorno e quelli con molti URL in stato Rilevata, attualmente non indicizzata. Sotto queste soglie Google stessa consiglia di limitarsi a tenere aggiornata la sitemap e a controllare il report sull'indicizzazione.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000005","position":5,"url":"https:\/\/www.visilay.com\/blog\/crawling\/#faq-question-1726000000005","name":"Google supporta la direttiva crawl-delay nel robots.txt?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"No. I campi supportati sono user-agent, allow, disallow e sitemap; gli altri vengono ignorati. Per ridurre la frequenza di scansione per un tempo breve Google indica di restituire 500, 503 o 429, senza insistere oltre i due o tre giorni.","inLanguage":"it-IT"},"inLanguage":"it-IT"}]}},"_links":{"self":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts\/11715","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/users\/12"}],"replies":[{"embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/comments?post=11715"}],"version-history":[{"count":1,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts\/11715\/revisions"}],"predecessor-version":[{"id":11716,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts\/11715\/revisions\/11716"}],"wp:attachment":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/media?parent=11715"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/categories?post=11715"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/tags?post=11715"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}