{"id":11533,"date":"2026-09-17T06:16:08","date_gmt":"2026-09-17T06:16:08","guid":{"rendered":"https:\/\/www.visilay.com\/?p=11533"},"modified":"2026-09-21T14:18:43","modified_gmt":"2026-09-21T14:18:43","slug":"search-crawler","status":"publish","type":"post","link":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/","title":{"rendered":"Web crawler: cos'\u00e8, come funziona e come si verifica"},"content":{"rendered":"\n

Un web crawler \u00e8 un programma che scarica le pagine di un sito una dopo l'altra seguendo i link che incontra, per costruire l'indice di un motore di ricerca o il dataset su cui si addestra un modello linguistico. Si chiama anche spider, robot o bot.<\/p>\n\n\n\n

Se gestisci un sito, la cosa che ti serve sapere prima delle altre \u00e8 che lo user agent con cui un crawler si presenta non dimostra niente. Chiunque pu\u00f2 scrivere Googlebot<\/code> nell'header di una richiesta HTTP, e in una parte del traffico che vedi nei log qualcuno lo fa davvero. La verifica si fa sul DNS, in due passaggi, e la spieghiamo pi\u00f9 sotto.<\/p>\n\n\n\n

Dal seed set all'indice<\/h2>\n\n\n\n

Un crawler parte da un elenco di URL che gi\u00e0 conosce, il seed set, di solito ricavato dall'indice precedente e dalle sitemap<\/a>. Scarica quelle pagine, ne estrae i link e li mette in coda. La struttura che tiene la coda si chiama crawl frontier, ed \u00e8 l\u00ec che si decide cosa viene visitato per primo, cosa viene rivisitato e cosa resta fermo per mesi.<\/p>\n\n\n\n

Nessun crawler scarica tutto. La coda viene ordinata con segnali che si possono calcolare in fretta su miliardi di documenti: quante altre pagine linkano un URL, quanto traffico riceve, quanto spesso \u00e8 cambiato l'ultima volta che ci si \u00e8 passati. \u00c8 il motivo per cui una pagina nuova collegata solo dal menu pu\u00f2 restare fuori dall'indice<\/a> per settimane mentre la home viene riscaricata ogni giorno.<\/p>\n\n\n\n

Il ritorno periodico \u00e8 met\u00e0 del mestiere, e costa. Google lo gestisce con la cache HTTP<\/a>: rimanda gli header If-None-Match<\/code> o If-Modified-Since<\/code> costruiti sulla risposta precedente, e se la pagina non \u00e8 cambiata il server risponde 304 senza rispedire il corpo. La documentazione di Google consiglia di usare ETag<\/code> invece di Last-Modified<\/code>, perch\u00e9 la data va formattata in un modo preciso e un hash no.<\/p>\n\n\n\n

I crawler che vedrai nei log<\/h2>\n\n\n\n

Google divide i propri client in tre famiglie e la differenza non \u00e8 cosmetica. I crawler comuni, come Googlebot, rispettano sempre le regole del robots.txt. I crawler per casi speciali, come AdsBot, possono ignorare il gruppo user-agent: *<\/code> perch\u00e9 esiste un accordo con chi pubblica gli annunci. I fetcher attivati da un utente, come lo strumento di verifica del sito, il robots.txt lo ignorano di proposito: la richiesta l'ha chiesta una persona.<\/p>\n\n\n\n

Crawler<\/th>Operatore<\/th>Token robots.txt<\/th>A cosa serve<\/th><\/tr><\/thead>
Googlebot<\/td>Google<\/td>Googlebot<\/code><\/td>Indice della Ricerca, versione smartphone e desktop<\/td><\/tr>
GoogleOther<\/td>Google<\/td>GoogleOther<\/code><\/td>Ricerca e sviluppo interno, attivo dal 2023<\/td><\/tr>
Google-Extended<\/td>Google<\/td>Google-Extended<\/code><\/td>Solo controllo: dice se i contenuti possono addestrare Gemini. Non incide sul ranking<\/td><\/tr>
Bingbot<\/td>Microsoft<\/td>bingbot<\/code><\/td>Indice di Bing<\/td><\/tr>
GPTBot<\/td>OpenAI<\/td>GPTBot<\/code><\/td>Raccolta di contenuti per l'addestramento dei modelli<\/td><\/tr>
ChatGPT-User<\/td>OpenAI<\/td>ChatGPT-User<\/code><\/td>Recupero di una pagina in risposta a un prompt<\/td><\/tr>
ClaudeBot<\/td>Anthropic<\/td>ClaudeBot<\/code><\/td>Addestramento e aggiornamento di Claude<\/td><\/tr>
Meta-ExternalAgent<\/td>Meta<\/td>Meta-ExternalAgent<\/code><\/td>Raccolta dati per i modelli Meta<\/td><\/tr>
Bytespider<\/td>ByteDance<\/td>Bytespider<\/code><\/td>Raccolta dati per i modelli del gruppo<\/td><\/tr><\/tbody><\/table>
Token e finalit\u00e0 dichiarate. Fonti: Elenco dei crawler comuni di Google<\/a> e From Googlebot to GPTBot<\/a>, Cloudflare.<\/figcaption><\/figure>\n\n\n\n

Google-Extended merita una riga a parte perch\u00e9 \u00e8 l'unico della lista che non esiste come stringa nelle richieste HTTP. \u00c8 un token che vive solo dentro il robots.txt e serve a esprimere una preferenza sull'addestramento: il traffico continua ad arrivare con gli user agent Google normali. Cercarlo nei log \u00e8 tempo perso.<\/p>\n\n\n\n

Chi passa davvero sul tuo sito, in numeri<\/h2>\n\n\n\n

Cloudflare<\/a> vede una fetta grande del traffico web e pubblica i conteggi. Confrontando maggio 2024 con maggio 2025 su una coorte di oltre trenta crawler di ricerca e di AI, Googlebot \u00e8 passato dal 30% al 50% delle richieste di quella coorte, con un aumento del 96% in volume assoluto. GPTBot \u00e8 salito dal 2,2% al 7,7%, che in richieste grezze significa pi\u00f9 305%. Bytespider, che un anno prima era il secondo crawler AI pi\u00f9 attivo, ha perso l'85% delle richieste.<\/p>\n\n\n\n

Sono dati globali, non italiani: Cloudflare non pubblica lo spaccato per paese di questa serie, quindi vanno letti come ordine di grandezza e non come la fotografia del tuo dominio. Il numero che vale per tutti \u00e8 un altro, sempre da Cloudflare Radar: circa il 30% del traffico web mondiale arriva da bot, e in alcuni paesi supera quello umano.<\/p>\n\n\n\n

Sulla finalit\u00e0 della scansione, nella prima settimana di agosto 2025 circa l'80% delle richieste dei bot AI monitorati da Cloudflare, che ne pubblica lo spaccato per finalità<\/a>, era per addestramento. Il recupero legato a un'azione dell'utente, quello che scatta quando qualcuno chiede una cosa a ChatGPT e il modello va a leggere una pagina, pesava meno del 5%. Chi apre i risultati generati dall'AI<\/a> aspettandosi visite in cambio della scansione parte da un rapporto molto sbilanciato.<\/p>\n\n\n\n

Come si verifica che sia davvero Googlebot<\/h2>\n\n\n\n

Google dichiara che i suoi crawler si identificano in tre modi: lo user agent nella richiesta, l'indirizzo IP di origine e il nome host che si ottiene da quell'IP con una risoluzione DNS inversa. Il primo si falsifica scrivendo una stringa, gli altri due no.<\/p>\n\n\n\n

Il controllo manuale sono due comandi host<\/code>. Il primo risolve l'IP che trovi nei log e deve restituire un nome sotto googlebot.com<\/code>, google.com<\/code> o googleusercontent.com<\/code>. Il secondo risolve quel nome e deve riportare esattamente l'IP di partenza. Il doppio passaggio serve perch\u00e9 una zona DNS inversa la controlla chi possiede l'IP, e da sola si pu\u00f2 manipolare: \u00e8 l'andata e ritorno che chiude il cerchio.<\/p>\n\n\n\n

Per i controlli su volumi grandi Google pubblica gli intervalli di IP in formato CIDR dentro file JSON aggiornati, divisi per famiglia: common-crawlers.json<\/code> per Googlebot e simili, special-crawlers.json<\/code> per AdsBot, altri tre per i fetcher attivati dagli utenti. Il confronto si automatizza in poche righe.<\/p>\n\n\n\n

Un dettaglio che confonde parecchi: Google registra la maggior parte del traffico da indirizzi IP statunitensi, e se rileva che un sito blocca le richieste dagli Stati Uniti pu\u00f2 provare da altri paesi. Un Googlebot con IP americano su un sito italiano \u00e8 la norma, non un'anomalia da bloccare.<\/p>\n\n\n\n

Il robots.txt resta il primo file che un crawler conforme scarica, e dal 2022 le sue regole sono uno standard IETF vero, la RFC 9309<\/a>, che formalizza il protocollo scritto da Martijn Koster nel 1994. La RFC dice anche una cosa che vale la pena tenere a mente: queste regole non sono una forma di autorizzazione all'accesso. Tengono fuori chi ha deciso di rispettarle. Su come si scrive e cosa non pu\u00f2 fare abbiamo una voce dedicata al file robots.txt<\/a>, e una sul noindex<\/a>, che \u00e8 l'istruzione diversa che serve quando il problema \u00e8 l'indice e non la scansione.<\/p>\n\n\n\n

I limiti tecnici che quasi nessuno legge<\/h2>\n\n\n\n

La documentazione di Google sulle propriet\u00e0 tecniche dei suoi crawler \u00e8 corta e contiene almeno tre numeri che cambiano il modo in cui si costruisce una pagina.<\/p>\n\n\n\n

Propriet\u00e0<\/th>Comportamento dei crawler di Google<\/th><\/tr><\/thead>
Dimensione massima scaricata<\/td>Primi 15 MB per file, il resto viene ignorato. Singoli crawler possono avere limiti pi\u00f9 bassi (2 MB) o pi\u00f9 alti per i PDF<\/td><\/tr>
Protocolli<\/td>HTTP\/1.1 e HTTP\/2, con cambio fra le sessioni in base alle statistiche precedenti. Anche FTP e FTPS, molto raramente<\/td><\/tr>
Compressioni accettate<\/td>gzip, deflate, Brotli, dichiarate nell'header Accept-Encoding<\/code> di ogni richiesta<\/td><\/tr>
Cache<\/td>Solo ETag<\/code> con If-None-Match<\/code> e Last-Modified<\/code> con If-Modified-Since<\/code>. Le altre direttive di caching non sono supportate<\/td><\/tr>
Origine geografica<\/td>Prevalentemente IP statunitensi, distribuiti su molti data center<\/td><\/tr>
Riduzione della frequenza<\/td>Si ottiene rispondendo 429, 500 o 503. Non esiste un modo per chiedere un aumento<\/td><\/tr><\/tbody><\/table>
Fonte: Panoramica dei crawler e dei fetcher di Google<\/a>, Google Search Central.<\/figcaption><\/figure>\n\n\n\n

Il tetto dei 15 MB riguarda l'HTML, non le risorse collegate: immagini, CSS e JavaScript vengono scaricati separatamente e hanno il loro conteggio. Resta il fatto che un documento che supera quella soglia viene tagliato a met\u00e0 e valutato per quello che si \u00e8 riusciti a leggere. Succede pi\u00f9 spesso di quanto sembri su pagine con centinaia di prodotti caricati lato server.<\/p>\n\n\n\n

Quando la scansione diventa un costo<\/h2>\n\n\n\n

Google indica tre cause ricorrenti dietro un'impennata improvvisa di scansione, e sono quasi sempre problemi di URL: la navigazione a faccette che genera combinazioni infinite di filtri, un calendario che produce un URL per ogni data, un target dinamico della rete di ricerca. Prima di intervenire sul crawler conviene guardare i log di accesso e capire quante URL diverse il sito sta offrendo.<\/p>\n\n\n\n

Se serve davvero abbassare il carico per qualche ora, la strada documentata \u00e8 rispondere alle richieste di scansione con un codice 429, 500 o 503 al posto del 200. Quando Google rileva un numero significativo di URL con quei codici riduce la frequenza su tutto l'hostname, e la rialza da sola quando gli errori calano. \u00c8 un rubinetto, non un interruttore, e va chiuso per ore o giorni, non per settimane: un 503 prolungato finisce per togliere pagine dall'indice. Se il tuo tempo di risposta<\/a> \u00e8 il vero collo di bottiglia, il rubinetto non risolve niente.<\/p>\n\n\n\n

L'errore opposto \u00e8 pi\u00f9 comune e pi\u00f9 silenzioso: servire 200 a pagine che non esistono pi\u00f9, le cosiddette soft 404, o accumulare catene di redirect 301<\/a> che consumano richieste senza portare a niente. Sono i due modi pi\u00f9 rapidi per far spendere a un crawler il proprio tempo sul tuo sito senza ottenere nulla in cambio. Nella SEO tecnica<\/a> sono fra le prime cose da guardare.<\/p>\n\n\n\n

Crawler e scraper non fanno lo stesso mestiere<\/h2>\n\n\n\n

Un crawler esplora in ampiezza: parte da una lista, segue i link, non sa in anticipo dove finir\u00e0. Uno scraper parte da URL gi\u00e0 decise e va a prendere campi precisi, il prezzo, la disponibilit\u00e0, il numero di telefono. Il primo produce un indice, il secondo un database.<\/p>\n\n\n\n

La differenza pratica sta nell'educazione. I crawler dei motori di ricerca principali leggono il robots.txt e dosano le richieste per non buttare gi\u00f9 il server. Gli scraper spesso non fanno n\u00e9 l'una n\u00e9 l'altra cosa, e non \u00e8 un caso che arrivino da IP residenziali con user agent da browser. Se nei log vedi migliaia di richieste a un solo tipo di pagina, tutte a intervalli regolari, stai guardando uno scraper, non un crawler.<\/p>\n\n\n\n

Il rapporto che sta cambiando la decisione<\/h2>\n\n\n\n

Per trent'anni lasciare entrare un crawler \u00e8 stata una scelta automatica, perch\u00e9 il baratto era chiaro: tu mi lasci leggere, io ti mando visite. Da luglio 2025 Cloudflare pubblica il numero che misura quel baratto<\/a> operatore per operatore, il rapporto fra richieste di scansione e visite rimandate indietro. Nella prima settimana di agosto 2025, sul complesso dei siti monitorati, Anthropic stava intorno a 50.000 richieste per ogni visita, OpenAI a 887, Perplexity a 118. Sui siti di news e editoria gli stessi rapporti scendevano a 2.500, 152 e 32,7.<\/p>\n\n\n\n

Il punto interessante non \u00e8 la dimensione dei numeri, \u00e8 che adesso esistono e variano per settore. Significa che \u00abconsentire la scansione\u00bb ha smesso di essere una decisione unica e si \u00e8 spezzata in una decisione per ciascun operatore, con un costo infrastrutturale da una parte e un ritorno misurabile dall'altra. Chi lavora su visibilit\u00e0 nei motori di risposta<\/a> se lo trover\u00e0 sul tavolo molto prima di quanto pensa, e la risposta giusta per un editore non sar\u00e0 quella giusta per un produttore industriale.<\/p>\n\n\n\n

Domande frequenti sui web crawler<\/h2>\n\n\n\n
Che cos'\u00e8 un crawler in informatica?<\/strong>

\u00c8 un client automatico che scarica risorse identificate da un URL e ne segue i collegamenti in modo ricorsivo. La definizione formale sta nella RFC 9309 dell'IETF, che lo descrive come un client automatizzato che attraversa i link in modo ricorsivo per l'indicizzazione. Fuori dall'informatica la stessa parola indica un automodello radiocomandato da fuoristrada, ed \u00e8 il motivo per cui cercare solo crawler su Google restituisce met\u00e0 pagina di modellismo.<\/p><\/div>

Qual \u00e8 la differenza fra crawling e indicizzazione?<\/strong>

Il crawling \u00e8 lo scaricamento della pagina, l'indicizzazione \u00e8 la decisione di conservarla e la sua registrazione nell'indice. Sono due fasi separate e possono fallire in modo indipendente: una pagina scansionata pu\u00f2 non essere indicizzata perch\u00e9 duplicata o giudicata di poco valore, e un URL mai scaricato pu\u00f2 comparire lo stesso nei risultati se altri siti lo linkano.<\/p><\/div>

Come faccio a sapere quali crawler hanno visitato il mio sito?<\/strong>

Il rapporto Statistiche di scansione in Google Search Console mostra richieste, byte scaricati e tempo medio di risposta per i crawler di Google, divisi per tipo di file e per scopo. Per tutto il resto servono i log di accesso del server, che sono l'unica fonte che vede anche i bot non Google. Prima di leggerli va fatta la verifica su DNS inverso e diretto, altrimenti si contano come Googlebot richieste che Googlebot non ha mai fatto.<\/p><\/div>

Bloccare i crawler delle AI danneggia il posizionamento su Google?<\/strong>

Nel caso di Google-Extended no: Google dichiara che non influisce sull'inclusione nella Ricerca e non \u00e8 un fattore di ranking. Bloccare Googlebot invece toglie il sito dall'indice, quindi dalla Ricerca. Con gli altri operatori il conto da fare \u00e8 diverso e riguarda la visibilit\u00e0 dentro gli assistenti, non le posizioni su Google.<\/p><\/div>

Come si dice web crawler in italiano?<\/strong>

Non esiste un traducente diffuso: nel settore si usa crawler, oppure spider o bot di scansione. Il verbo corrispondente in italiano \u00e8 scansionare, e Google stesso nella documentazione in italiano parla di scansione e di frequenza di scansione invece che di crawling.<\/p><\/div><\/div>\n","protected":false},"excerpt":{"rendered":"

Un web crawler \u00e8 un programma che scarica le pagine di un sito una dopo l'altra seguendo i link che…<\/p>\n","protected":false},"author":12,"featured_media":0,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_joinchat":[],"footnotes":""},"categories":[2],"tags":[],"class_list":["post-11533","post","type-post","status-publish","format-standard","hentry","category-seo"],"yoast_head":"\nWeb crawler: cos'\u00e8 e come funziona | Visilay<\/title>\n<meta name=\"description\" content=\"Cos'\u00e8 un web crawler, come sceglie le pagine da scaricare, quali crawler passano davvero sul tuo sito e come verificare che sia davvero Googlebot.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/\" \/>\n<meta property=\"og:locale\" content=\"it_IT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Web crawler: cos'\u00e8 e come funziona | Visilay\" \/>\n<meta property=\"og:description\" content=\"Cos'\u00e8 un web crawler, come sceglie le pagine da scaricare, quali crawler passano davvero sul tuo sito e come verificare che sia davvero Googlebot.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/\" \/>\n<meta property=\"og:site_name\" content=\"Visilay\" \/>\n<meta property=\"article:published_time\" content=\"2026-09-17T06:16:08+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2026-09-21T14:18:43+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.visilay.com\/wp-content\/uploads\/2024\/09\/logo-payoff-site-image.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1270\" \/>\n\t<meta property=\"og:image:height\" content=\"675\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Matteo Pellegrini\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Scritto da\" \/>\n\t<meta name=\"twitter:data1\" content=\"Matteo Pellegrini\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo di lettura stimato\" \/>\n\t<meta name=\"twitter:data2\" content=\"10 minuti\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/\"},\"author\":{\"name\":\"Matteo Pellegrini\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/person\\\/cd1f8d753b965cacbae0a53347a87b90\"},\"headline\":\"Web crawler: cos'\u00e8, come funziona e come si verifica\",\"datePublished\":\"2026-09-17T06:16:08+00:00\",\"dateModified\":\"2026-09-21T14:18:43+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/\"},\"wordCount\":2148,\"publisher\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#organization\"},\"articleSection\":[\"SEO\"],\"inLanguage\":\"it-IT\"},{\"@type\":[\"WebPage\",\"FAQPage\"],\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/\",\"name\":\"Web crawler: cos'\u00e8 e come funziona | Visilay\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#website\"},\"datePublished\":\"2026-09-17T06:16:08+00:00\",\"dateModified\":\"2026-09-21T14:18:43+00:00\",\"description\":\"Cos'\u00e8 un web crawler, come sceglie le pagine da scaricare, quali crawler passano davvero sul tuo sito e come verificare che sia davvero Googlebot.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#breadcrumb\"},\"mainEntity\":[{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-1\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-2\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-3\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-4\"},{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-5\"}],\"inLanguage\":\"it-IT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"SEO\",\"item\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/seo\\\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Web crawler: cos'\u00e8, come funziona e come si verifica\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#website\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/\",\"name\":\"Visilay\",\"description\":\"Visilay\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#organization\"},\"alternateName\":\"Visilay marketing services for B2B\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"it-IT\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#organization\",\"name\":\"Visilay\",\"alternateName\":\"Visilay marketing services for b2b\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/www.visilay.com\\\/wp-content\\\/uploads\\\/2024\\\/09\\\/logo-visilay-mark-purple.png\",\"contentUrl\":\"https:\\\/\\\/www.visilay.com\\\/wp-content\\\/uploads\\\/2024\\\/09\\\/logo-visilay-mark-purple.png\",\"width\":512,\"height\":512,\"caption\":\"Visilay\"},\"image\":{\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/logo\\\/image\\\/\"}},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/#\\\/schema\\\/person\\\/cd1f8d753b965cacbae0a53347a87b90\",\"name\":\"Matteo Pellegrini\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g\",\"caption\":\"Matteo Pellegrini\"},\"description\":\"I\u2019m a Business Developer, and at Visilay I focus on developing data-driven SEO, Google Ads, and CRO strategies. I love historical museums, have been practicing Karate for as long as I can remember, and on weekends I enjoy exploring Italian villages in search of authentic local food.\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-1\",\"position\":1,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-1\",\"name\":\"Che cos'\u00e8 un crawler in informatica?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"\u00c8 un client automatico che scarica risorse identificate da un URL e ne segue i collegamenti in modo ricorsivo. La definizione formale sta nella RFC 9309 dell'IETF, che lo descrive come un client automatizzato che attraversa i link in modo ricorsivo per l'indicizzazione. Fuori dall'informatica la stessa parola indica un automodello radiocomandato da fuoristrada, ed \u00e8 il motivo per cui cercare solo crawler su Google restituisce met\u00e0 pagina di modellismo.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-2\",\"position\":2,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-2\",\"name\":\"Qual \u00e8 la differenza fra crawling e indicizzazione?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"Il crawling \u00e8 lo scaricamento della pagina, l'indicizzazione \u00e8 la decisione di conservarla e la sua registrazione nell'indice. Sono due fasi separate e possono fallire in modo indipendente: una pagina scansionata pu\u00f2 non essere indicizzata perch\u00e9 duplicata o giudicata di poco valore, e un URL mai scaricato pu\u00f2 comparire lo stesso nei risultati se altri siti lo linkano.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-3\",\"position\":3,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-3\",\"name\":\"Come faccio a sapere quali crawler hanno visitato il mio sito?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"Il rapporto Statistiche di scansione in Google Search Console mostra richieste, byte scaricati e tempo medio di risposta per i crawler di Google, divisi per tipo di file e per scopo. Per tutto il resto servono i log di accesso del server, che sono l'unica fonte che vede anche i bot non Google. Prima di leggerli va fatta la verifica su DNS inverso e diretto, altrimenti si contano come Googlebot richieste che Googlebot non ha mai fatto.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-4\",\"position\":4,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-4\",\"name\":\"Bloccare i crawler delle AI danneggia il posizionamento su Google?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"Nel caso di Google-Extended no: Google dichiara che non influisce sull'inclusione nella Ricerca e non \u00e8 un fattore di ranking. Bloccare Googlebot invece toglie il sito dall'indice, quindi dalla Ricerca. Con gli altri operatori il conto da fare \u00e8 diverso e riguarda la visibilit\u00e0 dentro gli assistenti, non le posizioni su Google.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"},{\"@type\":\"Question\",\"@id\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-5\",\"position\":5,\"url\":\"https:\\\/\\\/www.visilay.com\\\/it\\\/blog\\\/search-crawler\\\/#faq-question-5\",\"name\":\"Come si dice web crawler in italiano?\",\"answerCount\":1,\"acceptedAnswer\":{\"@type\":\"Answer\",\"text\":\"Non esiste un traducente diffuso: nel settore si usa crawler, oppure spider o bot di scansione. Il verbo corrispondente in italiano \u00e8 scansionare, e Google stesso nella documentazione in italiano parla di scansione e di frequenza di scansione invece che di crawling.\",\"inLanguage\":\"it-IT\"},\"inLanguage\":\"it-IT\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Web crawler: cos'\u00e8 e come funziona | Visilay","description":"Cos'\u00e8 un web crawler, come sceglie le pagine da scaricare, quali crawler passano davvero sul tuo sito e come verificare che sia davvero Googlebot.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/","og_locale":"it_IT","og_type":"article","og_title":"Web crawler: cos'\u00e8 e come funziona | Visilay","og_description":"Cos'\u00e8 un web crawler, come sceglie le pagine da scaricare, quali crawler passano davvero sul tuo sito e come verificare che sia davvero Googlebot.","og_url":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/","og_site_name":"Visilay","article_published_time":"2026-09-17T06:16:08+00:00","article_modified_time":"2026-09-21T14:18:43+00:00","og_image":[{"width":1270,"height":675,"url":"https:\/\/www.visilay.com\/wp-content\/uploads\/2024\/09\/logo-payoff-site-image.png","type":"image\/png"}],"author":"Matteo Pellegrini","twitter_card":"summary_large_image","twitter_misc":{"Scritto da":"Matteo Pellegrini","Tempo di lettura stimato":"10 minuti"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#article","isPartOf":{"@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/"},"author":{"name":"Matteo Pellegrini","@id":"https:\/\/www.visilay.com\/it\/#\/schema\/person\/cd1f8d753b965cacbae0a53347a87b90"},"headline":"Web crawler: cos'\u00e8, come funziona e come si verifica","datePublished":"2026-09-17T06:16:08+00:00","dateModified":"2026-09-21T14:18:43+00:00","mainEntityOfPage":{"@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/"},"wordCount":2148,"publisher":{"@id":"https:\/\/www.visilay.com\/it\/#organization"},"articleSection":["SEO"],"inLanguage":"it-IT"},{"@type":["WebPage","FAQPage"],"@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/","url":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/","name":"Web crawler: cos'\u00e8 e come funziona | Visilay","isPartOf":{"@id":"https:\/\/www.visilay.com\/it\/#website"},"datePublished":"2026-09-17T06:16:08+00:00","dateModified":"2026-09-21T14:18:43+00:00","description":"Cos'\u00e8 un web crawler, come sceglie le pagine da scaricare, quali crawler passano davvero sul tuo sito e come verificare che sia davvero Googlebot.","breadcrumb":{"@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#breadcrumb"},"mainEntity":[{"@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-1"},{"@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-2"},{"@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-3"},{"@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-4"},{"@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-5"}],"inLanguage":"it-IT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.visilay.com\/it\/blog\/search-crawler\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.visilay.com\/it\/"},{"@type":"ListItem","position":2,"name":"SEO","item":"https:\/\/www.visilay.com\/it\/blog\/seo\/"},{"@type":"ListItem","position":3,"name":"Web crawler: cos'\u00e8, come funziona e come si verifica"}]},{"@type":"WebSite","@id":"https:\/\/www.visilay.com\/it\/#website","url":"https:\/\/www.visilay.com\/it\/","name":"Visilay","description":"Visilay","publisher":{"@id":"https:\/\/www.visilay.com\/it\/#organization"},"alternateName":"Visilay marketing services for B2B","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.visilay.com\/it\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"it-IT"},{"@type":"Organization","@id":"https:\/\/www.visilay.com\/it\/#organization","name":"Visilay","alternateName":"Visilay marketing services for b2b","url":"https:\/\/www.visilay.com\/it\/","logo":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/www.visilay.com\/it\/#\/schema\/logo\/image\/","url":"https:\/\/www.visilay.com\/wp-content\/uploads\/2024\/09\/logo-visilay-mark-purple.png","contentUrl":"https:\/\/www.visilay.com\/wp-content\/uploads\/2024\/09\/logo-visilay-mark-purple.png","width":512,"height":512,"caption":"Visilay"},"image":{"@id":"https:\/\/www.visilay.com\/it\/#\/schema\/logo\/image\/"}},{"@type":"Person","@id":"https:\/\/www.visilay.com\/it\/#\/schema\/person\/cd1f8d753b965cacbae0a53347a87b90","name":"Matteo Pellegrini","image":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/secure.gravatar.com\/avatar\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/31533f37c71f18c7ee75fe617374494f6ba9c75120331ce756c7ad433d5f5668?s=96&d=mm&r=g","caption":"Matteo Pellegrini"},"description":"I\u2019m a Business Developer, and at Visilay I focus on developing data-driven SEO, Google Ads, and CRO strategies. I love historical museums, have been practicing Karate for as long as I can remember, and on weekends I enjoy exploring Italian villages in search of authentic local food."},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-1","position":1,"url":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-1","name":"Che cos'\u00e8 un crawler in informatica?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"\u00c8 un client automatico che scarica risorse identificate da un URL e ne segue i collegamenti in modo ricorsivo. La definizione formale sta nella RFC 9309 dell'IETF, che lo descrive come un client automatizzato che attraversa i link in modo ricorsivo per l'indicizzazione. Fuori dall'informatica la stessa parola indica un automodello radiocomandato da fuoristrada, ed \u00e8 il motivo per cui cercare solo crawler su Google restituisce met\u00e0 pagina di modellismo.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-2","position":2,"url":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-2","name":"Qual \u00e8 la differenza fra crawling e indicizzazione?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"Il crawling \u00e8 lo scaricamento della pagina, l'indicizzazione \u00e8 la decisione di conservarla e la sua registrazione nell'indice. Sono due fasi separate e possono fallire in modo indipendente: una pagina scansionata pu\u00f2 non essere indicizzata perch\u00e9 duplicata o giudicata di poco valore, e un URL mai scaricato pu\u00f2 comparire lo stesso nei risultati se altri siti lo linkano.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-3","position":3,"url":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-3","name":"Come faccio a sapere quali crawler hanno visitato il mio sito?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"Il rapporto Statistiche di scansione in Google Search Console mostra richieste, byte scaricati e tempo medio di risposta per i crawler di Google, divisi per tipo di file e per scopo. Per tutto il resto servono i log di accesso del server, che sono l'unica fonte che vede anche i bot non Google. Prima di leggerli va fatta la verifica su DNS inverso e diretto, altrimenti si contano come Googlebot richieste che Googlebot non ha mai fatto.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-4","position":4,"url":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-4","name":"Bloccare i crawler delle AI danneggia il posizionamento su Google?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"Nel caso di Google-Extended no: Google dichiara che non influisce sull'inclusione nella Ricerca e non \u00e8 un fattore di ranking. Bloccare Googlebot invece toglie il sito dall'indice, quindi dalla Ricerca. Con gli altri operatori il conto da fare \u00e8 diverso e riguarda la visibilit\u00e0 dentro gli assistenti, non le posizioni su Google.","inLanguage":"it-IT"},"inLanguage":"it-IT"},{"@type":"Question","@id":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-5","position":5,"url":"https:\/\/www.visilay.com\/it\/blog\/search-crawler\/#faq-question-5","name":"Come si dice web crawler in italiano?","answerCount":1,"acceptedAnswer":{"@type":"Answer","text":"Non esiste un traducente diffuso: nel settore si usa crawler, oppure spider o bot di scansione. Il verbo corrispondente in italiano \u00e8 scansionare, e Google stesso nella documentazione in italiano parla di scansione e di frequenza di scansione invece che di crawling.","inLanguage":"it-IT"},"inLanguage":"it-IT"}]}},"_links":{"self":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts\/11533","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/users\/12"}],"replies":[{"embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/comments?post=11533"}],"version-history":[{"count":1,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts\/11533\/revisions"}],"predecessor-version":[{"id":11714,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/posts\/11533\/revisions\/11714"}],"wp:attachment":[{"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/media?parent=11533"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/categories?post=11533"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.visilay.com\/it\/wp-json\/wp\/v2\/tags?post=11533"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}