Vai al contenuto

Quanto sono affidabili i dati di visibilità AI? Il test su 20 risposte di ChatGPT e Gemini

Autore: Matteo Pellegrini

I dati di visibilità AI sono affidabili come stima di frequenza calcolata su molte risposte, non come fotografia di una risposta sola. Nel nostro test del 27 ottobre 2026 abbiamo fatto la stessa domanda 5 volte a ChatGPT e 5 volte a Gemini, su due temi: le 20 liste di brand che abbiamo ottenuto sono tutte diverse tra loro, e i due motori non hanno citato nemmeno un sito in comune.

Quindi la domanda giusta non è "il tool è preciso?", ma su quante risposte è calcolato il numero che stai leggendo.

Su Google questa domanda non te la facevi. Prendi Sunscape, che sviluppa impianti fotovoltaici in tutta Italia: da marzo 2026, in sei mesi, le impression organiche sono passate da 329 a 5.809 al mese e i clic da 46 a 195, come raccontiamo in quanto tempo ci vuole per vedere i risultati SEO. Search Console ti dà un numero, ed è lo stesso domani mattina.

Nelle risposte AI no. E uno dei due temi del test è proprio il settore di Sunscape.

Gli errori che vediamo più spesso quando un'azienda legge i dati di visibilità AI:

  • fidarsi di uno screenshot: una risposta sola, mandata in chat al titolare, che decide se "ci siamo" o no;
  • leggere la posizione nella lista come un ranking, quando il primo nome cambia da una risposta all'altra;
  • confrontare due strumenti che usano prompt, motori e numero di ripetizioni diversi, e stupirsi che diano numeri diversi.

In questo articolo trovi:

  • il test completo, con metodo, numeri e la tabella da citare;
  • cosa cambia e cosa resta fermo tra una risposta e l'altra;
  • quante ripetizioni servono per fidarsi di una percentuale;
  • come leggere un report senza farsi ingannare.

Partiamo dal test.

Come abbiamo fatto il test (20 risposte, meno di 50 centesimi)

Il test è una rilevazione ripetuta: la stessa domanda, scritta con le stesse parole, inviata più volte allo stesso motore per vedere quanto cambia la risposta.

  • Due domande in italiano, una B2C e una B2B: "Quali marche di pannelli fotovoltaici mi consigli per una casa in Italia? Elencale." e "Quali CRM mi consigli per una piccola azienda B2B in Italia? Elencali."
  • Due motori: ChatGPT (modello gpt-5.4-mini) e Gemini (richiesto gemini-3.5-flash, servito come gemini-3.6-flash), entrambi con la ricerca web attivata.
  • Cinque esecuzioni per domanda e per motore, il 27 ottobre 2026 tra le 17:03 e le 17:06 UTC, tramite l'endpoint LLM Responses di DataForSEO.
  • Cosa abbiamo contato: i brand nominati in ogni risposta, il primo nome della lista, i domini citati come fonte e se il motore ha cercato davvero sul web.

Costo totale delle 20 risposte: circa 0,45 dollari di API.

Venti risposte sono poche?

Sì, per stimare una percentuale. Ma bastano per vedere se due risposte uguali esistono. E non esistono.

Quanto sono accurati gli insight sulla visibilità del brand tra i diversi LLM? (dipende dal motore, molto)

Sono accurati per dire quali brand un motore tende a nominare, non per dire cosa vedrà il prossimo utente. E la stabilità cambia parecchio da un motore all'altro: sulla domanda dei pannelli, Gemini ha nominato 7 marche in tutte e 5 le risposte, ChatGPT una sola.

Domanda e motoreBrand diversi in 5 risposteBrand presenti 5 volte su 5Lunghezza delle listePrimo nome della listaRicerca web usataDomini citati diversi
Pannelli, ChatGPT111 (REC)da 3 a 94 nomi diversi in 5 risposte5 su 58
Pannelli, Gemini147da 9 a 12Maxeon 5 su 54 su 513
CRM, ChatGPT92 (Pipedrive, Zoho CRM)da 4 a 6Pipedrive 5 su 55 su 56
CRM, Gemini143 (HubSpot, Pipedrive, Zoho CRM)da 5 a 7HubSpot 4 su 51 su 56
Test Visilay del 27 ottobre 2026: 2 domande in italiano, 5 esecuzioni per motore, ChatGPT (gpt-5.4-mini) e Gemini (gemini-3.6-flash) con ricerca web attivata, tramite DataForSEO. Nessuna delle 20 liste è uguale a un'altra.

Tre numeri riassumono il test:

  • 0 liste identiche su 20 risposte;
  • 14 brand su 48 (il 29%) sono comparsi in una risposta sola su cinque;
  • 0 domini in comune tra le fonti di ChatGPT e quelle di Gemini, su 33 domini citati in tutto.

Non siamo i primi a vederlo. Lo studio di SparkToro e Gumshoe pubblicato da Rand Fishkin a gennaio 2026 (600 volontari, 2.961 esecuzioni su ChatGPT, Claude e Google AI, mercato statunitense) ha trovato meno di 1 probabilità su 100 di ottenere la stessa lista due volte, e circa 1 su 1.000 di ottenerla nello stesso ordine. Il nostro test lo conferma in piccolo, in italiano.

Cosa cambia da una risposta all'altra (e cosa resta fermo)

Cambiano soprattutto la lunghezza della lista e i nomi in coda. Resta fermo un nucleo di brand, quando c'è.

Il caso più netto è ChatGPT sui pannelli. La prima risposta elenca 9 marche, la seconda 3: Trina, LONGi, REC. Stessa domanda, stesso modello, 33 secondi di distanza.

E il primo nome? Aiko, poi Trina, poi Maxeon, poi due volte REC.

Se un report ti dice "sei primo su ChatGPT" dopo una rilevazione sola, ti sta dicendo una cosa che alla domanda successiva può essere falsa. Per questo nelle metriche di visibilità AI la posizione nella risposta pesa meno del tasso di menzione.

Sul CRM succede il contrario: Pipedrive è primo in 5 risposte su 5 di ChatGPT. Su Gemini il primo è HubSpot in 4 su 5.

Quindi la "posizione" esiste, ma è una proprietà del motore, non del mercato. Il leader cambia a seconda di chi risponde.

Un altro modo di guardarlo: dei 29 brand nominati nella prima esecuzione di ciascuna serie, solo 13 (il 45%) erano ancora presenti in tutte e cinque. Il report di AirOps del settembre 2025 su 800 query ha trovato numeri più bassi: il 30% dei brand resta visibile da una risposta alla successiva e solo 1 su 5 dalla prima alla quinta.

C'è poi un dato che riguarda le aziende italiane. Nelle 5 risposte di ChatGPT sui pannelli non compare nessun produttore italiano. In quelle di Gemini FuturaSun compare 5 volte su 5, Trienergia 4, Peimar 2.

Le fonti cambiano più dei brand (e ChatGPT legge in inglese)

Le fonti citate, cioè le citazioni AI, sono la parte meno stabile del monitoraggio. Sulle due domande, ChatGPT e Gemini hanno citato 33 domini diversi senza nemmeno uno in comune.

Sui pannelli, ChatGPT ha citato 8 domini e nessuno italiano: which.co.uk, energysage.com, solarreviews.com e i siti dei produttori. Gemini ne ha citati 13, tutti con pagine in italiano (12 siti e una discussione di Reddit tradotta): studiomadera.it, quotalo.it e abbassalebollette.it compaiono in tutte e 4 le risposte in cui ha cercato.

Sul CRM, ChatGPT ha citato solo siti dei fornitori: pipedrive.com, salesforce.com, zoho.com, hubspot.com, brevo.com, teamleader.eu. In una risposta su cinque l'unica fonte era un report G2 ospitato da Salesforce.

E Google c'entra?

Poco. Abbiamo confrontato le fonti con i primi 10 risultati organici di Google Italia per "migliori marche pannelli fotovoltaici", lo stesso giorno: 4 dei 13 domini di Gemini sono in prima pagina, nessuno degli 8 di ChatGPT. Il motivo lo spieghiamo in query fan-out: le AI cercano con domande loro, spesso in inglese (le ricerche di ChatGPT nel test erano quasi tutte in inglese, del tipo "best solar panel brands Europe 2026").

Per le AI Overview di Google il quadro è simile. Ahrefs ha osservato oltre 43.000 keyword per un mese (studio di Louise Linehan, novembre 2025): il testo cambia in media ogni 2,15 giorni e tra due versioni consecutive solo il 54,5% degli URL citati è lo stesso. Il significato invece resta quasi identico, con una similarità di 0,95 su 1.

Gemini a volte non cerca nemmeno (5 risposte su 10)

Attivare la ricerca web non vuol dire che il modello cerchi. Nel test Gemini ha usato Google Search in 5 risposte su 10: 4 su 5 sui pannelli, 1 su 5 sul CRM.

Non è un guasto. La documentazione di Google per gli sviluppatori lo scrive chiaro: il modello analizza il prompt e decide se una ricerca su Google può migliorare la risposta.

Le 4 risposte sul CRM senza ricerca hanno nominato brand che quella con la ricerca non conteneva: vteNEXT, vTiger, ActiveCampaign, Sellf, Fatture in Cloud. E non avevano nessuna fonte.

Il conto, per chi misura, è semplice. Se il tuo tasso di citazione su Gemini è calcolato anche sulle risposte in cui Gemini non ha cercato, metà del campione non poteva citarti per costruzione. Sembri invisibile, ma il motore non ha nemmeno guardato.

Ed è qui che si perdono i budget: riscrivi le pagine per un numero che con le pagine non c'entra.

Un numero calcolato male costa più di nessun numero.

Hai appena visto che metà delle risposte di Gemini nel test non aveva cercato sul web. Se il report le mescola alle altre, decidi interventi sulle pagine partendo da un dato che non le riguarda. Noi separiamo le risposte con e senza ricerca, ripetiamo le domande e ti diciamo quanto è largo il margine di ogni percentuale.

Prenota una consulenza strategica

Quante ripetizioni servono per fidarsi di una percentuale (più di 5, meno di 100)

Per una percentuale di menzione credibile servono decine di risposte per ogni gruppo di domande, non cinque. Con 5 risposte, un brand nominato 3 volte ha un tasso "vero" che può stare tra il 23% e l'88%.

Abbiamo calcolato il margine con l'intervallo di Wilson al 95%, il metodo standard per le proporzioni su campioni piccoli:

Risposte analizzateTasso di menzione misuratoIntervallo plausibile (95%)Larghezza del margine
560% (3 su 5)23% - 88%65 punti
1060% (6 su 10)31% - 83%52 punti
2060% (12 su 20)39% - 78%39 punti
5060% (30 su 50)46% - 72%26 punti
10060% (60 su 100)50% - 69%19 punti
Calcolo Visilay con l'intervallo di Wilson al 95%. Vale per un singolo motore e un singolo gruppo di domande simili.

Leggila così: con 20 risposte, passare dal 60% al 70% in un mese non dimostra niente, perché sta dentro il margine.

Allora devo fare 100 domande per ogni prompt?

No. Le risposte si sommano: 25 prompt sullo stesso intento, rilevati 4 volte, fanno 100 risposte. Come costruire quel campione lo spieghiamo nella guida al prompt monitoring. È anche la stessa conclusione di Fishkin: la percentuale di visibilità su decine o centinaia di prompt ripetuti è una metrica ragionevole, la posizione no.

API o interfaccia: cosa misura davvero uno strumento (e cosa no)

Quasi tutti gli strumenti interrogano i modelli via API o simulano un utente senza storico: misurano una risposta "pulita", non quella che vede il tuo cliente con il suo account e la sua cronologia.

Anche il nostro test usa le API, ed è giusto dirlo: un utente vero avrebbe visto altre liste. Lo studio SparkToro, fatto con persone reali sulle interfacce, ha trovato la stessa instabilità.

Cosa resta affidabile, allora?

  • Il confronto con i concorrenti, se tutti sono misurati sugli stessi prompt, con lo stesso metodo, nello stesso giorno: è la base della share of voice.
  • La tendenza su più mesi, se il campione resta fermo.
  • La presenza o l'assenza netta: un brand che non compare mai in 100 risposte ha un problema, a prescindere dal margine.

Non è affidabile il confronto tra strumenti diversi: prompt, motori e formula del punteggio cambiano da un fornitore all'altro, come abbiamo visto con l'AI visibility score.

Come leggere un report di visibilità AI senza farsi ingannare (6 domande da fare)

Prima di decidere qualcosa su un report, chiedi a chi lo produce queste sei cose.

  1. Su quante risposte è calcolata ogni percentuale? Sotto le 20 per gruppo di domande, il margine supera i 39 punti.
  2. Ogni prompt viene ripetuto o eseguito una volta? Una sola esecuzione è un campione, non una media.
  3. Il motore ha cercato sul web? Le risposte senza ricerca vanno separate quando misuri le citazioni.
  4. I prompt sono gli stessi del mese scorso? Cambiare le domande cambia il numero più di qualsiasi intervento sul sito.
  5. Quali motori e quali modelli? Nel test ChatGPT e Gemini avevano zero fonti in comune: una media tra i due nasconde tutto.
  6. I concorrenti sono misurati con lo stesso metodo? Senza, la percentuale non ha un termine di paragone.

Per questo abbiamo sviluppato ScryRank, lo strumento di monitoraggio di Visilay: pone le stesse domande ogni mese, con impostazioni sempre uguali, su ChatGPT, Claude, Gemini, Perplexity e AI Overview, e tiene lo storico delle rilevazioni. Vale anche per ScryRank quello che vale per gli altri: va giudicato con le sei domande qui sopra, le stesse che usiamo nella guida su come scegliere uno strumento di visibilità AI.

Se preferisci che i dati li legga qualcun altro, è il lavoro del nostro servizio di AI monitoring; i listini degli strumenti sono nell'articolo sul costo del monitoraggio AI.

Cosa cambia per la possibilità di essere citato dalle AI (la parte che puoi controllare)

La variabilità non si elimina, ma si può spostare la probabilità a tuo favore. I brand che nel test sono comparsi 5 volte su 5 hanno una cosa in comune: compaiono in molte delle pagine che i motori leggono. FuturaSun è comparso in tutte le risposte di Gemini ed è nominato nelle guide italiane che Gemini cita (quotalo.it lo mette nel suo elenco); su ChatGPT, che leggeva fonti in inglese, non è mai comparso.

Quindi la leva non è la singola risposta, sono le fonti: le pagine del tuo sito che rispondono alla domanda in modo diretto, e le pagine di terzi (guide di settore, confronti, recensioni) in cui il tuo nome compare. Per le AI di Google, Google stesso indica nella documentazione sulle funzionalità AI della Ricerca che valgono le stesse regole della SEO. Nessuno può garantirti una citazione; puoi aumentare il numero di posti in cui il motore ti trova. È il lavoro che facciamo nel servizio GEO.

Il quadro completo è nella guida alla visibilità AI; come portare questi numeri in un documento mensile lo vediamo nel report di visibilità AI.

Domande frequenti

Quanto sono affidabili i dati di visibilità AI?

Dipende da quante risposte ci sono dietro. Una percentuale calcolata su 100 risposte ha un margine di circa 19 punti; su 5 risposte il margine supera i 60. Nel nostro test del 27 ottobre 2026, 20 risposte di ChatGPT e Gemini a due domande ripetute erano tutte diverse.

Due strumenti diversi possono dare numeri diversi sullo stesso brand?

Sì. Usano prompt, motori, modelli e numero di ripetizioni diversi, e calcolano il punteggio con formule proprie. Il confronto ha senso solo dentro lo stesso strumento, sugli stessi prompt, nel tempo.

Basta una risposta di ChatGPT per sapere se il mio brand è visibile?

No. Nel test ChatGPT ha elencato 9 marche di pannelli in una risposta e 3 in quella successiva, 33 secondi dopo. Una risposta sola dice cosa è successo una volta, non quanto spesso succede.

La posizione del brand nella risposta AI è un dato affidabile?

Dipende dal motore e dal tema. Sul CRM Pipedrive era primo in 5 risposte su 5 di ChatGPT, ma su Gemini il primo era HubSpot. Sui pannelli ChatGPT ha messo in testa 4 marche diverse in 5 risposte. Meglio guardare il tasso di menzione.

In sintesi

20 risposte, 20 liste diverse.

Gemini più stabile sui brand, ChatGPT più stabile sul primo nome del CRM.

Zero fonti in comune tra i due motori.

Metà delle risposte di Gemini senza ricerca web.

Sotto le 20 risposte per gruppo di domande, il margine supera i 39 punti.

Il dato di visibilità AI somiglia più a un sondaggio che a un ranking. E di un sondaggio nessuno pubblica la percentuale senza dire su quante interviste è fatto e qual è il margine di errore. La prossima volta che ricevi un report, chiedi la stessa cosa: quante risposte e quanto margine. Se il fornitore non lo sa, il numero va letto come un'impressione, non come una misura.

Matteo Pellegrini

Matteo Pellegrini

Sono un business developer e in Visilay mi occupo di sviluppare strategie SEO, Google Ads e CRO basate sui dati. Amo i musei storici, pratico Karate da quando ho memoria e il weekend mi piace visitare i borghi italiani in cerca di cibo nostrano.

Continua a leggere

Approfondisci l'argomento

Tutti gli articoli