Secondo Microsoft, il 50% delle ricerche online potrebbe essere effettuato tramite un agente conversazionale (Chat BOT) basato sull’IA generativa. Ma cosa succede se gli utenti di Internet non sono interessati a questa proposta di valore? Tutto dipende dalla disponibilità degli utenti di Internet a cambiare il modo in cui cercano informazioni online. Ma l’esperienza utente proposta da Google è radicata in noi da quasi 20 anni. Mi chiedo quindi se gli utenti di Internet cambieranno le loro abitudini e adotteranno massicciamente il nuovo Bing o ChatGPT. In questo articolo, sviluppo la mia posizione e apporto alcuni elementi scientifici per calmare il fermento intorno a ChatGPT.
Se hai solo 30 secondi
Gli agenti conversazionali che utilizzano l’IA generativa (ChatGPT, nuovo Bing) non rappresentano un’alternativa credibile all’egemonia dei motori di ricerca classici perché:
- richiedono una formulazione in linguaggio naturale che oggi rappresenta solo il 10,58% delle domande e l’1,73% del volume di ricerca.
- non forniscono risultati necessariamente migliori di quelli forniti da un motore di ricerca classico (il 96% delle domande è soddisfatto del primo link cliccato)
- richiedono più tempo per formulare la domanda e leggere la risposta
Infine, l’uso massiccio di agenti conversazionali al posto della ricerca tradizionale presuppone che gli utenti di Internet cambino le loro abitudini. Tuttavia, queste abitudini sono in vigore da più di 20 anni e costituiscono un ostacolo importante all’adozione.
2 esperienze di ricerca molto diverse
Il nuovo Bing è dotato di un’interfaccia conversazionale che integra il GPT-3. Ciò consente all’utente di formulare domande complesse. Avendo già accesso alla versione beta, ecco un esempio di riga di comando che permette di sfruttare la potenza di questa intelligenza artificiale:
Proponi 3 destinazioni da Bruxelles per un viaggio in città per 1 weekend e un prezzo inferiore a 100€ a persona.
Come si può vedere, la richiesta è piuttosto elaborata. Più è dettagliata, più i risultati saranno precisi.
Sai che delle 100 domande più utilizzate negli Stati Uniti, 58 contengono una sola parola? Al contrario, una domanda su un motore di ricerca classico (Google) è solitamente molto breve. Il genio dell’algoritmo di Google è quello di interpretare queste query e trasformarle in qualcosa di utilizzabile.
Delle prime 100 domande di Google negli Stati Uniti, 58 contengono una sola parola.
Una domanda su ChatGPT, quindi, richiede uno sforzo particolare da parte dell’utente:
- in primo luogo, uno sforzo di riflessione per strutturare la domande
- uno sforzo scritto per spiegare in linguaggio naturale il risultato atteso
Il “ritorno sull’investimento” dello sforzo per utilizzare GPT-3 sarà positivo solo in determinati contesti. In altri, Google continuerà a dominare.
Ci sono diversi modi per cercare le risposte
Il modo in cui cerchiamo le informazioni è stato studiato da Marcos et al. (2012). Essi hanno dimostrato che esistono circa 5 modi per cercare informazioni. Due approcci hanno tassi di successo particolarmente elevati:
- l’utente scrive la sua domanda, consulta il 1° risultato e non torna al motore di ricerca (tasso di successo del 96%)
- l’utente scrive la sua domanda, consulta il primo risultato, torna al motore di ricerca e consulta un secondo risultato (tasso di successo dell’81%)
Per trovare informazioni, gli utenti di Internet utilizzano combinazioni di parole chiave. Formulare una domanda in linguaggio naturale rimane un’eccezione.
La formulazione di domande rimane un’eccezione
Ho analizzato 178,04 milioni di domande negli Stati Uniti, corrispondenti a un volume di 5,47 miliardi di ricerche su Google. Le domande rappresentano il 10,58% delle domande ma solo l’1,73% del volume di ricerca.
Cosa spinge gli utenti ad adottare massicciamente l’IA generativa a scapito della ricerca tradizionale di parole chiave? Tuttavia, la ricerca mostra che non ce n’è una, poiché il tasso di successo è elevato fin dal primo link consultato (96%). La svolta degli agenti conversazionali è condizionata (al di là dell’attuale effetto buzz) all’insoddisfazione (un “customer plain”).
Le domande rappresentano il 10,58% delle query ma solo l’1,73% del volume di ricerca.
La ricerca di informazioni è un esercizio iterative
C’è un’altra barriera che gli agenti conversazionali dovranno superare per competere con i motori di ricerca tradizionali. Si tratta del nostro modo naturale di cercare informazioni. In questo ambito, il tracciamento oculare è utile per comprendere il comportamento umano. Strzelecki (2020) osserva che dall’inizio del secolo sono stati condotti 56 studi di questo tipo.
Ad esempio, ecco i risultati pubblicati nella ricerca di Papoutsaki et al. (2017). Si può notare che lo sguardo dell’internauta si concentra sui primi risultati organici. Troviamo anche la tipica forma a “L” rovesciata. L’internauta trascorre più tempo sul primo risultato e legge sempre meno meta descrizioni man mano che lo sguardo si sposta verso il basso della pagina. Da notare la scarsa attenzione dedicata ai risultati sponsorizzati.
Come ho spiegato in questo articolo, la ricerca di informazioni su Internet è complessa da capire. Durante la scansione della pagina, il cervello può cogliere segnali deboli e frammenti di informazioni. Questi contribuiscono in modo inconsapevole alla comprensione dell’argomento. Tuttavia, una “heatmap” non permette di capire la sequenza con cui l’utente guarda le risposte fornite dal motore di ricerca.
Lorigo et al. (2008) hanno studiato sequenze di questo tipo (vedi illustrazione sopra). Hanno dimostrato che i nostri occhi vanno avanti e indietro tra i risultati di rango 1 e 2 e persino al rango 5. Questo è visibile nel grafico che hanno pubblicato (vedi sotto). Questo è visibile nel grafico che hanno pubblicato (vedi sotto). Le lettere A, B, … J rappresentano il rango dei diversi risultati di ricerca (la SERP). A è il rango 1, B è il rango 2 e così via… Notate le diverse dimensioni dei cerchi corrispondenti alle diverse lettere. Più grande è il cerchio, maggiore è il tempo trascorso a fissarlo. Ciò significa che in questo esperimento gli occhi sono più fissi sul risultato di rango 2 (B) che su quello di rango 1 (A).
No, ChatGPT e il nuovo Bing non sostituiranno Google.
Tutti si sono entusiasmati per ChatGPT prima e per il nuovo Bing poi. Le previsioni di Microsoft mi sembrano poco realistiche. Sembra improbabile che l’intelligenza artificiale generativa possa sostituire il 50% delle ricerche attualmente effettuate principalmente su Google.
Le ragioni sono molteplici.
Nessun “dolore del cliente”
L’IA generativa non risolve un problema dell’utente (“customer pain”) nella ricerca di informazioni. Google fornisce un servizio eccellente (96% di successo con il primo risultato) con il minimo sforzo da parte dell’utente (tanto che 56 delle prime 100 ricerche contengono una sola parola).
Maggiore impegno da parte degli utenti nell’utilizzo dell’IA generativa
Scrivere la domanda in linguaggio naturale e leggere le risposte è molto più noioso. Le ricerche di eye-tracking mostrano che l’utente esamina i primi 5 risultati e segue un processo iterativo. Con l’IA generativa, passare da un risultato all’altro è impossibile per scegliere la migliore corrispondenza all’obiettivo della ricerca. Pertanto, ho già evidenziato un rischio di distorsione in questo articolo in cui ChatGPT ha restituito dati incompleti o addirittura falsi.
Abitudini degli utenti
Sin dalla nascita dei motori di ricerca, gli utenti sono abituati a inserire combinazioni di parole chiave. Queste abitudini sono radicate in noi e cambiarle sarà difficile per la maggior parte degli utenti di Internet. È probabile che gli utenti con esigenze molto specifiche si concedano uno sforzo di ricerca maggiore per ottenere risultati che Google non può fornire. Alla fine, questo potrebbe essere il maggiore ostacolo all’uso di agenti conversazionali di tipo ChatGPT.
Conclusione
In conclusione, vedo diversi ostacoli all’adozione massiccia di agenti conversazionali di tipo ChatGPT. Non sono vicini a sostituire Google. Tuttavia, offrono interessanti possibilità di generare idee. Non dovrebbero essere trascurati, ma utilizzati per quello che sono. Sono strumenti che accostano parole da cui può emergere un significato, a volte sorprendente.
Posted in Data e IT.
