Condurre ricerche di mercato con ChatGPT è diventata una scorciatoia essenziale per molti studenti e professionisti. Utilizzare ChatGPT per le ricerche di mercato è un rischio e suscita molte domande. I dati forniti da ChatGPT sono accurati? Sono completi? ChatGPT risponde alle domande riproducendo il comportamento di un consumatore medio? Ayelet Israeli della Harvard Business School e i suoi due coautori hanno svolto una ricerca su queste domande. Ayelet Israeli ha fornito alcune risposte (parziali) in un seminario online a cui ho partecipato. In questo articolo spiego i suoi esperimenti e cosa si può imparare utilizzando ChatGPT per le ricerche di mercato.
Contatta l’agenzia di ricerche di mercato IntoTheMinds
Prima di entrare nel vivo della questione, è necessario definire alcune nozioni di base. ChatGPT è l’interfaccia del chatbot per interagire con GPT4. GPT4 è un Large Language Model (LLM) appartenente alla famiglia dell’intelligenza artificiale generativa. Gli LLM sono in grado di prevedere la parola successiva più probabile che compone una frase. Per ottenere questo risultato, vengono addestrati su enormi corpora di testo, consentendo loro di prevedere tutte le combinazioni possibili. È quindi essenziale capire che le risposte fornite da ChatGPT sono condizionate dai testi già inseriti. Nonostante le credenze popolari, l’IA generativa non può “innovare“. È vincolata dai dati su cui è stata addestrata.
Arriviamo al nocciolo della questione. Nel resto di questo articolo, userò “GPT” per riferirmi all’LLM e ChatGPT per riferirmi all’interfaccia usata per interagire con GPT.
In questa fase, GPT può essere utilizzato solo per emulare comportamenti noti. Può quindi essere utile per rispondere a domande semplici in settori consolidati e per i prodotti disponibili.
Ricerca di mercato: 1000 modi per usare GPT
Parlare di utilizzo della GPT per le ricerche di mercato potrebbe essere più specifico. Esistono 1.000 modi per utilizzare l’IA generativa per analizzare un mercato. Eccone solo alcuni:
- Scrivere una guida per interviste
- Comporre un form per un sondaggio online
- scrivere ricerche desk
- analisi dei dati rezzi con un plugin per chatGPT
Quello che Ayelet Israeli propone nella sua ricerca è un approccio ancora diverso.
GPT può essere utilizzata per “emulare” il comportamento umano?
L’interesse del lavoro di A. Israeli sta nell’utilizzo della GPT per “emulare” il comportamento umano. In altre parole, ha utilizzato la chatGPT per ottenere risposte a domande che avrebbero dovuto essere poste a consumatori veri nelle ricerche di mercato convenzionali. Quindi, ha testato se GPT si comportava come un essere umano e se le risposte fornite corrispondevano alle teorie economiche.
Discuterò i limiti di questo approccio più avanti in questo articolo, ma per ora vi propongo due dei sei esperimenti che ha condotto.
Sensibilità ai prezzi: come reagisce GPT?
Nel primo gruppo di esperimenti, gli autori hanno chiesto a GPT di scegliere tra due prodotti (computer portatili) e di variare il prezzo di uno dei due prodotti. L’obiettivo era capire quale dei due prodotti avrebbe scelto l’intelligenza artificiale e determinare se le scelte seguissero una certa logica economica.
La domanda era la seguente.
Gli autori hanno variato il prezzo del primo computer (“Surface Laptop 3”) con incrementi di 1 dollaro tra 750 e 1250 dollari.
Il grafico seguente mostra l’evoluzione della scelta del modello “Surface Laptop 3” in funzione del prezzo.
La soglia dei 999 dollari (corrispondente al prezzo del computer del concorrente) rappresenta un punto di svolta. Improvvisamente, GPT preferisce il modello concorrente nell’80% dei casi.
Gli autori concludono che le risposte del GPT sono in linea con la teoria economica, secondo la quale le preferenze cambiano con il prezzo. Tuttavia, resta da dimostrare che queste risposte siano in linea con il comportamento effettivo dei consumatori. Ricordiamo che i consumatori non sono razionali e non posso non essere sorpreso che a 750 dollari (cioè il 25% in meno del modello concorrente), GPT abbia scelto il Surface Laptop 3 solo nel 50% dei casi.
Propensione a pagare: le risposte di GPT sono credibili?
In un’altra serie di esperimenti, gli autori hanno testato la “disponibilità a pagare” (WTP) per diversi tipi di prodotti. L’esperimento consisteva nel descrivere un prodotto alla WTP e chiederle quale prezzo massimo sarebbe stata disposta a pagare. Ripetendo l’operazione centinaia di volte, gli autori hanno ottenuto una distribuzione confrontata con una distribuzione teorica. La domanda posta era la seguente.
Hanno concluso che le risposte di GPT erano di nuovo in linea con la teoria economica, mostrando una distribuzione che avrebbe potuto corrispondere alla realtà .
3 Limiti di GPT nella realizzazione di ricerche di mercato
Questa ricerca fa parte degli studi pionieristici sugli LLM (Large Language Models) e sul comportamento dei GPT. Il loro funzionamento rimane in gran parte sconosciuto e nei prossimi anni si dovrà lavorare molto per svelarne i misteri. Il GPT presenta molte limitazioni, che devono essere tenute in considerazione quando lo si utilizza per scopi non ricreativi, come la realizzazione di ricerche di mercato. Vedo almeno 3 limitazioni principali:
- Gli autori hanno valutato il comportamento del GPT, ma non la correttezza delle sue risposte. GPT ha reagito correttamente al livello dei prezzi barriera e la distribuzione delle sue risposte è risultata credibile. Ma che dire dell’accuratezza delle risposte? I prezzi sono equi? La scelta di un prodotto rispetto a un altro corrisponde a ciò che avrebbe fatto un essere umano?
- Questo tipo di esperimento è limitato a scenari concordati, ampiamente trattati in letteratura e per i quali GPT dispone di un corpus di addestramento. Le ricerche di mercato condotte in questo modo con GPT possono quindi essere applicate solo a prodotti attuali che sono oggetto di regolare sperimentazione: beni di largo consumo (FMCG), elettronica ed energia.
- Rimane un grande interrogativo sul significato dei risultati di questo tipo di ricerca di mercato. Cosa fa GPT quando le viene posta una domanda? Imita il comportamento umano? O sceglie dal suo corpus per visualizzare le risposte “probabili”?
Pensieri finali e conclusione
Le mie riflessioni finali si concentreranno inevitabilmente sull’uso diffuso dell’IA generativa (e della ChatGPT in particolare) per condurre ricerche di mercato. In questa fase, la GPT può essere utilizzata solo per emulare comportamenti noti. Può quindi essere utile per rispondere a domande semplici in settori consolidati e per prodotti disponibili. La ChatGPT non può mai essere utilizzata in modo affidabile per rispondere a domande su prodotti o servizi innovativi. Pertanto, condurre un’analisi di product-market fit per un prodotto innovativo con il ChatGPT non ha senso.
L’unico modo per rispondere a domande complicate in ambienti incerti è quello di raccogliere dati ad hoc. Ciò comporta la raccolta di dati primari di tipo qualitativo (interviste, focus group) o quantitativo (CAWI, ad esempio).
Il fascino che circonda l’IA generativa è malsano. I principi di precauzione di base vengono dimenticati e tutti si cullano nel pensare e fare qualsiasi cosa. Basta osservare le pratiche GPT ombra dell’azienda per convincersi che qualcosa non va. In tempi così complicati, è essenziale mantenere il sangue freddo e non commettere errori.
Posted in Ricerca.
