Realizar una investigación de mercado con ChatGPT se ha convertido en un atajo esencial para muchos estudiantes y profesionales. Utilizar ChatGPT para hacer una investigación de mercado es arriesgado y presenta muchas preguntas. ¿Son los datos ofrecidos por ChatGPT exactos? ¿Están completos? ¿Responde ChatGPT a las preguntas reproduciendo el comportamiento de un consumidor medio? Ayelet Israeli de la Harvard Business School y sus dos coautores han investigado estas preguntas. A. Israeli ofreció algunas respuestas (parciales) en un seminario online al que asistÃ. En este artÃculo explico sus experimentos y qué podemos aprender de utilizar ChatGPT en la investigación de mercado.
Contacta con la agencia de investigaciones de mercado IntoTheMinds
Antes de ir al grano, debemos explicar algunos conceptos básicos. ChatGPT es una interfaz de chatbot para interactuar con GPT4, y GPT4 es un Large Language Model (LLM) que pertenece a la familia de las inteligencias artificiales generativas. Los LLMs predicen la siguiente palabra con más probabilidades de configurar una frase y, para lograrlo, se los entrena con un corpus de texto enorme, permitiéndoles anticipar todas las posibles combinaciones. Por lo tanto, es esencial comprender que las respuestas ofrecidas por ChatGPT están condicionadas por los textos que ya ha digerido. A pesar de la creencia popular, las IA generativas no pueden «innovar»; se ven constreñidas por los datos con los que se las ha entrenado.
Entremos en materia. Durante el resto del artÃculo, utilizaré «GPT» para referirme al LLM y ChatGPT para referirme a la interfaz utilizada para interactuar con GPT.
En esta fase, GPT solo puede utilizarse para emular comportamientos conocidos, por lo que serÃa útil para dar respuesta a preguntas sencillas en sectores bien establecidos y para productos ya disponibles.
Investigación de mercado: 1.000 maneras de usar GPT
Hablar de utilizar GPT para hacer investigaciones de mercado podrÃa ser una manera más concreta de expresarlo, y es que existen 1.000 maneras de utilizar una IA generativa para analizar un mercado. He aquà algunas de ellas:
- Escribir una guÃa de entrevista para una entrevista
- Componer un formulario para una encuesta online
- Escribir la investigación documental
- Analizar datos puros con un plugin para ChatGPT
Lo que Ayelet Israeli propone en su investigación es una estrategia distinta.
¿Puede utilizarse GPT para «emular» el comportamiento humano?
El interés del trabajo de A. Israeli yace en utilizar GPT para «emular» el comportamiento humano. En otras palabras, utilizó ChatGPT para obtener respuestas a preguntas que habrÃan tenido que hacerse a un consumidor real en una investigación de mercado convencional. AsÃ, probó si GPT se comportaba como un humano y si las respuestas ofrecidas encajaban con las teorÃas económicas.
Más tarde en este artÃculo hablaré de las limitaciones de esta estrategia, pero por ahora propongo entrar en el detalle de dos de los seis experimentos que realizó.
Sensibilidad al precio: ¿cómo reacciona GPT?
En el primer grupo de experimentos, los autores le pidieron a GPT que eligiera entre dos productos (portátiles) y variaron el precio de uno de los dos productos. El objetivo era comprender cuál de los dos elegirÃa la inteligencia artificial y decidir si sus decisiones seguÃan cierta lógica económica.
La pregunta fue la siguiente:
Los autores variaron el precio del primer ordenador («Surface Laptop 3») en subidas de 1 dólar entre los $750 y $1250.
El gráfico que hay a continuación muestra la evolución de la elección del modelo «Surface Laptop 3» según el precio.
La marca de los $999 (que se corresponde con el precio del ordenador de la competencia) representa el punto de ruptura. De repente, GPT preferÃa el modelo competidor en un 80% de los casos.
Los autores concluyen que las respuestas de GPT encajan con la teorÃa económica, la cual afirma que las preferencias cambian con el precio. Pero todavÃa está pendiente demostrar que estas respuestas sigan los pasos del comportamiento de un consumidor real. Recordemos que los consumidores no son racionales, y no puedo evitar sentir sorpresa de que, en $750 (es decir, 25% menos que el modelo competidor), GPT elija el Surface Laptop 3 en tan solo el 50% de los casos.
Propensión para pagar: ¿son creÃbles las respuestas de GPT?
En otra serie de experimentos, los autores pusieron a prueba la «voluntad para pagar» (WTP en sus siglas en inglés) para varios tipos de producto. El experimento consistÃa en describir un producto para WTP y preguntar cuál serÃa el precio máximo que estarÃa dispuesto a pagar. Al repetir la operación cientos de veces, los autores obtuvieron una distribución comparada con una distribución teórica. La pregunta realizada fue la siguiente:
.
Concluyeron que las respuestas de GPT encajan una vez más con la teorÃa económica al mostrar una distribución que podrÃa haberse correspondido con la realidad.
3 limitaciones de GPT al realizar investigaciones de mercado
Esta investigación forma parte de estudios pioneros sobre LLM (Large Language Models) y el comportamiento de GPT. Su funcionamiento sigue siendo principalmente desconocido, y tendrán que realizarse muchos trabajos durante los próximos años para desentrañar sus misterios. GPT tiene muchas limitaciones, y se las debe tener presentes cuando se lo utiliza no para entretenimiento, sino para cosas como hacer una investigación de mercado. He visto 3 grandes limitaciones:
- Los autores valoraron el comportamiento de GPT pero no lo correcto de su respuesta. GPT reaccionó correctamente a la barrera del precio, y la distribución de sus respuestas fue creÃble, ¿pero qué hay de la exactitud de esas respuestas? ¿Eran los precios justos? ¿Elegir un producto por encima del otro se corresponde con lo que habrÃa hecho un humano?
- Este tipo de experimento está limitado a escenarios acordados cubiertos extensivamente en la literatura y para los que GPT tiene una base formativa. Las investigaciones de mercado que se realicen de este modo con GPT pueden, por lo tanto, aplicarse exclusivamente a productos actuales que son sujetos a experimentación habitual: los bienes de consumo rápido de alta rotación (FMCG), la electrónica, y la energÃa.
- Sigue existiendo la gran pregunta de qué significan los resultados de este tipo de investigación de mercado. ¿Qué hace GPT cuando le hacemos una pregunta? ¿Imita el comportamiento humano? ¿O escoge entre sus datos de formación las respuestas más «probables»?
Pensamientos finales y conclusiones
Mis pensamientos finales se centrarán inevitablemente en lo extendido que está el uso de IA generativas (y de ChatGPT en concreto) para realizar investigaciones de mercado. En esta fase, GPT solo puede utilizarse para emular conocimientos conocidos, asà que solo puede ser útil para dar respuesta a preguntas sencillas en sectores bien establecidos y para productos ya disponibles. ChatGPT nunca se utilizará de manera fiable para dar respuesta a preguntas de productos o servicios innovadores. Asà que hacer un análisis de lo adecuado de un producto a un mercado para un producto innovador con ChatGPT no tiene sentido.
La única manera de dar respuesta a preguntas complejas en ambientes inciertos es recabar datos ad hoc. Esto gira en torno a datos primarios recabados bien cualitativamente (entrevistas, grupos de discusión) o cuantitativamente (CAWI, por ejemplo).
La euforia que rodea a las IA generativas es poco saludable. Se están olvidando principios de precaución básicos, y todo el mundo cree que puede hacer y pensar lo que quieran. Solo hace falta ver las prácticas GPT a la sombra de las empresas para convencerte de que algo va mal. En tiempos can complicados, es fundamental mantener la cabeza
Posted in Investigación.
