21 février 2023 2293 mots, 10 min. de lecture

Google vs. ChatGPT : 3-2 pour Google

Par Pierre-Nicolas Schwab Docteur en marketing, directeur de IntoTheMinds
Tout le monde s’inquiète de la montée en puissance de chatGPT et de la révolution qu’il annonce. Google a même rappelé ses 2 fondateurs pour aider à contrer la menace représentée par les robots conversationnels. Ce sont en effet tous […]

Tout le monde s’inquiète de la montée en puissance de chatGPT et de la révolution qu’il annonce. Google a même rappelé ses 2 fondateurs pour aider à contrer la menace représentée par les robots conversationnels. Ce sont en effet tous les usages autour de la recherche d’informations (et donc le business model de Google) qui risquent d’être chamboulés. Pour autant, je ne pense pas que la recherche classique doive être enterrée. Au contraire. Dans certains contextes, les moteurs de recherche classiques présentent des avantages qu’une IA générative ne pourra jamais avoir. J’ai étudié 5 contextes et ai comparé les performances de chatGPT et de Google. Google gagne dans 3 cas sur 5.


Le plus grand danger de ChatGPT et des IA génératives c’est de leur transférer votre pouvoir de décision.


Idées principales à retenir

  • l’IA générative offre une expérience utilisateur supérieure à un moteur de recherche traditionnel dans les cas suivants :
    • répondre à une question fermée
    • réaliser des comparaisons entre des faits
    • aider à une prise de décision simple (choisir entre A et B)
  • les moteurs de recherche classiques offrent plus de valeur ajoutée dans les cas complexes comme :
    • l’interprétation de données
    • la prise de décision complexe
    • la recherche floue (recherche de solution non connue à l’avance)
  • Un moteur de recherche classique offre une expérience qui enrichit l’utilisateur.
    • sérendipité : l’utilisateur peut découvrir au gré de ses recherches des informations qui élargissent sa perspective et sa compréhension
    • le mélange d’informations aussi bien textuelles que visuelles permet au cerveau d’intégrer des signaux de différentes natures qui aident à la construction de la pensée
  • le grand danger de l’IA générative est de lui déléguer son pouvoir de décision. Dans des situations complexes, ChatGPT et ses concurrents vont vous diriger vers une solution qui ne sera pas forcément la meilleure pour vous.
  • le danger des IA génératives est qu’elles ne proposent qu’une seule réponse. Ce faisant, elles annihilent toute possibilité de « sérendipité », c’est-à-dire de découverte fortuite d’informations complémentaires. La pensée et le mécanisme décisionnel sont donc appauvris.

Sommaire



La nature des requêtes détermine l’intérêt de l’IA générative

Pour analyser correctement la menace que représente le modèle GPT-3 pour Google, je pense qu’il faut d’abord prendre un peu de recul par rapport à ce qu’est une recherche online. Nous utilisons internet pour répondre et trouver des solutions à des problèmes très divers. Je pense que la perspective enthousiasmée sur les possibilités offertes par ChatGPT doit être évaluée à l’aune de cette diversité de contextes.

Type de requête Exemples IA générative (ChatGPT, …) Moteur de recherche classique Gagnant
Question simple (fermée) Où est né X ? Quand a eu lieu Y ? + réponse immédiate sous forme de phrase
+ une seule phrase à lire
– pas de remise en cause possible de l’information présentée
+ plusieurs documents proposés avec la réponse
Рpotentiellement diff̩rentes r̩ponses pour une m̻me question
ChatGPT
Comparaison simple Quelle est la montagne la plus grande : X ou Y ? Comment se comparent les 2 téléphones X et Y ? + réponse immédiate en langage naturel
+ mise en forme d’une réponse complexe
– potentiellement plusieurs pages web devront être parcourues pour répondre à cette question
– pas de réponse simple à la question
chatGPT
Interprétation de données Quels sont les facteurs clés de succès sur ce marché ? + proposition de pistes de réponses
Рr̩ponses superficielles voire erron̩es
– manque de contextualisation
+ potentielle réponse exacte si une page web récente existe sur le sujet
+ meilleure vue du sujet grâce à la consultation de plusieurs pages web
Рn̩cessit̩ de parcourir plusieurs pages pour se faire une premi̬re id̩e du sujet
Google
Recherche floue Comment baisser les coûts de gestion de ma supply-chain ? Comment améliorer la satisfaction client ? + proposition de pistes de réponses
– aucune garantie d’exhaustivité
Рplusieurs pages sur le m̻me sujet devront ̻tre lues et synth̩tis̩es
+ acquisition de nouvelles connaissances et montée en compétence grâce à la lecture de plusieurs pages
+ meilleure maîtrise du sujet
Google
Prise de décision complexe Choisir un partenaire la gestion de sa supply-chain ? Choisir un cabinet d’étude de marché + première sélection rapide
Рs̩lection potentiellement biais̩e
Рr̩sultats souvent non pertinents
– pas de signaux faibles (ergonomie du site, visuels, autres informations)
Рplusieurs sites doivent ̻tre parcourus
+ l’internaute garde la main sur la sélection des options pour son choix
+ les signaux faibles (qualité du site, visuels, …) sont pris en compte pour former la décision
+ résultats quasiment toujours pertinents même dans des contextes localisés
Google

 

Contexte 1 : Trouver une réponse précise à une question fermée

Qui était Carlo Crivelli ? Qu’est-ce que le remarketing ? Quand a eu lieu la bataille de Marignan ? Le point commun entre ces questions est qu’elles appellent des réponses précises, qui reposent sur des faits.

Là où Google va vous proposer des pages qui contiennent à coup sûr la réponse, chatGPT va vous composer un résumé. Pour les étudiants qui n’ont pas envie de lire plus d’une page et pour tous ceux qui n’ont pas le temps, c’est parfait. Je pense que cette capacité à proposer des formulations concises en langage naturel est d’ailleurs de nature à relancer l’intérêt pour les enceintes connectées.

Gagnant : chatGPT

Contexte 2 : Répondre à une question comparative

Y-a-t-il plus d’habitants à Turin ou à Seattle ? La ville de Phoenix est-elle plus au nord que Marrakech ? Ces questions peuvent paraître anodines mais Google n’a pas d’autres moyens d’y répondre que de vous proposer une série de pages web à consulter.

Dans le premier cas, Google propose les extraits de 2 pages Wikipedia qui permettent en un coup d’Å“il de conclure que Turin est plus peuplée que Seattle.

réponse de google à une question comparative
ChatGPT répond directement à la question de telle sorte que l’internaute n’a plus à réfléchir.

réponse de chatGPT à une question comparative

Là où ça devient vraiment bluffant c’est que l’IA générative permet de véritablement faire une comparaison complexe, un benchmark. Cela suppose bien entendu que vous sachiez quoi comparer. Voici un exemple obtenu avec le mode « conversation » du moteur de recherche Bing.

answer new Bing to comparative question

Gagnant : chatGPT (et l’IA générative en général)

Contexte 3 : Interpréter des faits

Les choses se corsent lorsqu’il s’agit de répondre à des demandes complexes qui supposent une interprétation des données et pas une simple comparaison. L’intelligence humaine est la seule qui puisse actuellement assimiler des données éparses pour les interpréter. ChatGPT, ou n’importe quelle IA générative, fournira une réponse rédigée correctement et bien structurée, mais qui ne sera pas forcément juste. Observons la réponse de chatGPT à ma question sur les facteurs de succès d’une marque de prêt-à-porter.

réponse chatGPT aux facteurs de succès dans le prêt-à-porter en France

Je pense qu’aucune des propositions fournies pas ChatGPT ne correspond à la réalité du marché français. Si on fait abstraction du segment du haut-de-gamme/luxe, il n’y a actuellement que 2 stratégies qui fonctionnent dans le prêt-à-porter :

  • prix bas
  • renouvellement ultra rapide des collections

C’est d’ailleurs ce qui explique que le secteur du textile en France subisse une véritable hécatombe. Mal positionné (moyen-de-gamme), il ne résiste pas à la puissance de la fast fashion (Zara, H&M) et de l’ultra fast fashion.

Du côté de Google, ce type de requête renvoie différentes pages. La première est particulièrement pertinente car elle inclut une analyse PESTEL qui s’applique également au contexte français. Les éléments d’information sont également beaucoup plus fouillés, ce qui permet d’enrichir la pensée de l’internaute. Les éléments d’informations périphériques permettent d’enrichir sa réflexion et de guider ses recherches ultérieures.

réponse google sur facteur de succès dans le prêt-à-porter en France

J’ai répété ce type de recherches dans de nombreux contextes, et Google m’a semblé toujours offrir le plus de valeur ajoutée.

Gagnant : Google

Contextes 4 et 5 : Recherche floue et décisions d’achat complexes

Une recherche online ne commence pas forcément par une requête précise. Souvent, lorsque la situation est complexe, chaque recherche effectuée participe à la construction de la suivante. C’est un processus itératif.

Le risque posé par les IA génératives et qu’elles ne connaissent pas cette logique « floue ». Leur but est de vous fournir tout de suite une réponse « définitive » à une question posée. C’est un raccourci intellectuel qui tire la construction de la pensée humaine vers le bas.

La recherche floue s’applique particulièrement aux décisions d’achat complexes, en B2C comme en B2B. Pensez aux cas suivants :

  • vous cherchez une nouvelle voiture
  • vous cherchez comment améliorer la gestion de votre supply chain
  • vous voulez trouver plus de clients pour votre activité
  • vous avez besoin de faire une étude de marché (exemple pris totalement au hasard ?)

Dans ces cas de figure, votre recherche s’étalera probablement sur plusieurs heures, jours voire semaines. Vous ne savez pas à l’avance à quoi va ressembler la solution. Vous devez passer par une phase d’apprentissage afin de faire le meilleur choix. Paradoxalement, la recherche d’informations diverses et variées vous permet de vous enrichir intellectuellement, de fermer certaines portes et d’en ouvrir d’autres.

Nous construisons en effet nos choix sur la base d’informations glanées ici et là, ainsi que de signaux faibles envoyés à notre cerveau par le site web lui-même. Votre cerveau scanne une page web, intègre les images, les titres, les éventuelles vidéos. Ces éléments visuels sont actuellement absents des réponses de chatGPT et pourtant ils sont indispensables à la construction de la décision.


« Si c’est difficile c’est qu’on apprend quelque chose ». Avec chatGPT tout est trop facile.


Prenons un exemple concret. J’ai vu à plusieurs reprises des exemples d’itinéraires touristiques générés par chatGPT. Certains annonçaient déjà la fin des guides de voyages. Je ne peux qu’être en complet désaccord. Certes, chatGPT peut parfaitement interpréter votre question et vous proposer une « solution » sous la forme d’un itinéraire de voyage (voir l’exemple ci-dessous). Mais est-ce vraiment ce que vous voulez ? N’y-t-il pas plus de valeur ajoutée à chercher vous-même, à vous perdre dans un guide de voyage en en apprenant plus sur votre pays de destination, plutôt que de demander une solution toute faite ? Comme j’aime le dire à mon fils « Si c’est difficile c’est que tu apprends quelque chose ». Avec chatGPT tout est trop facile. Et d’ailleurs, la « solution » proposée par chatGPT en est-elle vraiment une ? La réponse de chatGPT à ma demande (voir capture d’écran ci-dessous) est clairement irréaliste. Compte tenu des distances en Islande (j’y suis allé, voir ce billet), ce programme n’est pas faisable dans des conditions normales.

chatgpt proposal for a 4-day itinerary in Iceland

Vous l’aurez compris, rechercher une solution online à un problème complexe est un processus itératif. Et c’est là je pense que se situe l’illusion de chatGPT et son danger.

Gagnant : Google


trou serrure keyhole

ChatGPT nous permet de regarder par le trou de la serrure. Les moteurs de recherche classiques nous permettent de prendre du recul.

Conclusion : Le danger de chatGPT est de lui déléguer son pouvoir de décision

ChatGPT nous donne l’illusion de pouvoir nous livrer des réponses immédiates à tous nos problèmes. Si cela est vrai dans des cas simples, j’espère vous avoir fait prendre conscience que les solutions aux problèmes les plus complexes se construisent de manière itérative. Plus intéressant encore, le processus même de recherche d’information nous enrichit car :

  • il nous oblige à étendre notre perspective sur une situation et à considérer une multitude de solutions possibles
  • il permet d’acquérir de nouvelles connaissances en cherchant activement celle qui est la meilleure

Le processus de recherche sur Google me semble donc être bien plus bénéfique que celui de chatGPT. L’heuristique de la recherche permet à l’internaute de ressortir grandi intellectuellement. Il a appris de nouvelles choses, a pu considérer des solutions sur lesquelles il est « tombé » par hasard (c’est la sérendipité) et a pris sa décision en connaissance de cause. Pour utiliser une métaphore, je dirais que ChatGPT nous permet de regarder par le trou de la serrure et que les moteurs de recherche classiques nous permettent de prendre du recul.

Ce que je reproche à chatGPT c’est justement de dépouiller l’internaute de son pouvoir de décision. ChatGPT propose une réponse (au mieux incomplète, au pire fausse) à des questions parfois trop complexes. Ce raccourci nous ampute de notre capacité à prendre une décision raisonnée. Ce faisant, chatGPT nous appauvrit en nous privant de notre pouvoir de décision.

 

 

 



Publié dans Recherche.

2 commentaires

  1. Je cherchais le moyen de sortir de l’anecdote idiote pour comprendre l’essence de ces enjeux : c’est ce que vous proposez ici, merci.

  2. content que cela vous ait aidé. Une nouvelle étude est en cours. N’hésitez pas à vous abonner à la newsletter pour être tenue au courant

Donnez votre avis

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *