7 maart 2023 1314 woorden, 6 min. gelezen

ChatGPT en Bing zullen Google niet vervangen. Dit is waarom.

Door Pierre-Nicolas Schwab Gepromoveerd in marketing, directeur van IntoTheMinds
Microsoft geeft aan dat 50% van de online zoekopdrachten zouden kunnen worden uitgevoerd via een conversatieagent (ChatBOT) op basis van generatieve AI. Maar wat als internetgebruikers zich simpelweg verzetten tegen dit waardevoorstel? Alles hangt af van de bereidheid van internetgebruikers […]

Microsoft geeft aan dat 50% van de online zoekopdrachten zouden kunnen worden uitgevoerd via een conversatieagent (ChatBOT) op basis van generatieve AI. Maar wat als internetgebruikers zich simpelweg verzetten tegen dit waardevoorstel? Alles hangt af van de bereidheid van internetgebruikers om de manier waarop zij online informatie zoeken te veranderen. De door Google voorgestelde gebruikerservaring zit al bijna 20 jaar ingebakken. Ik betwijfel daarom of internetgebruikers hun gewoonten zullen veranderen en massaal de nieuwe Bing of ChatGPT zullen overnemen. In dit artikel licht ik mijn standpunt toe en breng ik u ook enkele wetenschappelijke elementen om de buzz rond ChatGPT te matigen.

Als u maar 30 seconden heeft

Chatbots die gebruik maken van generatieve AI (ChatGPT, nieuwe Bing) vormen geen geloofwaardig alternatief voor de hegemonie van traditionele zoekmachines omdat ze:

  • een natuurlijke taalformulering vereisen, die vandaag slechts 10,58% van de zoekopdrachten en slechts 1,73% van het zoekvolume vertegenwoordigt.
  • niet noodzakelijk betere resultaten opleveren dan een klassieke zoekmachine (96% van de zoekopdrachten is tevreden met de eerste aangeklikte link)
  • meer tijd nodig hebben om de vraag te formuleren en het antwoord te lezen

Ten slotte veronderstelt het massale gebruik van gespreksagenten in plaats van traditionele zoekacties dat internetgebruikers hun gewoonten veranderen. Deze gewoonten bestaan echter al meer dan 20 jaar en vormen daarom een groot obstakel voor de invoering.


2 zeer verschillende onderzoekservaringen

De nieuwe Bing is uitgerust met een conversatie-interface waarin GPT-3 is verwerkt. Hiermee kan de gebruiker complexe zoekopdrachten formuleren. Aangezien ik al toegang heb tot de bètaversie, volgt hier een voorbeeld van een opdrachtregel waarmee de kracht van deze kunstmatige intelligentie kan worden benut:

Maak een voorstel van 3 bestemmingen voor een citytrip vanuit Brussel voor 1 weekend en voor minder dan € 100,- per persoon.

Zoals u ziet, is de vraag vrij uitgebreid. Hoe gedetailleerder de vraag, hoe nauwkeuriger de resultaten.

Een zoekopdracht bij een traditionele zoekmachine (Google) is daarentegen meestal erg kort. Het slimme van het algoritme van Google bestaat erin deze zoekopdrachten te interpreteren en er iets bruikbaars van te maken. Wist u dat van de 100 meest gebruikte zoekopdrachten in de VS er 58 slechts één woord bevatten.


Van de 100 meest voorkomende Google-zoekopdrachten in de VS bevatten er 58 slechts één woord.


Een verzoek op ChatGPT vereist dus een speciale inspanning van de gebruiker:

  • een poging tot nadenken om eerst het verzoek te structureren
  • een schriftelijke inspanning om in natuurlijke taal het verwachte resultaat uit te leggen

De ‘return on investment’ van de inspanningen om GPT-3 te gebruiken zal slechts in bepaalde contexten positief zijn. In andere zal Google blijven domineren.


ChatGPT antwoorden

Er zijn verschillende manieren om naar antwoorden te zoeken

De manier waarop wij naar informatie zoeken werd onderzocht door Marcos et al. (2012). Zij toonden aan dat er globaal 5 manieren zijn om informatie te zoeken. Twee manieren behalen bijzonder hoge succespercentages:

  • de gebruiker schrijft zijn zoekopdracht, raadpleegt het eerste resultaat en keert niet terug naar de zoekmachine (96% succespercentage)
  • de gebruiker schrijft zijn zoekopdracht, raadpleegt het 1e resultaat, keert terug naar de zoekmachine en raadpleegt een 2e resultaat (81% succespercentage)

Om informatie te vinden gebruiken internetgebruikers combinaties van trefwoorden. Het formuleren van een vraag in natuurlijke taal blijft een uitzondering.

Het formuleren van vragen blijft de uitzondering

Ik analyseerde 178,04 miljoen zoekopdrachten in de VS, wat overeenkomt met een volume van 5,47 miljard Google-zoekopdrachten. Vragen vertegenwoordigen 10,58% van de zoekopdrachten, maar slechts 1,73% van het zoekvolume.

De doorbraak van chatbots is afhankelijk (naast het huidige buzz-effect) van ontevredenheid (een ‘customer plain’). Studies tonen ons echter aan dat er geen echte ontevredenheid is, aangezien het succespercentage hoog is vanaf de eerste geraadpleegde link (96%). Waarom zouden gebruikers generatieve AI massaal over te nemen ten koste van de klassieke trefwoorden?


Vragen zijn goed voor 10,58% van de zoekopdrachten, maar slechts 1,73% van het zoekvolume.


Het vinden van informatie is een iteratieve oefening

Er is nog een andere barrière die gespreksagenten moeten overwinnen om te kunnen concurreren met traditionele zoekmachines. Deze barrière is onze natuurlijke manier van informatie zoeken. Op dit gebied is eye tracking nuttig om menselijk gedrag te begrijpen. Strzelecki (2020, Engelse site)  merkt op dat er sinds het begin van de eeuw 56 studies op dat vlak zijn uitgevoerd.

Bekijk bijvoorbeeld de resultaten gepubliceerd in de studie van Papoutsaki et al. (2017, Engelse site). U merkt duidelijk dat de blik van de gebruiker gericht is op de eerste organische resultaten. We zien ook de typische omgekeerde ‘L’-vorm. De gebruiker besteedt meer tijd aan het eerste resultaat en leest steeds minder van de metabeschrijvingen naarmate zijn blik naar beneden gaat. Merk terloops op hoe weinig aandacht wordt besteed aan gesponsorde resultaten.

ChatCPT Google

Eye tracking toegepast op een resultatenpagina in een zoekmachine (bron: Papoutsaki et al., 2017)

Zoals ik in dit artikel al besprak, is het zoeken naar informatie op het internet moeilijk te begrijpen. Tijdens het scannen van de pagina pikken de hersenen inderdaad zwakke signalen, stukjes informatie op. Die dragen onbewust bij tot het begrip van het onderwerp. Met een heatmap weet u echter niet in welke volgorde de gebruiker de antwoorden van de zoekmachine bekijkt.

ChatGPT Google

Eye-tracking tussen zoekresultaten op de eerste pagina van Google (bron: Lorigo et al., 2008)

Lorigo et al. (2008, Engelse site) bestudeerden precies zulke reeksen (zie bovenstaande illustratie). Zij toonden aan dat onze ogen daadwerkelijk heen en weer gaan tussen resultaten van rang 1 en 2, zelfs tot rang 5. Dit is zichtbaar in de grafiek die zij publiceerden (zie hieronder). De letters A, B, … J staan voor de rangorde van de verschillende zoekresultaten (de SERP). A is rang 1, B rang 2, enz … Let op de verschillende groottes van de cirkels die overeenkomen met de verschillende letters. Hoe groter de cirkel, hoe meer tijd u ernaar staart. Dit betekent dat in dit experiment de ogen meer gericht zijn op het resultaat van rang 2 (B) dan op het resultaat van rang 1 (A).


Nee, ChatGPT en de nieuwe Bing gaan Google niet vervangen

Ik vermoed dat iedereen wat opgewonden raakte over eerst ChatGPT en vervolgens de nieuwe Bing. De voorspellingen van Microsoft lijken me op dit moment onrealistisch. Het lijkt me onwaarschijnlijk dat generatieve AI 50% van de zoekopdrachten zal vervangen die momenteel vooral op Google gebeuren.  Daar zijn verschillende redenen voor.

Geen ‘customer pain’

Generatieve AI lost geen gebruikersprobleem (‘customer pain’) op bij het zoeken naar informatie. Google biedt een uitstekende service (96% succes bij het eerste resultaat) met minimale inspanning van de gebruiker (zozeer zelfs dat 56 van de eerste 100 zoekopdrachten slechts één woord bevatten).

Hogere gebruikersinspanning om generatieve AI te gebruiken

Het is veel vervelender om de zoekopdracht in natuurlijke taal te schrijven en vooral om de antwoorden te lezen. Eye-tracking-studies tonen aan dat de gebruiker de eerste 5 resultaten scant en een iteratief proces volgt. Bij generatieve AI is het niet mogelijk om van het ene resultaat naar het andere te gaan om het resultaat te kiezen dat het beste aansluit bij het zoekdoel. Er bestaat dus een risico op vertekening, zoals ik in een vroeger artikel al belichtte, waarbij onvolledige of zelfs foute gegevens werden gegeven door ChatGPT.

Gewoonten van de gebruiker

Uiteindelijk zou dit wel eens de grootste belemmering kunnen zijn voor het gebruik van gespreksagenten van het type ChatGPT. Sinds het ontstaan van zoekmachines zijn gebruikers gewend combinaties van trefwoorden in te voeren. Deze gewoonten zitten ons ingebakken en het zal voor de meeste internetgebruikers erg moeilijk zijn om ze te veranderen. Het is daarom waarschijnlijk dat gebruikers met zeer specifieke behoeften een grotere zoekinspanning zullen accepteren om resultaten te verkrijgen die Google niet kan bieden.


future predictions banner

Conclusie

Als conclusie zie ik verschillende obstakels voor de massale invoering van conversatieagenten van het type chatGPT. Naar mijn mening zijn ze niet in staat Google te vervangen. Maar ze bieden wel interessante mogelijkheden om ideeën te genereren. Daarom moeten ze niet worden verwaarloosd, maar worden gebruikt voor wat ze zijn. Het zijn hulpmiddelen die woorden naast elkaar zetten waaruit een, soms verrassende, betekenis kan voortkomen.



Posted in Data en IT.

Plaats uw mening

Je e-mailadres zal niet getoond worden. Vereiste velden zijn gemarkeerd met *