Kritische analyse van echte gebruikssituaties van LLM: tussen belofte en werkelijkheid

Terwijl het debat over de werkelijke waarde van grote taalmodellen (LLM's) doorgaat, is het essentieel om echte gebruikssituaties die door bedrijven zijn geïmplementeerd, kritisch te onderzoeken. Deze analyse is gericht op concrete toepassingen van LLM's in verschillende sectoren, waarbij hun werkelijke waarde, beperkingen en potentieel kritisch worden beoordeeld.

‍

E-commerce en detailhandel: gerichte optimalisatie of overengineering?

In de detailhandel en e-commerce worden LLM's voor verschillende taken gebruikt:

• Interne assistenten en verbetering van de workflow: Instacart heeft een AI-assistent genaamd Ava ontwikkeld om teams te ondersteunen bij het schrijven, beoordelen en debuggen van code, de communicatie te verbeteren en interne tools te bouwen. Hoewel veelbelovend, kun je je afvragen of deze assistenten substantieel meer waarde bieden dan traditionelere en minder complexe samenwerkingstools.
• Inhoudsmatiging en beveiliging: Whatnot gebruikt LLM om multimodale inhoudsmatiging, fraudebescherming en detectie van onregelmatigheden in aanbiedingen te verbeteren. Zillow gebruikt LLM om discriminerende inhoud in advertenties voor onroerend goed te identificeren. Deze gevallen vertegenwoordigen specifieke toepassingen waar LLM echte waarde kan bieden, maar vereisen nauwkeurige verificatiesystemen om fout-positieven en -negatieven te voorkomen.
• Informatie-extractie en classificatie: OLX creëerde Prosus AI Assistant om functierollen in advertenties te identificeren, terwijl Walmart een systeem ontwikkelde om productkenmerken uit PDF's te extraheren. Deze gevallen tonen het nut aan van LLM's bij het automatiseren van repetitieve taken die anders veel handwerk vereisen.
• Creatieve inhoud genereren: StitchFix combineert algoritmisch gegenereerde tekst met menselijke supervisie om het maken van advertentiekoppen en productbeschrijvingen te vereenvoudigen. Instacart genereert afbeeldingen van voedselproducten. Deze toepassingen roepen vragen op over de originaliteit van de gegenereerde inhoud en de mogelijke homogenisering van reclametaal.
• Zoekmachineverbetering: Leboncoin, Mercado Libre en Faire gebruiken LLM om de zoekrelevantie te verbeteren, terwijl Amazon LLM gebruikt om verbanden op basis van gezond verstand te begrijpen en relevantere productaanbevelingen te doen. Deze gevallen vertegenwoordigen een gebied waar de toegevoegde waarde van LLM potentieel significant is, maar de computationele complexiteit en bijbehorende energiekosten rechtvaardigen mogelijk niet de incrementele verbetering ten opzichte van bestaande zoekalgoritmen.

Fintech en bankieren: navigeren tussen waarde en regelgevingsrisico's

‍

In de financiële sector wordt LLM voorzichtig toegepast, gezien de gevoelige aard van de gegevens en de strenge wettelijke vereisten:

• Classificeren en taggen van gegevens: Grab gebruikt LLM voor data governance, het classificeren van entiteiten, het identificeren van gevoelige informatie en het toekennen van de juiste tags. Deze use case is bijzonder interessant omdat het een kritieke uitdaging voor financiële instellingen aanpakt, maar strikte controlemechanismen vereist om classificatiefouten te voorkomen.
• Rapporten over financiële criminaliteit genereren: SumUp genereert gestructureerde verhalen voor rapporten over financiële fraude en het witwassen van geld. Hoewel deze toepassing veelbelovend is om de handmatige werklast te verminderen, geeft het reden tot bezorgdheid over het vermogen van LLM's om juridisch gevoelige onderwerpen goed te behandelen zonder menselijke supervisie.
• Ondersteuning voor financiële vragen: Digits stelt vragen met betrekking tot banktransacties voor. Deze use case laat zien hoe LLM's professionals kunnen helpen zonder ze te vervangen, een mogelijk duurzamere aanpak dan volledige automatisering.

Technologie: Automatisering en service

‍

In de technologiesector worden LLM's veel gebruikt om interne workflows en gebruikerservaringen te verbeteren:

• Incidentbeheer en beveiliging: Volgens security.googleblog.com gebruikt Google LLM om samenvattingen van beveiligings- en privacyincidenten te verstrekken aan verschillende ontvangers, waaronder leidinggevenden, managers en partnerteams. Deze aanpak bespaart tijd voor managers en verbetert de kwaliteit van incidentoverzichten. Microsoft gebruikt LLM voor het diagnosticeren van productie-incidenten, terwijl Meta een AI-ondersteund systeem voor root cause analysis heeft ontwikkeld. Incident.io genereert samenvattingen van software-incidenten. Deze gevallen tonen de waarde van LLM's aan bij het versnellen van kritieke processen, maar roepen vragen op over hun betrouwbaarheid in situaties waar veel op het spel staat.
• Programmeerhulp: GitHub Copilot biedt codesuggesties en automatische aanvullingen, terwijl Replit LLM heeft ontwikkeld voor het repareren van code. NVIDIA gebruikt LLM om kwetsbaarheden in software te detecteren. Deze tools verhogen de productiviteit van ontwikkelaars, maar kunnen ook inefficiënte of onveilige codepatronen verspreiden als ze kritiekloos worden gebruikt.
• Gegevensquery's en intern zoeken: Honeycomb helpt gebruikers bij het schrijven van query's op gegevens, Pinterest zet gebruikersquery's om in SQL-query's. Deze gevallen laten zien hoe LLM's de toegang tot gegevens kunnen democratiseren, maar ook kunnen leiden tot verkeerde interpretaties of inefficiëntie zonder een grondig begrip van de onderliggende gegevensstructuren.
• Classificatie en beheer van ondersteuningsverzoeken: GoDaddy classificeert ondersteuningsverzoeken om de klantervaring te verbeteren. Dropbox vat vragen over bestanden samen en beantwoordt ze. Deze gevallen laten het potentieel zien van LLM's in het verbeteren van de klantenservice, maar geven aanleiding tot bezorgdheid over de kwaliteit en nauwkeurigheid van de gegenereerde antwoorden.

Leveringen en mobiliteit: operationele efficiëntie en maatwerk

‍

In de bezorgings- en mobiliteitssector worden LLM's gebruikt om de operationele efficiëntie en gebruikerservaring te verbeteren:

• Testen en technische ondersteuning: Uber gebruikt LLM om mobiele applicaties te testen met DragonCrawl en heeft Genie gebouwd, een AI co-piloot om ondersteuningsvragen te beantwoorden. Deze tools kunnen de tijd die wordt besteed aan testen en ondersteuning aanzienlijk verminderen, maar leggen complexe problemen of randgevallen mogelijk niet vast zoals een menselijke tester dat zou doen.
• Het extraheren en matchen van productinformatie: DoorDash extraheert productgegevens uit SKU-gegevens en Delivery Hero matcht zijn voorraad met producten van concurrenten. Deze cases laten zien hoe LLM's complexe processen voor het matchen van gegevens kunnen automatiseren, maar zonder adequate controles vooroordelen of verkeerde interpretaties kunnen introduceren.
• Conversationeel zoeken en relevantie: Picnic verbetert de zoekrelevantie voor productlijsten, terwijl Swiggy neuraal zoeken heeft geïmplementeerd om gebruikers te helpen eten en boodschappen te ontdekken op een conversationele manier. Deze voorbeelden illustreren hoe LLM's zoekinterfaces intuïtiever kunnen maken, maar ook 'filterbubbels' kunnen creëren die de ontdekking van nieuwe producten beperken.
• Automatisering van ondersteuning: DoorDash heeft een op LLM gebaseerde ondersteuningschatbot gebouwd die informatie uit de kennisbank haalt om antwoorden te genereren waarmee problemen snel worden opgelost. Deze aanpak kan de responstijden verbeteren, maar vereist robuuste vangrails om complexe of emotioneel geladen situaties aan te kunnen.

Sociaal, media en B2C: gepersonaliseerde inhoud en interacties

‍

In sociale media en B2C-diensten worden LLM's gebruikt om inhoud op maat te maken en interacties te verbeteren:

• Contentanalyse en -moderatie: Yelp heeft zijn contentmoderatiesysteem geüpdatet met LLM om bedreigingen, pesterijen, obsceniteit, persoonlijke aanvallen of haatzaaien te detecteren. LinkedIn analyseert verschillende content op het platform om informatie over vaardigheden te extraheren. Deze gevallen laten zien dat LLM de kwaliteit van content kan verbeteren, maar geven ook aanleiding tot bezorgdheid over censuur en de mogelijke beperking van de vrijheid van meningsuiting.
• Educatieve content genereren en marketing: Duolingo gebruikt LLM om ontwerpers te helpen relevante oefeningen te genereren, terwijl Nextdoor LLM gebruikt om opvallende e-mailobjecten te maken. Deze toepassingen kunnen de efficiëntie verhogen, maar ook leiden tot overstandaardisatie van inhoud.
• Meertalige vertaling en communicatie: Roblox maakt gebruik van een aangepast meertalig model om gebruikers in staat te stellen naadloos in hun eigen taal te communiceren. Deze toepassing toont het potentieel van LLM in het overwinnen van taalbarrières, maar kan culturele nuances in vertalingen introduceren.
• Interactie met media-inhoud: Vimeo stelt gebruikers in staat om met video's te communiceren via een op RAG gebaseerd vraag- en antwoordsysteem dat video-inhoud kan samenvatten, kan linken naar belangrijke momenten en aanvullende vragen kan suggereren. Deze toepassing laat zien hoe LLM de manier waarop we met multimedia-inhoud interageren kan veranderen, maar roept vragen op over de getrouwheid van de gegenereerde interpretaties.

Kritische evaluatie: echte waarde versus de trend volgen

Zoals Chitra Sundaram, directeur van de gegevensbeheerpraktijk bij Cleartelligence, Inc. opmerkt: "LLM's zijn grondstoffenverslinders. Voor het trainen en uitvoeren van deze modellen is enorme rekenkracht nodig, wat leidt tot een aanzienlijke ecologische voetafdruk. Duurzame IT gaat over het optimaliseren van het gebruik van bronnen, het minimaliseren van verspilling en het kiezen van de juiste maat oplossing". Deze observatie is met name relevant bij het analyseren van de gepresenteerde use cases.

‍

Bij het analyseren van deze use cases komen verschillende kritische overwegingen naar voren:

1. Incrementele waarde versus complexiteit

‍

Veel toepassingen van LLM's bieden incrementele verbeteringen ten opzichte van bestaande oplossingen, maar met aanzienlijk hogere reken-, energie- en implementatiekosten. Zoals Chitra Sundaram stelt: "Een LLM gebruiken om een eenvoudig gemiddelde te berekenen is als een bazooka gebruiken om een vlieg te raken" (paste-2.txt). Het is van cruciaal belang om te beoordelen of de toegevoegde waarde deze complexiteit rechtvaardigt, vooral gezien:

• De behoefte aan robuuste monitoringsystemen
• Energiekosten en milieu-impact
• De complexiteit van onderhoud en updaten
• Vereiste gespecialiseerde vaardigheden

2. Afhankelijkheid van menselijk toezicht

‍

De meeste succesvolle use cases hanteren een human-in-the-loop benadering, waarbij LLM's menselijke interventie ondersteunen in plaats van volledig vervangen. Dit suggereert dat:

• Volledige automatisering via LLM blijft problematisch
• De belangrijkste waarde ligt in het verbeteren van menselijke capaciteiten, niet in het vervangen ervan
• De effectiviteit hangt af van de kwaliteit van de interactie tussen mens en machine

3. Domeinspecificiteit versus generieke toepassingen

‍

De meest overtuigende use cases zijn die waarbij LLM's zijn aangepast en geoptimaliseerd voor specifieke domeinen, met domeinkennis ingebed:

• Fine-tuning op industriespecifieke gegevens
• Integratie met bestaande systemen en kennisbronnen
• Beschermhekken en contextspecifieke beperkingen

4. Integratie met bestaande technologieën

De meest effectieve cases gebruiken LLM niet op zichzelf, maar vullen het aan met:

• Systemen voor gegevensherstel en -archivering (RAG)
• Gespecialiseerde algoritmen en bestaande workflows
• Verificatie- en controlemechanismen

Zoals de use case van Google laat zien, maakt de integratie van LLM's in workflows voor beveiligings- en privacyincidenten 'versnelde incidentrespons met behulp van generatieve AI' mogelijk, waarbij gegenereerde samenvattingen worden afgestemd op verschillende doelgroepen, zodat relevante informatie de juiste mensen in het meest bruikbare formaat bereikt.

‍

Conclusie: Een pragmatische benadering van LLM's

Chitra Sundaram biedt een verhelderend perspectief als hij zegt: "De weg naar duurzame analyse gaat over het kiezen van de juiste tool voor de taak, niet over het najagen van de nieuwste trend. Het gaat om investeren in bekwame analisten en goed gegevensbeheer. Het gaat erom van duurzaamheid een hoofdprioriteit te maken".

‍

Analyse van deze praktijkvoorbeelden bevestigt dat LLM's geen wonderoplossing zijn, maar krachtige hulpmiddelen die, wanneer ze strategisch worden toegepast op specifieke problemen, aanzienlijke waarde kunnen bieden. Organisaties moeten:

1. Specifieke problemen identificeren waarbij natuurlijke taalverwerking een aanzienlijk voordeel biedt ten opzichte van traditionele benaderingen
2. Begin met proefprojecten die snel en meetbaar waarde kunnen aantonen
3. LLM integreren met bestaande systemen in plaats van workflows volledig te vervangen
4. Handhaaf menselijke toezichtmechanismen, vooral voor kritieke toepassingen
5. Systematisch de kosten-batenverhouding evalueren, waarbij niet alleen rekening wordt gehouden met prestatieverbeteringen, maar ook met energie-, onderhouds- en upgradekosten

De bedrijven die floreren in het tijdperk van LLM's zijn niet noodzakelijkerwijs de bedrijven die ze het meest toepassen, maar de bedrijven die ze het meest strategisch toepassen, waarbij ze een evenwicht vinden tussen innovatie en pragmatisme en een kritisch oog houden op de echte waarde die naast de hype wordt gegenereerd.

‍