Wat vandaag de state-of-the-art benadering is, kan snel het legacy-systeem van morgen worden. Organisaties die investeren in SaaS-oplossingen op basis van kunstmatige intelligentie worden geconfronteerd met een cruciale vraag: Hoe kunnen we ervoor zorgen dat de systemen die vandaag worden geïmplementeerd niet de technische schuld van morgen worden?

‍

Het antwoord ligt niet in het kiezen van de meest geavanceerde technologie van het moment, maar in het kiezen van platforms die gebouwd zijn op flexibele en aanpasbare architecturen die mee kunnen evolueren met opkomende AI-capaciteiten. Dit artikel analyseert verschillende implementaties van modulaire architecturen op het gebied van AI, met een focus op Retrieval-Augmented Generation (RAG), en vergelijkt de verschillende architecturale benaderingen.

‍

Het verborgen risico van starre AI-implementaties

Veel organisaties kiezen AI-oplossingen voornamelijk op basis van de huidige mogelijkheden, waarbij ze zich richten op onmiddellijke functionaliteit en de onderliggende architectuur verwaarlozen die bepalend is voor het aanpassingsvermogen op de lange termijn. Deze aanpak brengt een aantal belangrijke risico's met zich mee:

Technologische veroudering

Het tempo van AI-innovatie blijft stijgen, met fundamentele vooruitgang in steeds kortere tijd. Starre systemen die zijn gebouwd rond specifieke benaderingen van AI hebben vaak moeite om deze ontwikkelingen te integreren, wat leidt tot hiaten in de capaciteit ten opzichte van nieuwere oplossingen.

Aanpassing van bedrijfsvereisten

Zelfs als de technologie statisch blijft (en dat zal niet gebeuren), zullen de bedrijfsbehoeften evolueren. Organisaties ontdekken vaak waardevolle use cases voor kunstmatige intelligentie die niet waren voorzien tijdens de eerste implementatie. Inflexibele platforms hebben vaak moeite om buiten hun oorspronkelijke ontwerpparameters te treden.

Evolutie van het integratie-ecosysteem

De applicaties, gegevensbronnen en systemen rondom de AI-oplossing zullen in de loop der tijd veranderen door upgrades, vervangingen en nieuwe toevoegingen. Starre AI-platforms worden vaak knelpunten bij de integratie, waardoor dure workarounds nodig zijn of de waarde van andere technologie-investeringen wordt beperkt.

Veranderingen in regelgeving en naleving

AI-governancevereisten blijven zich wereldwijd ontwikkelen, met nieuwe regelgeving die eisen stelt aan uitlegbaarheid, beoordeling van eerlijkheid en documentatie. Systemen zonder architecturale flexibiliteit hebben het vaak moeilijk om zich aan te passen aan deze veranderende compliance-eisen.

‍

Het RAG-paradigma: een casestudy van modulaire architectuur

Retrieval-Augmented Generation (RAG) is een uitstekend voorbeeld van een modulaire architectuur die een revolutie teweegbrengt in de manier waarop AI-systemen worden ontworpen en geïmplementeerd. AWS definieert het als "het proces van het optimaliseren van de uitvoer van een groot taalmodel (LLM) dat verwijst naar een gezaghebbende kennisbank buiten de trainingsgegevensbronnen voordat een antwoord wordt gegenereerd".

De AWS RAG-implementatie

AWS heeft een RAG-cloudarchitectuur ontwikkeld die de principes van modulariteit en flexibiliteit illustreert. Zoals aangegeven door Yunjie Chen en Henry Jia in de AWS Public Sector blog, bestaat deze architectuur uit vier verschillende modules:

‍

1. Gebruikersinterface module: Communiceert met eindgebruikers via Amazon API Gateway
2. Orkestratiemodule: interageert met verschillende bronnen om ervoor te zorgen dat de gegevensverwerving, prompting en responsgeneratie soepel verlopen.
3. Inbeddingsmodule: biedt toegang tot verschillende funderingsmodellen
4. Vectoropslagmodule: beheert de opslag van ingesloten gegevens en de uitvoering van vectorzoekopdrachten

De verwerkingsstroom volgt twee hoofdpaden:

Voor het uploaden van gegevens:

1. Documenten opgeslagen in Amazon S3 buckets worden verwerkt door AWS Lambda functies voor splitsen en chunking
2. Tekstsegmenten worden naar de insluitsjabloon gestuurd om omgezet te worden in vectoren
3. Embeddings worden opgeslagen en geïndexeerd in de gekozen vectordatabase

Voor het genereren van antwoorden:

1. De gebruiker stuurt een prompt
2. De prompt wordt geleverd aan een insluitsjabloon
3. Het model zet de prompt om in een vector voor semantisch zoeken in gearchiveerde documenten
4. De meest relevante resultaten worden teruggestuurd naar de LLM
5. De LLM genereert het antwoord op basis van de meest vergelijkbare resultaten en initiële prompts
6. Het gegenereerde antwoord wordt afgeleverd bij de gebruiker

Voordelen van de AWS RAG-architectuur

AWS benadrukt verschillende belangrijke voordelen van deze modulaire architectuur:

• Modulariteit en schaalbaarheid: "De modulaire aard van de RAG-architectuur en het gebruik van Infrastructure As Code (IaC) maken het eenvoudig om naar behoefte AWS-services toe te voegen of te verwijderen. Met AWS Managed Services helpt deze architectuur om toegenomen verkeer en dataverzoeken automatisch en efficiënt te beheren, zonder voorafgaande provisioning."
• Flexibiliteit en wendbaarheid: "Dankzij de modulaire RAG-architectuur kunnen nieuwe technologieën en diensten sneller en eenvoudiger worden geïmplementeerd zonder dat het raamwerk van de cloudarchitectuur volledig moet worden omgegooid. Hierdoor kunnen we wendbaarder reageren op veranderende markt- en klantbehoeften."
• Aanpassing aan toekomstige trends: "De modulaire architectuur scheidt orkestratie, generatieve AI-modellen en vectoropslag. Individueel zijn deze drie modules allemaal gebieden van actief onderzoek en voortdurende verbetering."

Vectortechnologie: het hart van de RAG architectuur

Een cruciaal element van de RAG-architectuur is de vectordatabase. AWS wijst erop dat "aangezien alle gegevens (inclusief tekst, audio, afbeeldingen of video) moeten worden omgezet in inbeddingsvectoren zodat generatieve modellen ermee kunnen interageren, vectordatabases een essentiële rol spelen in generatieve AI-gebaseerde oplossingen."

AWS ondersteunt deze flexibiliteit door verschillende vector database opties aan te bieden:

• Traditionele databases zoals OpenSearch en PostgreSQL met toegevoegde vectorfunctionaliteit
• Dedicated open source vector databases zoals ChromaDB en Milvus
• Eigen AWS-oplossingen zoals Amazon Kendra

De keuze tussen deze opties "kan worden bepaald door de antwoorden op vragen zoals hoe vaak er nieuwe gegevens worden toegevoegd, hoeveel query's er per minuut worden verzonden en of de verzonden query's grotendeels op elkaar lijken".

‍

Modelgeïntegreerde AI-architecturen: De neurale benadering

Terwijl de AWS RAG-architectuur is geïmplementeerd als een gedistribueerd systeem over verschillende cloudservices, hanteren andere AI-systemen een meer geïntegreerde aanpak, waarbij modulariteitsprincipes bestaan binnen een uniforme neurale architectuur.

Het geval van gevorderde IA-assistenten

Geavanceerde AI-assistenten, zoals die gebaseerd op de nieuwste LLM-modellen, gebruiken vergelijkbare principes als RAG, maar met enkele belangrijke architecturale verschillen:

1. Neurale integratie: De functionele componenten (vraagbegrip, informatie ophalen, antwoord genereren) zijn geïntegreerd in de neurale architectuur, in plaats van verdeeld over afzonderlijke services.
2. Conceptuele modulariteit: Modulariteit bestaat op conceptueel en functioneel niveau, maar niet noodzakelijk als fysiek afzonderlijke en vervangbare componenten.
3. Uniforme optimalisatie: de volledige verwerkingslijn wordt geoptimaliseerd tijdens de trainings- en ontwikkelingsfase, in plaats van dat deze configureerbaar is door de eindgebruiker.
4. Diepe integratie van ophaling en generatie: Het opzoeksysteem is meer geïntegreerd in het generatieproces, met feedback in twee richtingen tussen de componenten, in plaats van een star sequentieel proces te zijn.

Ondanks deze implementatieverschillen delen deze systemen de fundamentele principes van RAG: het verrijken van een taalmodel met relevante externe informatie om de nauwkeurigheid te verhogen en hallucinaties te verminderen door een architectuur te creëren die de verschillende verwerkingsfasen scheidt (althans conceptueel).

‍

Ontwerpprincipes voor flexibele IA-architecturen

Ongeacht de specifieke aanpak zijn er universele ontwerpprincipes die flexibiliteit in AI-architecturen bevorderen:

Modulair ontwerp

Echt flexibele platformen voor kunstmatige intelligentie maken gebruik van modulaire architecturen waarin componenten onafhankelijk van elkaar kunnen worden geüpgraded of vervangen zonder dat het hele systeem hoeft te worden aangepast. Zowel de AWS als de geïntegreerde AI-systemen volgen dit principe, zij het met verschillende implementaties.

Model-Agnostische benadering

Flexibele platformen handhaven de scheiding tussen bedrijfslogica en de onderliggende AI-implementatie, waardoor de onderliggende AI-componenten kunnen worden gewijzigd als de technologie evolueert. Dit is vooral duidelijk in de AWS-architectuur, waar modellen eenvoudig kunnen worden vervangen.

API-eerst ontwerp

De meest aanpasbare kunstmatige intelligentiesystemen geven prioriteit aan programmatische toegankelijkheid via uitgebreide API's, in plaats van zich uitsluitend te richten op vooraf gedefinieerde gebruikersinterfaces. In de AWS-architectuur stelt elk onderdeel goed gedefinieerde interfaces beschikbaar, wat integratie en updaten vergemakkelijkt.

Continue distributie-infrastructuur

Flexibele architecturen vereisen een infrastructuur die is ontworpen voor frequente updates zonder onderbrekingen van de dienstverlening. Dit principe wordt zowel geïmplementeerd in gedistribueerde systemen zoals de AWS-architectuur als in geïntegreerde AI-modellen, zij het met verschillende mechanismen.

Uitbreidingsraamwerk

Echt flexibele platforms bieden kaders voor klantspecifieke uitbreidingen zonder tussenkomst van de leverancier. Dit is het duidelijkst in gedistribueerde systemen, maar ook ingebedde AI-modellen kunnen vormen van maatwerk bieden.

De verhouding aanpassingsvermogen-stabiliteit

Terwijl de nadruk wordt gelegd op architecturale flexibiliteit, is het essentieel om te erkennen dat bedrijfssystemen ook stabiliteit en betrouwbaarheid vereisen. Het in evenwicht brengen van deze schijnbaar tegenstrijdige eisen vereist:

Stabiele interfacecontracten

Terwijl interne implementaties vaak kunnen veranderen, is het cruciaal om strikte stabiliteitsgaranties te handhaven voor externe interfaces, met formeel beleid voor versiebeheer en ondersteuning.

Progressieve verbetering

Nieuwe functionaliteiten moeten waar mogelijk worden geïntroduceerd door middel van additieve veranderingen in plaats van vervangingen, zodat organisaties innovaties in hun eigen tempo kunnen invoeren.

Gecontroleerde updatekadans

Upgrades moeten een voorspelbaar en gecontroleerd schema volgen dat continue innovatie in evenwicht brengt met operationele stabiliteit.

Convergentie van de toekomst: naar hybride architecturen

De toekomst van AI-architecturen zal waarschijnlijk een convergentie zien tussen de gedistribueerde aanpak die wordt geïllustreerd door AWS RAG en de geïntegreerde aanpak van geavanceerde AI-modellen. Er tekenen zich nu al belangrijke trends af:

Multimodale convergentie

Kunstmatige intelligentie verschuift snel van verwerking via één modus naar uniforme modellen die naadloos werken via verschillende modi (tekst, beeld, audio, video).

Proliferatie van gespecialiseerde modellen

Terwijl algemene modellen zich blijven ontwikkelen, is er ook een toename in de ontwikkeling van gespecialiseerde modellen voor specifieke domeinen en taken, waarvoor architecturen nodig zijn die verschillende modellen kunnen orkestreren en integreren.

Continuüm Rand-Cloud

De verwerking van kunstmatige intelligentie vindt steeds meer gedistribueerd plaats op een continuüm van de cloud tot aan de rand, met gedistribueerde modellen waarbij prestaties, kosten en gegevensvereisten beter in balans kunnen worden gebracht.

Harmonisatie van regelgeving

Naarmate de wereldwijde AI-regelgeving volwassener wordt, verwachten we een grotere harmonisatie van vereisten in verschillende rechtsgebieden, mogelijk in combinatie met certificeringskaders.

‍

Conclusie: De noodzaak van de toekomst

In een snel evoluerend domein als kunstmatige intelligentie is de belangrijkste eigenschap van een platform niet de huidige mogelijkheden, maar het vermogen om zich aan te passen aan toekomstige ontwikkelingen. Organisaties die oplossingen kiezen op basis van de mogelijkheden van vandaag, beperken vaak de mogelijkheden van morgen.

‍

Door prioriteit te geven aan flexibiliteit van de architectuur via principes zoals modulair ontwerp, modelagnostische benaderingen, API-first denken, continue leveringsinfrastructuur en robuuste uitbreidbaarheid, kunnen organisaties AI-mogelijkheden bouwen die mee evolueren met de technologische vooruitgang en bedrijfsbehoeften.

Zoals AWS stelt, "het tempo van de evolutie van generatieve AI is ongekend" en alleen echt modulaire en flexibele architecturen kunnen ervoor zorgen dat de investeringen van vandaag waarde blijven genereren in het snel evoluerende technologielandschap van morgen.

‍

Misschien behoort de toekomst niet alleen toe aan degenen die het beste kunnen voorspellen wat er gaat komen, maar ook aan degenen die systemen bouwen die zich kunnen aanpassen aan wat er ook ontstaat.