Wat vandaag de state-of-the-art benadering is, kan snel het legacy-systeem van morgen worden. Organisaties die investeren in SaaS-oplossingen op basis van kunstmatige intelligentie worden geconfronteerd met een cruciale vraag: Hoe kunnen we ervoor zorgen dat de systemen die vandaag worden geïmplementeerd niet de technische schuld van morgen worden?
Het antwoord ligt niet in het kiezen van de meest geavanceerde technologie van het moment, maar in het kiezen van platforms die gebouwd zijn op flexibele en aanpasbare architecturen die mee kunnen evolueren met opkomende AI-capaciteiten. Dit artikel analyseert verschillende implementaties van modulaire architecturen op het gebied van AI, met een focus op Retrieval-Augmented Generation (RAG), en vergelijkt de verschillende architecturale benaderingen.
Veel organisaties kiezen AI-oplossingen voornamelijk op basis van de huidige mogelijkheden, waarbij ze zich richten op onmiddellijke functionaliteit en de onderliggende architectuur verwaarlozen die bepalend is voor het aanpassingsvermogen op de lange termijn. Deze aanpak brengt een aantal belangrijke risico's met zich mee:
Het tempo van AI-innovatie blijft stijgen, met fundamentele vooruitgang in steeds kortere tijd. Starre systemen die zijn gebouwd rond specifieke benaderingen van AI hebben vaak moeite om deze ontwikkelingen te integreren, wat leidt tot hiaten in de capaciteit ten opzichte van nieuwere oplossingen.
Zelfs als de technologie statisch blijft (en dat zal niet gebeuren), zullen de bedrijfsbehoeften evolueren. Organisaties ontdekken vaak waardevolle use cases voor kunstmatige intelligentie die niet waren voorzien tijdens de eerste implementatie. Inflexibele platforms hebben vaak moeite om buiten hun oorspronkelijke ontwerpparameters te treden.
De applicaties, gegevensbronnen en systemen rondom de AI-oplossing zullen in de loop der tijd veranderen door upgrades, vervangingen en nieuwe toevoegingen. Starre AI-platforms worden vaak knelpunten bij de integratie, waardoor dure workarounds nodig zijn of de waarde van andere technologie-investeringen wordt beperkt.
AI-governancevereisten blijven zich wereldwijd ontwikkelen, met nieuwe regelgeving die eisen stelt aan uitlegbaarheid, beoordeling van eerlijkheid en documentatie. Systemen zonder architecturale flexibiliteit hebben het vaak moeilijk om zich aan te passen aan deze veranderende compliance-eisen.
Retrieval-Augmented Generation (RAG) is een uitstekend voorbeeld van een modulaire architectuur die een revolutie teweegbrengt in de manier waarop AI-systemen worden ontworpen en geïmplementeerd. AWS definieert het als "het proces van het optimaliseren van de uitvoer van een groot taalmodel (LLM) dat verwijst naar een gezaghebbende kennisbank buiten de trainingsgegevensbronnen voordat een antwoord wordt gegenereerd".
AWS heeft een RAG-cloudarchitectuur ontwikkeld die de principes van modulariteit en flexibiliteit illustreert. Zoals aangegeven door Yunjie Chen en Henry Jia in de AWS Public Sector blog, bestaat deze architectuur uit vier verschillende modules:
De verwerkingsstroom volgt twee hoofdpaden:
Voor het uploaden van gegevens:
Voor het genereren van antwoorden:
AWS benadrukt verschillende belangrijke voordelen van deze modulaire architectuur:
Een cruciaal element van de RAG-architectuur is de vectordatabase. AWS wijst erop dat "aangezien alle gegevens (inclusief tekst, audio, afbeeldingen of video) moeten worden omgezet in inbeddingsvectoren zodat generatieve modellen ermee kunnen interageren, vectordatabases een essentiële rol spelen in generatieve AI-gebaseerde oplossingen."
AWS ondersteunt deze flexibiliteit door verschillende vector database opties aan te bieden:
De keuze tussen deze opties "kan worden bepaald door de antwoorden op vragen zoals hoe vaak er nieuwe gegevens worden toegevoegd, hoeveel query's er per minuut worden verzonden en of de verzonden query's grotendeels op elkaar lijken".
Terwijl de AWS RAG-architectuur is geïmplementeerd als een gedistribueerd systeem over verschillende cloudservices, hanteren andere AI-systemen een meer geïntegreerde aanpak, waarbij modulariteitsprincipes bestaan binnen een uniforme neurale architectuur.
Geavanceerde AI-assistenten, zoals die gebaseerd op de nieuwste LLM-modellen, gebruiken vergelijkbare principes als RAG, maar met enkele belangrijke architecturale verschillen:
Ondanks deze implementatieverschillen delen deze systemen de fundamentele principes van RAG: het verrijken van een taalmodel met relevante externe informatie om de nauwkeurigheid te verhogen en hallucinaties te verminderen door een architectuur te creëren die de verschillende verwerkingsfasen scheidt (althans conceptueel).
Ongeacht de specifieke aanpak zijn er universele ontwerpprincipes die flexibiliteit in AI-architecturen bevorderen:
Echt flexibele platformen voor kunstmatige intelligentie maken gebruik van modulaire architecturen waarin componenten onafhankelijk van elkaar kunnen worden geüpgraded of vervangen zonder dat het hele systeem hoeft te worden aangepast. Zowel de AWS als de geïntegreerde AI-systemen volgen dit principe, zij het met verschillende implementaties.
Flexibele platformen handhaven de scheiding tussen bedrijfslogica en de onderliggende AI-implementatie, waardoor de onderliggende AI-componenten kunnen worden gewijzigd als de technologie evolueert. Dit is vooral duidelijk in de AWS-architectuur, waar modellen eenvoudig kunnen worden vervangen.
De meest aanpasbare kunstmatige intelligentiesystemen geven prioriteit aan programmatische toegankelijkheid via uitgebreide API's, in plaats van zich uitsluitend te richten op vooraf gedefinieerde gebruikersinterfaces. In de AWS-architectuur stelt elk onderdeel goed gedefinieerde interfaces beschikbaar, wat integratie en updaten vergemakkelijkt.
Flexibele architecturen vereisen een infrastructuur die is ontworpen voor frequente updates zonder onderbrekingen van de dienstverlening. Dit principe wordt zowel geïmplementeerd in gedistribueerde systemen zoals de AWS-architectuur als in geïntegreerde AI-modellen, zij het met verschillende mechanismen.
Echt flexibele platforms bieden kaders voor klantspecifieke uitbreidingen zonder tussenkomst van de leverancier. Dit is het duidelijkst in gedistribueerde systemen, maar ook ingebedde AI-modellen kunnen vormen van maatwerk bieden.
Terwijl de nadruk wordt gelegd op architecturale flexibiliteit, is het essentieel om te erkennen dat bedrijfssystemen ook stabiliteit en betrouwbaarheid vereisen. Het in evenwicht brengen van deze schijnbaar tegenstrijdige eisen vereist:
Terwijl interne implementaties vaak kunnen veranderen, is het cruciaal om strikte stabiliteitsgaranties te handhaven voor externe interfaces, met formeel beleid voor versiebeheer en ondersteuning.
Nieuwe functionaliteiten moeten waar mogelijk worden geïntroduceerd door middel van additieve veranderingen in plaats van vervangingen, zodat organisaties innovaties in hun eigen tempo kunnen invoeren.
Upgrades moeten een voorspelbaar en gecontroleerd schema volgen dat continue innovatie in evenwicht brengt met operationele stabiliteit.
De toekomst van AI-architecturen zal waarschijnlijk een convergentie zien tussen de gedistribueerde aanpak die wordt geïllustreerd door AWS RAG en de geïntegreerde aanpak van geavanceerde AI-modellen. Er tekenen zich nu al belangrijke trends af:
Kunstmatige intelligentie verschuift snel van verwerking via één modus naar uniforme modellen die naadloos werken via verschillende modi (tekst, beeld, audio, video).
Terwijl algemene modellen zich blijven ontwikkelen, is er ook een toename in de ontwikkeling van gespecialiseerde modellen voor specifieke domeinen en taken, waarvoor architecturen nodig zijn die verschillende modellen kunnen orkestreren en integreren.
De verwerking van kunstmatige intelligentie vindt steeds meer gedistribueerd plaats op een continuüm van de cloud tot aan de rand, met gedistribueerde modellen waarbij prestaties, kosten en gegevensvereisten beter in balans kunnen worden gebracht.
Naarmate de wereldwijde AI-regelgeving volwassener wordt, verwachten we een grotere harmonisatie van vereisten in verschillende rechtsgebieden, mogelijk in combinatie met certificeringskaders.
.png)
In een snel evoluerend domein als kunstmatige intelligentie is de belangrijkste eigenschap van een platform niet de huidige mogelijkheden, maar het vermogen om zich aan te passen aan toekomstige ontwikkelingen. Organisaties die oplossingen kiezen op basis van de mogelijkheden van vandaag, beperken vaak de mogelijkheden van morgen.
Door prioriteit te geven aan flexibiliteit van de architectuur via principes zoals modulair ontwerp, modelagnostische benaderingen, API-first denken, continue leveringsinfrastructuur en robuuste uitbreidbaarheid, kunnen organisaties AI-mogelijkheden bouwen die mee evolueren met de technologische vooruitgang en bedrijfsbehoeften.
Zoals AWS stelt, "het tempo van de evolutie van generatieve AI is ongekend" en alleen echt modulaire en flexibele architecturen kunnen ervoor zorgen dat de investeringen van vandaag waarde blijven genereren in het snel evoluerende technologielandschap van morgen.
Misschien behoort de toekomst niet alleen toe aan degenen die het beste kunnen voorspellen wat er gaat komen, maar ook aan degenen die systemen bouwen die zich kunnen aanpassen aan wat er ook ontstaat.