Met de recente introductie van Google's Gemini Ultra model en de daaropvolgende release van hun Gemma modellen als open-source, willen we wat duidelijkheid scheppen in dit snel bewegende vakgebied en dat koppelen aan de discussie over operationele kosten die we vaak voeren in ons werk.
3-niveau productparadigma
Bij large language models (LLM's) zien we een productstrategie met drie niveaus. De grootste modellen, zoals GPT-4 en Gemini Ultra, zijn gebouwd voor complexe redeneertaken. Ze kunnen indrukwekkend veel, maar vragen veel rekenkracht en zijn duur. Daardoor passen ze bij scenario's die zich vertalen in hoge inkomsten.
In het middensegment, met 7 miljard parameters, bedienen LLM's zakelijke toepassingen en sommige consumententoepassingen op high-end PCs. Een voorbeeld hiervan is de integratie van een 7B model in software voor virtuele assistenten, wat zorgt voor een intuïtievere interactie en slimmere antwoorden voor taken zoals plannen en e-mailbeheer, rechtstreeks vanaf het bureaublad van een gebruiker. Gemma 7B biedt vergelijkbare voordelen en functionaliteiten voor desktopontwikkeling en geeft ontwikkelaars meer flexibiliteit.
Op instapniveau zijn modellen met 2 miljard parameters of minder afgestemd op consumentenproducten zoals telefoons. Door LLM's direct op PCs of telefoons te gebruiken, kan data lokaal worden verwerkt. Dit betekent dat data niet hoeft te worden verstuurd naar een externe locatie voor analyse. Modellen kunnen ter plekke worden aangepast, lokale bronnen aanspreken of veilig verbinding maken met andere applicaties, zonder dat gevoelige informatie in gevaar komt.
Grote modellen
Deze krijgen de meeste aandacht van de media, omdat ze het meest kunnen en allemaal meer dan 70B parameters hebben, waardoor ze zowel duur zijn om te trainen als om te draaien. Enkele voorbeelden zijn;
- GPT4 van OpenAI
- Claude2 van Anthropic
- Gemini Ultra van Google
- LLama2 van Facebook
Er zijn er meer, maar dit zijn de bekendste. Het LLama2 model van Facebook is bijzonder interessant omdat dat een open-source model is, dat door veel anderen wordt gebruikt als basis om op voort te bouwen. Een opmerkelijk project dat we vorige week tegenkwamen, was Groq, dat een verbluffende snelheid biedt voor deze grote modellen. Het is een hardwareproject dat ook toegang biedt via een API. Je kunt het testen op hun website en het werkt met 300 tokens per seconde. Dit kan alleen omdat de inference (technische term voor het genereren van antwoorden of voorspellingen) veel efficiënter is en minder rekenkracht kost, wat betekent dat de kosten om een model te hosten ook lager zijn.
Kleinere modellen
Er zijn honderden LLM's in de 7B en 2B klasses. De nieuwe Gemma modellen werden gebenchmarkt tegen vergelijkbare modellen in dezelfde categorie en vooral benchmarks op wiskunde- en programmeertaken zijn aanzienlijk beter dan vergelijkbare modellen van hetzelfde formaat. Toch liggen de benchmarkscores voor coderings- en wiskundetoepassingen ruim onder het menselijke niveau.
Voor andere taken scoren ze vergelijkbaar met concurrenten zoals Mistral 7B, wat nog steeds ruim onder de prestaties van de grote modellen ligt. Toch is er een goede reden om zo'n model te overwegen en dat is dezelfde reden waarom we zo enthousiast waren over het Groq project, namelijk snelheid en kosten.
Voor veel toepassingen zijn 7B modellen meer dan voldoende, zeker wanneer ze getraind of fine-tuned zijn op een specifieke taak. Dit maakt ze aantrekkelijk voor bedrijven die betrouwbare AI-mogelijkheden nodig hebben zonder een fors prijskaartje. Door te optimaliseren op deze factoren kunnen 7B modellen een praktische oplossing bieden voor een breed scala aan toepassingen, van geautomatiseerde klantenservice tot het maken van content, wat ze een kosteneffectieve keuze maakt voor bedrijven die AI in hun bedrijfsvoering willen integreren.
De komst van modellen zoals Gemma laat ook zien hoe snel het vakgebied vooruitgaat. Kleinere modellen worden steeds beter in complexe taken en komen in specifieke domeinen dicht bij menselijk niveau. Dat maakt AI toepasbaar op plekken waar nauwkeurigheid en efficiëntie tellen, zonder de middelen die grote modellen vragen. Voor bedrijven betekent dit dat AI op een schaalbaardere en goedkopere manier binnen bereik komt.
Wat betekent dit
De laatste tijd zaten we vaak in gesprekken waarin operationele kosten een groot onderwerp zijn, wat natuurlijk erg belangrijk is. Toch, als we kijken naar de ontwikkelingen van alleen al het afgelopen jaar, denken we dat we gerust kunnen stellen dat voor de meeste toepassingen de kosten aanzienlijk zullen dalen. Deze trend opent nieuwe kansen voor bedrijven om AI in te zetten voor een breder scala aan toepassingen, zonder de onbetaalbare kosten die nu misschien een barrière vormen.
Maar om van die kostenverlagingen te profiteren, moeten bedrijven nu beginnen met de voorbereiding. Dat betekent investeren in de juiste technologieën en vaardigheden en een plan ontwikkelen dat AI zo in het bedrijfsmodel verwerkt dat het aansluit bij toekomstige mogelijkheden. Het betekent ook dat je op de hoogte blijft van technologische ontwikkelingen en begrijpt hoe je die kunt toepassen op concrete zakelijke problemen.
Strategisch gezien kan dit inhouden dat je de belangrijkste gebieden van het bedrijf identificeert die het meest kunnen profiteren van AI-integratie, zoals klantenservice, data-analyse of operationele efficiëntie. Door nu al te experimenteren met AI-oplossingen kunnen bedrijven een duidelijker beeld krijgen van de potentiële impact ervan en van de operationele veranderingen die nodig zijn om ze te ondersteunen. En het kan snel gaan, bijvoorbeeld: Groq biedt nu 1M tokens voor de 70B aan voor slechts $0,70, vergeleken met circa $1,20 voor ChatGPT3.5, wat een kostenverlaging van 42% is. Het 7B model bij Groq is geprijsd op slechts $0,10 per 1M tokens, wat slechts 8% van de chatGPT kosten is.
We vinden dit mooie ontwikkelingen, omdat ze AI vandaag al toegankelijk maken voor veel bedrijven.
