De weg van AI-idee naar werkend product is lang en zit vol hobbels. Op de recente Data Expo deelden Dennis Maas, Head of Product bij Wolters Kluwer Schulinck en Vincent Hoogsteder, Partner bij Mozaik, wat we in onze samenwerking hebben geleerd over het brengen van een AI-product van concept naar markt.
Dit zijn de belangrijkste lessen:
De 10 valkuilen die je moet vermijden:
- Kwaliteit meten bij de koffieautomaat: Vertrouwen op subjectieve feedback is riskant. Zet in plaats daarvan een evaluatieraamwerk op, zodat je van discussies naar geautomatiseerde, objectieve metingen gaat.
- Technologische sprongen boven kleine aanpassingen stellen: Het is makkelijk om meegesleept te raken in de hype rond nieuwe technologie. Toch ontdekte het team dat een experimenteer-mindset, waarin ook kleine aanpassingen aan prompts en content tellen, vaak de beste resultaten oplevert.
- Zelfgenoegzaam zijn over de snelheid van leren: Wekenlang wachten op feedback is in AI te lang. Wij hebben juridische experts in het team opgenomen, zodat er elke dag persoonlijke feedback is.
- Denken vanuit bestaande paradigma's: Een veelgemaakte fout is AI inzetten om bestaande processen wat te verbeteren, zoals het samenvatten van content. De doorbraak kwam toen we onze focus verlegden van het product naar de workflow van de klant.
- Features kiezen boven kwaliteit: Nieuwe features bouwen is verleidelijk. Het team koos toch voor "all-in" op kwaliteit, met een "less is more"-aanpak.
- Managers laten beslissen wat er gebouwd wordt: Managers hebben niet altijd de diepgaande technische kennis die AI-projecten vragen. Daarom kreeg het team met de meeste kennis de leiding: engineers, product managers, designers en juridische experts.
- Het menselijke element vergeten: Angst voor het onbekende is een grote hindernis. We ontwierpen onze AI daarom als een "CoPilot" en leerden hem "ik weet het niet" te zeggen en gebruikers bij gevoelige zaken door te verwijzen naar juridische experts.
- Testen en releasen als traditionele software: AI is niet-deterministisch en dat vraagt om een andere aanpak. Er kwam een systeem van analytics met evaluaties, latency, feedback en engagement, zodat het team kon ingrijpen bij grote veranderingen.
- De impact van latency overschatten: De eerste versies waren traag, met responstijden van meer dan een minuut. We brachten het product toch uit en de reactie van klanten was overweldigend positief, dus kwaliteit woog voor hen zwaarder dan snelheid.
- Te veel geloven in de marketingtaal van LLM-leveranciers: Nieuwe en "betere" modellen volgen elkaar snel op, maar ze kunnen onverwachte effecten hebben op kwaliteit en latency. Wij bouwden daarom een infrastructuur waarmee we makkelijk tussen LLM's kunnen wisselen en testen elke nieuwe release grondig.
Klaar om meer te leren?
Alle lessen staan uitgebreider in de presentatie. Je kunt hier de volledige presentatieslides downloaden.
