White paper · AI i virksomheder · 17 sider
Kvalitetssikring af AI kræver mere end test
Fra QA til EvalOps: sådan dokumenterer vi, at et AI-system løser den rigtige opgave med den nødvendige kvalitet, også efter det er sat i drift.
En AI-løsning er ikke god, fordi den virker i en demo. Den er god, når vi kan dokumentere, at den løser den rigtige opgave med den nødvendige kvalitet, også efter den er sat i drift.
En klassisk softwaretest har et facit: givet et bestemt input forventer vi et bestemt output. Generativ AI har ikke ét facit. To forskellige svar kan begge være gode, og et svar kan lyde overbevisende og samtidig være forkert. En grøn testsuite siger derfor ikke, om AI-systemet løser opgaven.
EvalOps gør kvaliteten målbar og gentagelig. Succes defineres ud fra den konkrete arbejdsgang og testes på et datasæt, der ligner virkeligheden. Evalueringen kører automatisk ved hver ændring, stopper en deployment ved regression og fortsætter, efter systemet er i drift.
Skrevet til
Til dig, der bygger eller har ansvaret for et AI-system, som er i drift eller på vej i drift: AI-teams, der arbejder med RAG-løsninger og agenter, og dem, der ejer den arbejdsgang, systemet skal understøtte. White paperet er særligt relevant for organisationer i reguleret sagsbehandling, hvor kvaliteten skal kunne dokumenteres over for tilsyn og klageinstanser.
Indhold
- 1.Hvorfor klassisk QA ikke rækkerside 3
- 2.Fra mavefornemmelse til målbar kvalitetside 4
- 3.Start med at definere, hvad succes betyderside 5
- 4.Byg et evalueringsdatasæt, der ligner virkelighedenside 6
- 5.Mål både slutresultatet og komponenterneside 7
- 6.Automatiser evalueringen, og kalibrer den mod menneskerside 9
- 7.Gør evals til en del af udviklingsprocessenside 11
- 8.Evalueringen stopper ikke ved go-liveside 12
- 9.Den vigtigste eval ligger måske uden for AI-systemetside 13
- 10.EvalOps og AI-forordningenside 14
- 11.EvalOps erstatter ikke sikkerhed og klassisk QAside 15
- 12.Fra AI-projekt til produktionsdisciplinside 15
