Kvalitetssikring af AI: Sådan gør du din AI-løsning klar til drift

Hvad er vigtigst, når vi kvalitetssikrer AI-leverancer?

Et AI-projekt er først lykkedes, når løsningen både virker og kan stoles på. Derfor bør kvalitetssikringen aldrig være en eftertanke, men være med fra start. En godkendt AI-løsning hviler på tre ting:

• Data og modeller, der er testet grundigt for nøjagtighed
• En solid beskyttelse af de data, der indgår
• En drift, der kan vokse med behovet

Gør de tre områder til faste holdepunkter i projektstyringen, og involvér fagfolk på tværs af organisationen fra start. Så mindsker I risikoen for ubehagelige overraskelser undervejs, og teknologien skaber værdi, der holder i mange år frem.

Vi er alle bekendte med, hvordan traditionel software skal gennemtestes af QA-teams for at sikre sikkerhed, brugeroplevelse og den generelle kvalitet af produktet. Det samme gør sig gældende med AI-software. Dels fordi den ofte er indlejret i traditionel software, men også fordi den kan fungere som en direkte brugerflade for kunderne eller som en selvstændig agent, der kører i baggrunden.

Der er tre overordnede dimensioner af tests, som skal udføres, før AI-software kan godkendes og sendes ud at leve i forretningen:

• Test af funktioner
• Sikkerhed og databeskyttelse
• Performance og drift

Test af funktioner

Her skal to led valideres hver for sig: datagrundlaget og modellens evne til at bruge det. En AI kan give et forkert svar, fordi kildedataene er forkerte. Men den kan også hallucinere eller drage forkerte konklusioner ud fra data, der er helt i orden. Derfor skal man både teste datakvaliteten i kilderne og undersøge, hvor nøjagtig og fornuftig modellen faktisk er i sin ræsonnering.

Sikkerhed og databeskyttelse

Her ser man på, om løsningen er robust, og om den kan modstå forsøg på manipulation. Man tjekker også, om følsomme data kan lække, og om løsningen lever op til etiske krav, f.eks. at den ikke er forudindtaget og behandler brugerne retfærdigt.

Performance og drift

En AI-løsning, der virker i testmiljøet, skal også kunne holde til hverdagen. Derfor tester man, om den kan klare høj belastning og køre stabilt uden nedbrud eller lange svartider, og om driftsbudgettet holder, når brugen vokser.

Når løsningen er i drift, skal den overvåges, så fejl opdages hurtigt, og brugsmønstre kan analyseres. Brugernes tilbagemeldinger og medarbejdernes fejlrapporter skal desuden løbende gå tilbage til AI-teamet, så løsningen bliver bedre i stedet for langsomt dårligere.

Hvorfor er kvalitetssikring så vigtigt?

Kvalitetssikring sikrer, at en AI-løsning skaber værdi, ikke gør skade og er til at stole på, når man har brug for den. Særligt sikkerhedsdelen kan man med fordel arbejde med gennem red teaming, hvor en gruppe bevidst forsøger at få løsningen til at fejle.

Kvalitetssikring bør være en fast del af projektledelsen og fungere som en formel port, som løsningen skal igennem, før den går i produktion. Det stiller også større krav til samarbejdet, for en dækkende kvalitetssikring på tværs af de tre dimensioner kræver, at tekniske teams, data science, jura og forretningen trækker i samme retning.

Kvalitetssikring i AI handler ikke om at bremse innovationen, men om at gøre den holdbar. Når de tre dimensioner er faste tjekpunkter i projektstyringen, bliver AI-løsningen mere end et spændende eksperiment. Den bliver noget, forretningen kan stole på og bygge videre på. Hos Capacit hjælper vi virksomheder med at tænke kvalitetssikring ind fra første dag, så AI-løsningen er klar til at levere værdi, når den går i drift. Er I i gang med at udvikle eller overveje en AI-løsning, er I velkomne til at kontakte os for en uforpligtende snak om, hvordan I kommer godt fra start.