# Capacit — full text

> Capacit A/S is a Danish AI consultancy based in Copenhagen, founded in 2021. It helps regulated and complex organisations move AI from strategy to production: AI strategy, data and decision intelligence, automation and AI agents, complete AI solutions, and AI security and governance.

Every service, case and article on capacit.com, first in English and then in Danish, the site's primary language. The page map is https://capacit.com/llms.txt.

# English

## Services

### Strategy & Transformation

https://capacit.com/en/services/ai-strategy

We tie technology, data and governance to business strategy, helping complex organisations make AI ambitions an integrated part of their transformation agenda. We always start where we see AI creating the greatest value.

Our work connects business strategy, technology, data and governance. We do that by helping organisations - often complex and regulated ones - turn AI ambitions, investment priorities and execution models into an integrated part of a shared transformation agenda, operating model and your future AI ways of working.

We work from the boardroom and the executive floor down to the operational everyday, so AI creates real value without compromising risk management or compliance. We advise on strategic AI governance, ethical guidelines and principles for digital sovereignty, so you keep full control of your own data and models, avoid unintended vendor lock-in and stand firm on regulatory requirements such as the EU AI Act.

Three things you take away:

- Strategic prioritisation and risk assessment: Identifying and prioritising AI opportunities based on business value, feasibility, regulatory risk and strategic relevance, so you invest where the effect is greatest.
- Holistic AI roadmaps and digital sovereignty: Defining executable roadmaps across use cases, data foundation, technology, operating model and digital sovereignty - with clear guidelines for architecture, cloud choices and data ownership.
- AI governance, leadership alignment and responsible frameworks: Establishing decision structures, compliance processes and responsible AI frameworks (including preparation for the EU AI Act) that support safe, ethical and scalable adoption across the whole organisation.

What you are left holding when we are done:

- A prioritised use-case portfolio: Clarity on your strongest AI opportunities, assessed on business value, feasibility, data sensitivity and strategic fit.
- A roadmap you can execute: A coherent plan for use cases, infrastructure, data and governance that balances quick wins against long-term goals.
- Digital sovereignty and technology control: A long-term strategy for data ownership and model choice that counters vendor lock-in and keeps you aligned with your security and privacy requirements.
- Strategic AI governance & compliance readiness: Clear principles, roles and approval forums that make the organisation ready for regulatory standards (for example the EU AI Act) without slowing innovation down.
- Alignment in the leadership team: One shared strategic vision across the executive team and the board - with full transparency on investment needs, risks and expected return.
- A foundation for scaling: Robust operating models and governance structures that carry adoption safely on from isolated pilots to business-critical scale.

### Data & Intelligence

https://capacit.com/en/services/data-and-intelligence

We integrate data, analytics and AI into core business processes, so decisions become better, faster and more transparent in the places where they are actually made

We help organisations make better, faster and more consistent decisions by integrating data, analytics and AI into core business processes. Our focus is solutions that support decision processes and improve results in concrete operational contexts. We combine data engineering, machine learning and domain knowledge to support decisions that are transparent and actionable.

Three things you take away:

- Solutions built for the individual decision: Design and implementation matched to the decisions the solution has to support, and integration into your existing workflows, governance structures and management processes.
- Predictive and prescriptive models: Models that forecast developments and recommend concrete actions, thereby reducing uncertainty and improving planning, prioritisation and performance.
- Insights you can act on: Turning complex data into usable and actionable insights for managers, teams and employees.

What you are left holding when we are done:

- Models in production: Predictive and prescriptive models running in your operation - not in a pilot.
- Decision support inside the workflow: Solutions integrated into existing workflows, governance structures and management processes.
- Decision bases you can defend: Insights managers and teams can act on - and stand behind.
- One shared data foundation: Data engineering that pulls scattered knowledge into one model every decision draws on.
- Less uncertainty in planning: Forecasts and recommendations that improve planning, prioritisation and performance.
- Consistent decisions across the board: The same basis and the same quality - whoever makes the call.

### Automation & AI Agents

https://capacit.com/en/services/automation-ai-agents

We automate complex, knowledge-intensive workflows with AI and agents. The solutions we build are transparent, controllable and robust, because we specialise in business-critical environments, where traceability and trust are everything.

We automate complex and knowledge-intensive workflows using AI, agents, integrations and modern automation technologies. Our focus is vertical use cases, so implementation and anchoring are secured as a precondition for creating value.

We design automation that is transparent, controllable and operationally robust. That makes the solutions particularly suited to regulated, complex and business-critical environments where quality, traceability and trust are absolutely decisive.

Three things you take away:

- Automation across the system landscape: Design and implementation across systems, data sources, teams and approval flows.
- AI, rules and human-in-the-loop: Combination of AI, business rules, integrations and human-in-the-loop controls.
- Control and traceability in operation: Establishing monitoring, auditability, governance and operational control for automated processes.

What you are left holding when we are done:

- Workflows that run themselves: Knowledge-heavy processes automated across systems, data sources, teams and approval flows.
- People keep control: Human-in-the-loop controls that let you approve where it actually matters.
- Automation you can audit: Monitoring, auditability and traceability on every step the process takes.
- Robust in business-critical operation: Solutions designed for regulated and complex environments - not for a demo.
- Time freed in the heavy steps: Manual routine taken off the specialists you need somewhere else.
- Adoption, not just technology: Vertical use cases implemented and actually put to work, so the value lands.

### Complete AI Solutions

https://capacit.com/en/services/ai-solutions

We design, build and operationalise production-ready AI solutions, from intelligent assistants to predictive and generative models. They are built to be robust, understandable and ready for real use.

We design, build and operationalise AI-driven tools, products and services as production-ready AI solutions that solve real business problems: intelligent assistants and recommendation engines, predictive models, generative AI tools and decision-support applications.

Software development is almost always part of what we deliver, but our strength is building the intelligent core - the models, the logic and the architecture - ready for use in the real world. We do that with a sharp focus on the end user: an AI model only creates value once it is intuitive to use, earns real trust and slides effortlessly into the working day. At the same time we secure the solution's lifespan and value over time through dedicated Customer Success Management, operation and support, whether it runs on enterprise cloud or in sovereign, Danish environments.

Three things you take away:

- User-centred design and custom-built AI: We design the solution around the people who have to use it. We combine domain-specific AI with intuitive interfaces, transparent answers and clear interaction patterns that make it easy for employees to trust the model's output and act on it.
- Operationalising and building intelligent models: We develop and put into operation predictive, generative, analytical and decision-support models. We secure the right architectural choice - whether that calls for integrating advanced commercial APIs or custom open-source models running in closed or sovereign cloud environments.
- Integration, dedicated operation and Customer Success: We anchor the AI core directly in your line-of-business systems, data platforms and governance frameworks. After launch our dedicated Customer Success Manager takes over day-to-day operation, proactive support and monitoring, so the solution performs reliably, stays relevant and keeps improving.

What you are left holding when we are done:

- A solution in real production: Tools, assistants and services in active use, creating measurable value - not just a prototype on a whiteboard.
- Dedicated Customer Success & operation: A dedicated Customer Success Manager who handles day-to-day operation, support and proactive optimisation. You get full transparency on how the model performs, backed by continuous monitoring and further development, so you are never left on your own after go-live.
- An intuitive end-user experience: AI designed for human collaboration, where transparency, trust and usability drive high satisfaction and fast adoption across the organisation.
- The intelligent core: Models, data logic and source references built specifically for your problem - not a generic off-the-shelf model.
- Seamless integration: Full integration into your current IT landscape, workflows and security frameworks, without needless friction.
- Infrastructure and data control: The option to run on sovereign clouds or open-source setups, so your data stays strictly protected.

### AI Security, Governance & Guardrails

https://capacit.com/en/services/ai-security-governance

Going from AI experiments to business-critical operation takes more than technology - it takes trust, control and compliance with the law.

Going from AI experiments to business-critical operation takes more than technology - it takes trust, control and compliance with the law. We build the security layer and the guardrails that protect your data, prevent misuse and keep your AI solutions, and their cost, inside fixed and acceptable limits.

We advise on architecture choices and integrate technical defences and governance frameworks directly into the solutions. That gives you full sovereignty over your own data, transparency in operation and a solid foundation for meeting complex compliance requirements such as the EU AI Act.

Three things you take away:

- Technical guardrails, QA and control: We design safety mechanisms directly into the solution, including PII filtering, input/output validation, cost monitoring and usage limits. The solutions are quality-assured through AI-specific QA testing and continuous red-teaming that catches vulnerabilities and errors before they reach production.
- Digital sovereignty and architecture: We advise on and implement infrastructure setups that give you full ownership of your data. We help you build and integrate solutions based on open-source models that run safely on sovereign (for example Danish) clouds. That removes vendor lock-in and makes running costs highly predictable.
- Governance and compliance: We establish the documentation and traceability you need. We assist with initial screening and risk assessment against the EU AI Act, and we help structure the registration of use cases and AI systems and the writing of complete model cards for your internal management and compliance teams.

What you are left holding when we are done:

- Guardrails inside the solution: PII filtering, input/output validation and usage limits built in from the start.
- Predictable running costs: Cost monitoring and fixed limits, so spend stays inside known boundaries.
- Errors caught before production: AI-specific QA testing and continuous red-teaming that finds the vulnerabilities first.
- Sovereignty over your own data: Open-source models on sovereign clouds - full ownership and no vendor lock-in.
- Documentation you can produce: Model cards, use-case registration and traceability your compliance team can use.
- A foundation for the EU AI Act: Screening and risk assessment that show where you stand and what is missing.

## Cases

### LEA Forsikring: End-to-end digital insurance platform for LEA Forsikring

https://capacit.com/en/cases/lea-forsikring

An end-to-end digital sales platform where the customer gets a price, buys the insurance and has the policy issued without a single manual step along the way.

Challenge:

Insurance is characterised by heavy back-end processes with many rules, where business logic, calculations and integrations make up a complex system architecture. For LEA Forsikring, it is part of the company's business case that insurance can be bought entirely online and without manual handling.

The solution therefore had to both carry a user-friendly purchase flow for the end customer and integrate directly with LEA Forsikring's payment flow and policy creation.

Solution:

Capacit built an end-to-end digital sales platform: the customer enters their details, gets a price, picks their cover, completes the purchase and has the policy issued on the spot. The whole customer journey runs directly in the core system.

The platform is connected to Stripe, so the payment authorisation for the monthly charges is set up automatically and the customer keeps one overview of their policies, documents and claims.

The contents insurance was launched as the platform's first product and is the foundation for further digital scaling

How AI adds value:

Going forward, AI can help LEA Forsikring's customers choose the right cover for their home, their life situation and their particular needs. Parts of claims reporting, document understanding and customer support can be automated the same way.

The result is one connected insurance experience, where data, automation and advice work together across the customer journey, customers get an answer faster, and the manual processes stay at zero.

The results:

- 1: End-to-end platform as the foundation for AI-driven advice and automated claims handling
- 0: Manual steps from purchase to issued policy
- 24/7: Purchase, policy overview and claims reporting online

### Norlys: Faster and better qualified customer service at Norlys through a custom chatbot

https://capacit.com/en/cases/norlys-chatbot

Faster, more consistent customer service at Norlys built on a custom AI assistant

Challenge:

At Norlys, onboarding new customer service employees was a time-consuming process that created a loss of efficiency in the operation, because part of the core service consists of handling complex enquiries. The problem for Norlys was that the answers sat out of easy reach for the employees, in different knowledge bases without a shared structure or in separate internal process descriptions.

Time was therefore lost manually finding the right answers, and the consistent, efficient customer service was, more than anything, only present when it was delivered by employees with a high degree of specialisation and experience.

Solution:

Capacit implemented an AI chatbot that gave the customer service staff fast access to information from the internal knowledge bases, supporting and improving the customer service process directly in the staff's workflow.

How AI adds value:

The assistant finds the right answer and points to it so fewer cases have to be escalated internally. Staff handle more on their own, new colleagues get up to speed faster, and the knowledge that used to sit with the most experienced is now available to everyone.

What is left is time. Time for the part of customer service only a person can do.

The results:

- 1: Custom AI assistant with own knowledge bases, guides and procedures gathered in one place.
- 0: Separate systems to search — the answer comes up in the workflow, while the customer is still on the phone.

### FLSmidth: Automated and consistent quotation at FLSmidth

https://capacit.com/en/cases/flsmidth-tilbud

A standardised data model that gathers FLSmidth's engineering knowledge and commercial logic in one digital foundation and makes quotation rule-based, automated and markedly faster.

Challenge:

FLSmidth's quotation processes are built on a combination of engineering data and commercial logic. This knowledge used to sit scattered across systems, employees and manual workflows, which made the quotation work hard to scale and keep consistent.

At the same time, the existing data model was not suited to rule-based configuration. That meant a risk of differing outputs, long turnaround times and a high manual resource consumption – and the quality of the quotations came to depend on the key employees who knew both the engineering and the business.

Solution:

Capacit rebuilt and standardised the data model, so quoting could run on structured data and clear rules instead of expert judgement. The model now holds FLSmidth's engineering knowledge and commercial logic in one scalable foundation, and drives both configuration and the automated quotation flows.

How AI adds value:

Less manual work, fewer differences between quotes, and engineers who spend their time on engineering. In numbers: turnaround has gone from 22 days to 9.

FLSmidth is left with a data model that can carry the next thing too.

The results:

- ↓ 59 %: Turnaround time for quotations has gone from 22 to 9 days
- 13: Days faster from enquiry to finished quotation
- 1: Single data model for engineering knowledge and commercial logic

### FLSmidth: Three automated pipelines for wear reporting at FLSmidth

https://capacit.com/en/cases/flsmidth-slitage

Three automated pipelines that take raw point cloud data and output processed artefacts that can be used to create wear reports. Built with open source tools and running locally for data security.

Challenge:

FLSmidth's wear reports came together through a combination of different programs and manual handling of point clouds, 3D models and analyses across them. Data was not processed in one coherent flow but had to be pieced together across tools – which made the work time-consuming and dependent on the individual employee's experience. Identifying wear patterns, deviations and critical areas required manual inspection, and the quality of the reports therefore varied across projects and employees.

At the same time, the whole process had to run locally for data security, which limited the scope for using cloud-based or licence-paid tools to make the work more efficient.

Solution:

Capacit built an automated pipeline that runs data processing and preliminary analysis across three flows, each tailored to the specific part in question (mill or crusher). It sits on the local workflows and uses only free, licence-free software, so the requirements for data security and flexibility are met without new licence costs.

How the solution adds value:

The pipelines are built on classic computer vision – no AI – and automate the manual steps from raw point cloud to processed data. That makes the analysis faster and more consistent across projects and employees.

The results:

- 100 %: Local execution, where no data leaves FLSmidth.
- DKK 0: In licence costs. Everything is built on licence-free software.
- 3: Automated pipelines from raw point cloud to processed artefacts

### F&P: AI-driven structuring of insurance data for Open Finance at F&P

https://capacit.com/en/cases/fp

A validated AI pipeline that automatically extracts and structures complex insurance documents into a consistent data foundation

Challenge:

Insurance policies and terms are hard to extract and standardise data from – especially across companies. The traditional methods are manual, time-consuming and expensive, and they cannot scale to the EU's coming FiDA requirements. At the same time, F&P lacked a shared data model and the governance to support a sector-wide approach.

Solution:

Capacit built an AI solution that reads insurance documents and turns them into structured data on a common data model designed to meet the FiDA requirements.

That is what the coming Open Finance rules ask for: Financial companies must be able to share customer data securely and in the same format, across company lines. With the model in place, data can move and that is the precondition for shared analysis, faster processes and new, more personalised products.

How AI adds value:

The pipeline extracts the central insurance data fields with ~95 % precision, validated and the processing time per document has dropped sharply. All of it work that used to be done by hand, slowly and at a cost.

At the same time, the standardised data model provides a foundation for scaling across companies in the sector with significant efficiency gains and savings at sector level.

The results:

- ~95 %: Precision in AI extraction of insurance data for Open Finance (FiDA)
- 100%: AI-automated pipeline from unstructured document to structured data
- 1: Standardised data model ready for the coming FiDA requirements

### Advokatsamfundet: Cloud migration and a foundation for AI at Advokatsamfundet

https://capacit.com/en/cases/advokatsamfundet

A full migration from a complex on-premise solution to Microsoft Azure with modernisation of architecture, services and deployment, carried out without affecting the business.

Challenge:

The existing solution was characterised by heavy dependencies between systems and limited scalability. That made it difficult to maintain, develop further and keep running stably.

At the same time, there were increased requirements for security, compliance and performance that the current infrastructure struggled to support. The migration also had to take place with minimal downtime.

Solution:

Capacit moved the whole platform to Microsoft Azure and modernised the architecture, the services and the deployment setup along the way. What came out is a cloud infrastructure that is secure, stable and markedly simpler to run and a deployment process with room to move.

How AI adds value:

The infrastructure now meets the requirements for security, compliance and performance. That is what makes the next step possible: AI on a platform that was built to carry it.

The results:

- 6: Systems and databases modernised and made AI-ready on scalable architecture
- 7,700+: Active lawyers report CPD through the AI platform today.
- ~0: Downtime during the migration

### Finansrådgiverne: Automated meeting preparation, compliance and documentation at Finansrådgiverne

https://capacit.com/en/cases/finansraadgiverne

An AI solution that prepares the meeting, runs the compliance checks and writes the documentation so the adviser's time goes to advising, not to paperwork.

Challenge:

Finansrådgiverne hold around 70 client meetings every day. Each meeting lasts 1-1.5 hours and is followed by 30-45 minutes of manual documentation. That means a large amount of time spent on administrative tasks and a risk of variation in both output and compliance. At the same time, there was a need to prepare the meetings more efficiently without compromising the quality of the advice.

Solution:

Capacit implemented an AI solution that pulls the preparation together before the meeting and writes the documentation and minutes afterwards. The manual work drops, and preparation and follow-up come out at the same standard every time.

How AI adds value:

Manual write-up is down by around 40 minutes per meeting. Across the day, that adds up to roughly 46.6 hours. Every day.

Documentation is consistent and better, and the hours that come back go to the advice itself and to a more personal conversation with the client.

The results:

- ↓ ~40 min: Manual write-up per client meeting
- ~46.6: Hours saved – every day
- ~70: Daily client meetings supported by AI

### IDA Fagforening: Advice that resolves the case at first contact. AI-supported case handling at IDA Fagforening.

https://capacit.com/en/cases/ida-fagforening

AI supports the case from the moment it reaches IDA until it is resolved. Routing and analysis happen before the adviser opens it, so the member gets the right answer on the first call and not a place in the queue.

Challenge:

IDA Fagforening has a team of advisers who jointly resolve the members' enquiries – typically standard cases the members seek advice on. The cases often require several points of contact with the member before they are resolved. An example: A member calls in with an employment contract that needs to be uploaded. The case is routed to the right adviser, who analyses the contract and then calls the member back – on average three times before the member picks up the phone.

Solution:

Capacit built a strategy with one goal: That the case is resolved at first contact. Several AI solutions were implemented as part of it, and the leads were trained in the new way of working. The result is fewer rounds of contact, more support along the way and shorter handling times.

How AI adds value:

By the time the case reaches an adviser, it has been routed to the right expertise and for the typical case types, employment contracts alone account for 40 %, the analysis is already done. The adviser spends less time working out what the case is about and more time on the conversation with the member. Processes and data have been streamlined across case handling at the same time.

The results:

- 9 out of 10: enquiries are resolved at first contact
- ~50 %: of cases receive an automatic AI analysis
- 100%: Of cases are AI-triaged to the right expertise from the start

### Danske A-kasser: From manual legal case handling to AI-supported case handling

https://capacit.com/en/cases/danske-a-kasser

A legal portal where AI follows the case from the moment it is created until the decision is written. AI finds the basis in acts, executive orders and practice, held up against the fund's own workflows and documents, so the case handler can reach the right decision without looking it up first.

Challenge:

A decision in an unemployment insurance fund has to rest on current legislation. But the material is spread across acts, executive orders, guidance and earlier decisions, and it is inseparable from the fund's own workflows. So every single case lost time to finding and assembling the basis by hand, and the quality depended on how well the individual case handler knew the material.

Solution:

Capacit built LODA, a legal portal that gathers acts, executive orders, guidance and earlier decisions in one place. The fund can add its own documents on workflows and interpretation, so the AI answers from both the legislation and the fund's own practice. The portal was rolled out to every case handler, with training in how the AI answers are used in the decision itself.

How AI adds value:

The case handler no longer looks up the law for every case. AI finds the relevant provisions and points straight to the source, so the decision can be documented as it is made. For standard cases, which make up the bulk of the caseload, it drafts the legal reasoning for the case handler to check and use. The time goes to the assessment rather than to the search.

The results:

- 1: Legal AI portal (LODA) with acts, executive orders and practice gathered in one place.
- 100%: Of standard cases can receive an AI draft legal justification.
- 0: Manual look-ups in the law per case. AI finds the relevant provisions with a direct source reference.

### EPICO: AI-driven CV processing and candidate matching at EPICO

https://capacit.com/en/cases/epico

The results:

- < 2 min.: Key information extracted from multi-page, unstructured CVs - including an AI confidence score
- 6: AI functions - from CV extraction and job postings to candidate matching and translation
- 9x: Faster CV processing - from three hours to ~20 minutes per CV

What EPICO says:

"Brainhunt has given us a faster and more streamlined way of using our consultant portfolio. We can now identify relevant profiles much more precisely and respond to client requests significantly faster. This has strengthened our response time and freed up time for our employees to add even more value to the whole process, in turn strengthening our competitiveness in winning assignments." (Michelle G. Mark, CEO)

## Knowledge

### A green test suite does not tell you whether the AI system solves the task

https://capacit.com/en/knowledge/quality-assurance-for-ai-solutions
Mikkel Hempel, Head of R&D · 2026-10-02

A caseworker at an unemployment insurance fund asks an AI assistant whether a member is entitled to benefits from 1 March. The answer can be fluent, correctly formatted and wrong. No classic software test will catch it.

A classic test has one right answer: given a specific input, we expect a specific output, and the test passes or fails. Generative AI has no single right answer. Two different answers can both be good, and a well-phrased answer can be factually wrong. A test that compares word for word with a reference answer discards the good answer that is phrased differently. A format test approves the wrong one.

The discipline we use instead we call EvalOps: define what good means, test it systematically, steer development by the results and keep going after go-live. The full method is in our white paper [Assuring AI quality takes more than testing](https://capacit.com/en/knowledge/white-papers/assuring-ai-quality-takes-more-than-testing). In practice, most of the value lies in five moves.

#### Success is defined in the workflow

The most important measurement is rarely a generic score such as faithfulness or answer relevance. It depends on the task. For a meeting assistant, it is whether every decision makes it into the minutes, and whether they contain anything that was never said. For an agent that has to book a meeting, it is whether the meeting gets booked. For casework, it is whether every sentence in the answer points to the exact section it rests on.

The order also makes the evaluation understandable to the people who own the workflow. A head of department does not need to know what faithfulness is to say that an answer without a source reference is unusable. That sentence is a success criterion, and it can be measured.

Three to five measurements are usually enough: one or two specific to the task, and two or three that follow the architecture. More measurements give you a dashboard nobody acts on.

#### The eval set must contain what goes wrong

An evaluation dataset that only contains the questions the system already answers correctly measures nothing. It also has to hold hard cases, edge cases and known failure modes: ambiguous questions, conflicting information and questions with no answer in the knowledge base.

Every failure that shows up in production is added to the set. That way it is not just fixed once. It becomes a regression test that catches it if it comes back.

The dataset is versioned together with the system. A score belongs to a specific version of the set, and two scores measured on different versions cannot be compared directly.

#### Without component measurements you do not know what to fix

When a RAG solution gives a wrong answer, the fault can lie in three places. The search never found the relevant document. It found it, but irrelevant passages were ranked higher. Or the model got the right context and still wrote something it did not support.

The end result is the same wrong answer in all three cases. The fix is different: different chunking or more search results in the first, a reranker in the second, the prompt and a source-reference requirement in the third. Only component-level measurements can tell them apart: context recall, context precision and faithfulness.

End-to-end evaluation tells you what goes wrong. The components tell you where. The same holds for agents: tool correctness shows whether the agent used the right tools, and task completion shows whether the task was actually solved. Correct steps are not the same as a solved task.

#### An AI judge must be calibrated before it may judge

Most quality questions in generative AI cannot be settled with pass/fail. There is no single correct summary. So we let another language model assess the answers against a clearly defined rubric. That makes it possible to evaluate far more answers at every change than a human could get through.

But the judge is itself a language model. Its assessments can shift with the wording of the criteria and with the order in which the answers are presented. So humans first assess a reference set, and we measure whether the judge agrees with them. Only when agreement is high enough does the judge run on all cases, and the measurement is repeated every time the judge's model or prompt changes.

Hard requirements are settled before the judge even sees the answer, with deterministic yes/no checks: does the answer have the required format? Does every claim have a source reference? An answer without a source reference fails, however well it is otherwise phrased.

#### Evals are a quality gate, also after go-live

The real value comes when the eval set runs automatically every time someone changes the model, prompt, retrieval, chunking or agent logic. If a critical measurement falls below the agreed level, the deployment is stopped, just as a build is stopped by failing tests. The threshold is set per measurement and per use case, according to what a failure costs in the specific workflow.

That changes the conversation in the team.

**Before:** The new model seems better at first glance.

**Now:** The new configuration improves task completion, holds the minimum requirement for faithfulness and reduces latency.

Evaluation does not stop at go-live. Users find new uses, the data changes, and external models can change behaviour without anyone touching the system. Corrections, overrides and escalations to humans are the most honest quality signals we have. The most important of them become new cases in the eval set.

#### The most important measurement lies in the workflow

A higher faithfulness score is not the same as more productive employees. An agent can solve more tasks correctly and at the same time create so much checking work that the overall process becomes slower. Technical measurements are leading indicators. They have to be held up against what happens in the workflow, continuously, and if the score rises without the workflow getting better, we are measuring the wrong thing.

In a solution we have built for the unemployment insurance sector, the technical measurement is that every answer points to its statutory basis. The effect in the workflow is that the number of manual legal lookups per case is 0–1. In a delivery to the insurance and pensions industry, we extract insurance data with roughly 98% precision for Open Finance and FiDA. The last 2% are not hidden away, because a system that cannot say where it is uncertain cannot be used for anything with legal effect.

**0–1:** manual legal lookups per case in a solution for the unemployment insurance sector. The technical measurement is the source reference to the statutory basis.

**approx. 98%:** precision on insurance data in a delivery to the insurance and pensions industry, for use in Open Finance and FiDA.

For systems classified as high-risk under the AI Act, this is not just good practice. The Act requires testing against predefined metrics and thresholds, automatic logging and systematic monitoring after deployment. An organisation that already measures quality systematically has the documentation ready when the supervisory authority asks.

The simplest place to start is one test: can you run the same evaluation again tomorrow and get a number you can compare with today's? If not, you have an assessment, not a measurement.

### System One Models: When AI Needs to Make Decisions, Not Write Text

https://capacit.com/en/knowledge/what-is-jev-and-system-one-models
Mikkel Hempel, Co-Founder & Co-Managing Partner · 2026-09-22

The launch of Jev has drawn considerable attention to a category TypeSafe AI calls “System One Models”. Behind the new label is a familiar idea: AI models designed to classify, score and make constrained decisions rather than generate text. The significance is therefore less about inventing an entirely new type of model and more about what becomes possible when classifiers are flexible, fast and general enough to serve as a dedicated intelligence layer in modern software.

On September 15, TypeSafe AI launched **Jev** and introduced the term *System One Models*. While a traditional LLM such as GPT or Claude generates sequences of tokens, Jev is designed to take a state and a set of predefined questions and return typed decisions with probabilities and confidence scores.

TypeSafe describes Jev as a model built for “decisions inside software” rather than communication with humans. Instead of generating text, it can choose between predefined categories, assign scores on a scale or estimate the probability of a binary outcome.

#### So are System One Models essentially just classifiers?

The short answer is that **the comparison is technically reasonable, but it does not tell the whole story.**

#### Classification is not new

Machine learning models were classifying text, images and other data long before the current wave of generative AI.

If an organisation needs to determine whether an incoming email relates to billing, support or sales, that is a classic classification problem. The same applies to questions such as:

- Which team should handle this case?
- Does this document contain a particular type of risk?
- Is this transaction suspicious?
- Should this AI agent continue, retry or escalate?
- Which of five possible actions should the system take?

Historically, you would often train or fine-tune a classifier specifically for the task. This can produce extremely fast and inexpensive models, but usually requires labelled data and a relatively fixed definition of the problem.

LLMs changed that trade-off. Suddenly, a new classification task could be described in natural language and handled reasonably well without training a new model.

The downside is that we have also started using very large generative models for tasks where generation is not actually required.

We might send a support ticket through a frontier LLM with billions of parameters simply to receive:

> billing

It works. Architecturally, however, it is often excessive.

#### System One Models sit between traditional classifiers and LLMs

This is where models such as Jev become useful.

Jev combines some of the strengths of traditional classifiers with some of the flexibility we have come to expect from LLMs.

Instead of generating a JSON object token by token, the developer defines the allowed output types in advance. Jev supports, among other things, categorical choices, ordinal scoring and yes/no probabilities. Multiple questions can also be evaluated against the same state in parallel. [1]

In practical terms, the model behaves more like a probabilistic function:

> state + questions → decisions + probabilities

That is a materially different interface from:

> prompt → generated text

TypeSafe lists a price of $0.042 per million input tokens and end-to-end latency of roughly 70-500 ms. The company also publishes its own benchmarks showing Jev to be up to 193.6 times faster and 444.6 times cheaper than the LLM-based alternatives included in its tests for selected System One workflows. TypeSafe itself notes that these figures are likely to represent the upper end of what users should expect in practice. [1]

That qualification matters. The category is still very new, and much of the available evidence currently comes from the vendor itself. There is not yet enough independent benchmarking to treat the most striking performance claims as general properties of System One Models.

#### “Zero hallucinations” needs a precise definition

TypeSafe also describes Jev using the phrase “zero hallucinations”.

That makes sense in a specific technical sense: if a model is only allowed to return a value from a predefined output space, it cannot suddenly invent a new JSON property, return an invalid enum or start writing an explanation in the middle of an API response.

The schema can be guaranteed.

**Correctness cannot.**

A classifier can still choose the wrong category. A probability estimate can be poorly calibrated. And a model can be highly confident in an incorrect decision.

The more useful property is therefore not that the model cannot be wrong. It is that the types of error become easier to constrain and probabilities can be incorporated directly into application logic.

A system could, for example, automate decisions above a given confidence threshold while sending uncertain cases to a larger LLM or a human reviewer.

For enterprise software, that is often considerably more valuable than a broad promise of “no hallucinations”.

#### Laya makes the architecture easier to inspect

Open-source alternatives have already started to appear. One of the more interesting examples is **Laya** from ConvAI Innovations.

Laya is released under the Apache 2.0 licence and makes the underlying architecture considerably more transparent. Its English-language model combines a ModernBERT-large encoder of approximately 395 million parameters with a decision head, bringing the total model size to roughly 421 million parameters. [2]

Each possible decision is scored directly and returned as a probability distribution. There is no autoregressive text generation.

This is a useful reminder that a frontier LLM is not necessarily required for this class of problem.

Laya can also run locally. The project's own benchmarks report roughly 33-40 ms for a single decision on a Tesla T4, with higher throughput when batching requests. These are local model measurements and are therefore not directly comparable with Jev's hosted API latency, but they illustrate what relatively small non-autoregressive models can achieve. [3]

For many organisations, however, another property of Laya may prove more important than raw latency: **it can be fine-tuned.**

#### Domain-specific System One Models may be more valuable than general-purpose ones

Laya's own results provide a useful illustration of both the potential and the limitations of this approach.

The project documents relatively weak zero-shot performance from its general base checkpoints on its *typed-decisions* benchmark. Performance improves significantly after fine-tuning on the relevant training distribution.

Its developers therefore position Laya as a foundation that should be specialised rather than as a strong general-purpose zero-shot decision engine. [3]

For enterprises, this may matter more than which model tops a particular benchmark.

In many organisations, the real question is not:

> “Which general-purpose AI model knows the most about the world?”

The real question is rather:

> “Can the model make this specific type of decision consistently inside our business process?”

Consider a model specialised for an institutional investor's investment processes, an insurer's claims workflow, a bank's compliance processes or a public authority's document categories.

In these settings, a relatively small local model with organisation-specific evals, calibration and domain-specific fine-tuning may be more useful than a much larger general-purpose model.

It can also support on-premise deployment, tighter control over model versions and a different approach to data sovereignty than relying exclusively on an external API.

Laya's current benchmarks should, however, be interpreted with the same caution as Jev's. Comparisons between the two have not been conducted in a shared, controlled benchmark setup, and the Laya project itself notes differences in prompts, sample sizes and measurement methodology. There is therefore no solid basis for concluding that Laya is generally “better than Jev”. [3]

#### The broader shift is in the architecture around the models

The wider implication of the System One category is a move away from one assumption in particular.

It is the assumption that one large LLM should act as the intelligence layer for an entire application.

A more mature AI architecture may instead combine several types of components:

1. **Deterministic software** handles rules that can be specified precisely.
2. **Decision models** handle fast probabilistic tasks such as routing, classification, scoring and guardrails.
3. **Generative and reasoning models** are used when a task requires analysis, synthesis, planning or the creation of new content.
4. **Humans** handle cases where the cost of an error is high or model confidence is insufficient.

This is less spectacular than the idea of a fully autonomous AI agent.

It is also much closer to how robust enterprise software is actually built.

#### AI agents need a low-cost decision layer

This architecture becomes particularly relevant as AI agents gain access to more tools and are given greater autonomy.

An agent has to make a constant stream of small decisions:

Should I call this tool? Is the result good enough? Which model should handle the next task? Is this output safe? Does the result match the user's intent? Should I retry? Should a human be involved?

In many agentic systems today, each of these decisions triggers another LLM call.

When every decision requires relatively expensive inference and adds seconds of latency, the cost compounds quickly across a workflow.

A smaller decision model can potentially act as a control layer around larger models.

That changes the economics of the system.

The smaller model does not have to replace the frontier model. It allows the frontier model to be reserved for the problems that genuinely require its broader capabilities.

#### The relevant question is not whether Jev is “just” a classifier

From a technical perspective, describing Jev as a classifier is not unreasonable.

“System One Model” is currently TypeSafe's term for the category rather than an established scientific standard. Classification, probability estimation, model calibration and non-autoregressive encoders all predate Jev by many years.

Technology, however, does not only become important when someone invents a fundamentally new mathematical technique.

Sometimes the shift happens when existing techniques are combined in a way that changes what can be built in practice.

Modern chat models are themselves, to a large extent, an example of that dynamic.

What is worth following with Jev, Laya and the models that come after them is therefore not the name *System One*.

It is whether they establish a useful new intelligence primitive between deterministic code and generative LLMs: models that are inexpensive enough to call continuously, fast enough to sit directly in the application flow and reliable enough for their probability estimates to become a meaningful part of the software architecture.

If that happens, it could matter more to many enterprise AI systems than another incremental improvement in the next frontier LLM.

For businesses, the broader implication is straightforward: better AI systems will not necessarily come from using larger models everywhere.

**They will increasingly come from using the right model for the right part of the problem.**

#### About the author

Mikkel Hempel is Co-founder at Capacit and works at the intersection of emerging AI capabilities, technology architecture and their practical application in businesses and large organisations.

Sources:

1. TypeSafe AI, “Introducing System One Models and Jev”. https://typesafe.ai/blog/introducing-system-one-models-and-jev
2. ConvAI Innovations, Laya model card, Hugging Face. https://huggingface.co/convaiinnovations/laya/blob/main/README.md
3. Laya, GitHub repository. https://github.com/NandhaKishorM/laya

# Dansk

> Capacit A/S er et dansk AI-konsulenthus i København, grundlagt i 2021. Virksomheden hjælper regulerede og komplekse organisationer med at føre AI fra strategi til drift: AI-strategi, data og beslutningsintelligens, automatisering og AI-agenter, komplette AI-løsninger samt AI-sikkerhed og governance.

## Services

### Strategi og transformation

https://capacit.com/da/ydelser/strategi

Vi forbinder teknologi, data og governance med forretningsstrategi, og hjælper komplekse organisationer med at omsætte AI-ambitioner til en integreret del af deres transformationsagenda. Vi starter altid dér, hvor vi kan se, at AI skaber størst værdi.

Vores arbejde forbinder forretningsstrategi, teknologi, data og governance. Det gør vi ved at hjælpe - ofte komplekse og regulerede - organisationer med at omsætte AI-ambitioner, investeringsprioriteter og eksekveringsmodeller til en integreret del af en samlet transformationsagenda, operating model og jeres fremtidige AI-ways of working.

Vi arbejder fra bestyrelses- og ledelsesgangen til den operationelle hverdag for at sikre, at AI skaber reel værdi uden at gå på kompromis med risikostyring eller compliance. Vi rådgiver om strategisk AI Governance, etiske retningslinjer og principper for digital suverænitet, så I bevarer fuld kontrol over egne data og modeller, undgår utilsigtet vendor lock-in og står stærkt over for regulatoriske krav som EU AI Act.

Tre ting, I får med hjem:

- Strategisk prioritering og risikovurdering: Identificering og prioritering af AI-muligheder baseret på forretningsværdi, realiserbarhed, regulatorisk risiko og strategisk relevans, så I investerer der, hvor effekten er størst.
- Helhedsorienterede AI-roadmaps og digital suverænitet: Definition af eksekverbare roadmaps på tværs af use-cases, datafundament, teknologi, operating model og digital suverænitet - med klare retningslinjer for arkitektur, cloud-valg og dataejerskab.
- AI Governance, ledelsesalignment og ansvarlige frameworks: Etablering af beslutningsstrukturer, compliance-processer og ansvarlige AI-frameworks (herunder forberedelse til EU AI Act), der understøtter sikker, etisk og skalerbar adoption på tværs af hele organisationen.

Det, I står med, når vi er færdige:

- En prioriteret use-case portefølje: Klarhed over jeres stærkeste AI-muligheder, vurderet ud fra forretningsværdi, gennemførlighed, datasensitivitet og strategisk fit.
- Et roadmap, I kan eksekvere: En sammenhængende køreplan for use-cases, infrastruktur, data og governance, der balancerer hurtige gevinster med langsigtede mål.
- Digital suverænitet og teknologikontrol: En langsigtet strategi for dataejerskab og modelvalg, der modvirker vendor lock-in og sikrer overensstemmelse med jeres sikkerheds- og privatlivskrav.
- Strategisk AI Governance & compliance-parathed: Klare principper, roller og godkendelsesfora, der gør organisationen klar til regulatoriske standarder (f.eks. EU AI Act) uden at bremse innovationen.
- Alignment i ledelsen: En fælles strategisk vision på tværs af direktion og bestyrelse - med fuld transparens over investeringsbehov, risici og forventet afkast.
- Et fundament for at skalere: Robuste operating models og governance-strukturer, der bærer adoptionen sikkert videre fra isolerede pilots til forretningskritisk skalering.

### Data og intelligens

https://capacit.com/da/ydelser/data-og-intelligens

Vi integrerer data, analytics og AI i centrale forretningsprocesser, så beslutninger bliver bedre, hurtigere og mere transparente i konkrete, operationelle kontekster.

Vi hjælper organisationer med at træffe bedre, hurtigere og mere ensartede beslutninger ved at integrere data, analytics og AI i centrale forretningsprocesser. Vores fokus er løsninger, der understøtter beslutningsprocesser og forbedrer resultater i konkrete operationelle kontekster. Vi kombinerer data engineering, machine learning og domæneviden til at understøtte beslutninger, der er transparente og handlingsorienterede.

Tre ting, I får med hjem:

- Løsninger bygget til den enkelte beslutning: Design og implementering tilpasset de beslutninger, løsningen skal understøtte, og integration i jeres eksisterende workflows, governance-strukturer og ledelsesprocesser.
- Prædiktive og præskriptive modeller: Modeller, der forudsiger udviklinger og anbefaler konkrete handlinger, og derved reducerer usikkerhed og forbedrer planlægning, prioritering og performance.
- Indsigter, der kan handles på: Omsætning af komplekse data til brugbare og handlingsorienterede indsigter for ledere, teams og medarbejdere.

Det, I står med, når vi er færdige:

- Modeller i produktion: Prædiktive og præskriptive modeller, der kører i jeres drift - ikke i en pilot.
- Beslutningsstøtte i workflowet: Løsninger integreret i eksisterende workflows, governance-strukturer og ledelsesprocesser.
- Transparente beslutningsgrundlag: Indsigter, ledere og teams kan handle på - og stå på mål for.
- Et samlet datafundament: Data engineering, der samler spredt viden i én model, alle beslutninger trækker på.
- Mindre usikkerhed i planlægningen: Forudsigelser og anbefalinger, der forbedrer planlægning, prioritering og performance.
- Ensartede beslutninger på tværs: Samme grundlag og samme kvalitet - uanset hvem der træffer beslutningen.

### Automatisering og AI-agenter

https://capacit.com/da/ydelser/automatisering

Vi automatiserer komplekse og videnstunge arbejdsgange med AI og agenter. Vores fokus er altid at levere løsninger som er transparente, kontrollerbare og robuste. Vi specialiserer os i forretningskritiske miljøer, hvor sporbarhed og tillid er afgørende.

Vi automatiserer komplekse og videnstunge arbejdsgange ved hjælp af AI, agenter, integrationer og moderne automationsteknologier. Vores fokus er vertikale use-cases, så der sikres implementering og forankring, som forudsætning for værdiskabelse.

Vi designer automatisering, der er transparent, kontrollerbar og operationelt robust. Det gør løsningerne særligt velegnede til regulerede, komplekse og forretningskritiske miljøer, hvor kvalitet, sporbarhed og tillid er helt afgørende.

Tre ting, I får med hjem:

- Automatisering på tværs af systemlandskabet: Design og implementering på tværs af systemer, datakilder, teams og godkendelsesflows.
- AI, regler og human-in-the-loop: Kombination af AI, forretningsregler, integrationer og human-in-the-loop kontroller.
- Kontrol og sporbarhed i driften: Etablering af monitorering, auditability, governance og operationel kontrol for automatiserede processer.

Det, I står med, når vi er færdige:

- Arbejdsgange, der kører selv: Videnstunge processer automatiseret på tværs af systemer, datakilder, teams og godkendelsesflows.
- Mennesket beholder kontrollen: Human-in-the-loop kontroller, der lader jer godkende dér, hvor det betyder noget.
- Automatisering, I kan revidere: Monitorering, auditability og sporbarhed på hvert skridt processen tager.
- Robusthed i forretningskritisk drift: Løsninger designet til regulerede og komplekse miljøer - ikke til en demo.
- Frigivet tid i de tunge led: Manuel rutine ud af hænderne på de specialister, I har brug for andre steder.
- Forankring, ikke bare teknik: Vertikale use-cases implementeret og taget i brug, så værdien faktisk realiseres.

### Komplette AI-løsninger

https://capacit.com/da/ydelser/ai-loesninger

Vi designer, bygger og operationaliserer produktionsklare AI-løsninger. Det indbefatter alt fra intelligente assistenter til prædiktive og generative modeller. Vi har altid et særligt fokus på at bygge robust, forståeligt og så dét er klart til virkeligheden.

Vi designer, bygger og operationaliserer AI-drevne værktøjer, produkter og services, som produktionsklare AI-løsninger, der løser konkrete forretningsproblemer. Det indbefatter bl.a. intelligente assistenter og recommendation engines, prædiktive modeller, generative AI-værktøjer og beslutningsstøttende applikationer.

Selvom softwareudvikling næsten altid er en del af vores leverancer, ligger vores styrke i at bygge den intelligente kerne i form af modeller, logik og arkitektur, der er klar til brug i virkeligheden. Det gør vi med et skarpt fokus på slutbrugeren: En AI-model skaber først værdi, når den er intuitiv at anvende, skaber reel tillid og glider ubesværet ind i hverdagens arbejdsgange. Samtidig sikrer vi løsningens levetid og værdi over tid gennem dedikeret Customer Success Management, drift og support, uanset om løsningen afvikles på enterprise cloud eller suveræne, danske miljøer.

Tre ting, I får med hjem:

- Brugercentreret design og specialdesignet AI: Vi designer løsningen med udgangspunkt i de mennesker, der skal bruge den. Vi kombinerer domænespecifik AI med intuitive brugerflader, gennemsigtige svar og klare interaktionsmønstre, der gør det let for medarbejdere at stole på og handle ud fra modellens output.
- Operationalisering og byg af intelligente modeller: Vi udvikler og idriftsætter prædiktive, generative, analytiske og beslutningsstøttende modeller. Vi sikrer det rette arkitekturvalg - hvad enten det kræver integration af avancerede kommercielle API'er eller specialtilpassede open-source modeller afviklet i lukkede eller suveræne cloud-miljøer.
- Integration, dedikeret drift og Customer Success: Vi forankrer AI-kernen direkte i jeres fagsystemer, dataplatforme og governance-frameworks. Efter lancering overtager vores dedikerede Customer Success Manager den løbende drift, proaktive support og overvågning, så løsningen altid performer stabilt, forbliver relevant og kontinuerligt forbedres.

Det, I står med, når vi er færdige:

- En løsning i reel produktion: Værktøjer, assistenter og services, der er i aktiv brug og skaber målbar værdi - ikke blot en prototype på et whiteboard.
- Dedikeret Customer Success & drift: En fast Customer Success Manager, der varetager løbende drift, support og proaktiv optimering. I får fuld transparens over modellens performance, bakket op af kontinuerlig monitorering og videreudvikling, så I aldrig overlades til jer selv efter go-live.
- Intuitiv slutbrugeroplevelse: AI designet til menneskeligt samarbejde, hvor transparens, tillid og brugervenlighed sikrer høj tilfredshed og hurtig adoption i organisationen.
- Den intelligente kerne: Modeller, datalogik og kildehenvisninger bygget specifikt til jeres problemstilling - ikke en generisk standardmodel.
- Sømløs integration: Fuld integration i jeres nuværende IT-landskab, arbejdsgange og sikkerhedsrammer uden unødig friktion.
- Infrastruktur og data-kontrol: Mulighed for at køre på suveræne clouds eller open-source setups, så jeres data forbliver strengt beskyttet.

### AI-sikkerhed, governance og guardrails

https://capacit.com/da/ydelser/sikkerhed

At gå fra AI-eksperimenter til forretningskritisk drift kræver mere end blot teknologi - det kræver tillid, kontrol og overholdelse af lovgivning.

At gå fra AI-eksperimenter til forretningskritisk drift kræver mere end blot teknologi - det kræver tillid, kontrol og overholdelse af lovgivning. Vi bygger det sikkerhedslag og de guardrails, der beskytter jeres data, forhindrer misbrug og holder jeres AI-løsninger og omkostninger inden for faste, acceptable rammer.

Vi rådgiver om arkitekturvalg og integrerer tekniske forsvarsværker samt governance-frameworks direkte i løsningerne. Det sikrer, at I har fuld suverænitet over egne data, gennemsigtighed i driften og et solidt fundament for at overholde komplekse compliance-krav som EU AI Act.

Tre ting, I får med hjem:

- Tekniske guardrails, QA og kontrol: Vi designer sikkerhedsmekanismer direkte i løsningen, herunder PII-filtrering, input/output-validering, overvågning af omkostninger og fastsættelse af usage limits. Løsningerne kvalitetssikres via specialiseret QA-test for AI og kontinuerlig red-teaming, der fanger sårbarheder og fejl før de rammer produktionen.
- Digital-suverænitet og arkitektur: Vi rådgiver om og implementerer infrastruktur-setups, der giver jer fuldt ejerskab over data. Vi hjælper jer med at bygge og integrere løsninger baseret på open-source modeller, der afvikles trygt på suveræne (fx danske) clouds. Det fjerner vendor lock-in og giver stor forudsigelighed i driftsomkostningerne.
- Governance og compliance: Vi etablerer den nødvendige dokumentation og sporbarhed. Vi bistår med indledende screening og risikovurdering op mod EU AI Act, og vi hjælper med at strukturere registreringen af use-cases, AI-systemer og udarbejdelsen af fyldestgørende model cards til jeres interne ledelses- og compliance-teams.

Det, I står med, når vi er færdige:

- Guardrails i selve løsningen: PII-filtrering, input/output-validering og usage limits bygget ind fra starten.
- Forudsigelige driftsomkostninger: Overvågning af forbrug og faste grænser, så omkostningerne holder sig inden for kendte rammer.
- Fejl fanget før produktion: Specialiseret QA-test for AI og kontinuerlig red-teaming, der finder sårbarhederne først.
- Suverænitet over egne data: Open-source modeller på suveræne clouds - fuldt ejerskab og ingen vendor lock-in.
- Dokumentation, I kan fremvise: Model cards, registrering af use-cases og sporbarhed, jeres compliance-team kan bruge.
- Et fundament for EU AI Act: Screening og risikovurdering, der viser, hvor I står, og hvad der mangler.

## Cases

### LEA Forsikring: End-to-end digital forsikringsplatform for LEA forsikring

https://capacit.com/da/cases/lea-forsikring

En end-to-end digital salgsplatform, hvor kunden kan beregne sin egen pris, købe sin forsikring og få en police uden, at der noget sted i processen er behov for manuel håndtering.

Udfordring:

Forsikringsområdet er præget af tunge backend-processer med mange regler, hvor forretningslogik, beregninger og integrationer udgør en kompleks systemarkitektur. For LEA Forsikring er det en del af virksomhedens business case, at køb af forsikringer kan foregå udelukkende online og uden manuel håndtering.

Løsningen skulle derfor både kunne bære et brugervenligt købsflow for slutkunden og integrere direkte med LEA Forsikrings betalingsflow og policeoprettelse.

Løsning:

Capacit udviklede en end-to-end digital salgsplatform, hvor kunden indtaster sine oplysninger, får beregnet en pris, vælger dækning, gennemfører købet og får policen med det samme. Vores løsning gjorde det muligt, at hele kunderejsen kunne foregå direkte i kernesystemet.

Platformen er koblet til Stripe, så betalingsautorisationen til de månedlige trækninger oprettes automatisk, og kunden har et samlet overblik over sine forsikringer, dokumenter og skadeanmeldelser.

Indboforsikringen blev lanceret som platformens første produkt og er fundamentet for den videre digitale skalering

Sådan tilfører AI værdi:

AI kan fremadrettet hjælpe LEA Forsikrings kunder med at vælge den rette dækning ud fra parametre som bl.a. boligtype, livssituation og særlige behov.

Det betyder en mere intelligent samlet forsikringsoplevelse, hvor data, automatisering og rådgivning arbejder sammen på tværs af kunderejsen, så kunderne får et hurtigere svar, og LEA Forsikring har reduceret deres manuelle processer til 0. Bl.a. ved at automatisere dele af skadeanmeldelse, dokumentforståelse og kundesupport.

Resultaterne:

- 1: End-to-end platform som fundament for AI-drevet rådgivning og automatiseret skadebehandling
- 0: Manuelle trin fra køb til udstedt police
- 24/7: Køb, policeoverblik og skadeanmeldelse online

### Norlys: Hurtigere og mere kvalificeret kundeservice hos Norlys gennem custom-chatbot

https://capacit.com/da/cases/norlys-chatbot

En AI-chatbot, der giver Norlyss kundeservicemedarbejdere ét sted at finde svar på processer og procedurer direkte i deres workflow, mens kunden er i røret.

Udfordring:

Hos Norlys var onboarding af nye kundeservicemedarbejdere en tidskrævende proces, der skabte et effektivitetstab i driften, fordi en del af kerneydelsen består i at håndtere komplekse henvendelser. Problemet for Norlys var, at svarene lå svært tilgængeligt for medarbejderne i forskellige vidensbaser uden en samlet struktur eller i separate interne procesbeskrivelser.

Der gik derfor tid tabt med manuelt at finde de rette svar, og den ensartede og effektive kundeservice var mest af alt kun tilstede, når den blev udført af medarbejdere med høj specialisering og erfaring.

Løsning:

Capacit implementerede en AI-chatbot, der gav kundeservicemedarbejderne hurtig adgang til information fra de interne vidensbaser, som kunne understøtte og forbedre kundeserviceprocessen direkte i medarbejdernes workflow.

Sådan tilfører AI værdi:

Chatbotten fungerer som en digital assistent, der hjælper med at finde korrekte svar og har reduceret behovet for interne eskalationer. Kundeservicen er blevet mere effektiv og ensartet. Medarbejderne er mere selvhjulpne, oplæringsperioden er forkortet, og viden er tilgængelig på tværs af organisationen i stedet for at kun at være tilstede hos de mest erfarne.

Resultatet er frigjorte ressourcer og mere tid til det, som kun den menneskelige kundekontakt kan levere.

Resultaterne:

- 1: Custom AI-assistent med egne vidensbaser, guides og procedurer samlet ét sted.
- 0: Opslag i separate systemer - AI'en svarer direkte i workflowet, mens kunden er i røret.

### FLSmidth: Automatiseret og ensartet tilbudsgivning hos FLSmidth

https://capacit.com/da/cases/flsmidth-tilbud

En standardiseret datamodel, der samler FLSmidths ingeniørviden og kommercielle logik i ét digitalt fundament og gør tilbudsgivningen regelbaseret, automatiseret og markant hurtigere.

Udfordring:

FLSmidths tilbudsprocesser bygger på en kombination af ingeniørdata og kommerciel logik. Tidligere lå denne viden spredt på tværs af systemer, medarbejdere og manuelle arbejdsgange, hvilket gjorde det svært at skalere og ensarte tilbudsgivningen.

Samtidig var den eksisterende datamodel ikke egnet til regelbaseret konfiguration. Det betød risiko for forskellige outputs, lange gennemløbstider og et højt manuelt ressourceforbrug - og tilbuddenes kvalitet kom til at afhænge af de nøglemedarbejdere, der kendte både teknikken og forretningen.

Løsning:

Capacit transformerede og standardiserede datamodellen, så den kunne understøtte deres tilbudsproces på strukturerede og regelbaserede data. Den nye datamodel samler ingeniørviden og kommerciel logik i ét skalerbart digitalt fundament, der nu bruges til regelbaseret konfiguration og automatiserede tilbudsflows.

Sådan tilfører AI værdi:

AI og automatisering har reduceret det manuelle arbejde, øget ensartetheden i tilbuddene og frigjort ingeniørernes tid. Resultatet er en markant mere effektiv tilbudsproces, hvor gennemløbstiden er reduceret fra 22 til 9 dage.

FLSmidth står samtidig med et stærkere digitalt fundament for eventuel videre skalering.

Resultaterne:

- ↓ 59 %: Gennemløbstid for tilbud er gået fra 22 til 9 dage
- 13: Dage hurtigere fra forespørgsel til færdigt tilbud
- 1: Samlet datamodel for ingeniørviden og kommerciel logik

### FLSmidth: Tre automatiserede pipelines til slitage-rapportering for FLSmidth

https://capacit.com/da/cases/flsmidth-slitage

Tre automatiserede pipelines, der tager rå punktsky-data og leverer bearbejdede resultater, som kan bruges til at lave slitage-rapporter. Bygget på open source-værktøjer og afviklet lokalt af hensyn til datasikkerhed.

Udfordring:

FLSmidths slitage-rapporter blev til gennem en kombination af forskellige programmer og manuel håndtering af punktskyer, 3D-modeller og analyser på tværs heraf. Data blev ikke behandlet i én sammenhængende proces, men skulle stykkes sammen på tværs af værktøjer - hvilket gjorde arbejdet tidskrævende og afhængigt af den enkelte medarbejders erfaring. Identifikation af slidmønstre, afvigelser og kritiske områder krævede manuel inspektion, og kvaliteten af rapporterne varierede derfor på tværs af projekter og medarbejdere.

Samtidig skulle hele processen afvikles lokalt af hensyn til datasikkerhed, hvilket begrænsede mulighederne for at bruge cloud-baserede eller licensbetalte værktøjer til at effektivisere arbejdet.

Løsning:

Capacit udviklede en automatiseret pipeline, der kører databehandling og indledende analyse i tre flows, hver tilpasset den konkrete komponent (mølle eller knuser). Den er bygget op omkring de lokale workflows og bruger udelukkende gratis, licensfri software, så kravene til datasikkerhed og fleksibilitet overholdes uden nye licensomkostninger.

Sådan skaber løsningen værdi:

Pipelines bygger på klassisk computer vision - ikke AI - og automatiserer de manuelle trin fra rå punktsky til bearbejdede data. Det gør analysearbejdet hurtigere og mere ensartet på tværs af projekter og medarbejdere.

Resultaterne:

- 100 %: Lokal afvikling, hvor ingen data forlader FLSmidth.
- 0 kr.: I licensomkostninger. Alt er bygget på licensfri software.
- 3: Automatiserede pipelines fra rå punktsky til bearbejdede data

### F&P: AI-drevet strukturering af forsikringsdata til Open Finance hos F&P

https://capacit.com/da/cases/fp

En valideret AI-pipeline, der automatisk udtrækker og strukturerer komplekse forsikringsdokumenter til et ensartet datagrundlag

Udfordring:

Forsikringspolicer og betingelser er svære at udtrække og standardisere data fra - særligt på tværs af selskaber. De traditionelle metoder er manuelle, tidskrævende og dyre, og de kan ikke skalere til EU's kommende FiDA-krav. Samtidig manglede F&P en fælles datamodel og governance til at understøtte en sektordækkende tilgang.

Løsning:

Capacit udviklede en AI-løsning, der automatisk udtrækker og strukturerer forsikringsdokumenter til et ensartet datagrundlag og en standardiseret datamodel tilpasset FiDA-kravene.

Løsningen understøtter de kommende Open Finance-regler, der gør det muligt for finansielle virksomheder at dele kundedata sikkert og standardiseret på tværs af aktører. Det giver bedre muligheder for datadrevet samarbejde, mere effektive processer og udvikling af nye, personaliserede produkter.

Sådan tilfører AI værdi:

AI-pipelinen er valideret med ~95 % præcision i udtrækket af de centrale forsikringsdatafelter og har reduceret behandlingstiden pr. dokument markant. Altsammen arbejde, der før var manuelt, tidskrævende og omkostningstungt.

Samtidig giver den standardiserede datamodel et grundlag for skalering på tværs af selskaber i sektoren med betydelige effektiviseringsgevinster og besparelser på sektorniveau.

Resultaterne:

- ~95 %: Præcision i AI-udtræk af forsikringsdata til Open Finance (FiDA)
- 100%: AI-automatiseret pipeline fra ustruktureret dokument til struktureret data
- 1: Standardiseret datamodel klar til de kommende FiDA-krav

### Advokatsamfundet: Cloud-migrering og fundament for AI hos Advokatsamfundet

https://capacit.com/da/cases/advokatsamfundet

En fuld migrering fra kompleks on-premise-løsning til Microsoft Azure med modernisering af arkitektur, services og deployment, gennemført uden at påvirke forretningen.

Udfordring:

Den eksisterende løsning var præget af store afhængigheder mellem systemer og begrænset skalerbarhed. Det gjorde det svært at vedligeholde, videreudvikle og sikre stabil drift.

Samtidig var der øgede krav til sikkerhed, compliance og performance, som den nuværende infrastruktur havde svært ved at understøtte. Samtidigt skulle migreringen også foregå med minimal nedetid.

Løsning:

Capacit gennemførte en fuld migrering til Microsoft Azure med modernisering af arkitektur, services og deployment-setup. Resultatet er en stabil og sikker cloud-infrastruktur med forbedret performance og systemstabilitet samt en markant reduceret driftskompleksitet med øget fleksibilitet i deployment.

Sådan tilfører AI værdi:

Med en infrastruktur, der lever op til kravene til sikkerhed, compliance og performance, kan organisationen tage næste skridt i sin AI-transformation på en platform, der er bygget til det.

Resultaterne:

- 6: Systemer og databaser moderniseret og gjort AI-klar på skalerbar arkitektur
- +7.700: Aktive advokater indberetter i dag efteruddannelse via AI-platformen.
- ~0: Nedetid under migreringen

### Finansrådgiverne: Automatiseret mødeforberedelse, compliance og dokumentation hos Finansrådgiverne

https://capacit.com/da/cases/finansraadgiverne

En AI-baseret løsning, der automatiserer mødeforberedelse, compliance-kontrol og dokumentation for finansrådgivere med data, automatisering og tale-til-tekst, så tiden går til rådgivning i stedet for referater.

Udfordring:

Finansrådgiverne afholder dagligt omkring 70 kundemøder. Hvert møde varer 1-1,5 time og efterfølges af 30-45 minutters manuel dokumentation. Det betyder et stort tidsforbrug på administrative opgaver og en risiko for variation i både output og compliance. Samtidig var der behov for at forberede møderne mere effektivt uden at gå på kompromis med kvaliteten i rådgivningen.

Løsning:

Capacit implementerede en AI-løsning, der gør, at hele forberedelsen samles automatisk før mødet, og dokumentation og referater genereres af AI efter mødet, så det manuelle arbejde reduceres, og der sikres en høj og ensartet kvalitet i både forberedelse og opfølgning.

Sådan tilfører AI værdi:

Den manuelle referattid er reduceret med omkring 40 minutter pr. møde. På tværs af dagens møder giver det en samlet tidsbesparelse på omkring 46,6 timer. Hver dag.

Dokumentationen og kundedialogen er blevet ensartet og af højere kvalitet, og den frigjorte tid går til mere værdiskabende rådgivning og en bedre, mere personlig dialog med kunderne.

Resultaterne:

- ↓ ~40 min: Manuel referattid pr. kundemøde
- ~46,6: Timer sparet - hver dag
- ~70: Daglige kundemøder understøttet af AI

### IDA Fagforening: Rådgivning, der løser sagen ved førstegangskontakt. AI-understøttet sagsbehandling hos IDA Fagforening.

https://capacit.com/da/cases/ida-fagforening

AI understøtter sagen, fra den lander hos IDA, indtil den er løst. Visitationen og analysen sker automatisk, så rådgiveren kan give medlemmet det rigtige svar med det samme i stedet for at sende sagen videre eller sætte medlemmet i kø.

Udfordring:

IDA Fagforening har et team af rådgivere, der i fællesskab løser medlemmernes henvendelser - typisk standardsager, som medlemmerne søger rådgivning til. Ofte kræver sagerne flere kontaktpunkter med medlemmet, før de er løst. Et eksempel: Et medlem ringer ind med en ansættelseskontrakt, der skal uploades. Sagen visiteres til rette rådgiver, som analyserer kontrakten og derefter ringer medlemmet op igen - i gennemsnit tre gange, før medlemmet tager telefonen.

Løsning:

Capacit hjalp med en First-Contact-Resolution (FCR-strategi), som bidrog til færre manuelle kontakter med medlemmer, mere støtte undervejs og hurtigere behandlingstider for både medarbejdere og medlemmer. Som led i processen blev der implementeret flere AI-løsninger og ledende medarbejdere blev trænet i den nye strategi.

Sådan tilfører AI værdi:

Når sagen lander hos rådgiveren, er den allerede visiteret til den rette kompetence. Og for de typiske sagstyper, hvor ansættelseskontrakter alene udgør 40 %, har AI lavet analysen på forhånd. Rådgiveren bruger derfor mindre tid på at sætte sig ind i sagen og mere på samtalen med medlemmet. Processer og data er samtidig strømlinet på tværs af sagsbehandlingen.

Resultaterne:

- 9 ud af 10: henvendelser løses ved førstegangskontakt
- ~50 %: af sagerne får automatisk AI-analyse
- 100%: Af sagerne AI-visiteres til rette kompetence fra start

### Danske A-kasser: Fra manuel juridisk sagsbehandling til AI understøttet sagsbehandling

https://capacit.com/da/cases/danske-a-kasser

En juridisk lovportal, hvor AI følger sagen fra den oprettes, til afgørelsen er skrevet. AI finder grundlaget i love, bekendtgørelser og praksis og sammenholder med a-kassens egne arbejdsgange og dokumenter, så sagsbehandleren kan træffe den rigtige afgørelse uden først at slå den op.

Udfordring:

En afgørelse i en a-kasse skal hvile på gældende lovgivning. Men lovstoffet er spredt over love, bekendtgørelser, vejledninger og tidligere afgørelser, og det hænger uløseligt sammen med a-kassens egne arbejdsgange. Derfor gik der tid fra hver eneste sag med at finde og sammenholde grundlaget manuelt og kvaliteten afhang af, hvor godt den enkelte sagsbehandler kendte materialet.

Løsning:

Capacit byggede LODA, en juridisk lovportal, der samler bekendtgørelser, love, vejledninger og tidligere afgørelser ét sted. A-kassen kan lægge sine egne dokumenter om arbejdsgange og fortolkning ind, så AI'en svarer ud fra både lovgivningen og a-kassens egen praksis. Portalen blev rullet ud til alle sagsbehandlere med træning i, hvordan AI-svarene bruges i selve afgørelsen.

Sådan tilfører AI værdi:

Sagsbehandleren slår ikke længere op i loven for hver sag. AI finder paragrafgrundlaget og henviser direkte til kilden, så afgørelsen kan dokumenteres med det samme. For standardsagerne, som fylder mest, kommer der et udkast til den juridiske begrundelse, sagsbehandleren kan kvalitetssikre og bruge direkte. Tiden går dermed til vurderingen frem for til opslag, der blot er tidskrævende og ikke tilfører anden værdi.

Resultaterne:

- 1: Juridisk AI-lovportal (LODA) med love, bekendtgørelser og praksis samlet ét sted.
- 100%: Af standardsager kan få AI-udkast til juridisk begrundelse.
- 0: Manuelle lovopslag pr. sag. AI finder paragrafgrundlaget med direkte kildereference.

### EPICO: AI-drevet CV-behandling og kandidatmatch hos EPICO

https://capacit.com/da/cases/epico

Resultaterne:

- < 2 min.: Nøgleinformation udtrukket fra flersidede, ustrukturerede CV'er - inkl. AI-konfidensscore
- 6: AI-funktioner - fra CV-udtræk og jobopslag til kandidatmatch og oversættelse
- 9x: Hurtigere CV-behandling - fra tre timer til ~20 minutter pr. CV

Det siger EPICO:

"Brainhunt har givet os en hurtigere og mere strømlinet måde at bruge vores konsulentportefølje på. Vi kan nu identificere relevante profiler langt mere præcist og reagere markant hurtigere på kundehenvendelser. Det har styrket vores responstid og frigjort tid, så vores medarbejdere kan tilføre endnu mere værdi i hele processen, hvilket igen styrker vores konkurrenceevne, når vi skal vinde opgaver." (Michelle G. Mark, CEO)

## Knowledge

### En grøn testsuite siger ikke om AI-systemet løser opgaven

https://capacit.com/da/viden/kvalitetssikring-af-ai-loesninger
Mikkel Hempel, Head of R&D · 2026-10-02

En sagsbehandler i en a-kasse spørger en AI-assistent om et medlem har ret til dagpenge fra 1. marts. Svaret kan være flydende, korrekt formateret og forkert. Ingen klassisk softwaretest opdager det.

En klassisk test har ét facit: Givet et bestemt input forventer vi et bestemt output, og testen består eller fejler. Generativ AI har ikke ét facit. To forskellige svar kan begge være gode, og et velformuleret svar kan være faktuelt forkert. En test der sammenligner ordret med et reference-svar, kasserer det gode svar med en anden formulering. En formattest godkender det forkerte.

Den disciplin vi bruger i stedet, kalder vi EvalOps: definér hvad godt betyder, test det systematisk, styr udviklingen efter resultaterne og bliv ved efter go-live. Hele metoden står i vores white paper [Kvalitetssikring af AI kræver mere end test](https://capacit.com/da/viden/white-papers/kvalitetssikring-af-ai-loesninger). I praksis ligger det meste af værdien i fem greb.

#### Succes defineres i arbejdsgangen

Den vigtigste måling er sjældent en generisk score som faithfulness eller answer relevance. Den afhænger af opgaven. For en mødeassistent er det om alle beslutninger kommer med i referatet, og om der står noget som aldrig blev sagt. For en agent der skal booke et møde, er det om mødet bliver booket. For sagsbehandling er det om hver sætning i svaret peger på det præcise afsnit den bygger på.

Rækkefølgen gør også evalueringen forståelig for dem der ejer arbejdsgangen. En afdelingschef behøver ikke vide hvad faithfulness er, for at kunne sige at et svar uden kildehenvisning ikke kan bruges. Den sætning er et succeskriterium, og den kan måles.

Tre til fem målinger er som regel nok: en eller to der er specifikke for opgaven, og to eller tre der følger arkitekturen. Flere målinger giver et dashboard ingen handler på.

#### Evalsættet skal indeholde det der går galt

Et evalueringsdatasæt der kun indeholder de spørgsmål systemet allerede svarer rigtigt på, måler ingenting. Det skal også rumme svære cases, edge cases og kendte failure modes: uklare spørgsmål, modstridende oplysninger og spørgsmål uden svar i vidensbasen.

Hver fejl der dukker op i drift, føjes til sættet. Så bliver den ikke bare rettet én gang. Den bliver en regressionstest der fanger den hvis den kommer tilbage.

Datasættet versioneres sammen med systemet. En score hører til en bestemt version af sættet, og to scores målt på forskellige versioner kan ikke sammenlignes direkte.

#### Uden komponentmålinger ved du ikke hvad der skal rettes

Når en RAG-løsning giver et forkert svar, kan fejlen ligge tre steder. Søgningen fandt aldrig det relevante dokument. Den fandt det, men irrelevante tekststykker blev prioriteret højere. Eller modellen fik den rigtige kontekst og skrev alligevel noget den ikke bar.

Slutresultatet er det samme forkerte svar i alle tre tilfælde. Rettelsen er forskellig: anden chunking eller flere søgeresultater i det første, en reranker i det andet, prompt og krav om kildehenvisning i det tredje. Kun målinger på komponentniveau kan skelne dem: context recall, context precision og faithfulness.

End-to-end-evaluering fortæller hvad der går galt. Komponenterne fortæller hvor. For agenter gælder det samme: Tool correctness viser om agenten brugte de rigtige værktøjer, og task completion viser om opgaven faktisk blev løst. Korrekte trin er ikke det samme som en løst opgave.

#### En AI-dommer skal kalibreres før den må dømme

De fleste kvalitetsspørgsmål i generativ AI kan ikke afgøres med pass/fail. Der findes ikke ét korrekt resumé. Derfor lader vi en anden sprogmodel vurdere svarene efter en klart defineret rubric. Det gør det muligt at evaluere langt flere svar ved hver ændring, end et menneske kan nå.

Men dommeren er selv en sprogmodel. Dens vurderinger kan flytte sig med formuleringen af kriterierne og med den rækkefølge svarene præsenteres i. Derfor vurderer mennesker først et referencesæt, og vi måler om dommeren er enig med dem. Først når enigheden er høj nok, kører dommeren på alle cases, og målingen gentages hver gang dommerens model eller prompt ændres.

Hårde krav afgøres før dommeren overhovedet ser svaret, med deterministiske ja/nej-tjek: Har svaret det krævede format? Har hver påstand en kildehenvisning? Et svar uden kildehenvisning fejler uanset hvor godt det i øvrigt er formuleret.

#### Evals er en quality gate, også efter go-live

Den egentlige værdi kommer når evalsættet kører automatisk hver gang nogen ændrer model, prompt, retrieval, chunking eller agentlogik. Falder en kritisk måling under det aftalte niveau, stoppes deploymentet, på samme måde som en build stoppes af fejlede tests. Tærsklen sættes pr. måling og pr. use case, efter hvad en fejl koster i den konkrete arbejdsgang.

Det ændrer samtalen i teamet.

**Før:** Den nye model virker umiddelbart bedre.

**Nu:** Den nye konfiguration forbedrer task completion, holder minimumskravet til faithfulness og reducerer latency.

Evalueringen stopper ikke ved go-live. Brugerne finder nye anvendelser, datagrundlaget ændrer sig, og eksterne modeller kan skifte adfærd uden at nogen har rørt systemet. Rettelser, overrides og eskalationer til mennesker er de mest ærlige kvalitetssignaler vi har. De vigtigste af dem bliver nye cases i evalsættet.

#### Den vigtigste måling ligger i arbejdsgangen

En højere faithfulness-score er ikke det samme som mere produktive medarbejdere. En agent kan løse flere opgaver korrekt og samtidig skabe så meget kontrolarbejde at den samlede proces bliver langsommere. Tekniske målinger er leading indicators. De skal løbende holdes op mod det der sker i arbejdsgangen, og stiger scoren uden at arbejdsgangen bliver bedre, måler vi det forkerte.

I en løsning vi har udviklet til a-kassesektoren, er den tekniske måling at hvert svar peger på paragrafgrundlaget. Effekten i arbejdsgangen er at antallet af manuelle lovopslag pr. sag ligger på 0–1. I en leverance til forsikrings- og pensionsbranchen trækker vi forsikringsdata ud med cirka 98 % præcision til Open Finance og FiDA. De sidste 2 % bliver ikke gemt væk, fordi et system der ikke kan sige hvor det er usikkert, ikke kan bruges til noget med retsvirkning.

**0–1:** manuelle lovopslag pr. sag i en løsning til a-kassesektoren. Den tekniske måling er kildehenvisningen til paragrafgrundlaget.

**ca. 98 %:** præcision på forsikringsdata i en leverance til forsikrings- og pensionsbranchen, til brug for Open Finance og FiDA.

For systemer der klassificeres som højrisiko efter AI-forordningen, er det her ikke kun god praksis. Forordningen kræver test mod forud definerede metrikker og tærskler, automatisk logning og systematisk overvågning efter ibrugtagning. En organisation der allerede måler kvalitet systematisk, har dokumentationen klar når tilsynet spørger.

Det enkleste sted at begynde er én test: Kan I køre den samme evaluering igen i morgen og få et tal I kan sammenligne med dagens? Hvis ikke, har I en vurdering og ikke en måling.

### System One-modeller: Når AI skal træffe beslutninger - ikke skrive tekst

https://capacit.com/da/viden/hvad-er-jev-og-system-one-modeller
Mikkel Hempel, Co-Founder & Co-Managing Partner · 2026-09-22

Med lanceringen af Jev har TypeSafe AI skabt betydelig opmærksomhed omkring en ny kategori, de kalder »System One Models«. Bag navnet gemmer der sig en relativt velkendt idé: AI-modeller, der klassificerer, scorer og træffer afgrænsede beslutninger frem for at generere tekst. Det interessante er derfor ikke nødvendigvis, om vi har fået en helt ny modeltype. Det interessante er, hvad der sker, når classifiers bliver generelle, hurtige og fleksible nok til at blive et selvstændigt intelligence layer i moderne software.

Den 15. september lancerede TypeSafe AI modellen **Jev** og introducerede samtidig betegnelsen *System One Models*. Hvor et traditionelt LLM som GPT eller Claude producerer en sekvens af tokens, er Jev designet til at modtage en state og en række afgrænsede spørgsmål og returnere typed decisions med sandsynligheder og confidence scores.

TypeSafe beskriver selv Jev som en model bygget til »decisions inside software« snarere end kommunikation med mennesker. Modellen genererer ikke tekst, men kan eksempelvis vælge mellem definerede kategorier, score noget på en skala eller estimere sandsynligheden for et binært udfald.

#### Så er System One-modeller i virkeligheden bare classifiers?

Det korte svar er: **Ja, funktionelt set er sammenligningen ganske rimelig. Men den overser noget af det interessante.**

#### Classification er ikke nyt

Machine learning-modeller har klassificeret tekst, billeder og andre data længe før den nuværende generation af generative AI.

Hvis en organisation eksempelvis vil afgøre, om en indgående mail handler om fakturering, support eller salg, er det klassisk classification. Det samme gælder vurderinger som:

- Hvilket team skal håndtere denne sag?
- Indeholder dokumentet en bestemt type risiko?
- Er denne transaktion mistænkelig?
- Skal denne AI-agent fortsætte, prøve igen eller eskalere?
- Hvilken af fem handlinger bør systemet vælge?

Traditionelt ville man ofte træne eller fine-tune en classifier specifikt til opgaven. Det kan give ekstremt hurtige og billige modeller, men kræver typisk labelled data og en relativt fast definition af opgaven.

LLMs ændrede dette trade-off. Pludselig kunne vi beskrive en ny klassifikationsopgave i natural language og få et rimeligt resultat uden at træne en ny model.

Til gengæld begyndte vi også at bruge meget store generative modeller til opgaver, hvor vi reelt ikke havde brug for generation.

Vi sender måske et support-ticket gennem et frontier LLM med milliarder af parametre for at få modellen til at returnere:

> billing

Det virker. Men arkitektonisk er det lidt absurd.

#### System One forsøger at udfylde hullet mellem classifiers og LLMs

Det er her, modeller som Jev bliver interessante.

Jev kombinerer nogle af fordelene fra traditionelle classifiers med noget af den fleksibilitet, vi har vænnet os til fra LLMs.

I stedet for at generere et JSON-dokument token for token definerer udvikleren på forhånd, hvilke typer svar modellen må returnere. Jev understøtter blandt andet valg mellem kategorier, ordinal scoring og yes/no-sandsynligheder. Flere spørgsmål kan desuden evalueres mod den samme state parallelt. [1]

Resultatet er en model, som i praksis fungerer mere som en probabilistisk funktion:

> state + questions → decisions + probabilities

Det er et væsentligt anderledes interface end:

> prompt → genereret tekst

TypeSafe oplyser en pris på $0,042 pr. million input tokens og end-to-end latency på cirka 70-500 ms. Virksomheden publicerer også egne benchmarks, hvor Jev på udvalgte System One-workflows er op til 193,6 gange hurtigere og 444,6 gange billigere end de sammenlignede LLM-løsninger. TypeSafe understreger selv, at disse resultater sandsynligvis ligger i den høje ende af, hvad man bør forvente i praksis. [1]

Det sidste er en vigtig detalje. Kategorien er få dage gammel, og meget af den nuværende dokumentation kommer fra producenten selv. Der er endnu ikke grundlag for at behandle de mest markante benchmark-tal som universelle egenskaber ved System One-modeller.

#### »Zero hallucinations« kræver også en præcis definition

TypeSafe bruger blandt andet formuleringen »zero hallucinations« om Jev.

Det giver mening i en meget specifik teknisk betydning: Når modellen kun kan returnere en værdi fra et prædefineret output space, kan den ikke pludselig opfinde en ny JSON-property, returnere et ugyldigt enum eller begynde at skrive en forklaring midt i et API-response.

Schemaet kan garanteres.

**Korrektheden kan ikke.**

En classifier kan stadig vælge den forkerte kategori. En probability estimate kan være dårligt calibrated. Og en model kan være meget sikker på et forkert svar.

Den relevante egenskab er derfor ikke, at modellen ikke kan tage fejl. Det er, at fejltypen bliver mere kontrollerbar, og at sandsynligheder kan bruges aktivt i applikationslogikken.

Et system kan eksempelvis automatisere beslutninger over en bestemt confidence threshold og sende resten videre til et større LLM eller et menneske.

Det er ofte langt mere interessant i enterprise software end et løfte om »ingen hallucinationer«.

#### Laya viser, hvor lidt mystik der egentlig behøver at være

Kort efter Jev er der allerede kommet open source-alternativer. En af de mest interessante er **Laya** fra ConvAI Innovations.

Laya er Apache 2.0-licenseret og gør arkitekturen betydeligt mere transparent. Den engelske model består af en ModernBERT-large encoder på cirka 395 millioner parametre kombineret med et decision head, så modellen samlet har omkring 421 millioner parametre. [2]

Hver mulig beslutning scores direkte, hvorefter modellen returnerer en probability distribution. Der genereres ikke tekst autoregressivt.

Det understreger pointen: Der er ikke nødvendigvis behov for et frontier LLM for at løse denne type problem.

Laya kan samtidig køres lokalt. Projektets egne benchmarks viser omkring 33-40 ms for en enkelt decision på en Tesla T4 og endnu højere throughput ved batching. Det er lokale modelmålinger og derfor ikke direkte sammenlignelige med Jevs hosted API-latency, men de illustrerer potentialet i relativt små non-autoregressive modeller. [3]

For virksomheder kan noget andet ved Laya dog vise sig at være mere interessant end de rå millisekunder: **modellen kan fine-tunes.**

#### Domain-specific System One kan være mere interessant end general-purpose System One

Layas egne resultater er faktisk en god illustration af både potentialet og begrænsningerne.

Projektet dokumenterer selv, at de generelle base checkpoints klarer sig relativt dårligt zero-shot på deres *typed-decisions* benchmark. Først efter fine-tuning på den relevante træningsdistribution stiger performance markant.

Udviklerne beskriver derfor selv Laya som en base, der bør specialiseres, snarere end en stærk generel zero-shot decision engine. [3]

Det er efter min vurdering en vigtigere pointe end spørgsmålet om, hvorvidt Laya eller Jev vinder et bestemt benchmark.

For mange virksomheder er problemet nemlig ikke:

> »Hvilken generisk AI-model ved mest om verden?«

Problemet er snarere:

> »Kan modellen konsekvent træffe denne bestemte type beslutning i vores forretningsproces?«

Forestil dig en model specialiseret på en pensionskasses investeringsprocesser, et forsikringsselskabs claims, en banks compliance-workflow eller en offentlig myndigheds dokumenttyper.

Her kan en relativt lille lokal model med organisationens egne evals, calibration og domain-specific fine-tuning være mere værdifuld end en langt større general-purpose model.

Det giver samtidig mulighed for on-premise deployment, kontrol over modelversioner og en anden tilgang til data sovereignty end en ekstern API alene kan tilbyde.

Layas aktuelle benchmarks skal dog læses med samme forbehold som Jevs. Sammenligningerne med Jev er ikke udført i et fælles kontrolleret benchmark-setup, og Laya-projektet gør selv opmærksom på forskelle i prompts, sample sizes og målemetoder. Der er derfor ikke fagligt grundlag for generelt at konkludere, at Laya er »bedre end Jev«. [3]

#### Den større ændring er arkitekturen omkring modellerne

Det mest interessante ved System One-bølgen er derfor måske slet ikke Jev.

Det er et opgør med idéen om, at ét stort LLM bør være intelligence layer for hele applikationen.

En mere moden AI-arkitektur kan i stedet bestå af flere forskellige komponenter:

1. **Deterministisk software** håndterer de regler, som faktisk kan beskrives præcist.
2. **Decision models** håndterer hurtige, probabilistiske valg som routing, classification, scoring og guardrails.
3. **Generative og reasoning-modeller** bruges, når opgaven kræver analyse, syntese, planlægning eller produktion af nyt indhold.
4. **Mennesker** håndterer den del af distributionen, hvor konsekvensen ved fejl er høj, eller modellernes confidence er utilstrækkelig.

Det lyder mindre spektakulært end idéen om en autonom super-agent.

Til gengæld ligner det langt mere den måde, robust enterprise software faktisk bliver bygget på.

#### AI-agenter har særligt brug for et billigt decision layer

Udviklingen bliver særligt relevant i takt med, at AI-agenter får flere tools og mere autonomi.

En agent skal konstant træffe små beslutninger:

Skal jeg kalde dette tool? Er resultatet godt nok? Hvilken model skal håndtere næste opgave? Er dette output sikkert? Matcher resultatet brugerens intention? Skal jeg prøve igen? Skal et menneske involveres?

I mange agentiske systemer bruger vi i dag endnu et LLM-call til hver af disse beslutninger.

Hvis hver beslutning kræver sekunder og relativt dyr inference, bliver cost og latency hurtigt multipliceret gennem workflowet.

En lille decision model kan potentielt fungere som et control layer omkring de større modeller.

Det ændrer økonomien væsentligt.

Ikke fordi den lille model kan erstatte frontier-modellen, men fordi frontier-modellen kun bliver brugt til de problemer, hvor dens capabilities faktisk er nødvendige.

#### Det relevante spørgsmål er derfor ikke, om Jev »bare« er en classifier

Teknisk er betegnelsen ikke urimelig.

»System One Model« er på nuværende tidspunkt TypeSafes navn for kategorien, ikke en etableret videnskabelig standard. Og classification, probability estimation, model calibration og non-autoregressive encoders eksisterede længe før Jev.

Men teknologi bliver ikke kun vigtig, når nogen opfinder et fundamentalt nyt matematisk princip.

Nogle gange sker skiftet, når eksisterende teknikker kombineres på en måde, der ændrer, hvad der praktisk kan bygges.

Det var i høj grad også historien om moderne chatmodeller.

Det, der er værd at følge ved Jev, Laya og de næste modeller i kategorien, er derfor ikke navnet *System One*.

Det er, om vi får et nyt praktisk intelligence primitive mellem deterministisk kode og generative LLMs: modeller, der er billige nok til at kalde konstant, hurtige nok til at ligge direkte i application flowet og præcise nok til, at deres probabilities kan bruges som en reel del af softwarearkitekturen.

Hvis det lykkes, kan konsekvensen blive større end endnu en forbedring af den næste frontier LLM.

For virksomheder betyder det i sidste ende en mere interessant udvikling: AI-systemer behøver ikke blive større for at blive bedre.

**De skal blive bedre designet.**

#### Om forfatteren

Mikkel Hempel er co-founder i Capacit og arbejder med krydsfeltet mellem nye AI-capabilities, teknologiarkitektur og deres praktiske anvendelse i virksomheder og større organisationer.

Kilder:

1. TypeSafe AI, »Introducing System One Models and Jev«. https://typesafe.ai/blog/introducing-system-one-models-and-jev
2. ConvAI Innovations, Laya model card, Hugging Face. https://huggingface.co/convaiinnovations/laya/blob/main/README.md
3. Laya, GitHub repository. https://github.com/NandhaKishorM/laya