Slik utvikler Dev House Norway pålitelige norskspråklige LLM-applikasjoner i Oslo

Virksomheter i Oslo utforsker store språkmodeller, også kalt LLM-er, for å gjøre intern kunnskap lettere tilgjengelig, effektivisere kundeservice og redusere tiden ansatte bruker på å lete etter informasjon. Teknologien kan brukes til blant annet spørsmål og svar, dokumentoppsummering, saksforberedelse og utforming av standardiserte kundesvar.

En modell som skriver flytende norsk, er imidlertid ikke nødvendigvis pålitelig. Den kan misforstå interne faguttrykk, hente informasjon fra feil dokument, gi tilgang til innhold brukeren ikke skal se eller formulere et overbevisende svar uten tilstrekkelig faktagrunnlag.

Pålitelig LLM-utvikling må derfor begynne med en avgrenset arbeidsoppgave og kontrollerte informasjonskilder. For organisasjoner i Oslo bør verdien måles gjennom svarnøyaktighet, brukertillit og dokumenterte forbedringer i arbeidsflyten – ikke bare antall brukere eller produserte svar.

Hvordan LLM-utvikling støtter kunnskapsarbeid og kundeservice i Oslo

LLM-applikasjoner kan gi ansatte et naturlig språkbasert grensesnitt til retningslinjer, produktinformasjon, teknisk dokumentasjon og interne rutiner. I stedet for å søke gjennom flere mapper og systemer kan brukeren stille et spørsmål og få et svar basert på godkjent virksomhetsinformasjon.

I kundeservice kan løsningen kategorisere henvendelser, hente relevant veiledning, foreslå svar og identifisere saker som bør sendes videre til en medarbeider. Den kan også gjøre tjenester mer tilgjengelige for brukere som befinner seg langt fra virksomhetens hovedkontor eller ordinære servicesteder.

Norge har etablert KI Norge i Digitaliseringsdirektoratet som en nasjonal arena for ansvarlig utvikling og bruk av kunstig intelligens. Initiativet skal samle veiledning, regulatorisk sandkasse og samarbeid mellom Digdir, Datatilsynet, Nkom, næringslivet og forskningsmiljøer.

Denne nasjonale satsingen gir et tydelig signal om at norske virksomheter bør gå fra uavhengige eksperimenter til mer styrte KI-løsninger. Teknologien bør knyttes til en konkret beslutning eller oppgave, ikke introduseres som et generelt verktøy for alle avdelinger samtidig.

En LLM-applikasjon bør derfor ha tydelige svar på følgende spørsmål:

• Hvem skal bruke løsningen?
• Hvilke oppgaver skal den utføre?
• Hvilke informasjonskilder kan den benytte?
• Hvilke spørsmål skal den avvise?
• Når må et menneske kontrollere svaret?
• Hvordan skal kvalitet og forretningsverdi måles?

Start med avgrensede oppgaver og tydelig menneskelig ansvar

Den underliggende språkmodellen kan håndtere et bredt spekter av emner, men virksomhetsapplikasjonen bør ha et langt smalere ansvarsområde. En intern kunnskapsassistent kan for eksempel svare på spørsmål om godkjente HR-rutiner, men bør ikke tolke individuelle arbeidsrettslige konflikter.

Tilsvarende kan en kundeserviceløsning forklare standardvilkår og vanlige prosesser uten å gi personlige juridiske, finansielle eller medisinske råd. Klare grenser gjør løsningen enklere å teste, overvåke og styre.

Virksomheten må også bestemme hvilken rolle modellen skal ha. Den kan:

• vise relevant informasjon;
• lage et utkast som en medarbeider godkjenner;
• anbefale en mulig handling;
• klassifisere eller prioritere en henvendelse;
• sende saken videre til riktig fagperson;
• gjennomføre en begrenset handling i et annet system.

Jo større konsekvens svaret eller handlingen kan få, desto sterkere må kontrollen være. En feil i et internt sammendrag har et annet risikonivå enn et feilaktig svar som påvirker ansettelse, kreditt, helse eller tilgang til en offentlig tjeneste.

EUs KI-forordning bygger på en risikobasert tilnærming, der den planlagte bruken av løsningen er avgjørende for klassifiseringen. Norske myndigheter har arbeidet med en gjennomføringslov, men per august 2026 var de norske reglene fortsatt avhengige av nasjonal lovbehandling og innlemmelse gjennom EØS-avtalen.

Menneskelig kontroll må være en reell del av arbeidsprosessen. Det er ikke tilstrekkelig å skrive at brukeren bør kontrollere svaret dersom medarbeideren mangler tid, kompetanse eller myndighet til å korrigere løsningen.

Bygg svarene på godkjente og oppdaterte informasjonskilder

En generell språkmodell kjenner ikke nødvendigvis virksomhetens nyeste produkter, interne rutiner eller organisasjonsspesifikke begreper. Den kan også være trent på informasjon som er utdatert eller irrelevant for den aktuelle oppgaven.

Retrieval-Augmented Generation, ofte forkortet RAG, gjør det mulig å koble modellen til virksomhetens egne informasjonskilder. Når brukeren stiller et spørsmål, søker systemet etter relevante dokumentutdrag og ber modellen formulere et svar basert på disse kildene.

En pålitelig RAG-arkitektur bør definere:

1. Hvilke dokumentområder som er godkjent.
2. Hvem som eier og oppdaterer informasjonen.
3. Hvordan dokumenter merkes og indekseres.
4. Hvordan utgåtte versjoner fjernes.
5. Hvilke metadata som følger innholdet.
6. Hvordan brukertilgang kontrolleres.
7. Hvordan kilder vises sammen med svaret.
8. Hva som skjer når tilstrekkelig dokumentasjon mangler.

Løsningen bør gjøre usikkerhet synlig. Dersom systemet ikke finner et godt nok informasjonsgrunnlag, bør det be om mer informasjon, avvise forespørselen eller sende den til en medarbeider.

God kildekvalitet er like viktig som valg av modell. Motstridende retningslinjer, utdaterte prosedyrer og dupliserte dokumenter kan føre til at selv en sterk språkmodell gir upålitelige svar.

Innholdsansvarlige bør derfor godkjenne dokumentene, registrere gyldighetsperioder og sikre at erstattede versjoner ikke lenger brukes aktivt i søket. Dette gjør LLM-applikasjonen til en del av virksomhetens kunnskapsstyring, ikke bare et nytt brukergrensesnitt.

Test norsk språk, fagterminologi og hallusinasjoner

En norskspråklig løsning bør ikke evalueres utelukkende ved å oversette engelske testspørsmål. Testgrunnlaget må gjenspeile hvordan ansatte og kunder faktisk formulerer seg.

Oslo-virksomheter bør vurdere behovet for støtte til:

• bokmål;
• nynorsk;
• engelsk i norske arbeidsmiljøer;
• spørsmål som blander flere språk;
• interne forkortelser;
• sektor- og bransjeuttrykk;
• regionale formuleringer;
• samiske språk der dette er relevant.

Nasjonalbiblioteket lanserte i mai 2026 Borealis, en familie av norske språkmodeller tilpasset bokmål, nynorsk og engelsk. Modellene er utviklet i flere størrelser og rettet mot blant annet tekstproduksjon, oppsummering, spørsmål og svar og vurdering av språkkvalitet.

En norsk modell er likevel ikke automatisk det beste valget for alle applikasjoner. Virksomheten bør sammenligne aktuelle modeller med egne dokumenter, uttrykk, sikkerhetskrav, svartider og driftskostnader.

Testsettet bør inkludere:

• vanlige brukerhenvendelser;
• feilskrivinger og ufullstendige spørsmål;
• spørsmål med tvetydige faguttrykk;
• informasjon som ikke finnes i kildene;
• motstridende dokumentasjon;
• forsøk på å omgå systemets instruksjoner;
• spørsmål brukeren ikke har tilgang til å få svar på.

Hallusinasjonstesting er særlig viktig. Systemet må vise at det kan la være å svare når faktagrunnlaget mangler, fremfor å produsere en sannsynlig formulering.

Den mest egnede modellen er den som gir stabile og etterprøvbare resultater i den konkrete arbeidsprosessen, ikke nødvendigvis modellen som presterer høyest på generelle internasjonale tester.

Beskytt informasjon gjennom tilgangsstyring og innebygd personvern

En LLM-applikasjon må aldri gjøre konfidensiell informasjon mer tilgjengelig enn den var i det opprinnelige systemet. En medarbeider som ikke kan åpne et dokument direkte, skal heller ikke få innholdet presentert gjennom et KI-generert svar.

Tilgangskontrollen bør brukes før dokumentene sendes til modellen. Dette kan kreve integrasjon med identitetsløsninger, organisatoriske roller, dokumentrettigheter og kundespesifikke datagrupper.

En sikker arkitektur bør blant annet omfatte:

• sterk autentisering;
• rollebaserte tilganger;
• kryptering;
• separasjon mellom kunder og avdelinger;
• sikker håndtering av API-nøkler;
• kontrollert administratoradgang;
• logging av relevante hendelser;
• regler for lagring og sletting av samtaler;
• overvåking av uvanlig bruk.

Spørsmål, tilbakemeldinger og logger kan inneholde personopplysninger eller forretningssensitiv informasjon. De må derfor behandles som styrte virksomhetsdata og ikke som ufarlige tekniske logger.

Datatilsynet fremhever at norske virksomheter som bruker kunstig intelligens, må vurdere personvernkonsekvenser og bygge innebygd personvern og personvern som standard inn i løsningene.

Virksomheten må blant annet forstå hvilke opplysninger som behandles, hva formålet er, hvilket rettslig grunnlag som brukes og om data overføres til eksterne leverandører eller land utenfor EØS.

Personvern må påvirke arkitekturen fra starten. En vurdering rett før produksjonssetting kan avdekke problemer som er dyre og tidkrevende å rette.

Mål svarnøyaktighet, brukertillit og forbedret arbeidsflyt

En demonstrasjon eller begrenset pilot gir ikke tilstrekkelig dokumentasjon på at en LLM-applikasjon er klar for kritiske arbeidsprosesser. Virksomheten trenger et representativt evalueringssett med godkjente svar, vanskelige eksempler og situasjoner der systemet skal avvise forespørselen.

Evalueringen bør dekke:

• faktisk korrekthet: om svaret er riktig;
• forankring: om påstandene støttes av kildene;
• søkekvalitet: om systemet finner riktig dokument;
• språkkvalitet: om norsk språk og terminologi er naturlig;
• tilgangskontroll: om beskyttet informasjon forblir skjult;
• avvisningsatferd: om usikre spørsmål håndteres riktig;
• svartid: om løsningen fungerer innenfor arbeidsflytens krav;
• brukerverdi: om oppgaven gjennomføres bedre eller raskere.

Overvåkingen bør fortsette etter lansering fordi informasjonskilder, modeller og brukerbehov endres. Det kan være nyttig å følge med på antall korrigeringer, eskaleringer, ubesvarte spørsmål, utdatert kildebruk og gjennomsnittlig behandlingstid.

Brukertilbakemeldinger bør kobles til modellversjon, instruksjoner, dokumentversjoner og applikasjonsutgave. Da kan teamet identifisere om feilen skyldes informasjonskilden, søket, modellen eller arbeidsflyten.

Adopsjon alene er ikke et godt suksessmål. Mange innlogginger kan bety at løsningen er populær, men sier lite om hvorvidt svarene er korrekte eller om arbeidet faktisk blir bedre.

Hvordan Dev House Norway støtter LLM-utvikling i Oslo

Dev House Norway støtter organisasjoner i Oslo med planlegging, utvikling og drift av norskspråklige LLM-applikasjoner bygget rundt avgrensede virksomhetsbehov.

Arbeidet kan starte med en vurdering av brukstilfelle, datakvalitet og risiko. Her identifiseres den aktuelle arbeidsflyten, godkjente kilder, språkkrav, tilgangsmodell, menneskelig ansvar og målbare resultater.

Videre utvikling kan omfatte:

• RAG- og søkearkitektur;
• evaluering av norske og internasjonale modeller;
• strukturering og indeksering av dokumenter;
• utvikling av kunnskaps- og kundeserviceassistenter;
• integrasjon med identitet og tilgangsstyring;
• kildehenvisninger og avvisningsregler;
• automatiserte evalueringsløp;
• produksjonsovervåking;
• sikkerhets- og personverntesting;
• skybasert eller privat drift.

Modellvalget bør baseres på kontrollerte tester av norsk språk, fagterminologi, nøyaktighet, svartid, kostnad og tekniske krav. Det kan være aktuelt å bruke kommersielle modeller, åpne modeller eller norsktilpassede alternativer.

Den første versjonen bør vanligvis begrenses til én avdeling, brukergruppe eller informasjonsbase. Dette gjør det mulig å undersøke reell bruk før løsningen får bredere datatilgang eller større myndighet.

Målet er å utvikle en løsning som organisasjonen kan forstå, kontrollere og forbedre over tid. LLM-applikasjonen skal styrke fagmiljøet, ikke erstatte eierskap eller menneskelig vurdering.

Konklusjon

Pålitelige norskspråklige LLM-applikasjoner krever langt mer enn flytende tekstgenerering. Virksomheter i Oslo trenger kvalitetssikrede informasjonskilder, tydelige oppgavegrenser, presis tilgangsstyring og tester som gjenspeiler norsk språk og organisasjonens faktiske arbeidsmiljø.

LLM-utvikling skaper langsiktig verdi når løsningen gir korrekte og etterprøvbare svar, opparbeider brukertillit og reduserer målbar friksjon i arbeidsprosessen. Ved å starte kontrollert og utvide på grunnlag av dokumenterte resultater kan norske organisasjoner bruke språkmodeller på en ansvarlig og forretningsmessig nyttig måte.