Vad de bästa AI-modellerna utelämnar i en teknisk utredning

Ett felaktigt dimensioneringsvärde ser ut precis som ett riktigt

En teknisk utredning dimensionerar. Ett PM Geoteknik avgör schaktmetod och släntlutning. En dagvattenutredning bestämmer fördröjningsmagasinets storlek. En riskanalys för vibrationer sätter de riktvärden som skyddar grannbyggnaderna när det sprängs. Fel i sådana handlingar blir dyra just för att de är svåra att se: ett felaktigt dimensioneringsvärde i en välskriven text som hänger ihop ser ut precis som ett riktigt.

Dagens generella språkmodeller skriver god teknisk svenska och hämtar uppgifter ur ett underlag med slående träffsäkerhet. Den intressanta frågan är därför snävare. Kan ett system ta fram ett utkast som en granskande ingenjör skulle godta: med allt som handlingstypen kräver, med preliminära dimensioner utsatta och med hänvisningar som håller när någon kontrollerar dem med standarden i handen?

Sex handlingstyper, med den levererade handlingen som facit

Vi valde sex handlingstyper ur vardagen hos en teknikkonsult. För var och en var facit en verklig handling, levererad av en etablerad konsult i ett kommunalt projekt eller ett Trafikverksprojekt. Systemet som testades fick det som konsulten hade: uppdragsbeskrivningen och underlaget, till exempel den marktekniska undersökningsrapporten, fält- och laboratorieprotokoll och CPT-utvärderingar. Den levererade handlingen fick det aldrig se.

Ur varje levererad handling byggde vi en checklista med 27 till 33 kontrollpunkter: struktur, klassningar, bedömningar per delområde, beräkningar och kontrollprocess. En punkt blir en träff, en delträff eller en miss, och en delträff räknas som en halv. Riktigheten bedöms mot underlaget, inte blint mot facit. Där ett utkast avviker från den levererade handlingen och underlaget ger utkastet rätt räknas det som en träff. Varje angivet värde stämdes av mot underlaget och varje beräkningskedja räknades om.

Yesper jämfördes med GPT-6 Astra och Claude Opus 5.5, de nyaste frontiermodellerna från OpenAI och Anthropic. Båda kördes på medelhög resonemangsnivå med samma uppdragsbeskrivning och samma underlag i textform, och med en enkel uppmaning att skriva handlingen utan att ställa frågor. Varje utkast är en enda körning. Ingen gjordes om.

97 procent mot 83 och 75

Yesper nådde i genomsnitt 97 procents överensstämmelse med de levererade handlingarna. Claude Opus 5.5 nådde 83 procent och GPT-6 Astra 75. Yesper låg först på alla sex handlingstyper, med 5 till 26 procentenheter till den bättre av de två.

Avståndet följer vad handlingstypen kräver. Det är minst där uppgiften ligger närmast en trogen sammanställning: 5 procentenheter på den marktekniska undersökningsrapporten. Det är störst där handlingen måste sätta härledda värden: 26 procentenheter på riskanalysen för vibrationer och 15 på både PM Geoteknik och riskbedömningen av förorenad mark.

Tillsammans rymmer de sex checklistorna 184 kontrollpunkter. Yesper träffade 174, träffade 10 delvis och missade ingen. Opus 5.5 träffade 130 och missade 7. Astra träffade 110 och missade 16.

Ingen av de generella modellerna hittade på uppgifter ur underlaget. Stickprov stämde för 23 av 23 värden i Astras PM Geoteknik, och Opus 5.5 återgav 540 av 540 laboratorieceller rätt. Uppgifterna stämde. Det som saknades kom efter uppgifterna.

Två sätt att inte nå fram

GPT-6 Astra hittar inte på något, eftersom den inte tar ställning. Utkasten anger ingen släntlutning, ingen säkerhetsklass, inga riktvärden för vibrationer härledda ur standardens faktorer och inget flöde före exploatering, och de skriver "kan inte uteslutas" där en bedömning ska stå. Var och en av beställarens frågor besvaras med den utredning som skulle behövas för att besvara den. Det är en granskares checklista. Beställaren har beställt en konsults bedömning.

Claude Opus 5.5 tar ställning, och siffrorna håller. I riskanalysen för vibrationer kommer varje faktor ur standardens egna tabeller och alla 42 värden i beräkningskedjorna går att räkna om. Sedan saknas det som en granskande ingenjör letar efter härnäst. Riskanalysen har inget avsnitt om känslig utrustning, ingen bullertabell och inga riktvärden för luftstötvåg. PM Geoteknik har ingen jordlagerföljd per gata och ingen stabilitetsbedömning med siffror. Dagvattenutredningen har ingen uppehållstid. Den miljötekniska undersökningen har ingen förteckning över styrande dokument.

Tydligast syns det i den del av riskanalysen som bär ansvaret: riktvärdet för varje grannbyggnad och anläggning, härlett ur markförhållanden, byggnadsklass, material och avstånd enligt SS 4604866 och SS 02 52 11. Av de nio kontrollpunkterna i den delen träffade Astra ingen, Opus 5.5 sex och Yesper alla nio, med varje kedja redovisad och varje faktor källbelagd.

Utöver poängen ställdes varje utkast inför en ja- eller nej-fråga: håller den normativa grunden för en granskning med standarden i handen? Yesper klarade den för alla sex handlingstyper. De generella modellerna klarade den för fyra var.

En falsk källhänvisning är värre än en som saknas. I Opus 5.5:s PM Miljöteknik står åtta riktvärdesceller i en i övrigt felfri klassningstabell med fel värde eller med en handbokshänvisning som inte håller. Inget prov bytte klass. Men en granskare med handboken uppslagen kan inte avgöra vilka celler som går att lita på, och tabellen ser granskningsbar ut.

Mer resonerande stänger inte glappet

Den självklara invändningen är att de generella modellerna inte fick tänka tillräckligt. Vi prövade den på föregående Claude-generation, Opus 5, genom att köra modellen på var och en av de fem resonemangsnivåer som API:et erbjuder, med oförändrad instruktion och oförändrat underlag, för PM Geoteknik och riskanalysen för vibrationer. För PM Geoteknik steg körtiden för varje nivå, från drygt tre minuter till över tio. Kvaliteten följde inte med. Fyra av de fem nivåerna hamnade mellan 69 och 72 procent och den högsta nådde 78. För riskanalysen blev serien 69, 72, 69, 77 och 69.

I riskanalysen underkändes varje nivå i normgranskningen, av samma skäl: påhittade faktorvärden inuti i övrigt riktiga beräkningskedjor. Varje nivå rättade en eller två konstanter från nivån under och hittade på nya. Det är att dra på nytt ur samma minne. Det är inte djupare resonerande. På annat håll hänförde samma modell fyra riktvärden för återvinning av massor till Naturvårdsverkets handbok 2010:1. De står inte där.

Den nyare modellen gjorde det som resonemangsnivån inte kunde. Opus 5.5 på medelhög nivå fick samma utfall på PM Geoteknik som Opus 5 på högsta nivå, på halva tiden, och klarade normgranskningen av riskanalysen med standardens egna faktorer. Sedan stannade den vid samma gräns: 15 procentenheter efter Yesper på PM Geoteknik och 26 på riskanalysen.

Ett exempel ur dagvattenutredningen visar varför kontrollen måste ligga utanför modellen. Dimensionerande regnintensitet för ett 20-årsregn med 20 minuters varaktighet är 190 liter per sekund och hektar enligt Dahlströms formel, den som Svenskt Vattens P110 rekommenderar. Opus 5 skrev ut rätt formel, satte in återkomsttiden i år där formeln räknar i månader, fick 84,5 och räknade sedan felfritt vidare på den siffran. Fördröjningsmagasinet blev 63 procent för litet enligt den metod utkastet självt angav. Yesper stämmer av sådana konstanter mot ett kontrollvärde. De två nuvarande modellerna fick båda rätt.

Tre frågor att ställa till varje AI-skriven handling

Det avstånd som återstår handlar inte om modellens intelligens. Det handlar om arbetsgången för varje handlingstyp: vad handlingen ska innehålla, vilka värden den ska sätta och hur de härleds, och vilka källor som styr. Yesper arbetar efter en sådan arbetsgång för varje handlingstyp. Struktur och obligatoriskt innehåll kommer ur källor som går att hänvisa till, inte ur modellens minne: svensk standard, geoteknikbranschens tillämpningsdokument, Naturvårdsverkets vägledningar, Svenskt Vattens P110 med flera.

• Tar den ställning? Ett utkast som besvarar varje fråga med den utredning som behövs för att besvara den har lämnat ingenjörsarbetet tillbaka till er.
• Står härledningen i handlingen? Ett riktvärde utan sin faktorkedja går inte att kontrollera. Det gör inte heller ett riktvärde som anges "enligt handboken" ur minnet.
• Finns allt som handlingstypen kräver? En välskriven text döljer en saknad säkerhetsklass eller ett saknat kontrollprogram bättre än ett grovt utkast gör.

En fjärde fråga följer av de tre första: vad gör systemet när ett underlag saknas? Yesper sänker säkerheten i formuleringarna, förtecknar de kompletterande undersökningar som behövs och avslutar varje handling med en logg över sina antaganden. Där den levererade handlingen vilar på en programkörning, till exempel en säkerhetsfaktor för släntstabilitet, hittar Yesper inte på resultatet. Yesper specificerar beräkningen för ingenjörens egen körning, så som en undertecknande konsult skulle göra.

Vårt eget riktmärke, och vad det inte mäter

Vi har utformat testet och vi har bedömt det, med separata bedömningsagenter som inte hade tillgång till systemet som skrev utkasten. Ingen utomstående har granskat det ännu. Varje utkast från de generella modellerna är en enda körning, så variationen mellan körningar är inte mätt. Två av de sex handlingstyperna har hittills körts mot ett projekt var, de övriga fyra mot två projekt med motsatta förutsättningar. Och poängen mäter innehåll: formatering, ritningar och företagsmallar ligger utanför för alla tre system. Hela rapporten, med utfall per handlingstyp, lämnas ut på begäran.

Ett villkor gynnade de generella modellerna. De fick underlaget som färdig text. I ett verkligt uppdrag kommer det som A1-ritningar, sonderingsdiagram och omkring 200 sidor bilagor med handskrivna fältprotokoll. Yesper läser det materialet direkt, och i en körning från de råa bilagorna fick Yesper 30 av 30 kontrollpunkter. Rapporten har ingen kolumn för de generella modellerna i den körningen, eftersom materialet inte går att klistra in i en instruktion till modellen.

Ett oberoende riktmärke pekar åt samma håll. I AEC-Bench, 196 uppgifter från arkitektur, teknik och bygg som AI-bolaget Nomic publicerade i mars 2026, var det bästa resultatet 23,1 procent på granskning av entreprenörens tekniska underlag mot specifikationer och ritningar. Uppgifterna och metoden skiljer sig från våra. Mönstret är detsamma: en generell modell, en reglerad teknisk handling och ett resultat som inte når fram.