En AI-assistent kan skriva giltig SQL och ändå besvara fel affärsfråga. Innan du ger den tillgång till fler tabeller behöver ni bestämma vad nyckeltalen betyder och hur någon kan kontrollera svaret.
Det här är en uppdaterad ersättning för vår tidigare artikel om förbättringen från 21 till 95 procent inom AI-analys. Här skiljer jag de publicerade resultaten från ett praktiskt test som ett mindre företag kan genomföra.
Vad siffrorna 21 och 95 procent avser
I en artikel från den 3 juni 2026 skriver Anthropic att Claude besvarade högst 21 procent av analysfrågorna korrekt i företagets utvärderingar utan skills. Med skills rapporterar de sammanlagda resultat som konsekvent överstiger 95 procent. Lösningen omfattar också datastyrning, referensmaterial och validering.
Siffrorna är Anthropics egna interna resultat. De är inget riktvärde för ditt företag och inget kundresultat från VasthavM. Jämförelsen visar inte att en installation av ett semantiskt lager ensam ger samma förbättring.
Välj en fråga där svaret går att kontrollera
Ta en återkommande fråga från ett riktigt möte. Ett exempel är hur många kunder som lade sin andra betalda beställning förra månaden. Det är ett illustrativt test, inte en beskrivning av någon kunds data.
Skriv ned hur återbetalningar räknas, hur testkonton utesluts, vilket datum som styr rapportperioden och hur kundposter kopplas ihop. Låt den ansvariga personen godkänna definitionen innan en agent får räkna fram resultatet.
- Ange nyckeltalet och vem som äger definitionen.
- Välj godkänd datakälla och beskriv vad varje rad representerar.
- Dokumentera filter, rapportperiod och kända undantag.
- Spara ett kontrollerat svar och beräkningen bakom det.
Begränsa vägen till svaret
En skrivskyddad databasvy eller ett avgränsat frågeverktyg kan räcka för ett första test. Assistenten ska inte behöva välja bland alla historiska tabeller för att besvara den utvalda frågan. Förvara tillåtna beräkningar och definitioner tillsammans med integrationen.
Svaret behöver visa rapportperiod, källa, relevanta filter och eventuellt saknat underlag. Om frågan inte går att besvara med godkända data ska assistenten beskriva vad som saknas. Den ska inte byta till ett annat nyckeltal utan att säga till.
Testa även när underlaget blir fel
Ta fram några kontrollerade svar före testet. Lägg in dubbla kundposter, en beställning som registreras sent och en fråga utanför verktygets behörighet. Dokumentera upplägget så att samma kontroll går att köra efter en ändring.
Granska både resultatet och beräkningen. En siffra kan råka bli rätt trots fel filter och sedan bli fel när underlaget ändras. Skilj räknefel från fel definition, saknade data och förklaringar som underlaget inte stöder.
Utse en ansvarig även efter demonstrationen
Bestäm vem som uppdaterar definitionerna när verksamheten förändras. Sätt ett datum för utvärdering och kom överens om när automatiska rapporter ska stoppas, exempelvis när en källa saknas eller jämförelsen mot ett kontrollerat svar misslyckas.
Börja med en fråga och en person som kan granska svaret. Ta med dagens rapport, datakällan bakom den och en beskrivning av vad ni är oense om. Då kan vi avgränsa arbetet utan att lova en viss procents träffsäkerhet.
