2025 júniusában jelent meg a Journal of Empirical Legal Studies folyóiratban a Stanford Egyetem kutatóinak tanulmánya, amely három, jogászoknak fejlesztett AI-kutatóeszközt mért le. A szállítók korábban azt hirdették, hogy a módszerük kiküszöböli vagy elkerüli a kitalált válaszokat, mert a modell ellenőrzött jogi adatbázisból dolgozik. A mérés mást mutatott. Két eszköz nagyjából minden hatodik kérdésre adott hamis vagy rossz forrással alátámasztott választ, a harmadik nagyjából minden harmadikra. A kutatók szerint ez kevesebb, mint egy általános célú nyelvi modellé (GPT-4), de messze van a nullától.
A számok a cikkben hivatkozott nyilvános forrásokból származnak – nem Devertix-eredmények.
A tanulmány azért tanulságos egy vezetőnek, mert éppen azt a technikát vizsgálta, amelyet a legtöbb szállító ma a hallucináció ellenszereként kínál. A technika működik, csak kevesebbet tud, mint amit a hirdetések ígérnek. Ebben a részben azt nézzük meg, mit ad valójában a forráshoz kötés, hol csúszhat el, és mit kérdezzen a szállítótól, mielőtt aláír.
Miért talál ki dolgokat a modell
Az 1. részben láttuk, hogy a nyelvi modell a legvalószínűbb folytatást írja meg, és ha nem kap forrást, emlékezetből fogalmaz. Az amerikai szabványügyi intézet (National Institute of Standards and Technology, NIST) 2024 júliusában kiadott, generatív AI-ra szabott kockázatkezelési útmutatója ezt konfabulációnak (confabulation) nevezi: magabiztosan előadott, de hibás vagy hamis tartalom, amely félrevezetheti a felhasználót. A köznyelv hallucinációnak hívja.
A jelenségnek egy vezető számára egyetlen gyakorlati következménye van. A választ ellenőrizni kell, és az ellenőrzésnek olcsónak kell lennie, különben senki nem végzi el.
Forráshoz kötés, vezetői nyelven
A legelterjedtebb ellenszer a keresővel kiegészített szövegalkotás (retrieval-augmented generation, RAG), amelyet egy 2020-as kutatási cikk vezetett be és nevezett el. Úgy működik, mint egy nyitott könyves vizsga. Amikor kérdés érkezik, a rendszer előbb keres a cég jóváhagyott dokumentumaiban: szabályzatokban, szerződésekben, termékleírásokban. A talált részleteket odaadja a modellnek, és azt kéri tőle, hogy csak ezekből válaszoljon, a forrás megjelölésével.
A modell így nem emlékezetből ír, a válasz mellett pedig ott van a hely, ahol utána lehet nézni. Ugyanez a logika érvényes, amikor az AI szerződésből vagy számlából gyűjt ki adatot (dokumentumfeldolgozás): ott is az teszi gyorssá az ellenőrzést, hogy a kinyert adat mellett látszik, honnan származik.
Hol csúszhat el mégis
A legjobban teljesítő eszköz is csak a kérdések 65%-ára adott pontos választ, a többi válasza hiányos vagy hibás volt. A stanfordi kutatók kétféle hibát számoltak hallucinációnak. Az egyik a helytelen válasz. A másik alattomosabb: a válasz valódi forrásra hivatkozik, de a forrás nem azt mondja, vagy nem arra az esetre vonatkozik. A hivatkozás tehát létezik, rá lehet kattintani, és mégsem támasztja alá az állítást.
Céges környezetben ugyanez történhet, ha a kereső a tavalyi árlistát találja meg az idei helyett, ha a tárban két egymásnak ellentmondó szabályzat van, vagy ha a modell egy jó bekezdésből rossz következtetést von le. A forrásmegjelölés tehát ellenőrizhetővé teszi a választ. Hibátlanná nem teszi.
Álláspontunk, és ami ellene szól
Véleményünk szerint ténykérdésben (ár, határidő, szerződési feltétel, belső szabály) céges AI-eszközt csak forráshoz kötve, bekezdésre pontos hivatkozással érdemes használni. A bevezetés feltétele pedig egy mért hibaarány legyen a cég saját dokumentumain.
Ezzel szemben is van érv. A dokumentumtár rendbetétele munka és pénz, és egy kisebb cégnél ez a haszonhoz képest elsőre aránytalannak tűnhet. Komolyabb ellenvetés, hogy a hivatkozás látványa hamis biztonságérzetet adhat, és a felhasználó meg sem nyitja a forrást. Erre szabállyal lehet felelni: ahol a válasz ügyfélhez megy vagy pénzügyi döntést támaszt alá, ott a forrás megnyitása kötelező lépés.
Mit kérdezzen a szállítótól
A stanfordi kutatók szerint a tanulmány idején egyetlen jogi AI-cég sem tett közzé mért adatot az eszközei kockázatairól és hasznáról, például arról, mennyit tévednek. A NIST útmutatója azt javasolja, hogy a válaszokban szereplő forrásokat és hivatkozásokat a bevezetés előtt és a működés közben is ellenőrizzék. Ebből öt kérdés következik:
- Milyen dokumentumokból válaszol a rendszer, és ki dönti el, mi kerül be és mi kerül ki?
- A válasz mellett a pontos dokumentumot és bekezdést mutatja, vagy csak a fájl nevét?
- Mit tesz, ha nem talál választ: kimondja, hogy nem tudja, vagy emlékezetből egészít ki?
- Mekkora a hibaarány a mi dokumentumainkon, a mi tesztkérdéseinkkel, és beleszámolják-e a rossz forrásra hivatkozó választ?
- Utólag visszakereshető-e, ki mit kérdezett, mit kapott, és melyik forrásból?
Mielőtt szállítót választ, állítson össze 30–50 kérdést a saját dokumentumaiból, amelyekre ismeri a helyes választ és annak helyét is. Ezen mérje a jelölteket, külön számolva a téves és a rossz forrásra hivatkozó válaszokat. Ha a cég saját dokumentumaira épülő rendszerben gondolkodik, a vállalati AI-kereső és tudásbázis szolgáltatásunk ezzel a feladattal foglalkozik.
Kérdések a következő vezetői értekezletre
- Milyen ténykérdésekre (ár, határidő, szabály) kérnek ma a munkatársaink választ AI-eszköztől?
- Van-e egy helyen tartott, naprakész dokumentumtárunk, amelyhez AI-t köthetnénk, és ki felel érte?
- Ki állítja össze azt a tesztkérdés-sort, amelyen a szállítókat mérjük?
- Mekkora hibaarányt fogadunk el, és melyik folyamatban kötelező a forrás megnyitása?
Idáig jutottunk: a forráshoz kötés ellenőrizhetővé teszi az AI válaszát, a hibaarányt pedig a szállítónak a mi adatainkon kell megmutatnia. Holnap, a 3. részben a csevegőrobot, az asszisztens és az ügynök közti különbséget vesszük sorra, és azt, hogy melyik szint milyen kockázattal jár.
Források
- Magesh és mtsai (Stanford): Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies 22 (2025) 216–242
- NIST AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (2024. július)
- Lewis és mtsai: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv, 2020. május 22.)
Ellenőrizhető, amit az AI-eszköze állít?
Egy rövid egyeztetésen megnézzük, melyik dokumentumtárára építhető forráshoz kötött AI, és hogyan mérje a szállítók válaszait.