Skip to Content

Miért téved az AI, és hogyan tehető ellenőrizhetővé?

Vezetői AI-sorozat, 2. rész – a forrásmegjelölés ellenőrizhetővé teszi a választ, hibátlanná nem
2026. november 18. · Devertix

2025 júniusában jelent meg a Journal of Empirical Legal Studies folyóiratban a Stanford Egyetem kutatóinak tanulmánya, amely három, jogászoknak fejlesztett AI-kutatóeszközt mért le. A szállítók korábban azt hirdették, hogy a módszerük kiküszöböli vagy elkerüli a kitalált válaszokat, mert a modell ellenőrzött jogi adatbázisból dolgozik. A mérés mást mutatott. Két eszköz nagyjából minden hatodik kérdésre adott hamis vagy rossz forrással alátámasztott választ, a harmadik nagyjából minden harmadikra. A kutatók szerint ez kevesebb, mint egy általános célú nyelvi modellé (GPT-4), de messze van a nullától.

~1/6két vizsgált jogi AI-eszköznél ennyi válasz volt hamis vagy rossz forrásra épülő
~1/3ugyanez a harmadik vizsgált eszköznél
65%a három közül a legjobban teljesítő eszköz pontos válaszainak aránya
2020ekkor vezették be a forráshoz kötött válaszadás (RAG) elnevezést és módszert

A számok a cikkben hivatkozott nyilvános forrásokból származnak – nem Devertix-eredmények.

A tanulmány azért tanulságos egy vezetőnek, mert éppen azt a technikát vizsgálta, amelyet a legtöbb szállító ma a hallucináció ellenszereként kínál. A technika működik, csak kevesebbet tud, mint amit a hirdetések ígérnek. Ebben a részben azt nézzük meg, mit ad valójában a forráshoz kötés, hol csúszhat el, és mit kérdezzen a szállítótól, mielőtt aláír.

Miért talál ki dolgokat a modell

Az 1. részben láttuk, hogy a nyelvi modell a legvalószínűbb folytatást írja meg, és ha nem kap forrást, emlékezetből fogalmaz. Az amerikai szabványügyi intézet (National Institute of Standards and Technology, NIST) 2024 júliusában kiadott, generatív AI-ra szabott kockázatkezelési útmutatója ezt konfabulációnak (confabulation) nevezi: magabiztosan előadott, de hibás vagy hamis tartalom, amely félrevezetheti a felhasználót. A köznyelv hallucinációnak hívja.

A jelenségnek egy vezető számára egyetlen gyakorlati következménye van. A választ ellenőrizni kell, és az ellenőrzésnek olcsónak kell lennie, különben senki nem végzi el.

Forráshoz kötés, vezetői nyelven

A legelterjedtebb ellenszer a keresővel kiegészített szövegalkotás (retrieval-augmented generation, RAG), amelyet egy 2020-as kutatási cikk vezetett be és nevezett el. Úgy működik, mint egy nyitott könyves vizsga. Amikor kérdés érkezik, a rendszer előbb keres a cég jóváhagyott dokumentumaiban: szabályzatokban, szerződésekben, termékleírásokban. A talált részleteket odaadja a modellnek, és azt kéri tőle, hogy csak ezekből válaszoljon, a forrás megjelölésével.

A modell így nem emlékezetből ír, a válasz mellett pedig ott van a hely, ahol utána lehet nézni. Ugyanez a logika érvényes, amikor az AI szerződésből vagy számlából gyűjt ki adatot (dokumentumfeldolgozás): ott is az teszi gyorssá az ellenőrzést, hogy a kinyert adat mellett látszik, honnan származik.

Hol csúszhat el mégis

A legjobban teljesítő eszköz is csak a kérdések 65%-ára adott pontos választ, a többi válasza hiányos vagy hibás volt. A stanfordi kutatók kétféle hibát számoltak hallucinációnak. Az egyik a helytelen válasz. A másik alattomosabb: a válasz valódi forrásra hivatkozik, de a forrás nem azt mondja, vagy nem arra az esetre vonatkozik. A hivatkozás tehát létezik, rá lehet kattintani, és mégsem támasztja alá az állítást.

Céges környezetben ugyanez történhet, ha a kereső a tavalyi árlistát találja meg az idei helyett, ha a tárban két egymásnak ellentmondó szabályzat van, vagy ha a modell egy jó bekezdésből rossz következtetést von le. A forrásmegjelölés tehát ellenőrizhetővé teszi a választ. Hibátlanná nem teszi.

FORRÁSHOZ KÖTÖTT VÁLASZ – A NÉGY LÉPÉS ÉS A HIBAPONTOK
1. KÉRDÉS
Mennyi a felmondási idő a keretszerződésben?
Hibapont: pontatlan kérdés, több szerződés is szóba jöhet.
2. KERESÉS
Keresés a jóváhagyott dokumentumtárban
Hibapont: elavult vagy egymásnak ellentmondó dokumentum kerül elő.
3. VÁLASZ
A modell csak a talált részletekből fogalmaz
Hibapont: jó bekezdésből rossz következtetés.
4. HIVATKOZÁS
A válasz mellett a pontos dokumentum és bekezdés
Itt veszi észre az ember, ha a forrás nem azt mondja, amit a válasz.
A forráshoz kötött válaszadás négy lépése. Mindegyik ponton csúszhat hiba; a negyedik lépés teszi lehetővé, hogy egy ember gyorsan észrevegye. Szerkesztőségi ábra.

Álláspontunk, és ami ellene szól

Véleményünk szerint ténykérdésben (ár, határidő, szerződési feltétel, belső szabály) céges AI-eszközt csak forráshoz kötve, bekezdésre pontos hivatkozással érdemes használni. A bevezetés feltétele pedig egy mért hibaarány legyen a cég saját dokumentumain.

Ezzel szemben is van érv. A dokumentumtár rendbetétele munka és pénz, és egy kisebb cégnél ez a haszonhoz képest elsőre aránytalannak tűnhet. Komolyabb ellenvetés, hogy a hivatkozás látványa hamis biztonságérzetet adhat, és a felhasználó meg sem nyitja a forrást. Erre szabállyal lehet felelni: ahol a válasz ügyfélhez megy vagy pénzügyi döntést támaszt alá, ott a forrás megnyitása kötelező lépés.

Mit kérdezzen a szállítótól

A stanfordi kutatók szerint a tanulmány idején egyetlen jogi AI-cég sem tett közzé mért adatot az eszközei kockázatairól és hasznáról, például arról, mennyit tévednek. A NIST útmutatója azt javasolja, hogy a válaszokban szereplő forrásokat és hivatkozásokat a bevezetés előtt és a működés közben is ellenőrizzék. Ebből öt kérdés következik:

  • Milyen dokumentumokból válaszol a rendszer, és ki dönti el, mi kerül be és mi kerül ki?
  • A válasz mellett a pontos dokumentumot és bekezdést mutatja, vagy csak a fájl nevét?
  • Mit tesz, ha nem talál választ: kimondja, hogy nem tudja, vagy emlékezetből egészít ki?
  • Mekkora a hibaarány a mi dokumentumainkon, a mi tesztkérdéseinkkel, és beleszámolják-e a rossz forrásra hivatkozó választ?
  • Utólag visszakereshető-e, ki mit kérdezett, mit kapott, és melyik forrásból?
Devertix

Mielőtt szállítót választ, állítson össze 30–50 kérdést a saját dokumentumaiból, amelyekre ismeri a helyes választ és annak helyét is. Ezen mérje a jelölteket, külön számolva a téves és a rossz forrásra hivatkozó válaszokat. Ha a cég saját dokumentumaira épülő rendszerben gondolkodik, a vállalati AI-kereső és tudásbázis szolgáltatásunk ezzel a feladattal foglalkozik.

Kérdések a következő vezetői értekezletre

  1. Milyen ténykérdésekre (ár, határidő, szabály) kérnek ma a munkatársaink választ AI-eszköztől?
  2. Van-e egy helyen tartott, naprakész dokumentumtárunk, amelyhez AI-t köthetnénk, és ki felel érte?
  3. Ki állítja össze azt a tesztkérdés-sort, amelyen a szállítókat mérjük?
  4. Mekkora hibaarányt fogadunk el, és melyik folyamatban kötelező a forrás megnyitása?

Idáig jutottunk: a forráshoz kötés ellenőrizhetővé teszi az AI válaszát, a hibaarányt pedig a szállítónak a mi adatainkon kell megmutatnia. Holnap, a 3. részben a csevegőrobot, az asszisztens és az ügynök közti különbséget vesszük sorra, és azt, hogy melyik szint milyen kockázattal jár.

Források

Vezetői AI-sorozat

Ellenőrizhető, amit az AI-eszköze állít?

Egy rövid egyeztetésen megnézzük, melyik dokumentumtárára építhető forráshoz kötött AI, és hogyan mérje a szállítók válaszait.

Ingyenes egyeztetés

Új cikkek és webináridőpontok e-mailben

Értesítjük, amikor új cikk jelenik meg, vagy új webinárt hirdetünk. Bármikor leiratkozhat.

Köszönjük, feliratkozott a hírlevélre.

A feliratkozással megismertem az adatkezelési tájékoztatót.

AWS és Azure között magánvonal: mikor éri meg a fix díj?
November 17. óta általánosan elérhető az AWS Interconnect – multicloud Azure-kapcsolata, Európában Frankfurt és Germany West Central között. Az AWS-oldalon óradíj, gigabájtalapú díj nélkül