Attól, hogy a ChatGPT részletesen, logikusan és magabiztosan indokol meg valamit, a válasz még nem lesz igazabb. Az AI érvelés ellenőrzése ott kezdődik, hogy különválasztod az állítást, a bizonyítékot és azt, hogy a kettő valóban összetartozik-e.
Felteszel egy kérdést a ChatGPT-nek.
A válasz nemcsak egy mondatból áll. Szépen felépíti az érvelést. Elmagyarázza az okokat. Példákat hoz. Lépésről lépésre végigvezet azon, hogyan jutott a következtetésre.
Olvasás közben könnyű arra gondolni:
„Így már értem. Ez logikus.”
És szinte észrevétlenül megtesszük a következő lépést is:
„Ha ennyire logikus, valószínűleg igaz.”
Pedig a kettő nem ugyanaz.
Egy magyarázat lehet világos, koherens és meggyőző úgy is, hogy a végkövetkeztetés téves.
A magyarázat könnyen bizonyítéknak tűnik
A mindennapi életben megszoktuk, hogy ha valaki nemcsak állít valamit, hanem meg is tudja indokolni, nagyobb súlyt adunk a szavainak.
Ez általában nem rossz heurisztika.
Csakhogy a nagy nyelvi modellek különösen jók abban, hogy folyékony, strukturált, hihető magyarázatokat generáljanak.
Egy üzleti döntésnél elmagyarázhatják, miért működhet egy stratégia. Egy szakmai kérdésnél részletes ok-okozati láncot adhatnak. Egy hétköznapi problémánál pedig olyan választ fogalmazhatnak meg, amely szinte tankönyvszerűnek hat.
Ettől azonban még nem tudjuk, hogy az érvelés kiindulópontjai valóban igazak-e.
Ezért az AI érvelés ellenőrzésének egyik legfontosabb alapszabálya:
a magyarázat nem bizonyíték.
Mit mutatott a kontrollált kísérlet?
Egy Microsoft Research és Princeton kutatói által végzett, CHI 2025-ön publikált vizsgálat pontosan ezt a problémát elemezte.
A kutatók egy előre regisztrált, 308 résztvevős kontrollált kísérletben azt vizsgálták, hogyan befolyásolják a felhasználók AI-ra való ráhagyatkozását a válaszhoz adott magyarázatok, források és az érvelésben megjelenő ellentmondások.
Az eredmény különösen érdekes:
a magyarázat jelenléte növelte a ráhagyatkozást akkor is, amikor az AI válasza helyes volt – és akkor is, amikor hibás.
Vagyis a magyarázat nemcsak a jó válaszokat tette meggyőzőbbé.
A rosszakat is.
Ez fontos különbség.
Ha egy részletes indoklás automatikusan növeli a bizalmunkat, akkor könnyen éppen az a tulajdonság teheti veszélyesebbé a hibás választ, amelyet elsőre a megbízhatóság jelének érzünk.
Attól, hogy meg tudja indokolni, még nem bizonyította
Tegyük fel, hogy azt kérdezed:
„Miért esett vissza az értékesítésünk?”
Az AI ad egy részletes elemzést:
csökkent a kereslet, megváltozott a célcsoport viselkedése, romlott az ajánlat versenyképessége, ezért az érdeklődők kevésbé érzik sürgetőnek a vásárlást.
Ez teljesen életszerű magyarázat.
De honnan tudjuk, hogy tényleg ez történt?
Lehet, hogy a kereslet egyáltalán nem csökkent.
Lehet, hogy az ajánlat továbbra is versenyképes.
Lehet, hogy egyszerűen megváltozott a weboldal forgalmának összetétele.
A koherens történet még nem igazolja a történet alapjául szolgáló állításokat.
Ezért a „Meg tudod indokolni?” kérdés sokszor nem elég.
Érdemes továbbmenni:
„Mivel tudod bizonyítani?”
ÁLLÍTÁS → BIZONYÍTÉK → ELLENŐRZÉS
Egy egyszerű háromlépcsős keret sokat segíthet abban, hogy ne keverd össze a jól hangzó érvelést az igazolt állítással.
1. ÁLLÍTÁS – pontosan mit mond az AI?
Először hántsd le a részletes magyarázatot.
Kérdezd meg:
„Mi a legfontosabb állításod vagy következtetésed egy mondatban?”
Ezzel világossá válik, mit kell valójában értékelned.
Egy hosszú válaszban könnyen elveszünk a részletek között, miközben a fő állítás akár egyetlen mondatban összefoglalható.
2. BIZONYÍTÉK – mire épül az állítás?
Ezután kérdezd meg:
„Milyen ellenőrizhető tények, adatok vagy források támasztják ezt alá?”
Itt történik meg a lényegi váltás.
Már nem újabb magyarázatot kérsz ugyanahhoz a következtetéshez, hanem azt vizsgálod, milyen külső alapja van.
A kutatási eredmények szerint ennek valóban lehet jelentősége: a Microsoft–Princeton kísérletben a források jelenléte mellett a résztvevők kevésbé hagyatkoztak a hibás AI-válaszokra.
3. ELLENŐRZÉS – a bizonyíték valóban ezt támasztja alá?
Itt jön az a lépés, amelyet könnyű kihagyni.
Az AI adott egy forrást.
De tényleg azt állítja a forrás, amit az AI mond róla?
Egy kutatás létezhet úgy is, hogy más populációt vizsgált. Egy statisztika lehet pontos, de más időszakra vonatkozik. Egy cikk kapcsolódhat a témához anélkül, hogy valóban bizonyítaná a konkrét következtetést.
Ezért:
forrás ≠ automatikusan bizonyíték.
Az utolsó lépés mindig az, hogy ellenőrzöd a kapcsolatot az állítás és a hivatkozott bizonyíték között.
Még maga a magyarázat sem feltétlenül megbízható
Van egy ennél mélyebb probléma is.
Amikor az AI elmagyarázza, hogy „miért jutott erre a válaszra”, könnyű úgy értelmezni ezt, mintha közvetlen betekintést kapnánk a rendszer valódi döntési folyamatába.
Ez azonban nem feltétlenül igaz.
Egy ICLR 2025-ön publikált kutatás arra jutott, hogy a nyelvi modellek által generált magyarázatok hihetőek lehetnek anélkül, hogy hűen tükröznék, mi befolyásolta ténylegesen a modell válaszát. A kutatók többek között orvosi kérdés-válasz feladatoknál találtak olyan eseteket, amelyekben a modell félrevezetően állította, mely bizonyítékok hatottak a döntésére.
Vagyis két külön kérdésünk van:
Helyes a válasz?
És:
Helyes a magyarázat arról, hogy miért ezt válaszolta?
A kettőt nem érdemes automatikusan összekeverni.
„Akkor inkább ne is kérjek magyarázatot?”
Dehogynem.
A magyarázat nagyon értékes.
Segíthet megérteni az összefüggéseket. Felszínre hozhat rejtett feltételezéseket. Megmutathatja, hol érdemes tovább kérdezni.
A probléma csak akkor kezdődik, amikor a magyarázat létezését a helyesség bizonyítékának tekintjük.
Ezért ne válaszd a két véglet egyikét sem.
Ne fogadj el valamit csak azért, mert szépen meg van indokolva.
De ne is dobd ki a magyarázatot.
Használd térképként ahhoz, hogy megtaláld, mit kell ellenőrizned.
Hogyan tovább?
A következő fontos ChatGPT-válasznál ne csak ezt kérdezd:
„Miért?”
Próbáld inkább ezt:
„Válaszd külön a válaszod fő állítását az indoklástól. Nevezd meg, milyen ellenőrizhető bizonyítékok támasztják alá az állítást, adj hozzájuk megbízható forrásokat, majd jelezd azt is, melyik ponton a leggyengébb a bizonyíték és mi cáfolná a következtetésedet.”
Ezzel a beszélgetés fókusza elmozdul:
magyarázatról → bizonyítékra → ellenőrzésre.
Ha pedig azt szeretnéd, hogy a ChatGPT alapból különválassza a tényeket, feltételezéseket és következtetéseket, jelezze a bizonytalanságokat és segítsen az ellenőrzésben, ezeket az elveket rendszerpromptban is meghatározhatod.
Ehhez találsz gyakorlati megoldást a www.scalera.hu/rendszerprompt oldalon.
Röviden: mit érdemes megjegyezned?
- A részletes magyarázat nem bizonyítja, hogy az AI válasza helyes.
- Kontrollált kutatásban a magyarázatok növelték a ráhagyatkozást a helyes és a hibás AI-válaszokra egyaránt.
- A koherens érvelést és a külső bizonyítékot külön kell kezelni.
- Használd az ÁLLÍTÁS → BIZONYÍTÉK → ELLENŐRZÉS keretet.
- Egy forrás létezése sem elég: azt is ellenőrizni kell, hogy valóban alátámasztja-e az adott állítást.
- A jó magyarázat segít megérteni, mit kell ellenőrizned – de nem helyettesíti magát az ellenőrzést.
Gyakori kérdések
Miért lehet meggyőző egy hibás AI-magyarázat?
Mert a nyelvi modellek képesek folyékony, koherens és részletes szöveget létrehozni egy következtetés köré. A nyelvi minőség azonban nem garantálja az állítás tényszerű helyességét.
Mit kérdezzek a „Miért?” helyett?
Például: „Milyen ellenőrizhető tények támasztják alá ezt az állítást?” vagy „Milyen bizonyíték alapján jutottál erre a következtetésre?”
Megbízhatok az AI által megadott forrásokban?
Ellenőrzés nélkül nem érdemes. A forrásnak nemcsak léteznie kell, hanem ténylegesen alá is kell támasztania azt az állítást, amelyhez az AI kapcsolta.
Haszontalanok akkor az AI magyarázatai?
Nem. Kifejezetten hasznosak lehetnek az érvelés megértéséhez és az ellenőrizendő pontok azonosításához. A probléma akkor kezdődik, ha a magyarázatot önmagában bizonyítékként kezeljük.
Mi az AI érvelés ellenőrzésének legegyszerűbb módszere?
Válaszd külön a három lépést: mit állít az AI, milyen bizonyítékot ad hozzá, és a bizonyíték ténylegesen igazolja-e az állítást.