Az AI bizonyossági szintek segítenek különválasztani, amit a ChatGPT ismert tényként kezel, amit ésszerűen kikövetkeztet, és amit csak feltételez. Így gyorsabban láthatod, mely állításokra támaszkodhatsz, és hol kell még ellenőrizned.
Kapsz a ChatGPT-től egy választ egy fontos üzleti vagy szakmai kérdésre.
A szöveg magabiztos. Egyik mondat követi a másikat. Semmi nem jelzi külön, hogy az első állítás egy ellenőrizhető tény, a következő már következtetés, a harmadik pedig valójában csak egy lehetséges magyarázat.
Mégis ugyanúgy hangzanak.
És éppen ez a probléma.
A ChatGPT hangneméből önmagában nem tudod megállapítani, hogy amit olvasol, az tény, következtetés vagy feltételezés.
A magabiztos hangnem nem bizonyossági szint
Az OpenAI saját tájékoztatója is figyelmeztet arra, hogy a ChatGPT helytelen vagy félrevezető választ adhat, és közben magabiztosnak tűnhet. Fontos információknál ezért külső, megbízható forrásból történő ellenőrzést javasol.
Vagyis abból, ahogyan a modell fogalmaz, nem következik automatikusan, hogy mennyire biztos abban, amit állít.
Ez azért különösen veszélyes, mert egyetlen válaszban többféle állítás keveredhet.
Például:
„A konkurensek többsége 50–70 ezer forintos ársávban dolgozik.”
„Ez arra utal, hogy a piac elfogadja a magasabb árat.”
„Valószínűleg a te ügyfeleid is hajlandók lennének többet fizetni.”
Az első lehet ellenőrizhető adat.
A második már értelmezés.
A harmadik pedig feltételezés, amíg nincs hozzá saját ügyféladatod.
Ha azonban mindhárom ugyanolyan hangnemben jelenik meg, könnyű egyformán biztosnak kezelni őket.
A megoldás: tedd láthatóvá az állítás státuszát
Nem az a cél, hogy minden egyes AI-mondatot azonnal külön fact-checkelj.
Először azt érdemes látnod, hol van egyáltalán szükség ellenőrzésre.
Erre használható egy egyszerű négyes felosztás:
[ISMERT TÉNY]
Olyan állítás, amely mögött ellenőrizhető adat, dokumentum vagy megbízható forrás áll.
Itt is érdemes megkérdezni: mi alapján tekinted ezt ténynek?
[ÉSSZERŰ KÖVETKEZTETÉS]
A rendelkezésre álló tényekből logikusan levezethető értelmezés, de már nem maga a tény.
Például több adat utalhat arra, hogy csökkent a kereslet – ettől még ez következtetés marad.
[FELTÉTELEZÉS]
Lehetséges magyarázat vagy várakozás, amelyhez jelenleg nincs elegendő bizonyíték.
Nem feltétlenül rossz.
Csak fontos, hogy ne keverd össze azzal, amit már tudsz.
[NEM TUDHATÓ]
A rendelkezésre álló információból nem állapítható meg megbízhatóan.
Ez az egyik leghasznosabb címke.
Nem minden kérdésre kell az AI-nak választ gyártania.
Ne százalékot kérj, hanem ellenőrzési pontot
Kézenfekvő megoldásnak tűnhet ezt kérdezni:
„Hány százalékban vagy biztos ebben?”
Csakhogy az ilyen számokat nem érdemes objektív megbízhatósági mérőként kezelni.
Kutatások szerint a nyelvi modellek saját, szövegben kifejezett bizonyossága rosszul kalibrált lehet, és több vizsgált modell hajlamos volt túlzott magabiztosságra. Egy újabb vizsgálat pedig azt találta, hogy a verbálisan kifejezett bizonytalanság csak mérsékelten követi a modell mögöttes bizonytalanságát.
Ezért a „87%-ban biztos vagyok” típusú válasznál hasznosabb ezt kérni:
„Mire alapozod ezt az állítást, és milyen információ hiányzik ahhoz, hogy biztosabban lehessen eldönteni?”
Így nem egy látszólag precíz számot kapsz.
Hanem ellenőrizhető pontokat.
A címke sem bizonyíték
Fontos: attól, hogy a ChatGPT valamit [ISMERT TÉNY] címkével lát el, még nem vált automatikusan ténnyé.
A jelenlegi modellek bizonytalanságot kifejező nyelvezete nem mindig megbízható. Kutatások szerint annak eldöntése is kihívás számukra, hogy milyen erősségű bizonyossági kifejezést használjanak egy bizonytalan valós helyzetben.
A címkézés ezért nem hitelesítés.
Navigációs segítség.
Megmutatja, hol érdemes megállnod.
Ha egy fontos döntés főként [FELTÉTELEZÉS]-ekre épül, az figyelmeztetés.
Ha a kritikus állítások [ISMERT TÉNY]-ként szerepelnek, akkor pedig már tudod, mely forrásokat érdemes ellenőrizni.
Mire jó ez a gyakorlatban?
Vállalkozóként könnyebben észreveszed, ha egy piacról szóló „elemzés” jelentős része valójában feltételezés.
Vezetőként különválaszthatod a rendelkezésre álló adatot attól, amit az AI ezekből kikövetkeztet.
Szakemberként gyorsabban megtalálod azokat a pontokat, amelyekhez eredeti forrás kell.
A tudatos ChatGPT-felhasználó pedig nem azt próbálja eldönteni egy teljes válaszról, hogy „igaz vagy hamis?”
Hanem látja, mely részeit hogyan érdemes kezelni.
Hogyan tovább?
A következő fontos kérdésed végére tedd ezt:
„A válaszod lényeges állításait külön jelöld [ISMERT TÉNY], [ÉSSZERŰ KÖVETKEZTETÉS], [FELTÉTELEZÉS] vagy [NEM TUDHATÓ] címkével. A tényeknél jelezd az alapjukat, a következtetéseknél a levezetést, a feltételezéseknél pedig azt, milyen információ kellene az ellenőrzésükhöz.”
Ha pedig nem szeretnéd ezt minden beszélgetésben külön kérni, az AI bizonyossági szintek kezelését rendszerpromptban is beépítheted az alapműködésbe.
Ehhez találsz gyakorlati megoldást a www.scalera.hu/rendszerprompt oldalon.
Röviden: mit érdemes megjegyezned?
- A magabiztos hangnem nem bizonyítja a válasz helyességét.
- Különítsd el az ismert tényt, ésszerű következtetést, feltételezést és a nem tudható állítást.
- Ne kezeld az AI saját százalékos bizonyosságát objektív mérőszámként.
- A címkék nem bizonyítékok, hanem ellenőrzési térképek.
- A bizonytalanság láthatóvá tétele segít eldönteni, hol kell még ellenőrizned.
Gyakori kérdések
Megbízható az AI saját bizonyossági szintje?
Nem érdemes objektív mérőszámként kezelni. Kutatások szerint az LLM-ek kifejezett bizonyossága rosszul kalibrált lehet.
Mit jelent az [ÉSSZERŰ KÖVETKEZTETÉS]?
Olyan állítást, amely ismert információkból logikusan következhet, de maga már értelmezés, nem közvetlenül ellenőrzött tény.
Miért hasznos a [NEM TUDHATÓ] kategória?
Mert lehetőséget ad az AI-nak arra, hogy jelezze: a rendelkezésre álló információból nem indokolt határozott következtetést levonni.
Ha az AI [ISMERT TÉNY]-nek jelöl valamit, akkor elhihetem?
Nem automatikusan. Fontos kérdésnél nézd meg, milyen forrásra vagy adatra épül az állítás, és szükség esetén ellenőrizd azt függetlenül.