Stanford (és más kutatások): nem annyira megbízhatóak az AI-detektorok

Egy Stanford-tudósok által készített 2023-as tanulmány szerint az AI-detektorok nem különösebben megbízhatóak. Ami még rosszabb, különösen megbízhatatlanok, ha a valódi szerző (egy ember) nem anyanyelvi angol. A kutatásra az egyik Mandiner Reakció adásban hívta fel a figyelmet Kohán Mátyás kollégám.

A kutatás a mesterséges intelligencia használatát fizikailag kizáró zárthelyi dolgozatokon tesztelte a mesterséges intelligencia használatával írt szövegek kimutatására hivatott AI-detekrotokat, melyeket mostanában Rácz András is szívesen használ, például azt állítván, hogy a Tisza kiszivárgott megszorítócsomagját AI-val írták.

Míg a detektorok „szinte tökéletesek” voltak az Egyesült Államokban született nyolcadikosok által írt esszék értékelésében, a nem anyanyelvi angol diákok által írt TOEFL esszék több mint felét (61,22%-át) mesterséges intelligencia által generáltnak minősítették (a TOEFL a Test of English as a Foreign Language rövidítése).

A helyzet még rosszabb. A tanulmány szerint mind a hét AI-detektor egyhangúlag a mesterséges intelligencia által generáltnak minősített a 91 TOEFL diákesszéből 18-at (19%), és a 91 TOEFL esszéből 89-et (97%) legalább az egyik detektor megjelölt.

Na most, ha ebben nem jók az AI-detektorok, akkor az egy általánosabb problémát is jelent.

És vannak is ilyen kutatások. Ahogy egy másik cikk fogalmaz:

"„Működnek a mesterséges intelligencia alapú detektorok?” Az egyszerű válasz: „Nem, nem.” Már most is egyre több kutatás bizonyítja, hogy a mesterséges intelligencia alapú detektorok megbízhatatlanok és pontatlanok, könnyen manipulálhatók, sőt, bizonyos hallgatói populáció írásstílusával szemben elfogultak (OpenAI n.d.; Weber-Wulff et al. 2023; Perkins et al. 2024)."

Képzeljük el, mi lehet a helyzet akkor más nyelvekkel, például a magyarral. Egy 2025 májusi Stanford-cikk ugyanis arról értekezik, hogy az AI-programok egész jól működnek angolul, de a kisebb nyelveken már nem. Akkor – gondolom én – ez várható az AI-detektoroktól is.

Weixin Liang – Mert Yuksekgonul – Yining Mao – Eric Wu – James Zou: GPT detectors are biased against non-native English writers.

---------------------------------------------------------------------
Ha tetszett a poszt, kedveld, oszd meg és kövesd be az oldalt!