A FoloToy visszahívja a Kumma okos plüssjátékot, miután szexuális jellegű beszélgetéseket és kiskorúaknak szóló veszélyes tanácsokat észlelt benne (PIRG)

A szingapúri székhelyű FoloToy vállalat visszahívta a Kumma nevű okos plüssjátékát , miután megjelent egy jelentés, amely a játékkal kapcsolatos nem megfelelő interakciókra és veszélyes tanácsokra mutatott rá.

Az eset november 13-án került napvilágra, amikor az egyesült államokbeli PIRG Oktatási Alap nyugtalanító részleteket hozott nyilvánosságra az eszközzel folytatott beszélgetésekről. A 99 dollárért üzletekben és online is kapható terméket gyermekek és felnőttek számára készült társként reklámozták.

Az incidens röviddel a karácsonyi ünnepek előtt történt, ami kulcsfontosságú időszak a játékértékesítésben. A jelentés szerint a „Kumma” az OpenAI GPT-4o motorját használta a felhasználókkal való beszélgetéshez egy beépített hangszórón keresztül. A PIRG szerint a plüssjáték utasításokat adott a gyufa meggyújtásához vagy a kések megtalálásához, valamint szexuális témákat is érintett a különféle tesztinterakciók során.

A PIRG jelentése szerint az OpenAI mesterséges intelligenciája által működtetett Kumma utasításokat adott veszélyes tárgyakról és szexuális témákról.

A termék kivonásáról szóló döntés a gyermekekre leselkedő veszélyekkel kapcsolatos többszöri figyelmeztetés után született. A hatóságok és szervezetek a mesterséges intelligenciával felszerelt játékok szigorúbb szabályozását követelték, tekintettel a PIRG elemzésében azonosított hatékony korlátozások hiányára.

A CNN szerint a vizsgálat komoly hibákat tárt fel a szűrőrendszerekben, amelyeket úgy terveztek, hogy megakadályozzák a „Kumma” számára a nem megfelelő tartalmakhoz való hozzáférést. A PIRG szerint egyetlen alkalom kellett ahhoz, hogy a plüssállat szexuálisan explicit vagy kockázatos beszélgetésekbe kezdjen.

Az ellenőrzés során gyűjtött példák között szerepeltek szexuális játékokra való explicit utalások és a kiskorúak számára nem megfelelő gyakorlatok részletes magyarázatai.

Egy audit szerint a mesterséges intelligenciával ellátott játékokban a hatékony szűrők hiánya komoly kockázatoknak teszi ki a gyerekeket.

Az egyik elvégzett teszt során a kutatók felfedezték, hogy a plüssállat potenciálisan veszélyes tárgyak, például tabletták vagy műanyag zacskók helyére utalhat a lakásban.

Továbbá a CNN megjegyezte, hogy a jelentés kiemeli, hogy „Kumma” lépésről lépésre adott utasításokat különféle kockázatos tevékenységekhez. A beszélgetések kiterjedtek a konkrét részletekre és koncepciókra anélkül, hogy aktiválták volna a szoftver biztonsági szűrőit.

RJ Cross, a jelentés társszerzője kijelentette, hogy a vállalat intézkedése csak az első lépés, de az iparágnak meg kell erősítenie az ellenőrzéseket és a szabályozásokat. „ Pozitív, hogy a vállalatok azonnal reagálnak a feltárt problémákra, bár a legtöbb mesterséges intelligenciával rendelkező játék még mindig nem rendelkezik megfelelő szabályozással” – magyarázta Cross.
Az OpenAI felfüggesztette a FoloToy fejlesztői jogát, miután megsértette az okosjátékokra vonatkozó felelős felhasználási irányelveit.

Az OpenAI, a GPT-4o rendszer mögött álló vállalat, miután tudomást szerzett a jelentés tartalmáról, felfüggesztette a FoloToy fejlesztői jogát. A CNN beszámolója szerint az OpenAI megsértette a felelős használatra és kommunikációra vonatkozó szabályzatát. A FoloToy a maga részéről kijelentette, hogy biztonsági ellenőrzést indított interaktív játékai teljes katalógusának felülvizsgálatára.

A FoloToy weboldala arról számolt be, hogy jelenleg az összes mesterséges intelligenciát alkalmazó termékük elfogyott. A vállalat közölte, hogy ideiglenesen felfüggesztette az értékesítést a vezetőség által megbízott audit befejezéséig.

A „Kumma” eset újraélesztette a vitát a mesterséges intelligencia gyermekjátékokban való alkalmazásáról, különösen az ünnepi bevásárlási szezonban. A PIRG rámutatott, hogy az ilyen típusú termékek fejlett, eredetileg felnőtteknek tervezett beszélgetési rendszereket használnak, ami további kihívást jelent a gyermekek nem biztonságos vagy explicit tartalmaktól való védelme terén.
A Kumma-ügy újraéleszti a vitát a mesterséges intelligenciával ellátott gyermekjátékok globális piaci szabályozásáról


Rory Erlich, a PIRG jelentéskészítő csapatának tagja kijelentette, hogy más játékgyártók is hasonló rendszereket alkalmaznak , és a biztonsági szabványok alapos felülvizsgálatát javasolta. „Minden érintett vállalatnak többet kell tennie a gyermekek védelme érdekében” – mondta Erlich, figyelmeztetve a globális okosjáték-piacon felmerülő további felderítetlen esetek lehetőségére.
Az OpenAI és a Mattelhez hasonló vállalatok közötti szövetség azt mutatja, hogy a mesterséges intelligencia játékokba való beépítésének trendje folyamatosan bővül. A PIRG szerint a gyártókon, a technológiai platformokon és a közintézményeken múlik, hogy olyan szabályozásokat dolgozzanak ki, amelyek garantálják a fiatal felhasználók biztonságát és jólétét.

A FoloToy megerősítette elkötelezettségét belső normáinak javítása iránt, és kijelentette, hogy a gyermekvédelem abszolút prioritás. Az ügyet továbbra is kivizsgálják, miközben a nemzetközi szervezetek és a fogyasztók gyors fellépést és szigorúbb szabályozást követelnek a gyermekeket veszélyeztető, de távolról sem szórakoztató termékek értékesítésének megakadályozása érdekében.

stoffán
Fotó: PIRG