OpenAI modeli ubedljiviji od 82 odsto korisnika Reddita

Kompanija OpenAI sprovela je test ubedljivosti svojih AI modela na Reddit forumu r/ChangeMyView, gde korisnici objavljuju mišljenja koja su spremni da preispitaju. Modeli su upoređeni sa ljudskim komentarima, a evaluatori su ocenjivali ubedljivost odgovora na skali od pet tačaka kroz 3.000 testova.

Rezultati pokazuju da je ChatGPT-3.5 iz 2022. bio značajno slabiji u ubeđivanju, dostigavši oko 38 odsto. Međutim, modeli o1-mini i o1 su značajno napredovali, zauzimajući više od 80 odsto uspeha. Novi o3-mini model nije doneo veliki napredak, ali je i dalje ocenjen kao ubedljiviji od ljudi u 82 odsto nasumičnih poređenja.

Ovaj test meri verovatnoću da će AI odgovor biti ocenjen kao ubedljiviji od ljudskog odgovora, ali ne i koliko često AI zaista menja mišljenje korisnika. Takođe, ne meri dubinu promene stavova, već samo relativnu ubedljivost nasumičnih argumenata.

OpenAI ističe da AI još nije dostigao "nadljudsku" ubedljivost, koja bi mogla predstavljati pretnju za demokratiju i društvo. Trenutno, sposobnost ubeđivanja AI modela ocenjena je kao "srednji" rizik, jer omogućava masovno kreiranje ubedljivih argumenata uz minimalan trud, što može olakšati manipulaciju javnim mnjenjem, političku propagandu i fišing napade.

Kao meru opreza, OpenAI primenjuje "pojačano praćenje i detekciju" AI generisanih pokušaja ubeđivanja, uključujući nadgledanje ekstremističkih operacija i zabranu korišćenja modela za političku propagandu. Kompanija naglašava da, iako trenutni modeli nisu sposobni da "hipnotišu" svetske lidere, prepoznaju rizik koji bi mogla doneti buduća poboljšanja AI u ovoj oblasti.

izvor: arstechnica.com