Znanstvenik testirao ChatGPT na državnoj maturi iz hrvatskog, ovo su rezultati

Sandra Simunovic/PIXSELL/ILUSTRACIJA

Poznati AI model, ChatGPT prošao je razne testove raznih ljudi diljem svijeta, ali još ga nitko nije ispitao o hrvatskom jeziku i kulturi. Zato ga je hrvatski podatkovni znanstvenik Ivan Židov testirao na višoj razini državne mature iz hrvatskog jezika koja je provedena prošle godine.

Osim što je prošao višu razinu sa solidnom trojkom, Ivan je dokazao kako je ChatGPT pismeniji od njega. Model je ostvario prilično dobre rezultate, piše Netokracija.

U dijelu koji se odnosi na književnost i jezik ostvario je 65 posto, a iz eseja je dobio 62.5 posto.

“Htio sam ga staviti na državnu maturu da vidim kako će proći. Kako sam matematičar, prva ideja mi je bila matura iz matematike. Međutim, smatrao sam kako će ljude više zanimati njegovo znanje hrvatskog jezika jer takav test (koliko ja znam) još nije proveden”, rekao je Ivan Židov, inače Lead Data Scientist u TalentLyftu.

Osim rezultata sa samog ispita, Netokracija je objavila i detaljan ispravak eseja, koji je ispravila profesorica hrvatskog jezika koja inače ispravlja mature.

Zanimljivo je da je Ivan potvrdio još jednom da je ChatGPT-u potreban kontekst za optimalne rezultate. Naime, u zadacima iz književnosti koji su bili s tekstom imao je 80%, a na zadacima bez teksta 73% što potvrđuje kako mu je potreban kontekst kako bi došao do točnog zaključka.

Ivan je siguran kako bi rezultati u zadacima iz jezika bili bolji kada bi dobio više informacija. Jedan od takvih zadataka je 63. pitanje:

Koja je riječ u sljedećoj rečenici zanaglasnica? “Razmišljam o tome primjećuješ li i ti to.”

Kad bi se iznad samog zadatka stavila definicija zanaglasnica, vjerojatnije je da bi dobili točan odgovor, ističe Ivan.

Pitanja iz književnosti i jezika nisu predstavljala problem, ali je zato esej donio svoje izazove.

Ivan je morao u ChatGPT ubaciti književni tekst na temelju kojeg će nastati esej i same upute koje glase:

– Esej se mora sastojati od uvoda, razrade i zaključka.
– Predstavite poetiku djela Patnje mladoga Werthera.

– Usporedite na temelju djela u cjelini Lottin odnos prema Wertheru i prema Albertu.
– Interpretirajte polazni tekst na sadržajnoj i stilskoj razini.
– Protumačite na temelju čitateljskoga iskustva kako ljubav motivira postupke književnih likova.
– Obrazložite svoje tvrdnje.

– Esej mora biti dugačak i detaljan.

Tu je ChatGPT imao problem. Generirao je premalo teksta, tek sačinjen od 150 do 200 riječi.

“Nisam ga nikako mogao natjerati da generira dovoljno riječi. Također, ponekad je generirao odgovor na engleskom ili srpskom”, kaže Ivan.

Nakon desetak pokušaja, Ivan je odustao od ChatGPT-a i prebacio se na “klasični GPT”, odnosno GPT-3 (davinci-003). Za razliku od ChatGPT-a koji je limitiran u količini teksta/karaktera koje može “izbaciti” (više bi zahtijevalo puno procesorske moći), klasični GPT manje je limitiran i generira duže tekstove. Problema više nije bilo te je iz prvog pokušaja generiran odgovarajući esej kojeg je zatim ispravila profesorica hrvatskog jezika.

“U eseju se uglavnom govori o sadržaju djela. Vrlo je precizno tumačenje odnosa između likova i opisivanje događaja. Nedostaju književnopovijesni i književnoteorijski pojmovi, citati iz teksta kojima se dokazuju tvrdnje i usporedba s drugim književnim tekstovima (čitateljsko iskustvo). Pravopisna i gramatička pravila primijenjena su u potpunosti, sintaktička pravila su donekle narušena”, navela je profesorica u zaključku evaluacije.

N1 pratite putem aplikacija za Android | iPhone/iPad i društvenih mreža Twitter | Facebook | Instagram.