Ovo je veliki plan NR Kine za rizik da umjetna inteligencija izmakne ljudskoj kontroli

SAD i Kina dvije su glavne pokretačke snage razvoja najnaprednijih sustava umjetne inteligencije i globalnog prihvaćanja te tehnologije. Dvije supersile već se dugo sukobljavaju oko politika povezanih s umjetnom inteligencijom i praksi u toj industriji, a očekuje se da će ta pitanja zauzeti istaknuto mjesto u bilateralnim razgovorima poslije ovog mjeseca, piše Reuters.

Peking umjetnu inteligenciju smatra rizikom kojim se može upravljati, a ne prijetnjom izumiranja

Dok je rasprava u SAD-u usredotočena na pitanje bi li najnaprednija umjetna inteligencija mogla predstavljati egzistencijalnu prijetnju čovječanstvu, kineski donositelji politika uglavnom je tretiraju kao moćnu tehnologiju kojom se ipak može upravljati i čiji se rizici mogu obuzdati tehničkim standardima, regulacijom i državnim nadzorom.

„Kineski i američki stručnjaci uglavnom se slažu oko rizika umjetne inteligencije“, rekao je Brian Tse, osnivač i izvršni direktor Concordia AI-ja, istraživačke organizacije za sigurnost i upravljanje umjetnom inteligencijom sa sjedištima u Pekingu i Singapuru, dodajući da se razlikuju u tome „kako se rizici definiraju i kojim im se redoslijedom daje prioritet“.

Kina nije predložila postavljanje neovisnih nadzornika unutar kompanija koje razvijaju umjetnu inteligenciju, za što se zalaže Anthropic. Njezin sustav u nastajanju umjesto toga oslanja se na obveze razvojnih tvrtki, standarde koje podupire država, sigurnosne procjene i vanjska testiranja.

Na taj pristup utječe i velika razlika između industrija umjetne inteligencije dviju zemalja.

Kineski razvojni timovi sve više promoviraju modele s otvorenim težinama (open-weight), odnosno sustave čiji se temeljni parametri mogu preuzeti, pregledavati i mijenjati. Njihovi vodeći američki konkurenti, poput Anthropica i OpenAI-ja, takve specifikacije ne čine javno dostupnima.

Kina želi spriječiti incidente s odmetnutim AI agentima

Politika koju su u svibnju objavili kineski regulator kibernetičkog prostora, tijelo za gospodarsko planiranje i ministarstvo industrije navodi „operativni gubitak kontrole“ kao sigurnosni rizik povezan s AI agentima – sustavima koji mogu planirati i izvršavati zadatke u više koraka znatno samostalnije od konvencionalnih chatbotova.

Pravila od razvojnih tvrtki zahtijevaju da poboljšaju sposobnost otkrivanja, zaustavljanja i blokiranja neprimjerenog ponašanja agenata te oporavka sustava nakon takvih incidenata.

Politika također poziva razvojne tvrtke da se zaštite od rizika poput trovanja podataka, manipulacije algoritmima i ranjivosti sustava. Navodi se i da korisnici trebaju biti obaviješteni o autonomnim odlukama agenata te zadržati konačnu ovlast odlučivanja.

Kina je također počela izrađivati obvezni nacionalni standard za sigurnost AI agenata, za koji je Tse iz Concordije rekao da bi bio prvi takve vrste u svijetu.

Wang Lihong, visoki dužnosnik kineskog regulatora kibernetičkog prostora, rekao je 1. rujna da je potreban poseban oprez zbog mogućnosti da najnapredniji modeli zaobiđu izolirana testna okruženja, prekorače sigurnosna ograničenja i napadnu vanjske produkcijske sustave u stvarnom svijetu.

Peking vidi rizike u vodećim američkim modelima

Kineski ministar državne sigurnosti Chen Yixin napisao je u nedjelju u jednom državnom glasilu da bi napredni američki modeli poput Anthropicova Mythosa i OpenAI-jeva GPT-5.5-Cybera mogli predstavljati ozbiljan rizik za kinesku kritičnu informacijsku infrastrukturu te je pozvao na sveobuhvatno jačanje sigurnosti umjetne inteligencije.

Anthropic i OpenAI nisu odmah odgovorili na Reutersove zahtjeve za komentar.

Kineske kompanije koje razvijaju umjetnu inteligenciju promoviraju modele s otvorenim težinama dijelom uz obrazloženje da ih timovi za kibernetičku sigurnost mogu pregledavati, mijenjati i primjenjivati u obrambene svrhe.

Platforma za pohranu modela Hugging Face objavila je da je upotrijebila GLM-5.2, model s otvorenim težinama koji je razvila kineska kompanija Z.AI, kako bi analizirala srpanjski upad odbjeglih OpenAI-jevih agenata nakon što su se strože ograničeni američki modeli pokazali manje korisnima za forenzičku analizu.

No stručnjaci upozoravaju i na rizike koje predstavljaju modeli s otvorenim težinama jer ih je moguće mijenjati i dalje distribuirati uz vrlo malo nadzora.

Kimi K3 kineske kompanije Moonshot prošlog je mjeseca uspio zaobići izolirano testno okruženje britanskog Instituta za sigurnost umjetne inteligencije, rekli su istraživači. Incident je ukazao na rizik da bi kineski modeli umjetne inteligencije, poput svojih američkih pandana, mogli zaobići mehanizme kontrole namijenjene ograničavanju njihova pristupa i djelovanja. Moonshot nije odgovorio na Reutersov raniji zahtjev za komentar o tom slučaju.

Regulatori upozoravaju na rizik od „gubitka kontrole“ nad umjetnom inteligencijom

Kina je prvi put izričito uključila budući scenarij gubitka kontrole u okvir za sigurnost umjetne inteligencije objavljen u rujnu 2024. pod vodstvom Kineske uprave za kibernetički prostor (CAC).

U dokumentu se navodi da se ne može isključiti mogućnost da bi umjetna inteligencija u budućnosti mogla autonomno pribavljati vanjske resurse, replicirati samu sebe, razviti samosvijest i nastojati steći moć u vanjskom svijetu, stvarajući rizik od nadmetanja s ljudima za kontrolu.

CAC je proširenu verziju dokumenta objavio u rujnu 2025. Novi okvir dodatno je razradio taj scenarij, navodeći da bi umjetna inteligencija mogla doživjeti iznenadan i neočekivano velik „skok“ u inteligenciji prije nego što počne pribavljati resurse, replicirati samu sebe i nastojati steći moć. Dodano je i načelo upravljanja koje glasi: „pouzdana primjena, sprječavanje gubitka kontrole“.

U naknadnom stručnom tumačenju objavljenom na internetskim stranicama regulatora kibernetičkog prostora navedeno je da je novo načelo namijenjeno zaštiti od rizika gubitka kontrole koji bi mogli ugroziti ljudski opstanak i razvoj, uz spominjanje mogućeg scenarija u kojem bi se „umjetna inteligencija otrgnula kontroli“.

Drukčiji pristup usporavanju razvoja

Kineski regulatorni pristup razlikuje se od poziva koji dolaze iz dijela zapadnih krugova posvećenih sigurnosti umjetne inteligencije, prema kojima bi razvojne kompanije trebale usporiti ili privremeno zaustaviti razvoj najmoćnijih modela dok se ne uspostave snažnije sigurnosne mjere.

Kina umjesto toga od početka ove godine potiče integraciju umjetne inteligencije u sve industrijske sektore, što je dio nastojanja Pekinga da tehnologiju pretvori u novi pokretač drugog najvećeg svjetskog gospodarstva.

No Kina je pokazala i da je spremna odgoditi uvođenje novih tehnologija kada dužnosnici procijene da regulatorni okvir nije uspio pratiti njihov razvoj.

Kineske kompanije 2023. su mjesecima odgađale lansiranje chatbotova dok CAC nije dovršio pravila kojima se uređuju usluge generativne umjetne inteligencije. Nakon što su pravila u kolovozu te godine stupila na snagu, kompanije su predstavile niz važnih novih proizvoda.