Jesu li roboti ubice budućnost ratovanja?

Čovječanstvo se nalazi na ivici nove ere ratovanja.

Vođene brzim razvojem vještačke inteligencije, platforme za oružje koje mogu samostalno identifikovati, ciljati i odlučiti da ubiju ljude – bez vojnika koji režira napad ili povlači okidač – brzo preobražavaju budućnost ratovanja.

Zvanično se zovu smrtonosni autonomni sistemi oružja (LAWS), ali kritičari ih zovu roboti ubice. Brojne države, uključujući Sjedinjene Američke Države, Kinu, Veliku Britaniju, Indiju, Iran, Izrael, Južnu Koreju, Rusiju i Tursku, mnogo su uložile u razvoj takvog oružja u novije vrijeme.

Izvještaj Ujedinjenih naroda sugeriše da su dronovi Kargu-2 turske izrade u potpuno automatskom režimu označili zoru ovog novog doba kada su napali borce u Libiji 2020. za vrijeme sukoba u ovoj državi.

Autonomni dronovi su odigrali ključnu ulogu i u ratu u Ukrajini, gdje su i Moskva i Kijev koristili ovo bespilotno oružje za gađanje neprijateljskih vojnika i infrastrukture.

Pojava i korištenje takvih mašina izazivaju usijane debate među stručnjacima, aktivistima i diplomatama širom svijeta dok se pokušavaju izboriti sa mogućim koristima i potencijalnim rizicima upotrebe robota, i razmatraju trebaju li ih zaustaviti, te kako bi to mogli napraviti.

Može li u sve razjedinjenijem geopolitičkom okruženju međunarodna zajednica doći do konsenzusa o ovim mašinama? Da li etičke, pravne i tehnološke prijetnje koje ovakvo oružje predstavlja čine nužnim da ih se zaustavi prije nego što preuzmu bojno polje? Je li opća zabrana moguća ili je set regulativa realističnija opcija? Al Jazeera je postavila ova pitanja vodećim stručnjacima u ovom polju.

Kratki odgovor: Direktna opća zabrana za autonomne sisteme oružja ne izgleda vjerovatna u dogledno vrijeme. Međutim, sve veći broj glasova – posebno sa globalnog juga – poziva na to da se reguliše njihova upotreba, i stručnjaci vjeruju da je globalni tabu poput onog koji je na snazi protiv upotrebe hemijskog oružja moguć. Velike vojne sile mogu biti zaintrigirane potencijalnim prednostima na bojnom polju koje bi im takvi sistemi mogli dati, ali izgleda da izvan kruga vlada i generala nema mnogo zanimanja za njih.

‘Ne možemo vratiti unazad početak trećeg svjetskog rata’

Krajem marta, Yasmin Afina, istraživačka saradnica u londonskom Chatham Houseu, opisala je Domu lordova, drugom domu britanskog parlamenta, kako je američka Agencija za nacionalnu sigurnost (NSA) greškom identifikovala novinara Al Jazeere kao kurira Al Kaide. To etiketiranje, zbog kojeg je pomenuti novinar dospio i na američku listu praćenja, izašlo je na vidjelo 2013. kroz dokumente koje je objavio Edward Snowden, bivši saradnik NSA.

Sistem nadzora koji stoji iza ovog incidenta nije sam po sebi „oružje, ali može biti smrtonosan“, izjavila je Afina. „Ako biste napali metu, pomenutog novinara, to bi apsolutno bilo u suprotnosti sa humanitarnim pravom.“

Potencijal da LAWS pokrene lančanu reakciju eskalacijskih događaja brine Tobyja Walsha, stručnjaka u oblasti vještačke inteligencije (AI) na Univerzitetu u Novom Južnom Walesu u Sydneyu, u Australiji.

„Znamo šta se dešava kada složene kompjuterske sisteme postavimo jedan protiv drugog u nesigurnom i kompetitivnom okruženju. To se zove berza“, napisao je Walsh u pisanom dokazu predatom Domu lordova.

„Jedini način da se zaustave opasne povratne sprege i neželjeni ishodi je korištenje ‘prekidača’. Na berzi možemo jednostavno vratiti transakcije unazad kada dođe do takve situacije. Ali ne možemo vratiti unazad početak trećeg svjetskog rata”, dodao je.

To ne znači da bi istraživači trebali prestati razvijati tehnologiju koja stoji iza sistema automatskog oružja, kazao je Walsh Al Jazeeri. Ta bi tehnologija, kaže on, mogla donijeti dobrobiti u drugim oblastima.

Naprimjer, isti algoritmi koji se koriste u sigurnosnim sistemima automobila koji izbjegavaju sudare s pješacima bit će „algoritmi koji ulaze sastav autonomnog drona koji identifikuje borce, prati ih – i dovoljna je promjena znaka da ih ubije umjesto izbjegne“, kazao je on. Bilo bi „moralno pogrešno uskratiti svijetu“ šansu da smanji broj poginulih u saobraćajnim nesrećama.

Umjesto tog, odgovor bi mogao biti u oponašanju „relativno uspješne regulacije hemijskog oružja”, rekao je Walsh.

Kada se koristi hemijsko oružje, to dospijeva na naslovnice i izaziva reakciju globalne javnosti. UN-ova Konvencija o hemijskom oružju zabranjuje njihov razvoj, proizvodnju, skladištenje i upotrebu. To, zajedno sa međunarodnim tabuima vezanim za hemijsko oružje, također je uspješno zaustavilo velike kompanije da ih proizvode.

„Ne možemo vratiti Pandoru u kutiju, ali te mjere su očito uveliko ograničile zloupotrebu hemijskog oružja na ratištima širom svijeta“, kazao je Walsh.

Dobici i rizici

Bez sumnje, autonomni sistemi oružja vođeni vještačkom inteligencijom imaju svoje koristi iz vojne perspektive.

Mogli bi izvršiti neke ratne zadatke bez upotrebe vojnika čime bi se smanjio rizik od ljudskih žrtava. Pristalice zastupaju stav da bi sofisticirana tehnologija u ovim sistemima mogla eliminisati ili smanjiti mogućnost ljudske greške u donošenju odluke i eliminisati pristrasnost. Veća tačnost u ciljanju bi mogla, barem u teoriji, smanjiti broj slučajnih ljudskih žrtava.

Autonomni sistemi oružja mogu se upotrijebiti i za defanzivne sposobnosti, s munjevitim algoritmima za detekciju koji mogu otkriti i eliminisati potencijalnu prijetnju s većom efikasnošću i preciznošću od ljudi.

Pa ipak, mnogi stručnjaci i grupe za ljudska prava smatraju da rizici upotrebe ovakvih sistema oružja nadmašuju potencijalne prednosti – od mogućih tehničkih kvarova bez nadzora do kršenja međunarodnog zakona i etičkih pitanja kada je riječ o mašinama bez emocija koje donose odluke o životu i smrti.

Središnje od svih ovih pitanja je pitanje odgovornosti.

U 2019. se 126 država potpisnica Konvencije UN-a o određenom konvencionalnom oružju (CCW) složilo oko 11 vodećih principa preporučenih od strane grupe stručnjaka koje je imenovao UN da se pozabave razlozima za zabrinutost u vezi autonomnih sistema.

Među tim principima je i odluka da će se međunarodni humanitarni zakon u potpunosti primjenjivati na potencijalni razvoj takvog oružja. Ali, stručnjaci kažu da nije jasno kako će se taj princip primjenjivati u magli rata. Ukoliko npr. robot počini ratni zločin, bi li onda komandujući vojnik zadužen za to ratište bio odgovoran? Ili bi to bili oni u vrhu koju su odlučili da upotrijebe tu mašinu? Bi li dio odgovornosti snosio i proizvođač oružja?

Sve ovo „predstavlja veliku prazninu u razgovoru o politici“ po ovom pitanju, u martu su u članku napisali istraživači Štokholmskog međunarodnog instituta za istraživanje mira (SIPRI) Vincent Boulanin i Marta Bo.

Ne postoji čak ni „zvanična ili međunarodno dogovorena definicija“ za autonomne sisteme oružja, Boulanin je kazao Al Jazeeri, iako se većina država slaže da je „ključni element taj da će sistem biti u stanju identifikovati, odabrati i napasti metu bez ljudske intervencije.“

Prema riječima Boulanina, direktora Programa upravljanja vještačkom inteligencijom u SIPRI-ju, sistemi oružja koji danas već postoje uklapaju se u ovaj opis. Jedan takav primjer je raketni sistem zemlja-zrak MIM-104 Patriot američke izrade koji trenutno koriste mnoge države, uključujući Saudijsku Arabiju i Izrael.

„Govorimo o sposobnosti, funkciji koja se može koristiti u veoma različitim tipovima sistema oružja, koja može doći u svim oblicima i formama i može se koristiti u potpuno drugačijim tipovima misija“, kazao je Boulanin.

„Dakle, ako želite nešto zabraniti“, objasnio je on, „morali biste precizirati tačno tip oružja ili scenarij koji vam je posebno problematičan.“

Umjesto potpune zabrane, dvoslojni set propisa bio bi realističniji ishod, kazao je on, gdje bi neki sistemi oružja bili zabranjeni, a drugi dozvoljeni ako zadovoljavaju stroge zahtjeve.

„Pitanje od milion dolara sada je, u suštini, koji bi elementi koji stali u ove dvije kategorije?“, kazao je Boulanin.

To je pitanje o kojem se različite države tek trebaju složiti.

Politička ili pravna regulacija?

Postoji još fundamentalnija podjela među nacijama u vezi tog kako pristupiti pitanju autonomnog oružja: treba li svijet tražiti pravno obavezujući set pravila ili samo političku deklaraciju namjere?

Politička deklaracija može poprimiti razne oblike, ali bi vjerovatno uključivala javnu izjavu u kojoj bi velike sile izrazile svoj zajednički stav o ovom pitanju i obećale da će se pridržavati glavnih tačaka izraženih u tom dokumentu. To bi moglo izgledati kao zajednička izjava Kine, Rusije, Velike Britanije, SAD-a i Francuske o sprečavanju nuklearnog rata i izbjegavanju utrka u naoružanju potpisana u januaru 2022, u kojoj su potvrdili, između ostalog, da se u nuklearnom ratu „ne može pobijediti i da se on nikada ne smije voditi“.

Boulanin je kazao da je to pitanje o kojem nacije „imaju radikalno različite poglede“. Rusija je bila „veoma otvorena“ u vezi svojih prigovora na pravno obavezujuće argumente; Velika Britanija i SAD su također kritički raspoložene, smtrajući to „preuranjenim“ i tražeći političku deklaraciju kao prvi korak, kazao je on.

Neke druge države, poput Kine i Indije, bile su neodređenije.

Kina je podržala zabranu upotrebe potpuno autonomnog oružja, ali ne i njihov razvoj – što je u skladu sa stanovištem da neki od najopasnijih svjetskih vojnih alata, uključujući nuklearno oružje, mogu poslužiti kao odbrambeni faktori odvraćanja.

Kineska domaća industrija oružja je propisno nastavila s razvojem takve tehnologije, uključujući dronove Blowfish A2, koji mogu letjeti u rojevima i samostalno gađati metu. Tajni Projekat 912 također ima za cilj razviti podvodne robote u narednih nekoliko godina.

Indija je u međuvremenu izrazila zabrinutost zbog nove utrke za takve mašine koja će proširiti tehnološki jaz između nacija, i zbog proliferacije robota ubica – uključujući i nedržavnim akterima – ali je istovremeno udvostručila razvoj vlastitih autonomnih sistema naoružanja.

Teško je izmjeriti koliko tačno resursa vojske posvećuju razvoju autonomnih sistema oružja (LAWS), ali izvještaj Amnesty Internationala iz 2021. navodi da nekoliko velikih vojnih sila „mnogo ulaže u razvoj autonomnih sistema“. Velika Britanija, pisalo je, razvija bespilotni autonomni dron koji bi mogao identifikovati metu unutar programiranog područja, „dok je Rusija napravila robotski tenk koji može biti opremljen mitraljezom ili bacačem granata.“

Autonomne funkcije mogu biti dodate postojećim ili tehnologijama u razvoju, kao što je krstareća raketa Switchblade 600 američke izrade.

Pravi otpor takvim sistemima oružja dolazi iz velikih dijelova globalnog juga – posebno Latinske Amerike, Afrike i Bliskog istoka – koji traže pravno obavezujuće propise.

Predvodnik kampanje u posljednje vrijeme je zemlja koja je pokazala da se mir može osigurati i bez vojske.

‘Kulturološki pogled na mir’

Vlada Kostarike je u februaru, zajedno s lokalnom nevladinom organizacijom FUNPADEM, organizovala regionalnu konferenciju kojoj su prisustvovali predstavnici iz gotovo svih zemalja Latinske Amerike i Kariba.

Saopštenje iz Belena, koje je više od 30 država usvojilo, istaklo je opasnosti autonomnih sistema oružja i pozvalo međunarodnu zajednicu da odgovori na njih „razvojem i jačanjem međunarodnog pravnog okvira“.

„Ovo je naš nacionalni stav zasnovan na našem kulturološkom pogledu na mir“, Al Jazeeri je kazao Brandon Mata Aguilar, projektni tehničar u FUNPADEM-u.

Kostarika je 1948. ukinula vojsku, i ostaje jedna od najstabilnijih država u regiji. Aguilar objašnjava da ova činjenica kreira „ogromnu razliku između tog kako druge države i Kostarika gledaju na implementaciju ovih pravno obavezujućih instrumenata“.

Kostarika, rekao je on, traži potpunu zabranu sasvim autonomnog oružja i implementaciju regulativa kojim se kontroliše upotreba i razvoj poluautonomnog oružja.

Grupe kao što je Kampanja za zaustavljanje robota ubica, koalicija nevladinih organizacija koje traže da se preventivno zabrani LAWS, i Međunarodni komitet Crvenog križa (ICRC) također su imali snažno prisustvo na konferenciji u Kostariki.

Potom su 25. marta, na Ibero-američkom samitu u Dominikanskoj Republici, 22 šefa država iz država španskog i portugalskog govornog područja izdala zajedničku izjavu, pozivajući na „pregovore o pravno obavezujućem međunarodnom instrumentu, sa zabranama i regulativama u vezi autonomije u sistemima oružja“.

Taj sentiment je ponovljen i dva dana kasnije kada su države članice grupacije Centralnoameričkog integracijskog sistema, uključujući Belize, Kostariku, El Salvador, Guatemalu, Honduras, Nikaragvu i Panamu, usvojile sličnu izjavu pozivajući na hitne pregovore.

Više država u Africi i na Bliskom istoku – Alžir, Namibija, Gana, Uganda, Zimbabve, Maroko, Egipat, Jordan, Irak i Palestina – pozvalo je na potpunu zabranu sasvim autonomnih sistema oružja u toku prošle decenije. Druge, kao što je Južna Afrika, pozvale su na uvođenje regulativa, ali nisu zatražile punu zabranu.

Sav ovaj zamah pokazuje da interes za zakon postoji, kaže Walsh. „Vidjeli smo da tridesetak ili više država u UN-u poziva na regulativu. Vidjeli smo da Evropski parlament glasa za, kao i Afrička unija.

Ali ključni sastojak za uspjeh bilo kakvih pregovora nedostaje, smatraju neki stručnjaci: povjerenje.

Povjerenje i poštovanje

Usred sve izraženijih geopolitičkih tenzija, mnoge su nacije zabrinute da li mogu vjerovati u ono što suparnici zvanično navode, kažu analitičari.

To odsustvo povjerenja se manifestuje na dva nivoa. Budući da međunarodne konvencije kao što je CCW zavise od konsenzusa, “potrebna je samo jedna zemlja da bude ometajuća da bi se zaustavilo napredovanje pregovora”, rekao je Walsh.

Ali čak i ako bi došlo do novog međunarodnog zakona ili skupa propisa, da li bi oni bili efikasno sprovedeni? To je otvoreno pitanje jer mnoge nacije „više ne igraju po poretku zasnovanom na pravilima“, rekao je Walsh.

Boulanin se slaže sa tim bojaznima.

„Države se mogu složiti – [to je] jedno, ali usklađenost je druga stvar“, rekao je Boulanin.

„Mislim da su neke države zabrinute da bi, ako bi se dogovorile o ambicioznom regulatornom okviru, potencijalno nanijele sebi štetu“, dodao je. Ako njihovi protivnici ne igraju po pravilima i razvijaju LAWS, to bi ih dovelo u strateški nepovoljan položaj, objasnio je.

Taj rizik, međutim, ne znači da „ne trebamo nastaviti pokušavati dogovoriti se o novim normama odgovornog ponašanja“, rekao je Boulanin.

Već je, rekao je, jedna tradicionalna zabrinutost – ona da bilo koji međunarodni zakon neće moći držati korak sa brzim tempom kojim tehnologija napreduje – riješena pristupom UN-a koji se sada fokusira na propise koji su agnostički u pogledu tehnologije.

Ipak, u ovoj debati su po srijedi još osnovnija pitanja, uključujući ono u vezi moralnosti ideje da mašine oduzimaju živote ljudima bez ijednog ljudskog bića uključenog u proces donošenja odluka.

Martensova klauzula, koja je dio zakona o oružanom sukobu od svog prvog pojavljivanja u preambuli  Druge haške konvencije iz 1899. godine, često se koristi u raspravama o etici autonomnih sistema naoružanja. U njoj piše da su ljudi u odsustvu specifičnog zakona ili sporazuma u vezi neke teme, i dalje zaštićeni „običajima“, „principima čovječnosti“ i „diktatom javne savjesti“.

Generalni sekretar UN-a Antonio Guterres je 2019. godine rekao da su mašine koje imaju moć i diskreciju da oduzimaju živote bez učešća ljudi „politički neprihvatljive“ i „moralno odbojne“.

I mnoga vojna lica s kojima je Walsh razgovarao zbog svog istraživanja izgledaju izrazito nenaklonjena potpuno autonomnom oružju.

Rekao je kako je otkrio da „važi gotovo univerzalno pravilo da što niže idete u činovima i približavate se bojnom polju, to je veći otpor ideji da biste se mogli boriti protiv robota.“

Zakoni, regulative i geopolitika na stranu, svejedno ostaje fundamentalniji problem, a to je ideja da mašinama nedostaje ljudska empatija kada je u pitanju donošenje tako važnih odluka, rekao je Walsh.

„To je nepoštivanje ljudskog dostojanstva“.