IZVJEŠĆE o umjetnoj inteligenciji u kaznenom pravu i njezinoj primjeni od strane policije i pravosudnih tijela u kaznenim stvarima

13.7.2021 - (2020/2016(INI))

Odbor za građanske slobode, pravosuđe i unutarnje poslove
Izvjestitelj: Petar Vitanov

Amandmani

• 001-003 (PDF - 129 KB)
• 001-003 (DOC - 80 KB)

PRIJEDLOG REZOLUCIJE EUROPSKOG PARLAMENTA

o umjetnoj inteligenciji u kaznenom pravu i njezinoj primjeni od strane policije i pravosudnih tijela u kaznenim stvarima

(2020/2016(INI))

Europski parlament,

– uzimajući u obzir Ugovor o Europskoj uniji (UEU), a posebno njegove članke 2. i 6., kao i Ugovor o funkcioniranju Europske unije (UFEU), a posebno njegov članak 16.,

– uzimajući u obzir Povelju Europske unije o temeljnim pravima („Povelja”), a posebno njezine članke 6., 7., 8., 11., 12., 13., 20., 21., 24. i 47.,

– uzimajući u obzir Konvenciju za zaštitu ljudskih prava i temeljnih sloboda,

– uzimajući u obzir Konvenciju Vijeća Europe za zaštitu pojedinaca u vezi s automatskom obradom osobnih podataka (ETS 108) i njezin protokol o izmjeni (Konvencija 108+),

– uzimajući u obzir Europsku etičku povelju Europske komisije za učinkovitost pravosuđa (CEPEJ) Vijeća Europe o upotrebi umjetne inteligencije u pravosudnim sustavima i povezanim područjima,

– uzimajući u obzir komunikaciju Komisije od 8. travnja 2019. naslovljenu „Izgradnja povjerenja u antropocentričnu umjetnu inteligenciju” (COM(2019)0168),

– uzimajući u obzir etičke smjernice za pouzdanu umjetnu inteligenciju koje je 8. travnja 2019. objavila Komisijina stručna skupina na visokoj razini za umjetnu inteligenciju,

– uzimajući u obzir bijelu knjigu Europske komisije od 19. veljače 2020. naslovljenu „Umjetna inteligencija – europski pristup izvrsnosti i povjerenju” (COM(2020)0065),

– uzimajući u obzir komunikaciju Komisije od 19. veljače 2020. pod naslovom „Europska strategija za podatke” (COM (2020)0066),

– uzimajući u obzir Uredbu (EU) 2016/679 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Direktive 95/46/EZ (Opća uredba o zaštiti podataka)[1],

– uzimajući u obzir Direktivu (EU) 2016/680 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka od strane nadležnih tijela u svrhe sprečavanja, istrage, otkrivanja ili progona kaznenih djela ili izvršavanja kaznenih sankcija i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Okvirne odluke Vijeća 2008/977/PUP[2],

– uzimajući u obzir Uredbu (EU) 2018/1725 Europskog parlamenta i Vijeća od 23. listopada 2018. o zaštiti pojedinaca u vezi s obradom osobnih podataka u institucijama, tijelima, uredima i agencijama Unije i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Uredbe (EZ) br. 45/2001 i Odluke br. 1247/2002/EZ[3],

– uzimajući u obzir Direktivu 2002/58/EZ Europskog parlamenta i Vijeća od 12. srpnja 2002. o obradi osobnih podataka i zaštiti privatnosti u području elektroničkih komunikacija („Direktiva o privatnosti i elektroničkim komunikacijama”)[4],

– uzimajući u obzir Uredbu (EU) 2016/794 Europskog parlamenta i Vijeća od 11. svibnja 2016. o Agenciji Europske unije za suradnju tijela za izvršavanje zakonodavstva (Europol) te zamjeni i stavljanju izvan snage odluka Vijeća 2009/371/PUP, 2009/934/PUP, 2009/935/PUP, 2009/936/PUP i 2009/968/PUP[5],

– uzimajući u obzir svoju rezoluciju od 19. lipnja 2020. o prosvjedima protiv rasizma nakon smrti Georgea Floyda[6],

– uzimajući u obzir svoju Rezoluciju od 14. ožujka 2017. o utjecaju velikih podataka na temeljna prava: privatnost, zaštita podataka, nediskriminacija, sigurnost i kazneni progon[7],

– uzimajući u obzir saslušanje Odbora za građanske slobode, pravosuđe i unutarnje poslove (LIBE) od 20. veljače 2020. o umjetnoj inteligenciji u kaznenom pravu i njezinoj upotrebi od strane policije i pravosudnih tijela u kaznenim stvarima,

– uzimajući u obzir izvješće o službenom putovanju odbora LIBE u Sjedinjene Američke Države u veljači 2020.,

– uzimajući u obzir članak 54. Poslovnika,

– uzimajući u obzir mišljenje Odbora za unutarnje tržište i zaštitu potrošača te Odbora za pravna pitanja,

– uzimajući u obzir izvješće Odbora za građanske slobode, pravosuđe i unutarnje poslove (A9-0232/2021),

A. budući da digitalne tehnologije općenito, a posebno širenje obrade i analize podataka koje omogućuje umjetna inteligencija, nude iznimna obećanja, ali donose i rizike; budući da je posljednjih godina zabilježen velik skok u razvoju umjetne inteligencije, koja je postala jedna od strateških tehnologija 21. stoljeća s potencijalom za stvaranje znatnih koristi u učinkovitosti, točnosti i prikladnosti, što donosi pozitivne promjene za europsko gospodarstvo i društvo, ali i goleme rizike za temeljna prava i demokracije zasnovane na vladavini prava; budući da umjetnu inteligenciju ne bi trebalo promatrati zasebno nego kao sredstvo koje treba služiti ljudima za ostvarenje krajnjeg cilja – povećanje dobrobiti ljudi, njihovih sposobnosti i njihove sigurnosti;

B. budući da, unatoč stalnom napretku u pogledu brzine računalne obrade i kapaciteta memorije, još ne postoje programi koji bi mogli zamijeniti ljudsku fleksibilnost u širim domenama ili u zadacima koji zahtijevaju razumijevanje konteksta ili kritičku analizu; budući da su neke primjene umjetne inteligencije postigle razinu učinkovitosti ljudskih stručnjaka i profesionalaca u obavljanju određenih zadaća (npr. pravna tehnologija) te da mogu polučiti rezultate drastično brže i u širem razmjeru;

C. budući da se neke zemlje, uključujući nekoliko država članica, u kaznenom progonu i pravosuđu više koriste primjenama umjetne inteligencije ili ugrađenim sustavima umjetne inteligencije od drugih, što je djelomično posljedica nedostatka propisa i regulatornih razlika kojima se omogućuje ili zabranjuje upotreba umjetne inteligencije u određene svrhe; budući da se umjetna inteligencija sve više upotrebljava u području kaznenog prava, u prvom redu zbog očekivanja da će se njome prorijediti određeni oblici kriminala i da će dovesti do objektivnijih odluka; budući da se ta očekivanja ne ostvare uvijek;

D. budući da bi temeljna prava i slobode sadržane u Povelji trebalo zajamčiti tijekom cijelog životnog ciklusa umjetne inteligencije i povezanih tehnologija, posebno tijekom njihova osmišljavanja, razvoja, uvođenja i upotrebe, te da bi se trebali primjenjivati pri provedbi zakona u svim okolnostima;

E. budući da bi se tehnologija umjetne inteligencije trebala razvijati tako da ljudi budu u središtu pozornosti, da zaslužuje povjerenje javnosti i da uvijek bude u službi ljudi; budući da bi sustavi umjetne inteligencije trebali imati krajnje sigurnosno jamstvo u smislu da su dizajnirani tako da ih ljudski operater koji njima upravlja uvijek može isključiti;

F. budući da sustavi umjetne inteligencije trebaju biti dizajnirani za zaštitu i u korist svih članova društva (među ostalim, uzimanjem u obzir ranjivih, marginaliziranih grupa stanovništva prilikom dizajniranja), nediskriminirajući i sigurni, njihove odluke trebaju biti objašnjive i transparentne te trebaju poštovati ljudsku autonomiju i temeljna prava kako bi bili pouzdani, što je opisano u etičkim smjernicama Stručne skupine na visokoj razini za umjetnu inteligenciju;

G. budući da Unija zajedno s državama članicama snosi ključnu odgovornost za jamčenje da se odluke oko životnog ciklusa i upotrebe primjena umjetne inteligencije u području pravosuđa i kaznenog progona donose na transparentan način, da se njima u potpunosti štite temeljna prava, a posebno da se njima ne perpetuira postojeća diskriminacija, pristranost ili predrasude; budući da bi se relevantnim političkim odlukama trebala poštovati načela nužnosti i proporcionalnosti kako bi se zajamčila ustavnost te pravedan i human pravosudni sustav;

H. budući da primjene umjetne inteligencije mogu ponuditi sjajne prilike u području kaznenog progona, a osobito u poboljšanju metoda rada tijela za kazneni progon i pravosudnih tijela te u učinkovitijoj borbi protiv određenih oblika kriminala, osobito financijskog kriminala, pranja novca i financiranja terorizma, seksualnog zlostavljanja i iskorištavanja djece na internetu, kao i određenih oblika kiberkriminaliteta, čime doprinose sigurnosti i zaštiti građana EU-a, dok u isto vrijeme mogu prouzročiti znatne rizike za temeljna prava ljudi; budući da bi bilo kakva opća primjena umjetne inteligencije u svrhu masovnog nadzora bila nerazmjerna;

I. budući da razvoj i rad sustava umjetne inteligencije za policiju i pravosudna tijela uključuje doprinos više pojedinaca, organizacija, strojnih komponenti, softverskih algoritama i ljudskih korisnika u često složenim i zahtjevnim okruženjima; budući da su primjene umjetne inteligencije u kaznenom progonu i pravosuđu u različitim fazama razvoja, od konceptualizacije preko izrade prototipa ili procjena do upotrebe nakon odobrenja; budući da bi se u budućnosti mogle pojaviti nove mogućnosti upotrebe jer tehnologije postaju zrelije zahvaljujući kontinuiranom znanstvenom istraživanju diljem svijeta;

J. budući da je jasan model raspodjele zakonske odgovornosti za potencijalno štetne učinke sustava umjetne inteligencije u području kaznenog prava od ključne važnosti; budući da se regulatornim odredbama u tom području uvijek treba zadržati ljudska odgovornost i da se njima prije svega mora nastojati izbjeći uzrokovanje bilo kakvih štetnih učinaka;

K. budući da je u konačnici odgovornost država članica da zajamče potpuno poštovanje temeljnih prava kada se sustavi umjetne inteligencije upotrebljavaju u području kaznenog progona i pravosuđa;

L. budući da odnos između zaštite temeljnih prava i učinkovitog rada policije uvijek mora biti ključan element u raspravama o tome bi li se i na koji način sektor kaznenog progona trebao koristiti umjetnom inteligencijom s obzirom na to da odluke koje se donose u tom sektoru mogu imati dugotrajne posljedice za život i slobodu pojedinaca; budući da je to naročito važno jer umjetna inteligencija može biti trajni dio našeg kaznenopravnog ekosustava s obzirom na to da pruža istražnu analizu i pomoć;

M. budući da se tijela kaznenog progona koriste umjetnom inteligencijom u primjenama poput tehnologija prepoznavanja lica, npr. za pretraživanje baza podataka o sumnjivim osobama i utvrđivanje žrtava trgovanja ljudima ili seksualnog iskorištavanja i zlostavljanja djece, automatizirano prepoznavanje registarskih tablica, prepoznavanje govornika, prepoznavanje govora, tehnologiju čitanja s usana, zvučni nadzor (tj. algoritmi prepoznavanja hitaca), autonomno istraživanje i analizu utvrđenih baza podataka, prognoziranje (prediktivno policijsko postupanje i analiza žarišta kriminala), alate za otkrivanje ponašanja, napredne virtualne alate za obdukciju koji pomažu u utvrđivanju uzroka smrti, autonomne alate za utvrđivanje financijske prijevare i financiranja terorista, praćenje društvenih medija (prikupljanje i ubiranje podataka za rudarenje veza) i automatizirane sustave nadzora koji objedinjuju različite sposobnosti otkrivanja (poput otkrivanja otkucaja srca i toplinskih kamera); budući da stupnjevi pouzdanosti i točnosti prethodno navedenih primjena, uz ostale potencijalne ili buduće primjene tehnologija umjetne inteligencije, mogu biti iznimno različiti i utjecati na zaštitu temeljnih prava i na dinamiku sustava kaznenog pravosuđa; budući da se mnogi od tih alata upotrebljavaju u zemljama izvan EU-a, dok bi u skladu s pravnom stečevinom i sudskom praksom Unije o zaštiti podataka bili nezakoniti; budući da rutinsko uvođenje algoritama, čak i uz malu stopu lažno pozitivnih rezultata, može dovesti do lažnih upozorenja koja znatno nadmašuju ispravna upozorenja;

N. budući da se alati i primjene umjetne inteligencije upotrebljavaju i u pravosuđu nekoliko zemalja diljem svijeta, među ostalim, za potkrepljivanje odluka o pritvoru prije suđenja, pri izricanju kazni, izračunu vjerojatnosti ponavljanja kaznenog djela i pri utvrđivanju probacije, rješavanju sporova putem interneta, upravljanju sudskom praksom i omogućavanju lakšeg pristupa pravosuđu; budući da je to dovelo do iskrivljenih i smanjenih mogućnosti za nebijelce i druge manjine; budući da je u EU-u njihova upotreba trenutno ograničena uglavnom na građanske stvari, uz iznimku nekih država članica;

O. budući da upotreba umjetne inteligencije u kaznenom progonu obuhvaća niz potencijalno visokih, a u nekim slučajevima neprihvatljivih rizika za zaštitu temeljnih prava pojedinaca, kao što su netransparentno donošenje odluka, različite vrste diskriminacije i pogreške svojstvene temeljnom algoritmu, koje se mogu povećati kanalima za povratne informacije, kao i rizici za zaštitu privatnosti i osobnih podataka, zaštitu slobode izražavanja i informacija, pretpostavku nedužnosti, pravo na djelotvoran pravni lijek i pošteno suđenje, te rizici za slobodu i sigurnost pojedinaca;

P. budući da su sustavi umjetne inteligencije kojima se koriste tijela kaznenog progona i pravosuđe također podložni napadima na informacijske sustave koji su potpomognuti umjetnom inteligencijom ili onečišćenju podataka, pri čemu se namjerno uključuje pogrešan skup podataka kako bi se postigli pristrani rezultati; budući da je u takvim situacijama posljedična šteta potencijalno još značajnija i može rezultirati eksponencijalno većim štetama i za pojedince i za skupine;

Q. budući da se uvođenje umjetne inteligencije u području kaznenog progona i pravosuđa ne bi smjelo smatrati isključivo tehničkim pitanjem, već političkom odlukom o osmišljavanju i ciljevima kaznenog progona i kaznenopravnih sustava; budući da se moderno kazneno pravo temelji na ideji da vlasti reagiraju na kazneno djelo nakon njegova počinjenja, ne pretpostavljajući pritom da su svi ljudi opasni i da ih je potrebno stalno nadzirati kako bi se spriječili mogući prijestupi; budući da tehnike nadzora koje se temelje na umjetnoj inteligenciji ozbiljno dovode u pitanje taj pristup, zbog čega zakonodavci diljem svijeta hitno trebaju temeljito procijeniti posljedice uvođenja tehnologija koje umanjuju ulogu ljudi u provedbi zakona i donošenju presuda;

1. ponovno ističe da se, s obzirom na to da se umjetna inteligencija temelji na obradi velikih količina osobnih podataka, pravo na zaštitu privatnog života i pravo na zaštitu osobnih podataka primjenjuju na sva područja umjetne inteligencije te da je potrebno u potpunosti se pridržavati pravnog okvira Unije za zaštitu podataka i privatnosti; stoga podsjeća da je EU već uspostavio standarde zaštite podataka za kazneni progon, koji čine temelj za sve buduće propise o umjetnoj inteligenciji koja se upotrebljava u kaznenom progonu i pravosuđu; podsjeća da bi obrada osobnih podataka trebala biti zakonita i pravedna, da bi svrhe obrade trebale biti jasno navedene, izričite i legitimne, da bi obrada trebala biti primjerena, relevantna i ne prekomjerna u odnosu na svrhu u koju se provodi, da bi trebala biti točna, ažurna i da bi se netočni podaci trebali ispraviti ili izbrisati osim ako se primjenjuju ograničenja, da se podaci ne bi smjeli čuvati dulje nego što je potrebno, da bi trebalo utvrditi jasne i primjerene rokove za brisanje ili periodično preispitivanje potrebe za pohranom takvih podataka te da bi ih trebalo obrađivati na siguran način; također ističe da bi trebalo spriječiti moguću identifikaciju pojedinaca primjenom umjetne inteligencije koja se koristi podacima koji su prethodno bili anonimizirani;

2. ponovno potvrđuje da sva rješenja umjetne inteligencije za tijela kaznenog progona i pravosuđe trebaju u potpunosti poštovati načela ljudskog dostojanstva, nediskriminacije, slobode kretanja, pretpostavku nedužnosti i pravo na obranu, uključujući pravo na šutnju, pravo na slobodu izražavanja i informacija, slobodu okupljanja i udruživanja, jednakost pred zakonom, načelo jednakosti procesnih sredstava te pravo na djelotvoran pravni lijek i pošteno suđenje, u skladu s Poveljom i Europskom konvencijom o ljudskim pravima; naglašava da treba zabraniti primjene umjetne inteligencije ako su nespojive s temeljnim pravima;

3. priznaje da brzina razvoja primjena umjetne inteligencije diljem svijeta ne omogućuje iscrpno navođenje primjena, zbog čega je potreban jasan i dosljedan model upravljanja kojim se jamče i temeljna prava pojedinaca i pravna jasnoća za nositelje projekata s obzirom na kontinuirani razvoj tehnologije; međutim, s obzirom na ulogu i odgovornost policije i pravosudnih tijela te utjecaj njihovih odluka u svrhe sprečavanja, istrage, otkrivanja ili progona kaznenih djela ili izvršavanja kaznenopravnih sankcija, smatra da se upotreba primjena umjetne inteligencije mora kategorizirati kao visokorizična u slučajevima u kojima postoji mogućnost znatnog utjecaja na živote pojedinaca;

4. u tom smislu smatra da je minimalni uvjet da svi alati umjetne inteligencije koje razviju tijela kaznenog progona i pravosudna tijela ili kojima se ta tijela koriste budu sigurni, pouzdani i prilagođeni svrsi, poštuju načela pravednosti, smanjenja količine podataka, odgovornosti, transparentnosti, nediskriminacije i objašnjivosti te da njihov razvoj, uvođenje i upotreba podliježu procjeni rizika te strogom ispitivanju nužnosti i proporcionalnosti, a zaštitni mehanizmi trebaju biti razmjerni utvrđenim rizicima; ističe da je povjerenje građana u upotrebu umjetne inteligencije koja se razvija, uvodi i upotrebljava u EU-u uvjetovano potpunim ispunjavanjem tih kriterija;

5. uviđa pozitivan doprinos određenih vrsta primjena umjetne inteligencije na rad tijela kaznenog progona i pravosudnih tijela diljem Unije; kao primjer ističe poboljšano upravljanje sudskom praksom s pomoću alata kojima se omogućuju dodatne opcije pretraživanja; smatra da postoji niz drugih mogućih primjena umjetne inteligencije za kazneni progon i pravosuđe koje bi se mogle istražiti uzimajući u obzir pet načela Europske etičke povelje o upotrebi umjetne inteligencije u pravosudnim sustavima i povezanim područjima, koju je donijela Radna skupina Vijeća Europe za kvalitetu pravosuđa (CEPEJ), te obraćajući posebnu pozornost na „primjene koje treba razmotriti uz najveću moguću zadršku”, koje je utvrdio CEPEJ;

6. naglašava da se svaka tehnologija može prenamijeniti i stoga poziva na strogu demokratsku kontrolu i neovisni nadzor svih tehnologija omogućenih umjetnom inteligencijom kojima se koriste tijela kaznenog progona i pravosudna tijela, posebno onih koje se mogu prenamijeniti za masovni nadzor ili masovno profiliranje; stoga s velikom zabrinutošću primjećuje potencijal određenih tehnologija umjetne inteligencije koje se upotrebljavaju u sektoru kaznenog progona u svrhu masovnog nadzora; ističe pravnu obvezu sprečavanja masovnog nadzora s pomoću tehnologija umjetne inteligencije koje po definicije ne poštuju načela nužnosti i proporcionalnosti te zabrane upotrebe primjena koje bi mogle dovesti do toga;

7. naglašava da pristup koji se u nekim zemljama izvan EU-a zauzima u pogledu razvoja, uvođenja i upotrebe tehnologija masovnog nadzora nerazmjerno utječe na temeljna prava, zbog čega ga EU ne bi trebao primjenjivati; stoga ističe da mehanizmi zaštite od zlouporabe tehnologije umjetne inteligencije od strane tijela kaznenog progona i pravosudnih tijela također trebaju biti jednako regulirani u cijeloj Uniji;

8. naglašava potencijal za pristranost i diskriminaciju kao rezultat upotrebe primjena umjetne inteligencije kao što je strojno učenje, uključujući algoritme na kojima se takve primjene temelje; napominje da pristranosti mogu biti svojstvene temeljnim skupovima podataka, posebice kada se upotrebljavaju povijesni podaci koje su unijeli razvojni programeri algoritama ili koji se generiraju kad se sustavi implementiraju u okruženju stvarnog svijeta; ističe da na rezultate primjena umjetne inteligencije nužno utječe kvaliteta korištenih podataka te da su takve inherentne pristranosti sklone postupnom rastu, čime se nastavlja i povećava postojeća diskriminacija, posebno za osobe koje pripadaju određenim etničkim skupinama ili etniciziranim zajednicama;

9. ističe činjenicu da mnoge algoritamski pogonjene tehnologije identifikacije koje su trenutačno u upotrebi nerazmjerno pogrešno identificiraju i klasificiraju etnicizirane osobe, pojedince koji pripadaju određenim etničkim skupinama, LGBTI osobe, djecu i starije osobe te žene i time im nanose štetu; podsjeća da pojedinci nemaju samo pravo na ispravnu identifikaciju, već i pravo da ih se uopće ne identificira, osim ako je to zakonom propisano radi važnih i legitimnih javnih interesa; naglašava da predviđanja umjetne inteligencije koja se temelje na značajkama određene skupine osoba u konačnici pojačavaju i reproduciraju postojeće oblike diskriminacije; smatra da treba uložiti velike napore kako bi se izbjegla automatizirana diskriminacija i pristranost; poziva na uvođenje pouzdanih dodatnih zaštitnih mehanizama kada se sustavi umjetne inteligencije u kaznenom progonu ili pravosuđu upotrebljavaju na maloljetnicima ili u vezi s njima;

10. ističe asimetriju moći između onih koji se koriste tehnologijama umjetne inteligencije i onih koji su im podložni; naglašava da je od ključne važnosti da upotreba alata umjetne inteligencije od strane tijela kaznenog progona i pravosudnih tijela ne postane čimbenik nejednakosti, društvenog raslojavanja ili isključenosti; ističe utjecaj upotrebe alata umjetne inteligencije na prava osumnjičenika na obranu, poteškoće u dobivanju smislenih informacija o njihovu funkcioniranju i posljedični problem osporavanja njihovih rezultata na sudu, posebno od strane pojedinaca pod istragom;

11. svjestan je rizika, naročito onih povezanih s curenjem podataka, povredama sigurnosti podataka i neovlaštenim pristupom osobnim podacima i drugim informacijama, primjerice, onima koje su povezane s kaznenim istragama ili sudskim predmetima koje obrađuju sustavi umjetne inteligencije; naglašava da treba pozorno razmotriti aspekte zaštite i sigurnosti sustava umjetne inteligencije koji se upotrebljavaju u tijelima kaznenog progona i pravosudnim tijelima te da oni trebaju biti dovoljno pouzdani i otporni da spriječe potencijalno katastrofalne posljedice zlonamjernih napada na sustave umjetne inteligencije; naglašava važnost integrirane sigurnosti, kao i specifičnog ljudskog nadzora prije upotrebe određenih ključnih primjena te stoga poziva tijela kaznenog progona i pravosudna tijela da se koriste samo primjenama umjetne inteligencije koje su u skladu s načelom integrirane privatnosti i integrirane zaštite podataka kako bi se izbjeglo nekontrolirano širenje primjene;

12. naglašava da se nijednom sustavu umjetne inteligencije koji se upotrebljava u kaznenom progonu ili pravosuđu ne bi smjelo omogućiti da nanosi štetu fizičkom integritetu ljudskih bića niti da dodjeljuje prava ili nameće pravne obveze pojedincima;

13. svjestan je izazova točnog utvrđivanja pravne odgovornosti i preuzimanja obveze za moguću štetu s obzirom na složenost razvoja i rada sustava umjetne inteligencije; smatra da je nužno stvoriti jasan i pošten režim dodjeljivanja pravne odgovornosti i preuzimanja obveza za potencijalno štetne posljedice tih naprednih digitalnih tehnologija; međutim, naglašava da primarni cilj mora biti sprečavanje same pojave svih takvih posljedica; stoga poziva na primjenu načela predostrožnosti za sve primjene umjetne inteligencije u kontekstu kaznenog progona; ističe da pravnu odgovornost i obveze uvijek mora snositi fizička ili pravna osoba, koja se uvijek mora utvrditi kada se donose odluke uz potporu umjetne inteligencije; stoga naglašava da je potrebno zajamčiti transparentnost korporativnih struktura koje proizvode sustave umjetne inteligencije i upravljaju njima;

14. smatra da je za učinkovitost ostvarivanja prava na obranu i za transparentnost nacionalnih kazneno-pravnih sustava ključno da se konkretnim, jasnim i preciznim pravnim okvirom reguliraju uvjeti, modaliteti i posljedice upotrebe alata umjetne inteligencije u području kaznenog progona i pravosuđa, kao i prava ciljanih osoba, uključujući djelotvorne i lako dostupne postupke podnošenja pritužbi i obeštećenja, uključujući sudsku zaštitu; ističe pravo stranaka u kaznenom postupku na pristup procesu prikupljanja podataka i povezanim procjenama koje su provedene ili dobivene upotrebom primjena umjetne inteligencije; naglašava potrebu da izvršna tijela koja sudjeluju u pravosudnoj suradnji pri odlučivanju o zahtjevu za izručenje (ili predaju) drugoj državi članici ili zemlji izvan EU-a procijene bi li upotreba alata umjetne inteligencije u zemlji koja je podnijela zahtjev mogla očito ugroziti temeljno pravo na pošteno suđenje; poziva Komisiju da izda smjernice o tome kako provesti takvu procjenu u kontekstu pravosudne suradnje u kaznenim stvarima; inzistira na tome da se države članice, u skladu s mjerodavnim zakonima, pobrinu za to da pojedinci budu obaviješteni kada podliježu upotrebi primjena umjetne inteligencije od strane tijela kaznenog progona ili pravosuđa;

15. naglašava da ljudi neće moći provesti neovisnu procjenu ako se oslanjaju samo na podatke, profile i preporuke dobivene od strojeva; ističe da može doći do ozbiljnih i negativnih posljedica, osobito u području kaznenog progona i pravosuđa, u slučajevima kada pojedinci imaju previše povjerenja u naizgled objektivnu i znanstvenu prirodu alata umjetne inteligencije i ne uzimaju u obzir da rezultati tih alata mogu biti netočni, nepotpuni, nebitni ili diskriminirajući; naglašava da treba izbjegavati prekomjerno oslanjanje na rezultate sustava umjetne inteligencije i ističe da vlasti trebaju graditi povjerenje i znanje za preispitivanje ili poništavanje preporuka algoritama; smatra da je važno imati realna očekivanja u pogledu takvih tehnoloških rješenja, a ne obećavati savršena rješenja za kazneni progon i otkrivanje svih počinjenih kaznenih djela;

16. ističe da u kontekstu pravosuđa i tijela kaznenog progona, odluku s pravnim ili sličnim učinkom uvijek treba donijeti čovjek kojeg se može smatrati odgovornim za donesene odluke; smatra da bi onima koji ovise o sustavima koji se temelje na umjetnoj inteligenciji trebalo omogućiti pravni lijek; podsjeća da, u okviru prava EU-a, osoba ima pravo da se na nju ne odnosi odluka koja se temelji isključivo na automatiziranoj obradi podataka, a koja proizvodi pravne učinke za nju ili značajno na nju utječe; nadalje ističe da se automatizirano pojedinačno donošenje odluka ne smije temeljiti na posebnim kategorijama osobnih podataka, osim ako su uspostavljene odgovarajuće mjere zaštite prava i sloboda te legitimnih interesa osobe čiji se podaci obrađuju; ističe da se pravom EU-a zabranjuje profiliranje koje dovodi do diskriminacije pojedinaca na temelju posebnih kategorija osobnih podataka; naglašava da su odluke u području provedbe zakona gotovo uvijek odluke koje zbog izvršne prirode tijela kaznenog progona i njihova djelovanja imaju pravni učinak na dotičnu osobu; prima na znanje da upotreba umjetne inteligencije može utjecati na ljudske odluke i na sve faze kaznenih postupaka; stoga smatra da tijela koja se koriste sustavima umjetne inteligencije moraju poštovati visoke pravne standarde i zajamčiti ljudsku intervenciju, posebno pri analizi podataka dobivenih iz tih sustava; zahtijeva stoga suvereno diskrecijsko pravo sudaca i donošenje odluka na pojedinačnoj osnovi; poziva na zabranu uporabe umjetne inteligencije i povezanih tehnologija pri donošenju sudskih odluka;

17. poziva na algoritamsku objašnjivost, transparentnost, sljedivost i provjeru kako bi se osiguralo da su razvoj, uvođenje i upotreba sustava umjetne inteligencije u tijelima kaznenog progona i pravosuđu u skladu s temeljnim pravima te da im građani vjeruju, te kako bi se osiguralo da rezultati koje generiraju algoritmi umjetne inteligencije mogu biti razumljivi korisnicima i osobama koje o tim sustavima ovise i da postoji transparentnost izvornih podataka te načina na koji je sustav došao do određenog zaključka; ističe da bi, kako bi se zajamčila tehnička transparentnost, stabilnost i točnost, tijela kaznenog progona ili pravosudna tijela u Uniji trebala moći kupovati samo takve alate i sustave čiji algoritmi i logika podliježu reviziji te su dostupni barem policiji i pravosuđu te neovisnim revizorima, kako bi se omogućilo njihovo ocjenjivanje, revizija i provjera, a prodavači ih ne bi smjeli zatvarati niti označivati kao vlasništvo; nadalje ističe da bi trebalo osigurati dokumentaciju na jasnom i razumljivom jeziku o prirodi usluge, razvijenim alatima, izvedbi i uvjetima u kojima se može očekivati da će funkcionirati te rizicima koje bi mogli prouzročiti; stoga poziva pravosudna tijela i tijela kaznenog progona da osiguraju proaktivnu i potpunu transparentnost u pogledu privatnih poduzeća koja ih opremaju sustavima umjetne inteligencije za potrebe kaznenog progona i pravosuđa; s tim u skladu preporučuje upotrebu softvera otvorenog koda kada je to moguće;

18. potiče tijela kaznenog progona i pravosudna tijela da utvrde i procijene područja u kojima bi neka prilagođena rješenja umjetne inteligencije mogla biti korisna te da razmjenjuju najbolje prakse o uvođenju umjetne inteligencije; poziva države članice i agencije EU-a da usvoje odgovarajuće postupke javne nabave za sustave umjetne inteligencije kada se koriste u okviru kaznenog progona ili u pravosudnom kontekstu kako bi se zajamčila njihova usklađenost s temeljnim pravima i mjerodavnim zakonodavstvom, uključujući jamstvo dostupnosti softverske dokumentacije i algoritama nadležnim i nadzornim tijelima u svrhu preispitivanja; posebno poziva na donošenje obvezujućih pravila kojima se propisuje javno objavljivanje javno-privatnih partnerstva, ugovora i preuzimanja te svrhe u koje se obrađuju; naglašava potrebu da se vlastima osiguraju potrebna financijska sredstva te da im se osigura potrebno stručno znanje kako bi se zajamčilo potpuno poštovanje etičkih, pravnih i tehničkih zahtjeva povezanih s uvođenjem umjetne inteligencije;

19. poziva da se s pomoću obvezne dokumentacije osigura sljedivost sustava umjetne inteligencije i postupaka donošenja odluka kojima se definiraju sposobnosti i ograničenja sustava te kojima se prati izvor atributa koji su definirajući za odluku; ističe da je važno u potpunosti dokumentirati podatke koji se tiču osposobljavanja, njihov kontekst, svrhu, točnost i nuspojave, kao i način na koji ih obrađuju konstruktori i programeri algoritama te njihovu usklađenost s temeljnim pravima; ističe da uvijek treba biti moguće prevesti izračune sustava umjetne inteligencije u oblik razumljiv ljudima;

20. poziva na obveznu procjenu učinka na ljudska prava prije implementacije ili uvođenja bilo kojeg sustava umjetne inteligencije u tijela kaznenog progona ili pravosuđe kako bi se procijenili svi potencijalni rizici za ljudska prava; podsjeća da je prethodna procjena učinka na zaštitu podataka obvezna za sve vrste obrade, posebno za upotrebu novih tehnologija, koja će vjerojatno predstavljati visok rizik za prava i slobode pojedinaca te smatra da je to slučaj s većinom tehnologija umjetne inteligencije u području kaznenog progona i pravosuđa; posebno ističe stručnost kojom tijela za zaštitu podataka i agencije za temeljna prava trebaju raspolagati prilikom procjene tih sustava; naglašava da bi te procjene učinka na temeljna prava trebalo provoditi na što otvoreniji način i uz aktivno sudjelovanje civilnog društva; zahtijeva da se u procjenama učinka jasno definiraju zaštitne mjere potrebne za rješavanje utvrđenih rizika te da se one u najvećoj mogućoj mjeri objave prije uvođenja bilo kakvog sustava umjetne inteligencije;

21. naglašava da samo snažno europsko upravljanje umjetnom inteligencijom popraćeno neovisnom procjenom omogućuje potrebnu operacionalizaciju načela temeljnih prava; poziva da neovisno tijelo periodično provede obveznu reviziju svih sustava umjetne inteligencije koji se upotrebljavaju u tijelima kaznenog progona ili pravosudnim tijelima kako bi se ispitali i ocijenili kontekst, svrha, točnost, uspješnost i razmjeri algoritamskih sustava nakon što budu stavljeni u rad radi utvrđivanja, ispitivanja, dijagnosticiranja i ispravljanja svih neželjenih i štetnih učinaka i kako bi se osiguralo da sustavi umjetne inteligencije rade kako bi trebali; stoga poziva na uspostavu jasnog institucijskog okvira u tu svrhu, uključujući odgovarajući regulatorni i nadzorni pregled, kako bi se osigurala potpuna provedba i zajamčila potpuno utemeljena demokratska rasprava o nužnosti i proporcionalnosti umjetne inteligencije u području kaznenog prava; ističe da bi rezultati tih revizija trebali biti dostupni u javnim registrima kako bi građani znali primjenjuju li se sustavi umjetne inteligencije i koje se mjere poduzimaju kako bi se ispravilo svako kršenje temeljnih prava;

22. naglašava da skupovi podataka i algoritamski sustavi koji se upotrebljavaju pri klasifikaciji, procjenama i predviđanjima u različitim fazama obrade podataka u razvoju umjetne inteligencije i povezanih tehnologija mogu dovesti i do različitog postupanja prema skupinama osoba sa sličnim obilježjima i njihove izravne i neizravne diskriminacije, naročito jer podaci koji se upotrebljavaju za učenje algoritama za predviđanje policijskog nadzora odražavaju sadašnje nadzorne prioritete te stoga mogu dovesti do reproduciranja i umnažanja postojećih pristranosti; naglašava stoga da tehnologija umjetne inteligencije, posebno kada se koristi u svrhu kaznenog progona i pravosuđa, iziskuje interdisciplinarna istraživanja i doprinos, uključujući znanstvene i tehnološke studije, ključne rasne studije, studije o invaliditetu i druge discipline prilagođene društvenom kontekstu, uključujući način nastanka razlika, klasifikacijski rad i njegove posljedice; stoga naglašava da je potrebno sustavno ulaganje u integraciju tih disciplina u studije i istraživanja umjetne inteligencije na svim razinama; naglašava da je također važno osigurati da timovi koji osmišljavaju, razvijaju, testiraju, održavaju, uvode i nabavljaju sustave umjetne inteligencije za tijela kaznenog progona i pravosudna tijela odražavaju, kada je to moguće, raznolikost društva općenito kao netehničkog načina za smanjenje rizika od diskriminacije;

23. ističe nadalje da odgovarajuća odgovornost, osobna i pravna odgovornost zahtijevaju značajno specijalizirano osposobljavanje u pogledu etičkih odredbi, potencijalnih opasnosti, ograničenja i pravilne upotrebe tehnologije umjetne inteligencije, posebno za policijsko i pravosudno osoblje; naglašava da bi se odgovarajućim stručnim osposobljavanjem i kvalifikacijama trebalo osigurati da su donositelji odluka osposobljeni u pogledu potencijala za pristranost, budući da se skupovi podataka mogu temeljiti na diskrimirajućim podacima i podacima na koje utječu predrasude; podržava pokretanje inicijativa za podizanje razine osviještenosti i obrazovnih inicijativa kako bi se osiguralo da su pojedinci koji rade u tijelima kaznenog progona i pravosuđu svjesni i razumiju ograničenja, sposobnosti i rizike koji proizlaze iz upotrebe sustava umjetne inteligencije, uključujući rizik od pristranosti u automatizaciji; podsjeća da će uključivanje primjera rasističkog ponašanja policijskih snaga prilikom izvršavanja dužnosti u skupove podataka za obuku sustava umjetne inteligencije neizbježno dovesti do rasističke pristranosti u nalazima, rezultatima i preporukama dobivenima umjetnom inteligencijom; stoga ponavlja svoj poziv državama članicama da u policijskom i pravosudnom sustavu promiču politike za borbu protiv diskriminacije te da razvijaju nacionalne akcijske planove protiv rasizma;

24. napominje da je prognostički rad policije među primjenama umjetne inteligencije koje se upotrebljavaju u području kaznenog progona, ali upozorava da, iako se prognostičkim policijskim aktivnostima mogu analizirati zadani skupovi podataka potrebni za utvrđivanje obrazaca i korelacija, njima se ne može odgovoriti na pitanje uzročnosti i ne može se pouzdano prognozirati individualno ponašanje te stoga ne mogu biti jedini temelj za intervenciju; ističe da je nekoliko gradova u Sjedinjenim Američkim Državama odustalo od svojih sustava predviđanja policijskog nadzora nakon revizije programa; podsjeća da su tijekom službenog putovanja odbora LIBE u Sjedinjene Američke Države u veljači 2020. policijske uprave grada New Yorka i Cambridgea, Massachusetts obavijestile zastupnike da su zbog nedostatka učinkovitosti, diskriminirajućeg učinka i neuspjeha u praksi postupno ukinule svoje programe predviđanja policijskog nadzora te su se umjesto toga okrenule radu policije u zajednici; prima na znanje da je to rezultiralo smanjenjem stope kriminala; protivi se tome da tijela kaznenog progona upotrebljavaju umjetnu inteligenciju za predviđanje ponašanja pojedinaca ili skupina na temelju arhivskih podataka i prošlog ponašanja, članstva u skupinama, lokacije ili drugih sličnih čimbenika, kojima se pokušava identificirati osobe za koje je vjerojatno da će počiniti kazneno djelo;

25. prima na znanje različite vrste upotrebe prepoznavanja lica, kao što su, među ostalim, verifikacija/autentifikacija (tj. uspoređivanje lica s fotografijom u identifikacijskoj ispravi, npr. pametne granice), identifikacija (tj. uspoređivanje fotografije s određenom bazom fotografija) i otkrivanje (tj. otkrivanje lica u stvarnom vremenu iz izvora kao što su snimke CCTV-a i njihovo uspoređivanje s bazama podataka, npr. nadzorom u stvarnom vremenu), od kojih svaka ima različite učinke na zaštitu temeljnih prava; snažno vjeruje da bi se upotreba sustava za prepoznavanje lica u tijelima kaznenog progona trebala ograničiti na jasno opravdane svrhe uz puno poštovanje načela proporcionalnosti i nužnosti te mjerodavnog prava; ponovno potvrđuje da barem upotreba tehnologije za prepoznavanje lica mora biti u skladu sa zahtjevima smanjenja količine podataka, točnosti podataka, ograničenja pohrane, sigurnosti i odgovornosti podataka te da mora biti zakonita, pravedna i transparentna te u skladu s posebnom, eksplicitnom i legitimnom svrhom koja je jasno definirana u pravu država članica ili Unije; smatra da se sustavi za verifikaciju i autentifikaciju mogu i dalje uspješno uvoditi i upotrebljavati samo ako se njihovi štetni učinci mogu ublažiti i ako su prethodno navedeni kriteriji ispunjeni;

26. nadalje poziva na trajnu zabranu korištenja automatskog analiziranja i/ili prepoznavanja ljudskih značajki u javnim prostorima primjerice hoda, otisaka prstiju, DNK, glasa i drugih biometrijskih i bihevioralnih signala;

27. poziva međutim na moratorij na upotrebu sustava za prepoznavanje lica kojima je funkcija identifikacija u svrhu kaznenog progona, osim ako se ne koriste isključivo u svrhu identifikacije žrtava kaznenog djela, dok se tehnički standardi ne budu mogli smatrati potpuno usklađenima s temeljnim pravima, dok dobiveni rezultati ne budu nepristrani i nediskriminirajući, dok zakonski okvir ne bude davao jasne zaštitne mjere protiv zlouporabe i strogu demokratsku kontrolu i nadzor i dok ne bude empirijskih dokaza o nužnosti i proporcionalnosti upotrebe takvih tehnologija; napominje da se sustavi ne bi smjeli upotrebljavati ili uvoditi ako prethodno navedeni kriteriji nisu ispunjeni;

28. izražava veliku zabrinutost zbog toga što akteri kaznenog progona i obavještajne službe upotrebljavaju privatne baze podataka za prepoznavanje lica, kao što je Clearview AI, baza podataka s više od tri milijarde fotografija nezakonito prikupljenih s društvenih mreža i drugih internetskih stranica, uključujući fotografije građana EU-a; poziva države članice da obvežu aktere kaznenog progona da otkriju upotrebljavaju li tehnologiju Clearview AI ili neku istovrijednu tehnologiju iz drugih izvora; podsjeća na mišljenje Europskog odbora za zaštitu podataka da uporaba usluge kao što je Clearview AI od strane tijela kaznenog progona u Europskoj uniji „vjerojatno nije u skladu s režimom EU-a za zaštitu podataka”; poziva da se tijelima kaznenog progona zabrani upotreba privatnih baza podataka za prepoznavanje lica;

29. prima na znanje studiju izvedivosti Komisije o mogućim izmjenama odluke Prüm[8], uključujući u pogledu slika lica; prima na znanje ranije istraživanje da nijedan potencijalni novi identifikator, npr. šarenica ili prepoznavanje lica, ne bi bio jednako pouzdan u forenzičkom kontekstu kao DNK ili otisci prstiju; podsjeća Komisiju da se svaki zakonodavni prijedlog mora temeljiti na dokazima i poštovati načelo proporcionalnosti; poziva Komisiju da ne proširi okvir odluke Prüm osim ako za to ne postoje čvrsti znanstveni dokazi o pouzdanosti prepoznavanja lica u forenzičkom kontekstu u usporedbi s DNK ili otiscima prstiju, i to nakon što provede cjelovitu procjenu učinka, uzimajući u obzir preporuke Europskog nadzornika za zaštitu podataka i Europskog odbora za zaštitu podataka;

30. ističe da je upotreba biometrijskih podataka u širem smislu povezana s načelom prava na ljudsko dostojanstvo, koje je osnova svih temeljnih prava koja su zajamčena Poveljom; smatra da upotreba i prikupljanje biometrijskih podataka za potrebe daljinske identifikacije, primjerice prepoznavanjem lica na javnim mjestima, kao i na izlazima za automatsku graničnu kontrolu koji se upotrebljavaju za granične kontrole u zračnim lukama, može predstavljati poseban rizik za temeljna prava čije se posljedice mogu značajno razlikovati ovisno o svrsi, kontekstu i području upotrebe; nadalje ističe spornu znanstvenu valjanost tehnologije prepoznavanja, kao što su kamere kojima se otkrivaju pokreti očiju i promjene u veličini zjenica, u području kaznenog progona; smatra da bi se upotreba biometrijske identifikacije u kontekstu kaznenog progona i pravosuđa uvijek trebala smatrati „visokorizičnom” i stoga podlijegati dodatnim zahtjevima, u skladu s preporukama Komisijine stručne skupine na visokoj razini za umjetnu inteligenciju;

31. izražava duboku zabrinutost zbog istraživačkih projekata financiranih u okviru programa Obzor 2020. kojima se na vanjskim granicama uvodi umjetna inteligencija, kao što je projekt iBorderCtrl, „pametni sustav za otkrivanje laži” koji profilira putnika na temelju automatiziranog intervjua provedenog putem webcama prije putovanja i analize 38 mikropokreta temeljene na umjetnoj inteligenciji, koji je testiran u Mađarskoj, Latviji i Grčkoj; stoga poziva Komisiju da zakonodavnim i nezakonodavnim sredstvima te po potrebi postupcima zbog povrede prava provede zabranu svake biometrijske obrade podataka, uključujući slike lica, za potrebe kaznenog progona koji dovodi do masovnog nadzora u javno dostupnim prostorima; nadalje poziva Komisiju da prestane financirati biometrijska istraživanja, uvođenje biometrijske tehnologije ili biometrijske programe koji bi lako mogli doprinijeti neselektivnom masovnom nadzoru u javnim prostorima; u tom kontekstu ističe da bi posebnu pozornost trebalo posvetiti upotrebi bespilotnih letjelica u policijskim operacijama te da bi se za njih trebao primjenjivati strog okvir;

32. podržava preporuke stručne skupine Komisije na visokoj razini za umjetnu inteligenciju da se zabrani masovno vrednovanje pojedinaca putem umjetne inteligencije; smatra da se svakim oblikom normativnog vrednovanja građanina koji provode javna tijela, posebno u području kaznenog progona i pravosuđa, dovodi do gubitka autonomije, ugrožava načelo nediskriminacije te se ne može smatrati da je u skladu s temeljnim pravima, posebno ljudskim dostojanstvom, kako je kodificirano zakonom EU-a;

33. poziva na veću opću transparentnost kako bi se uspostavio sveobuhvatan sporazum u pogledu upotrebe primjena umjetne inteligencije u Uniji; traži od država članica da daju sveobuhvatne informacije o alatima kojima se koriste njihova tijela kaznenog progona i sudska tijela, o vrsti alata u uporabi, o svrhama u koje se koriste, o vrstama kaznenih djela na koja se primjenjuju i o nazivima društava ili organizacija koje su razvile te alate; poziva tijela kaznenog progona i pravosuđa da informiraju javnost i osiguraju dovoljnu transparentnost u pogledu uporabe umjetne inteligencije i srodnih tehnologija pri provedbi svojih ovlasti, uključujući otkrivanje lažno pozitivnih i lažno negativnih stopa predmetne tehnologije; od Komisije traži da prikupi i ažurira informacije koje bi se onda nalazile na jednom mjestu; poziva Komisiju da objavi te da ažurira informacije o uporabi umjetne inteligencije u agencijama Unije nadležnima za provedbu zakona i za ispunjavanje pravosudnih zadaća; poziva Europski odbor za zaštitu podataka da ocijeni zakonitost tih tehnologija umjetne inteligencije i načina na koji ih primjenjuju tijela kaznenog progona i pravosudna tijela;

34. podsjeća da se aplikacije umjetne inteligencije, uključujući one koje se upotrebljavaju u kontekstu kaznenog progona i pravosuđa, brzo razvijaju na globalnoj razini; potiče sve europske dionike, uključujući države članice i Komisiju, da u okviru međunarodne suradnje zajamče angažman partnera izvan EU-a kako bi se podigli standardi na međunarodnoj razini i pronašao zajednički i dopunski pravni i etički okvir za upotrebu umjetne inteligencije, posebno u području provedbe zakona i pravosuđa, kojim će se u potpunosti poštovati Povelja, europska pravna stečevina o zaštiti podataka i ljudska prava u širem smislu;

35. poziva Agenciju EU-a za temeljna prava da u suradnji s Europskim odborom za zaštitu podataka i Europskim nadzornikom za zaštitu podataka izradi sveobuhvatne smjernice, preporuke i najbolje prakse kako bi se dodatno odredili kriteriji i uvjeti za razvoj, upotrebu i uvođenje aplikacija i rješenja umjetne inteligencije kojima se koriste tijela kaznenog progona i pravosudna tijela; obvezuje se provesti studiju o provedbi Direktive o izvršavanju zakonodavstva[9] kako bi se utvrdilo na koji su način tijela kaznenog progona i pravosudna tijela osigurala zaštitu osobnih podataka prilikom njihove obrade, posebno u razvoju ili uvođenju novih tehnologija; nadalje, poziva Komisiju da razmotri je li potrebno provesti konkretno zakonodavno djelovanje za dodatno određivanje kriterija i uvjeta za razvoj, upotrebu i uvođenje aplikacija i rješenja umjetne inteligencije kojima se koriste tijela kaznenog progona i pravosudna tijela;

36. nalaže svojem predsjedniku da ovu Rezoluciju proslijedi Vijeću i Komisiji.

OBRAZLOŽENJE

Umjetna inteligencija jedna je od strateških tehnologija 21. stoljeća koja generira velike dobiti u učinkovitosti, točnosti i praktičnosti te stoga pozitivno doprinosi europskom gospodarstvu. Među ostalim, primjene umjetne inteligencije poboljšale su zdravstvenu zaštitu, povećale učinkovitost poljoprivrede, pridonijele ublažavanju klimatskih promjena i prilagodbi tim promjenama te povećale učinkovitost proizvodnje.

 

Umjetna inteligencija jedan je od glavnih prioriteta trenutačnog sastava Komisije. Predsjednica Komisije Ursula von der Leyen u svojim je političkim smjernicama najavila koordinirani europski pristup etičkim implikacijama umjetne inteligencije i njezinim posljedicama na ljude te promišljanje o boljem iskorištavanju velikih količina podataka za uvođenje inovacija. Potvrdu pitanja umjetne inteligencije kao pitanja na razini EU-a prati promišljanje o tome kako jamčiti povjerenje u tehnologije umjetne inteligencije i kako osigurati da umjetna inteligencija ne ugrozi temeljna prava EU-a.

 

Međutim, Europski parlament bavio se pitanjem umjetne inteligencije nekoliko godina prije negoli je Komisija odlučila to pitanje proglasiti visokim prioritetom. Nekoliko rezolucija o velikoj količini podataka, robotici i umjetnoj inteligenciji koje je Parlament usvojio od 2016. pokazuju koliko je ova tema Parlamentu važna. U rezolucijama su razmotrene različite implikacije umjetne inteligencije te kako ona utječe na dobrobit, obrazovanje, tehnologiju, zakonska i temeljna prava kao i na industriju u cjelini. U tim je rezolucijama istaknuta potreba za usvajanjem „antropocentričnog” pristupa koji se temelji na poštovanju ljudskih prava, odnosno na Povelji EU-a i okviru EU-a za zaštitu podataka.

 

Kao „skup tehnologija koje se koriste podacima, algoritmima i računalnom snagom”, „napredak u računalstvu i sve veća dostupnost podataka stoga su ključni pokretači današnjeg procvata umjetne inteligencije”[10]. Temelj umjetne inteligencije predstavlja činjenica da se umjetna inteligencija temelji na prikupljanju, analizi i učestalom akumuliranju velikih količina podataka, uključujući osobne podatke, iz različitih izvora, koji se automatski obrađuju s pomoću računalnih algoritama i naprednih tehnika obrade podataka. Pritom se te tehnike koriste i pohranjenim podacima i podacima prenesenima strujanjem kako bi se dobile određene korelacije, trendovi i uzorci (analiza velikih podataka). Podaci koji se upotrebljavaju u umjetnoj inteligenciji ne potječu samo od samih pojedinaca. U primjenama umjetne inteligencije većinom se upotrebljavaju podaci koji potječu iz industrije, poduzećâ i javnog sektora te koji se obrađuju u niz raznih svrha. Čak i ako su podaci koji se upotrebljavaju u primjenama umjetne inteligencije ponekad neosobni, vrlo često aktivnost umjetne inteligencije podrazumijeva obradu osobnih podataka jer takva aktivnost često rezultira automatiziranim odlukama koje izravno utječu na pojedince. Stoga zbog tih značajki umjetne inteligencije posebnu pozornost u ovom području treba obratiti na poštovanje osnovnih načela zaštite podataka i privatnosti.

 

Umjetna inteligencija nudi sjajne prilike i u području kaznenog progona i kaznenog pravosuđa, osobito u unaprjeđenju načina rada tijela kaznenog progona i pravosudnih tijela u učinkovitijoj borbi protiv određenih vrsta kriminala, osobito u području financijskog kriminala, pranja novca i financiranja terorizma te određenih vrsta kiberkriminaliteta. U ovom sektoru primjene umjetne inteligencije među ostalim uključuju tehnologije prepoznavanja lica, automatizirano prepoznavanje registarskih tablica, prepoznavanje govornika, prepoznavanje govora, tehnologije čitanja s usana, zvučni nadzor (tj. algoritme prepoznavanja hitaca), autonomno istraživanje i analizu utvrđenih baza podataka, prognoziranje (prediktivno policijsko postupanje i analizu žarišta kriminala), alate za otkrivanje ponašanja, autonomne alate za utvrđivanje financijske prijevare i financiranja terorista, praćenje društvenih medija (prikupljanje i ubiranje podataka za rudarenje podataka radi traženja veza), uređaje za presretanje međunarodne oznake pokretnog pretplatnika i automatizirane sustave nadzora koji objedinjuju različite sposobnosti otkrivanja (poput otkrivanja otkucaja srca i toplinskih kamera). U pravosuđu se alati umjetne inteligencije mogu upotrebljavati za izračun mogućnosti ponavljanja kaznenog djela i u odlučivanju o kazni.

 

Ne dovodeći u pitanje koristi umjetne inteligencije, činjenica je da umjetnu inteligenciju jednako tako prati niz potencijalnih rizika, kao što su netransparentno donošenje odluka, razne vrste diskriminacije, zadiranje u privatni život, izazovi u zaštiti osobnih podataka, ljudskog dostojanstva i sloboda izražavanja i informiranja. Ti potencijalni rizici povećani su u sektoru kaznenog progona i kaznenog pravosuđa jer mogu utjecati na pretpostavku nedužnosti, temeljna prava na slobodu i sigurnost pojedinca te na djelotvoran pravni lijek i na pošteno suđenje.

 

U ovom izvješću nastoje se obuhvatiti pitanja koja su rezultat upotrebe umjetne inteligencije u kaznenom pravu te načina na koji je upotrebljavaju policija i pravosudna tijela u kaznenim stvarima. Iako se priznaju potencijalne prilike i prednosti umjetne inteligencije, naglašavaju se i ozbiljni rizici i učinci koje može proizvesti.

 

U izvješću se naglašava potreba za potpunim poštovanjem temeljnih prava sadržanih u Povelji EU-a o temeljnim pravima, zakonodavstvu EU-a o privatnosti i zaštiti podataka, odnosno Direktivi (EU) 2016/680 (Direktiva o policiji) i nužnost uvođenja nekoliko temeljnih načela u životni ciklus umjetne inteligencije, kao što su algoritamska objašnjivost i transparentnost, sljedivost, provođenje obvezne procjene utjecaja na temeljna prava prije implementacije ili upotrebe bilo kojeg sustava umjetne inteligencije i obvezne revizije. Svi ti zahtjevi nisu samo nužni da bi se osigurala zakonitost sustava umjetne inteligencije, već i kako bi se zadobilo povjerenje pojedinaca u način na koji ih upotrebljavaju tijela kaznenog progona i kaznenog pravosuđa.

 

Na kraju vaš izvjestitelj traži moratorij na upotrebu sustava za prepoznavanje lica u tijelima kaznenog progona. Trenutačno stanje tih tehnologija, odnosno značajan utjecaj na temeljna prava, poziva na dubinsku i otvorenu društvenu raspravu kako bi se razmotrila različita pitanja koja su postavljena i kako bi se opravdala njihova primjena.

 

 

MIŠLJENJE ODBORA ZA UNUTARNJE TRŽIŠTE I ZAŠTITU POTROŠAČA (3.9.2020)

upućeno Odboru za građanske slobode, pravosuđe i unutarnje poslove

o umjetnoj inteligenciji u kaznenom pravu i njezinoj primjeni od strane policije i pravosudnih tijela u kaznenim stvarima

(2020/2016(INI))

Izvjestitelj za mišljenje: Marcel Kolaja

 

 

PRIJEDLOZI

Odbor za unutarnje tržište i zaštitu potrošača poziva Odbor za građanske slobode, pravosuđe i unutarnje poslove da kao nadležni odbor u prijedlog rezolucije koji će usvojiti uvrsti sljedeće prijedloge:

A. budući da bi se s obzirom na pozitivni društveni potencijal i inherentne rizike umjetne inteligencije funkcioniranje jedinstvenog digitalnog tržišta trebalo unaprijediti jačanjem pravne sigurnosti za pružatelje sustava umjetne inteligencije te jačanjem povjerenja i sigurnosti potrošača s pomoću osnaživanja zaštitnih mjera kako bi se osigurala vladavina prava i poštivanje temeljnih prava, posebno prava na privatnost i zaštitu osobnih podataka, prava na jednakost i nediskriminaciju, prava na dobru upravu, prava na pošteno suđenje i prava na visoku razinu zaštite potrošača; budući da su zajednički europski pristup umjetnoj inteligenciji i regulaciji njezine primjene od strane policije i tijela kaznenog progona u kaznenim stvarima potrebni kako bi se izbjegla fragmentacija jedinstvenog tržišta;

B. budući da su testiranje i primjena umjetne inteligencije od strane policije i pravosudnih tijela široko rasprostranjeni i da uključuju različite vrste primjena, posljedica i rizika, odnosno sustave za prepoznavanje lica, profiliranje DNK-a, prognostičko mapiranje kriminala, izvlačenje podataka s mobilnih telefona, napredne pretraživače za pretraživanje sudske prakse, internetsko rješavanje sporova te strojno učenje za sudovanje;

C. budući da primjena umjetne inteligencije može predstavljati pomak paradigme u kaznenom sudovanju;

D. budući da su prema izvješću Agencije za temeljna prava trenutačno još uvijek dostupni tek ograničeni podaci o mogućoj primjeni ili testiranju tehnologija za prepoznavanje lica u državama članicama[11];

E. budući da su nadležna tijela za zaštitu podataka u državama članicama u kojima su bili dostupni određeni podaci o primjeni tehnologija za prepoznavanje lica utvrdila da se primjenom tih tehnologija ne poštuju zakoni o zaštiti podataka i da nedostaje pravni temelj za njihovo uvođenje;

F. budući da u području unutarnjeg tržišta Unija reformiranjem postupaka javne nabave može provesti korjenite promjene usklađenjem postupaka i ponašanja vlada sa sekundarnim ciljevima politika kao što su zaštita podataka i nediskriminacija;

G. budući da do diskriminacije u algoritamskom odlučivanju utemeljenom na podacima može doći u fazama dizajniranja, testiranja i provedbe uslijed pristranosti ugrađenih u skupove podataka ili algoritme;

H. budući da su tehnološki razvoj i primjena umjetne inteligencije utemeljeni na načelima potrebni kako bi se osiguralo poštivanje ljudskih i temeljnih prava;

I. budući da je Europska komisija za učinkovitost pravosuđa Vijeća Europe 4. prosinca 2018. objavila Etičku povelju za primjenu umjetne inteligencije u pravosudnim sustavima kojom se utvrđuju etička načela za primjenu umjetne inteligencije u pravosudnim sustavima;

J. budući da su određene primjene tehnologija utemeljenih na umjetnoj inteligenciji osobito osjetljive na zloupotrebu i podložne zloupotrebi te da su zbog toga neka tehnološka poduzeća nedavno prestala nuditi s njima povezan softver;

1. smatra da se umjetna inteligencija koju primjenjuju policija i pravosudna tijela općenito mora kategorizirati kao visokorizična i da se s njom mora postupati krajnje pažljivo i uz najviše standarde zaštite podataka, s obzirom na ulogu tih tijela u obrani javnog interesa i s obzirom na prirodu njihovih odgovornosti; smatra da postoji hitna potreba za zajedničkim europskim regulatornim okvirom za umjetnu inteligenciju na unutarnjem tržištu; smatra da bi EU trebao preuzeti inicijativu kada je riječ o utvrđivanju regulative na razini Unije, među ostalim u području javne nabave, na temelju jasnih pravila te temeljnih prava i etike, u pogledu razvoja i primjene umjetne inteligencije kako bi se zajamčila jednaka visoka razina zaštite potrošača i ujednačeni standardi industrije diljem EU-a, kako bi se omogućilo bolje funkcioniranje unutarnjeg tržišta i istovremeno poticale inovacije i promicala pravna sigurnost za poduzeća, posebno MSP-ove; poziva Komisiju da prije pokretanja bilo kakvih mogućih novih zakonodavnih prijedloga ispita primjenu postojećeg zakonodavstva i njegovu provedbu;

2. prepoznaje da se primjenom umjetne inteligencije u području pravosuđa može pridonijeti unapređenju učinkovitosti i kvalitete postupaka; u tom kontekstu naglašava posebnu potrebu za poštivanjem pravila utvrđenih u Europskoj konvenciji o ljudskim pravima te u Konvenciji Vijeća Europe za zaštitu pojedinaca u vezi s automatskom obradom osobnih podataka;

3. poziva Komisiju da procijeni tehnologiju utemeljenu na umjetnoj inteligenciji koja je dostupna na tržištu i razinu njene primjene od strane policije i pravosudnih tijela od države do države;

4. ističe da bi umjetna inteligencija trebala doprinijeti smanjenju administrativnog opterećenja javnih tijela i povećanju njihove učinkovitosti u odlučivanju te da bi se sustavi umjetne inteligencije uvijek trebali oslanjati na ljudski nadzor, suradnju i koordinaciju; u tom pogledu ističe da bi ljudi uvijek trebali snositi konačnu odgovornost za svako odlučivanje u kaznenim stvarima; naglašava važnost točnih skupova podataka u slučajevima kada se oni upotrebljavaju za pomoć u s njima povezanim procesima e-uprave i u donošenju upravnih odluka u cijeloj Uniji;

5. naglašava važnost omogućavanja inovacija, transparentnosti, sljedivosti i provjere; naglašava da bi umjetna inteligencija otvorenog koda mogla tome doprinijeti, uz istovremeno jačanje suradnje i promicanje kulture razmjene ideja i iskustava povezanih s upotrebom i izradom algoritama;

6. smatra da bi se umjetna inteligencija koju primjenjuju policija i tijela kaznenog progona u kaznenim stvarima po mogućnosti trebala uvesti kao softver otvorenog koda u okviru postupka javne nabave u skladu s primjenjivim zakonodavstvom, uključujući Direktivu (EU) 2019/790 Europskog parlamenta i Vijeća od 17. travnja 2019. o autorskom pravu i srodnim pravima na jedinstvenom digitalnom tržištu, pri čemu bi dokumentacija i algoritmi povezani sa softverom trebali biti dostupni kako bi se nadležnim tijelima na taj način omogućilo preispitivanje kako je sustav umjetne inteligencije došao do određenog zaključka; naglašava da bi revizija temeljnih prava trebala biti dio prethodne ocjene sukladnosti; smatra da su, uz jamčenje poštovanja prava i vrijednosti EU-a i primjenjivih pravila o zaštiti podataka te bez ugrožavanja istraga ili kaznenih progona, objašnjivi i nepristrani algoritmi koji udovoljavaju obvezi dovoljne transparentnosti, kao i upotreba otvorenih podataka za osposobljavanje u skladu s primjenjivim zakonodavstvom, uključujući Direktivu (EU) 2019/1024 o otvorenim podacima i ponovnoj uporabi informacija javnog sektora i ne dovodeći u pitanje Uredbu (EU) 2016/679, neophodni kako bi se osiguralo da poduzeća i građani, uključujući potrošače, mogu imati povjerenja u bolje, pristupačne, nediskriminirajuće i pouzdane javne usluge uz poštene troškove, te da mogu od njih imati koristi;

7. naglašava da bi prikupljanje podataka utemeljeno na umjetnoj inteligenciji i praćenje pojedinaca trebalo ograničiti na osobe osumnjičene za kaznena djela i na nadzor koji je odobrio sud u skladu s primjenjivim nacionalnim zakonima, uzimajući u obzir poštivanje privatnog života i pretpostavku nedužnosti, što se odnosi i na ostale korisnike i potrošače na koje su ti sustavi i prakse možda nenamjerno utjecali; naglašava da su u slučajevima kada se statistički izračuni upotrebljavaju za pomoć u odlučivanju potrebni odgovarajuće stručno osposobljavanje i kvalifikacije kako bi se osigurala osposobljenost donositelja odluka u pogledu potencijala za pristranost, budući da se skupovi podataka mogu temeljiti na diskrimirajućim podacima i podacima na koje utječu predrasude; u tom pogledu naglašava važnost kvalitete algoritama i izvornih podataka te podsjeća da se primjena umjetne inteligencije mora temeljiti na načelu nediskriminacije pri unosu i analizama podataka; poziva da se u postupke nabave takvih aplikacija ugrade mjere zaštite od mogućih pristranosti; poziva na razmjene informacija i najboljih praksi u pogledu primjene tehnika i alata utemeljenih na umjetnoj inteligenciji od strane pravosudnih i policijskih tijela u državama članicama kako bi se izbjegao fragmentirani pristup na jedinstvenom tržištu te kako bi se osigurala zaštita potrošača i građana u cijeloj Uniji;

8. ustraje u tome da bi države članice u skladu s primjenjivim kaznenim zakonima trebale osigurati da građani i potrošači koji podliježu primjeni umjetne inteligencije budu o tome obaviješteni te da bi se građanima na raspolaganje trebali staviti jednostavni, učinkoviti i lako dostupni žalbeni postupci i postupci pravne zaštite, uključujući sudsku zaštitu, kako bi im se omogućila učinkovita zaštita njihovih prava;

9. podsjeća na visok rizik određenih vrsta umjetne inteligencije, što uključuje tehnologije prepoznavanja lica u javnim prostorima, automatizirano otkrivanje ponašanja i profiliranje koji se primjenjuju kako bi se ljude na granicama podijelilo prema kategorijama rizika, biometrijsko otkrivanje i prepoznavanje za masovni nadzor, masovno bodovanje građana te prognostički rad policije, te poziva Komisiju da regulira njihovu nabavu i primjenu kako bi se otklonio rizik od zloupotrebe; u tom pogledu pozdravlja kontinuirani rad Komisije na procjeni primjene biometrijskih tehnologija i na razmatranju regulatornih mogućnosti, uključujući pristup utemeljen na riziku i njihovu zabranu u određenim okolnostima, te na uvođenju potrebnih mjera zaštite u slučajevima kada je njihova primjena opravdana;

10. ističe da se mora poštovati suvereno diskrecijsko pravo sudaca i odlučivanje od slučaja do slučaja kako bi se izbjegla standardizacija odluka koje se temelje isključivo na statističkim izračunima.

INFORMACIJE O USVAJANJU U ODBORU KOJI DAJE MIŠLJENJE

Datum usvajanja	3.9.2020.
Rezultat konačnog glasovanja	+: –: 0:	40 4 0
Zastupnici nazočni na konačnom glasovanju	Alex Agius Saliba, Andrus Ansip, Alessandra Basso, Brando Benifei, Adam Bielan, Hynek Blaško, Biljana Borzan, Vlad-Marius Botoş, Markus Buchheit, Dita Charanzová, Deirdre Clune, David Cormand, Petra De Sutter, Carlo Fidanza, Evelyne Gebhardt, Sandro Gozi, Maria Grapini, Svenja Hahn, Virginie Joron, Eugen Jurzyca, Arba Kokalari, Marcel Kolaja, Kateřina Konečná, Andrey Kovatchev, Jean-Lin Lacapelle, Maria-Manuel Leitão-Marques, Morten Løkkegaard, Adriana Maldonado López, Antonius Manders, Beata Mazurek, Leszek Miller, Dan-Ștefan Motreanu, Kris Peeters, Anne-Sophie Pelletier, Christel Schaldemose, Andreas Schwab, Tomislav Sokol, Ivan Štefanec, Kim Van Sparrentak, Marion Walsmann, Marco Zullo
Zamjenici nazočni na konačnom glasovanju	Maria da Graça Carvalho, Anna Cavazzini, Krzysztof Hetman

 

POIMENIČNO KONAČNO GLASOVANJE U ODBORU KOJI DAJE MIŠLJENJE

40	+
EPP	Maria da Graça Carvalho, Deirdre Clune, Krzysztof Hetman, Arba Kokalari, Andrey Kovatchev, Antonius Manders, Dan-Ștefan Motreanu, Kris Peeters, Andreas Schwab, Tomislav Sokol, Ivan Štefanec, Marion Walsmann
S&D	Alex Agius Saliba, Brando Benifei, Biljana Borzan, Evelyne Gebhardt, Maria Grapini, Maria-Manuel Leitão-Marques, Adriana Maldonado López, Leszek Miller, Christel Schaldemose
RENEW	Andrus Ansip, Vlad-Marius Botoş, Dita Charanzová, Sandro Gozi, Svenja Hahn, Morten Løkkegaard
ID	Hynek Blaško
ZELENI/EFA	Anna Cavazzini, David Cormand, Petra De Sutter, Marcel Kolaja, Kim Van Sparrentak
ECR	Adam Bielan, Carlo Fidanza, Eugen Jurzyca, Beata Mazurek
GUE/NGL	Kateřina Konečná, Anne-Sophie Pelletier
NEZAVISNI	Marco Zullo

 

4	–
ID	Alessandra Basso, Markus Buchheit, Virginie Joron, Jean-Lin Lacapelle

 

0	0

 

Korišteni znakovi:

+ : za

– : protiv

0 : suzdržan

 

 

 

 

MIŠLJENJE ODBORA ZA PRAVNA PITANJA (15.9.2020)

upućeno Odboru za građanske slobode, pravosuđe i unutarnje poslove

o umjetnoj inteligenciji u kaznenom pravu i njezinoj primjeni od strane policije i pravosudnih tijela u kaznenim stvarima

(2020/2016(INI))

Izvjestitelj za mišljenje Angel Dzhambazki

 

PRIJEDLOZI

Odbor za pravna pitanja poziva Odbor za građanske slobode, pravosuđe i unutarnje poslove da kao nadležni odbor u prijedlog rezolucije koji će usvojiti uključi sljedeće prijedloge:

A. budući da je pravo na pošteno suđenje temeljno i pravno obvezujuće pravo utvrđeno u Povelji Europske unije o temeljnim pravima i Europskoj konvenciji o ljudskim pravima u svrhu izvršavanja zakonodavstva; budući da se primjenjuje tijekom cijelog kaznenog postupka, među ostalim u kaznenom progonu, te da očuvanje tog prava u svim fazama postupka isključuje poduzimanje mjera, pa i onih tehničke prirode, čija je izravna ili neizravna posljedica obezvrjeđenje prava na obranu; budući da su jamstva povezana s tim načelom u području kaznenog prava još stroža, posebno ona koja se odnose na „neovisan sud”, „jednakost pred zakonom” i pretpostavku nedužnosti; budući da se ta prava moraju poštovati u svim okolnostima, posebno u kontekstu upotrebe umjetne inteligencije, a naročito s obzirom na to da bi tehnologije koje se temelje na umjetnoj inteligenciji mogle utjecati na različita ljudska prava;

B. budući da se zaštita osobnih podataka, u skladu s Općom uredbom o zaštiti podataka[12] i po potrebi drugim relevantnim zakonodavstvom, primjenjuje u svakom trenutku;

C. budući da umjetna inteligencija i srodne tehnologije, kao i njihove sposobnosti za samostalno učenje, uvijek uključuju određenu razinu ljudske intervencije;

D. budući da umjetna inteligencija može postati trajni dio sustava kaznenog prava;

E. budući da su umjetna inteligencija i srodne tehnologije prioritet Unije s obzirom na ubrzani napredak u tehnološkom sektoru i važnost opreznosti u pogledu njihova sadašnjeg i budućeg učinka na jedinstveni europski sustav prava intelektualnog vlasništva; budući da se u raznim sektorima već upotrebljava umjetna inteligencija i srodne tehnologije, a sektori robotike, prometa i zdravstvene skrbi samo su neki od njih;

F. budući da bi se tehnologije poput umjetne inteligencije i srodnih tehnologija mogle primjenjivati u području kaznenog prava radi smanjenja stopa kriminala, olakšavanja određenih postupaka njihovom upotrebom pri statističkoj analizi podataka u analizi i sprečavanju kriminala te radi otkrivanja i istrage kaznenih predmeta; budući da bi Unija trebala dodatno razviti svoje kapacitete u pogledu softvera, pohrane podataka i tehnologija umjetne inteligencije kako bi poboljšalo stanje kad je riječ o nedostacima u pogledu zaštite podataka i privatnosti;

G. budući da se te tehnologije mogu koristiti za stvaranje anonimiziranih statističkih baza podataka koje pomažu nadležnim tijelima, znanstvenicima i zakonodavcima da analiziraju brojke i učinkovito osmisle politike za sprečavanje kriminala te pomognu počiniteljima da se uspješno reintegriraju u društvo;

H. budući da bi pravni okvir za umjetnu inteligenciju i njezinu primjenu u kaznenom pravu trebao po potrebi uključivati zakonodavne mjere, počevši od obveznih mjera za sprečavanje praksi kojima bi se nedvojbeno ugrozila temeljna prava i slobode;

I. budući da zbog suštinski netransparentne prirode sustava umjetne inteligencije novi instrumenti koji se koriste u kontekstima kaznenog pravosuđa mogu biti u suprotnosti s nekim temeljnim slobodama;

J. budući da je potrebno spriječiti i ublažiti moguće rizike povezane s upotrebom sustava umjetne inteligencije u području kaznenog pravosuđa radi zaštite temeljnih prava osumnjičenika i okrivljenika u kaznenom postupku;

1. naglašava ključnu važnost propisne procjene rizika upotrebe sustava umjetne inteligencije, kao što su diskriminacija i narušavanje privatnosti, i razmatranja svih etičkih i operativnih implikacija upotrebe umjetne inteligencije i srodnih tehnologija u našem društvu, posebno od strane državnih tijela, policije i pravosudnih tijela u sustavima kaznenog pravosuđa, kao i pitanja odgovornosti i dokaza u slučaju mogućih pogrešaka povezanih s radom sustava umjetne inteligencije; smatra da je potreban jasan regulatorni okvir kako bi se utvrdile granice i osigurale potrebne zaštitne mjere; smatra da bi javni i privatni subjekti odgovorni za početno oblikovanje i razvoj alata i usluga umjetne inteligencije u obzir trebali uzeti i poštovati etička načela, kao što su ona utvrđena u Europskoj etičkoj povelji Vijeća Europe o upotrebi umjetne inteligencije u pravosudnim sustavima i njihovu okružju tako da svi društveni akteri mogu imati potpune informacije o korporativnoj strukturi poduzeća koja proizvode programe umjetne inteligencije; ističe važnost ljudskog faktora, koji uvijek mora biti konačni donositelj odluka pri upotrebi softvera koji se temelje na tehnologijama umjetne inteligencije i unutar kaznenog sustava, bilo u policijskom progonu bilo u kaznenom pravosuđu; ponavlja da bi se softveri za prepoznavanje biometrijskih podataka trebali upotrebljavati samo u jasno opravdanim situacijama;

2. ističe da je potrebno uspostaviti i održavati ravnotežu između upotrebe sustava umjetne inteligencije u kaznenim postupcima i poštovanja svih temeljnih prava i postupovnih jamstava predviđenih europskim i međunarodnim pravom;

3. ističe važnost korištenja umjetne inteligencije uz dužno poštovanje načela vladavine prava i neovisnosti pravosuđa u postupku donošenja odluka;

4. poziva Komisiju da dodatno pojasni pravila o zaštiti i dijeljenju podataka koje su umjetnom inteligencijom i srodnim tehnologijama prikupila tijela ovlaštena za prikupljanje i/ili obradu takvih podataka, uključujući neosobne i anonimizirane podatke kojima se izravno ili neizravno identificiraju osobe, uz potpuno poštovanje Opće uredbe o zaštiti podataka i Direktive o e-privatnosti[13]; nadalje ističe da bi pravo na pošteno suđenje trebalo uključivati pravo građana i stranaka u sporu da pristupe tim podacima, posebno ako su prikupljeni s njihovih osobnih uređaja ili opreme, u skladu s Općom uredbom o zaštiti podataka, ali i u svrhu njihova prava obrane čim je riječ o njihovoj pravnoj odgovornosti;

5. naglašava da je važno povećati transparentnost sustava umjetne inteligencije koji se koriste u području kaznenog pravosuđa kako bi se omogućio pravosudni nadzor te da je važno zajamčiti da osobe koje razvijaju umjetnu inteligenciju i srodne tehnologije osiguraju dovoljnu razinu transparentnosti algoritama i algoritamskih odluka u korist nadležnih tijela i građana; naglašava opće pravo stranaka na pristup postupcima koji se odnose na prikupljanje podataka, prognostičke procjene koje se koriste za sprečavanje kriminala, katalogiziranje i ocjenjivanje kaznenih dokaza te utvrđivanje može li osumnjičenik predstavljati opasnost za društvo ako postojeće pravo EU-a, kao što je Direktiva (EU) 2016/680[14], to ne ograničava; povrh toga, naglašava da je važno imati pristup rezultatima koje je proizvela umjetna inteligencija ili koji se temelje na umjetnoj inteligenciji i u konačnici utvrditi odgovornost za postupke obavješćivanja i ulogu umjetne inteligencije i srodnih tehnologija u kaznenim stvarima, posebno u pogledu analize velikih količina dokaza u kaznenim istragama i identifikacije osumnjičenika ili žrtava kaznenih djela; podsjeća na važnost pitanja koja se odnose na upravljanje, temeljna prava i postupovna jamstva, nediskriminaciju, odgovornost, transparentnost, nepristranost, pravednost i intelektualni integritet umjetne inteligencije i srodnih tehnologija te istodobno naglašava da je u svakom trenutku potrebno osigurati ljudski nadzor; insistira na tome da pravosudna tijela moraju biti obvezna opravdati svoje odluke, među ostalim pri upotrebi dokaznih elemenata koje pružaju tehnologije koje se temelje na umjetnoj inteligenciji, za koje je potrebna visoka razina sudskog nadzora i strogi kriteriji dopuštenosti, u skladu sa svojom Rezolucijom od 16. veljače 017. o robotici[15] u kojoj se naglašava da treba uvijek biti moguće opravdati sve odluke koje se donose s pomoću umjetne inteligencije i koje mogu utjecati na život jedne ili više osoba; podsjeća na razliku između upotrebe umjetne inteligencije i srodnih tehnologija u sprečavanju kriminala i u kaznenom pravosuđu; naglašava da tehnologije umjetne inteligencije moraju u svakom trenutku imati podređenu ulogu;

6. podsjeća na to da najozbiljnije zloupotrebe umjetne inteligencije i srodnih tehnologija, kao što su masovni nadzor, profiliranje i programi prediktivnog policijskog nadzora kojima bi se moglo procijeniti gdje će se vjerojatno dogoditi kazneno djelo, gdje postoji vjerojatnost da će se osumnjičenici pronaći, mogućnosti da neka osoba postane žrtva, ranjivost, činjenica da je osoba prijavljena kao nestala ili da je žrtva ili počinitelj nasilja u obitelji ili kaznenog djela protiv spolne slobode te kršenje postupovnih prava, mogu potjecati od tijela javne vlasti koja djeluju u okviru kaznenog progona;

7. ističe važnost korištenja samogeneriranih podataka u prikupljanju i analizi dokaza; podsjeća da i u sprečavanju kriminala i u kaznenom pravosuđu uzrok pogrešaka ili moguće pogrešne upotrebe pri analizi ulaznih i izlaznih podataka, kao i pri njihovu tumačenju, može biti u uključenom ljudskom faktoru te stoga poziva na oprezan pristup pri analizi učinkovitosti i prikladnosti upotrebe tehnologija umjetne inteligencije u svim postupcima donošenja odluka;

8. poziva sva nadležna javna tijela, posebno tijela kaznenog progona kao što su policija i pravosuđe, da informiraju javnost i osiguraju dovoljnu transparentnost u pogledu upotrebe umjetne inteligencije i srodnih tehnologija pri provedbi svojih ovlasti, posebno u kaznenim stvarima;

9. smatra ključnim da se pri upotrebi sustava umjetne inteligencije u kontekstu kaznenog postupka jamči poštovanje temeljnih načela kaznenog postupka, među kojima su pravo na pošteno suđenje, načelo pretpostavke nedužnosti i pravo na učinkovit pravni lijek, te da se osigura praćenje i neovisna kontrola sustava za automatizirano donošenje odluka;

10. naglašava važnost načela koje podrazumijeva ljudsku kontrolu i provjere rezultata koje je proizvela umjetna inteligencija ili koji se na njoj temelje; podsjeća na važnost pitanja koja se odnose na upravljanje, transparentnost, objašnjivost i odgovornost kako bi se zajamčilo poštovanje temeljnih prava i izbjegle moguće pogreške u umjetnoj inteligenciji;

11. ističe svoj oprezan pristup upotrebi softvera za prepoznavanje biometrijskih podataka; ističe dvosmislenost koja proizlazi iz inherentne manjkavosti u pogledu zaštite podataka, kao i povrede privatnosti podataka; sa zabrinutošću primjećuje da strane zemlje spajaju osobne podatke o građanima u Europskoj uniji preko razvojnih inženjera i pružatelja usluga iz privatnog sektora;

12. podsjeća da se, u skladu s trenutačnim pravilima EU-a o zaštiti podataka i Poveljom Europske unije o temeljnim pravima, umjetna inteligencija može upotrebljavati samo za prepoznavanje biometrijskih podataka na daljinu ako je takva upotreba propisno opravdana i proporcionalna te ako podliježe odgovarajućim zaštitnim mjerama; pozdravlja preporuke stručne skupine Komisije na visokoj razini za umjetnu inteligenciju o proporcionalnoj, pažljivoj i na riziku utemeljenoj uporabi biometrijske tehnologije prepoznavanja, u skladu sa zakonodavstvom o zaštiti osobnih podataka; predlaže da primjena takve tehnologije mora biti jasno zajamčena postojećim zakonodavstvom te da Komisija procijeni kako učinkovito ugraditi te preporuke, posebno uzimajući u obzir pravo na privatnost i zaštitu osobnih podataka;

13. čvrsto vjeruje da bi odluke koje donosi umjetna inteligencija ili srodne tehnologije, posebno u području pravosuđa i kaznenog progona, i koje imaju izravan i znatan utjecaj na prava i obveze fizičkih ili pravnih osoba, trebale podlijegati strogoj ljudskoj provjeri i pravičnom postupku;

14. smatra da je potrebno analizirati je li uputno da se odluke o kaznenom progonu djelomično delegiraju umjetnoj inteligenciji i ako bi mogle, pod kojim uvjetima i u kojem pogledu bi takva upotreba umjetne inteligencije bila dopuštena; smatra da bi s umjetnom inteligencijom i srodnim tehnologijama koje mogu zamijeniti odluke javnih tijela trebalo postupati uz najveću moguću mjeru opreza; naglašava da je potrebno izraditi snažna etička načela i poseban kodeks ponašanja za dizajn i upotrebu umjetne inteligencije kako bi se tijelima kaznenog progona i pravosudnim tijelima pomoglo u slučaju da se odluke o kaznenom progonu prenesu na umjetnu inteligenciju; poziva se na kontinuirani rad Odbora za pravna pitanja.

INFORMACIJE O USVAJANJU U ODBORU KOJI DAJE MIŠLJENJE

Datum usvajanja	10.9.2020
Rezultat konačnog glasovanja	+: –: 0:	22 3 0
Zastupnici nazočni na konačnom glasovanju	Manon Aubry, Gunnar Beck, Geoffroy Didier, Angel Dzhambazki, Ibán García Del Blanco, Jean-Paul Garraud, Esteban González Pons, Mislav Kolakušić, Gilles Lebreton, Karen Melchior, Jiří Pospíšil, Franco Roberti, Marcos Ros Sempere, Liesje Schreinemacher, Stéphane Séjourné, Raffaele Stancanelli, Marie Toussaint, Adrián Vázquez Lázara, Axel Voss, Marion Walsmann, Tiemo Wölken, Lara Wolters, Javier Zarzalejos
Zamjenici nazočni na konačnom glasovanju	Heidi Hautala, Emil Radev

 

 

POIMENIČNO KONAČNO GLASOVANJE U ODBORU KOJI DAJE MIŠLJENJE

22	+
EPP	Geoffroy Didier, Esteban González Pons, Jiří Pospíšil, Emil Radev, Axel Voss, Marion Walsmann, Javier Zarzalejos
S&D	Ibán García Del Blanco, Franco Roberti, Marcos Ros Sempere, Tiemo Wölken, Lara Wolters
RENEW	Karen Melchior, Liesje Schreinemacher, Stéphane Séjourné, Adrián Vázquez Lázara
ID	Gunnar Beck, Jean-Paul Garraud, Gilles Lebreton
ECR	Angel Dzhambazki, Raffaele Stancanelli
NI	Mislav Kolakušić

 

3	-
VERTS/ALE	Heidi Hautala, Marie Toussaint
GUE/NGL	Manon Aubry

 

0	0

 

Korišteni znakovi:

+ : za

- : protiv

0 : sutdržani

 

INFORMACIJE O USVAJANJU U NADLEŽNOM ODBORU

Datum usvajanja	29.6.2021
Rezultat konačnog glasovanja	+: –: 0:	36 24 6
Zastupnici nazočni na konačnom glasovanju	Magdalena Adamowicz, Konstantinos Arvanitis, Malik Azmani, Katarina Barley, Pernando Barrena Arza, Pietro Bartolo, Nicolas Bay, Vladimír Bilčík, Vasile Blaga, Ioan-Rareş Bogdan, Patrick Breyer, Saskia Bricmont, Joachim Stanisław Brudziński, Jorge Buxadé Villalba, Damien Carême, Caterina Chinnici, Marcel de Graaff, Anna Júlia Donáth, Lena Düpont, Cornelia Ernst, Laura Ferrara, Nicolaus Fest, Jean-Paul Garraud, Maria Grapini, Sylvie Guillaume, Andrzej Halicki, Evin Incir, Sophia in ‘t Veld, Patryk Jaki, Marina Kaljurand, Fabienne Keller, Peter Kofod, Łukasz Kohut, Moritz Körner, Alice Kuhnke, Jeroen Lenaers, Juan Fernando López Aguilar, Lukas Mandl, Roberta Metsola, Nadine Morano, Javier Moreno Sánchez, Maite Pagazaurtundúa, Nicola Procaccini, Emil Radev, Paulo Rangel, Terry Reintke, Diana Riba i Giner, Ralf Seekatz, Michal Šimečka, Birgit Sippel, Sara Skyttedal, Martin Sonneborn, Tineke Strik, Ramona Strugariu, Annalisa Tardino, Tomas Tobé, Dragoş Tudorache, Milan Uhrík, Tom Vandendriessche, Bettina Vollath, Elissavet Vozemberg-Vrionidi, Jadwiga Wiśniewska, Elena Yoncheva, Javier Zarzalejos
Zamjenici nazočni na konačnom glasovanju	Tanja Fajon, Miguel Urbán Crespo

 

POIMENIČNO KONAČNO GLASOVANJE U NADLEŽNOM ODBORU

22	+
EPP	Geoffroy Didier, Esteban González Pons, Jiří Pospíšil, Emil Radev, Axel Voss, Marion Walsmann, Javier Zarzalejos
S&D	Ibán García Del Blanco, Franco Roberti, Marcos Ros Sempere, Tiemo Wölken, Lara Wolters
RENEW	Karen Melchior, Liesje Schreinemacher, Stéphane Séjourné, Adrián Vázquez Lázara
ID	Gunnar Beck, Jean-Paul Garraud, Gilles Lebreton
ECR	Angel Dzhambazki, Raffaele Stancanelli
NI	Mislav Kolakušić

 

3	-
VERTS/ALE	Heidi Hautala, Marie Toussaint
GUE/NGL	Manon Aubry

 

0	0

 

Korišteni znakovi:

+ : za

- : protiv

0 : suzdržani

 

• [1] SL L 119, 4.5.2016., str. 1.
• [2] SL L 119, 4.5.2016., str. 89.
• [3] SL L 295, 21.11.2018., str. 39.
• [4] SL L 201, 31.7.2002., str. 37.
• [5] SL L 135, 24.5.2016., str. 53.
• [6] Usvojeni tekstovi, P9_TA(2020)0173.
• [7] SL C 263, 25.7.2018., str. 82.
• [8] Odluka Vijeća 2008/615/PUP od 23. lipnja 2008. o produbljivanju prekogranične suradnje, posebno u suzbijanju terorizma i prekograničnog kriminala. SL L 210, 6.8. 2008., str. 1.
• [9] Direktiva (EU) 2016/680 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka od strane nadležnih tijela u svrhe sprečavanja, istrage, otkrivanja ili progona kaznenih djela ili izvršavanja kaznenih sankcija i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Okvirne odluke Vijeća 2008/977/PUP. SL L 119, 4.5.2016., str. 89.
• [10] COM/2020/65 final.
• [11] Agencija Europske unije za temeljna prava: Tehnologija za prepoznavanje lica: razmatranja u pogledu temeljnih prava u kontekstu kaznenog progona (fokus Agencije za temeljna prava), 27. studenoga 2019.
  https://fra.europa.eu/sites/default/files/fra_uploads/fra-2019-facial-recognition-technology-focus-paper-1_en.pdf
• [12] Uredba (EU) 2016/679 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Direktive 95/46/EZ (SL L 119, 4.5.2016., str. 1.).
• [13] Direktiva 2002/58/EZ Europskog parlamenta i Vijeća od 12. srpnja 2002. o obradi osobnih podataka i zaštiti privatnosti u području elektroničkih komunikacija (SL L 201, 31.7.2002., str. 37.).
• [14] Direktiva (EU) 2016/680 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka od strane nadležnih tijela u svrhe sprečavanja, istrage, otkrivanja ili progona kaznenih djela ili izvršavanja kaznenih sankcija i o slobodnom kretanju takvih podataka (SL L 119, 4.5.2016., str. 89.).
• [15] Rezolucija Europskog parlamenta od 16. veljače 2017. s preporukama Komisiji o pravilima građanskog prava o robotici (SL C 252, 18.7.2018., str. 239.).