ZPRÁVA o umělé inteligenci v trestním právu a jejím využívání policií a soudními orgány v trestních věcech

13.7.2021 - (2020/2016(INI))

Výbor pro občanské svobody, spravedlnost a vnitřní věci
Zpravodaj: Petar Vitanov

Pozměňovací návrhy

• 001-003 (PDF - 134 KB)
• 001-003 (DOC - 79 KB)

NÁVRH USNESENÍ EVROPSKÉHO PARLAMENTU

o umělé inteligenci v trestním právu a jejímu využívání policií a soudními orgány v trestních věcech

(2020/2016(INI))

Evropský parlament,

– s ohledem na Smlouvu o Evropské unii (dále jen „SEU“), a zejména na články 2 a 6 této smlouvy, a na Smlouvu o fungování Evropské unie (dále jen „SFEU“), a zejména na článek 16 této smlouvy,

– s ohledem na Listinu základních práv Evropské unie (dále jen „Listina), a zejména její články 6, 7, 8, 11, 12, 13, 20, 21, 24 a 47,

– s ohledem na Úmluvu o ochraně lidských práv a základních svobod,

– s ohledem na Úmluvu Rady Evropy o ochraně osob se zřetelem na automatizované zpracování osobních dat (ETS č. 108) a na její dodatkový protokol („Úmluva 108+“),

– s ohledem na Evropskou etickou chartu pro využívání umělé inteligence v soudních systémech, kterou vydala komise Rady Evropy pro hodnocení efektivity justice (CEPEJ),

– s ohledem na sdělení Komise ze dne 8. dubna 2019 s názvem „Budování důvěry v umělou inteligenci zaměřenou na člověka“ COM(2019)0168),

– s ohledem na etické pokyny pro důvěryhodnou umělou inteligenci, které zveřejnila odborná skupina na vysoké úrovni pro umělou inteligenci v rámci Komise dne 8. dubna 2019,

– s ohledem na bílou knihu Komise ze dne 19. února 2020 s názvem „O umělé inteligenci – evropský přístup k excelenci a důvěře“ (COM(2020)0065),

– s ohledem na sdělení Komise ze dne 19. února 2020 s názvem „Evropská strategie pro data“ (COM(2020)0066),

– s ohledem na nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů a o zrušení směrnice 95/46/ES (obecné nařízení o ochraně osobních údajů)[1],

– s ohledem na směrnici Evropského parlamentu a Rady (EU) 2016/680 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů příslušnými orgány za účelem prevence, vyšetřování, odhalování či stíhání trestných činů nebo výkonu trestů, o volném pohybu těchto údajů a o zrušení rámcového rozhodnutí Rady 2008/977/SVV[2],

– s ohledem na nařízení Evropského parlamentu a Rady (EU) 2018/1725 ze dne 23. října 2018 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů orgány, institucemi a jinými subjekty Unie a o volném pohybu těchto údajů a o zrušení nařízení (ES) č. 45/2001 a rozhodnutí č. 1247/2002/ES[3],

– s ohledem na směrnici Evropského parlamentu a Rady 2002/58/ES ze dne 12. července 2002 o zpracování osobních údajů a ochraně soukromí v odvětví elektronických komunikací (směrnice o soukromí a elektronických komunikacích)[4],

– s ohledem na nařízení Evropského parlamentu a Rady (EU) 2016/794 ze dne 11. května 2016 o Agentuře Evropské unie pro spolupráci v oblasti prosazování práva (Europol) a o zrušení a nahrazení rozhodnutí 2009/371/SVV, 2009/934/SVV, 2009/935/SVV, 2009/936/SVV a 2009/968/SVV[5],

– s ohledem na své usnesení ze dne 19. června 2020 o protestech proti rasismu v návaznosti na smrt George Floyda[6],

– s ohledem na své usnesení ze dne 14. března 2017 o dopadech dat velkého objemu na základní práva: soukromí, ochrana údajů, zákaz diskriminace, bezpečnost a prosazování práva[7],

– s ohledem na slyšení ve Výboru pro občanské svobody, spravedlnost a vnitřní věci (LIBE) dne 20. února 2020 o umělé inteligenci v trestním právu a jejím využívání policií a soudními orgány v trestních věcech,

 

– s ohledem na zprávu mise výboru LIBE ve Spojených státech amerických v únoru 2020,

– s ohledem na článek 54 jednacího řádu,

– s ohledem na stanoviska Výboru pro vnitřní trh a ochranu spotřebitelů a Výboru pro právní záležitosti,

– s ohledem na zprávu Výboru pro občanské svobody, spravedlnost a vnitřní věci (A9-0232/2021),

A. vzhledem k tomu, že digitální technologie obecně, a šíření zpracování údajů a analýz umělou inteligencí obzvlášť, s sebou přináší mimořádné naděje a rizika; vzhledem k tomu, že umělá inteligence v posledních letech zaznamenala velký pokrok a je jednou ze strategických technologií 21. století, která má potenciál přinášet značné výhody z hlediska účinnosti, přesnosti a pohodlnosti, a přináší proto pozitivní změnu evropského hospodářství a společnosti, avšak také velká rizika pro základní práva a demokracii založenou na právním státu; vzhledem k tomu, že umělá inteligence nesmí být považována sama o sobě za cíl, ale za nástroj, který slouží lidem s konečným cílem zvyšovat kvalitu jejich života, schopností a bezpečnosti;

B. vzhledem k tomu, že navzdory pokračujícímu pokroku v operační rychlosti a paměťové kapacitě počítačů zatím neexistují žádné programy, které by mohly odpovídat lidské flexibilitě v širších oblastech nebo při úkolech vyžadujících porozumění souvislostem nebo kritickou analýzu; vzhledem k tomu, že některé aplikace umělé inteligence dosáhly při plnění určitých specifických úkolů  např. „legal tech“) úrovně výkonnosti odborníků a profesionálů a mohou přinést výsledky dramaticky odlišné rychlosti a rozsahu;

C. vzhledem k tomu, že některé země včetně několika členských států více využívají aplikace umělé inteligence nebo zabudované systémy umělé inteligence při prosazování práva a v soudnictví než jiné, což je částečně způsobeno nedostatečnou regulací a rozdíly v právní úpravě, která buď umožňuje, nebo zakazuje používání umělé inteligence k určitým účelům; vzhledem k tomu, že stále častější využívání umělé inteligence v oblasti trestního práva je založeno zejména na naději, že by to snížilo určité typy trestné činnosti a vedlo k objektivnějším rozhodnutím; vzhledem k tomu, že tyto sliby však ne vždy platí;

D. vzhledem k tomu, že základní práva a svobody zakotvené v Listině by měly být zaručeny po celou dobu životního cyklu umělé inteligence a souvisejících technologií, zejména během jejich navrhování, vývoje, zavádění a používání, a měly by se vztahovat na prosazování práva za všech okolností;

E. vzhledem k tomu, že technologie umělé inteligence by měla být vyvíjena tak, aby se lidé stali středem pozornosti, měla by si zasluhovat důvěru veřejnosti a vždy pracovat ve službách lidí; vzhledem k tomu, že konečná bezpečnostní pojistka systémů umělé inteligence musí být navržena tak, aby mohly být vždy vypnuty lidským provozovatelem;

F. vzhledem k tomu, že systémy umělé inteligence jsou navrženy na ochranu a ku prospěchu všech členů společnosti (včetně zranitelné a marginalizované části obyvatelstva) musí být nediskriminační, bezpečné, vysvětlitelné ve svých rozhodnutích a transparentní a musí respektovat lidskou nezávislost a základní práva, aby tak byly důvěryhodné, jak je popsáno v pokynech pro etické využívání umělé inteligence vypracovaných odbornou skupinou na vysoké úrovni pro umělou inteligenci;

G. vzhledem k tomu, že Unie a členské státy nesou zásadní odpovědnost za zajištění toho, aby se rozhodnutí, která se týkají životního cyklu a používání aplikací umělé inteligence v oblasti soudnictví a prosazování práva, prováděla transparentním způsobem, plně zaručovala základní práva a zejména se nedopouštěla pokračování diskriminace, předpojatosti nebo předsudků tam, kde existují; vzhledem k tomu, že příslušná politická rozhodnutí by měla respektovat zásady nezbytnosti a přiměřenosti, aby byla zaručena ústavnost a spravedlivý a humánní soudní systém;

H. vzhledem k tomu, že aplikace umělé inteligence mohou nabízet široké možnosti v oblasti prosazování práva, zejména při zlepšování pracovních postupů donucovacích a soudních orgánů a účinnějšího boje proti některým druhům trestných činů, především finanční trestné činnosti, praní peněz, financování terorismu a sexuálnímu zneužívání on line a vykořisťování dětí, jakož i některým druhům kyberkriminality, čímž přispívají k bezpečnosti a ochraně občanů EU zatímco současně mohou přinášet značná rizika pro základní práva lidí; vzhledem k tomu, že jakékoli plošné použití umělé inteligence za účelem hromadného sledování by bylo nepřiměřené;

I. vzhledem k tomu, že vývoj a provoz systémů umělé inteligence pro policejní a soudní orgány znamená zapojení více jednotlivců, organizací, přístrojů, softwarových algoritmů a lidských uživatelů v často složitém a náročném prostředí; vzhledem k tomu, že používání umělé inteligence při prosazování práva a v soudnictví se nachází v různých vývojových fázích, od koncepčního vývoje přes prototypizaci nebo vyhodnocování až po použití po schválení; vzhledem k tomu, že v budoucnu mohou vzniknout nové možnosti využití, neboť technologie se díky probíhajícímu  vědeckému výzkumu na celém světě zkvalitňují;

J. vzhledem k tomu, že je zcela nezbytný jasný model přidělování právní odpovědnosti za potenciální škodlivé dopady systémů umělé inteligence v trestním právu; vzhledem k tomu, že regulační předpisy v této oblasti by měly vždy zachovávat lidskou odpovědnost a jejich cílem musí být především zamezit škodlivým účinkům;

K. vzhledem k tomu, že v konečném důsledku je odpovědností členských států zajistit plné dodržování základních práv při používání systémů umělé inteligence v oblasti prosazování práva a v soudnictví;

L. vzhledem k tomu, že vztah mezi ochranou základních práv a účinnými policejními operacemi musí být vždy základním prvkem diskusí o tom, zda a jak by umělá inteligence měla být využívána v oblasti prosazování práva, kde mohou mít rozhodnutí dlouhodobé důsledky pro život a svobodu jednotlivců; vzhledem k tomu, že je zejména důležité, že umělá inteligence má potenciál být trvalou součástí našeho prostředí trestního soudnictví tím, že bude poskytovat vyšetřovací analýzy a pomoc;

M. vzhledem k tomu, že umělá inteligence se používaná při prosazování práva v aplikacích, jež zahrnují například technologie rozpoznávání obličeje – např. při prohledávání databází podezřelých osob a při identifikaci obětí obchodování s lidmi či sexuální vykořisťování a zneužívání dětí –, automatické rozpoznávání registračních značek, identifikaci mluvčího, rozpoznávání řeči, technologie odezírání ze rtů, odposlouchávání (např. algoritmy pro detekci výstřelu), nezávislý výzkum a analýzy identifikovaných databází, předpověď (prediktivní policejní a kriminální analýzy přístupového bodu), nástroje pro detekci chování, pokročilé virtuální nástroje pitvy pro pomoc při zjišťování příčiny smrti, nezávislé nástroje k odhalování finančního podvodu a financování terorismu, sledování sociálních médií (získávání a shromažďování údajů pro jejich vytěžování při spojování) a automatizované systémy sledování, které zahrnují různé rozpoznávací schopnosti (jako např. rozpoznání srdečního rytmu a termovizní kamery); vzhledem k tomu, že výše zmíněné aplikace mohou mít spolu s dalšími potenciálními nebo budoucími aplikacemi technologie umělé inteligence v oblasti prosazování práva značně rozdílné stupně spolehlivosti a přesnosti a dopad na ochranu základních práv a dynamiku systémů trestního soudnictví; vzhledem k tomu, že mnoho z těchto nástrojů je využíváno ve zemích mimo EU, ale podle acquis a judikatury Unie v oblasti ochrany údajů by byly nezákonné; vzhledem k tomu, že rutinní používání algoritmů, a to i s malou mírou falešné pozitivity, může vést k chybným varováním tím, že bude výrazně přesahovat počet správných varování;

N. vzhledem k tomu, že nástroje umělé inteligence využívá rovněž soudnictví v některých zemích po celém světě při podpoře rozhodnutí o vazbě, při udělování trestů, vypočítávání pravděpodobností opakování trestného činu a při udělování probace, řešení sporů on-line, správu judikatury a poskytování zjednodušeného přístupu k právu; vzhledem k tomu, že to vedlo k narušení a omezení množství příležitostí pro osoby jiné barvy pleti a jiné menšiny; vzhledem k tomu, že v současné době je v Evropské unii, s výjimkou několika členských států, jejich použití omezeno hlavně na občanskoprávní sféru;

O. vzhledem k tomu, že používání umělé inteligence představuje při prosazování práva řadu potenciálně vysokých a v některých případech nepřijatelných rizik, jako jsou neprůhledné rozhodování, různé druhy diskriminace a chyby vlastní základnímu algoritmu, které mohou být posilovány cyklickou zpětnou vazbou, jakož i rizika spojená s ochranou soukromí a osobních údajů, ochrana svobody projevu a informací a presumpce neviny, právo na účinnou nápravu a spravedlivý proces i veškerá rizika pro svobodu a bezpečnost jednotlivců;

P. vzhledem k tomu, že systémy umělé inteligence při prosazování práva a v soudnictví jsou ohroženy útoky, které se jich mohou zmocnit, útoky proti informačním systémům nebo ovlivněním dat („data poisoning“), kdy je vnesen chybný soubor dat za účelem dosažení zkreslených výsledků; vzhledem k tomu, že v těchto situacích jsou potenciální výsledné škody ještě závažnější a mohou vyústit v exponenciálně větší míru poškození jednotlivců i skupin;

Q. vzhledem k tomu, že zavádění umělé inteligence v oblasti vymáhání práva a soudnictví by nemělo být považováno za pouze otázku technické proveditelnosti, ale spíše za politické rozhodnutí týkající se navrhování a cílů systémů vymáhání práva a systémů trestního soudnictví; vzhledem k tomu, že moderní trestní právo je založeno na myšlence, že orgány reagují na trestný čin teprve po jeho spáchání, bez předpokladu, že všichni lidé jsou nebezpeční a musí být neustále monitorováni, aby se zabránilo možnému protiprávnímu jednání; vzhledem k tomu, že techniky dohledu založené na umělé inteligenci tento přístup hluboce zpochybňují a je naléhavě nutné, aby zákonodárci na celém světě důkladně posoudili důsledky povolení nasazení technologií, které snižují úlohu člověka při prosazování práva a soudnictví;

1. znovu opakuje, že vzhledem k tomu, že jádrem umělé inteligence je zpracovávání velkého množství údajů, platí pro všechny oblasti umělé inteligence právo na soukromý život a ochranu osobních údajů a nutnost plně dodržovat právní rámec Unie na ochranu údajů a soukromí; připomíná proto, že EU již zavedla normy pro ochranu údajů pro prosazování práva, které tvoří základ jakékoli budoucí regulace umělé inteligence pro prosazování práva a soudnictví; připomíná, že zpracování osobních údajů by mělo být zákonné a korektní, účely zpracování by měly být konkrétní, výslovné a legitimní, zpracování by mělo být přiměřené, relevantní a ne nadměrné vzhledem k účelu, pro který jsou údaje zpracovávány, mělo by být přesné, aktualizované a nepřesné údaje by měly být, pokud neplatí omezení, opraveny nebo vymazány, údaje by neměly být uchovávány déle, než je nezbytné, měly by být stanoveny jasné a vhodné lhůty pro výmaz nebo pro pravidelný přezkum potřeby uchovávání těchto údajů a měly by být zpracovávány bezpečným způsobem; zdůrazňuje také, že by se mělo zabránit možné identifikaci osob aplikací umělé inteligence využívající údaje, jež byly předtím anonymizovány;

2. znovu potvrzuje, že všechna řešení umělé inteligence pro prosazování práva a soudnictví musí rovněž plně respektovat zásady lidské důstojnosti, nediskriminace, svobody pohybu, presumpce neviny a práva na obhajobu včetně práva nevypovídat, svobody projevu a informací, svobody shromažďování a sdružování, rovnosti před zákonem, zásady rovnosti prostředků a práva na účinnou právní ochranu a na spravedlivý proces v souladu s Listinou a Evropskou úmluvou o lidských právech; zdůrazňuje, že používání aplikací umělé inteligence musí být zakázáno, pokud je neslučitelné se základními právy;

3. uznává, že rychlost, s jakou jsou na celém světě vyvíjeny aplikace umělé inteligence, neumožňuje vyčerpávající výčet aplikací, a proto je s ohledem na neustálý vývoj technologií nutný jasný a soudržný model správy, který zaručí jak základní práva jednotlivců, tak právní jasnost pro vývojáře; domnívá se však, že vzhledem k úloze a odpovědnosti policejních a soudních orgánů a dopadu rozhodnutí, která přijímají za účelem prevence, vyšetřování, odhalování nebo stíhání trestných činů nebo výkonu trestů, musí být používání aplikací umělé inteligence klasifikováno jako vysoce rizikové v případech, kdy může významně ovlivnit životy jednotlivců;

4. v tomto ohledu se domnívá, že jakékoli nástroje umělé inteligence, které jsou vyvinuty nebo použity při prosazování práva nebo v soudnictví, by měly být přinejmenším bezpečné, robustní, zabezpečené a vhodné pro daný účel, měly by dodržovat zásady spravedlnosti, minimalizace údajů, odpovědnosti, transparentnosti, nediskriminace a vysvětlitelnosti a že jejich vývoj, zavedení a používání by měly procházet posouzením rizik a měl by se na ně vztahovat přísný test nezbytnosti a přiměřenosti, kde záruky by měly být přiměřené zjištěným rizikům; zdůrazňuje, že důvěra občanů v používání umělé inteligence vyvinuté, zaváděné a používané v EU je podmíněna úplným splněním těchto kritérií;

5. uznává pozitivní přínos některých typů aplikací umělé inteligence pro práci orgánů prosazování práva a soudních orgánů v celé Unii; zdůrazňuje např. posílenou správu judikatury prostřednictvím nástrojů umožňujících dodatečné možnosti vyhledávání; domnívá se, že existuje celá řada dalších možných využití umělé inteligence v oblasti prosazování práva a soudnictví, která by mohla být prozkoumána s přihlédnutím k pěti zásadám Etické charty o využívání umělé inteligence v soudních systémech a jejich prostředí, kterou přijala CEPEJ, a se zvláštním zřetelem na „využití, která je třeba zvažovat s největšími výhradami“, jež CEPEJ určila;

6. zdůrazňuje, že technologie mohou být přesměrovány na jiný účel, a požaduje proto přísnou demokratickou kontrolu a nezávislý dohled nad jakoukoli technologií založenou na umělé inteligenci, kterou používají orgány prosazování práva a soudní orgány, zejména pokud jde o technologie, jež lze použít pro hromadné sledování nebo hromadné profilování; s velkým znepokojením sleduje potenciál některých technologií umělé inteligence  pro účely hromadného sledování v oblasti prosazování práva; zdůrazňuje právní požadavek zabránit masovému sledování pomocí technologií umělé inteligence, které z definice nesplňuje zásady nezbytnosti a přiměřenosti, a zakázat používání aplikací, které by k němu mohly vést;

7. zdůrazňuje, že přístup některých nečlenských zemí EU k vývoji, zavádění a používání technologií hromadného sledování nepřiměřeně zasahuje do základních práv, a proto by jej EU neměla následovat; zdůrazňuje proto, že záruky proti zneužívání technologie umělé inteligence ze strany orgánů prosazování práva a soudních orgánů musí být regulovány jednotně v celé Unii;

8. zdůrazňuje, že při používání aplikací umělé inteligence, jako je strojové učení, včetně algoritmů, na nichž jsou takové aplikace založeny, může docházet k systematické předpojatosti a diskriminaci; poznamenává, že chyby mohou být spjaty se základními soubory dat, a to zejména při používání historických údajů, které zavádějí vývojáři algoritmů, nebo se vytváří při zavedení systémů do skutečného světa; poukazuje na to, že výsledky poskytované aplikacemi umělé inteligence jsou nutně ovlivněny kvalitou použitých údajů a že tato přirozená předpojatost má tendenci postupně narůstat, a tím udržovat a zesilovat stávající diskriminaci, zejména u osob patřících k určitým etnickým skupinám nebo rasovým komunitám;

9. zdůrazňuje skutečnost, že mnohé v současnosti používané algoritmicky řízené identifikační technologie neúměrně zkreslují a nesprávně klasifikují, a tím poškozují rasově odlišné osoby, osoby patřící k určitým etnickým komunitám, osoby LGBTI, děti a starší osoby, jakož i ženy; připomíná, že jednotlivci mají nejen právo být správně identifikováni, ale mají také právo nebýt identifikováni vůbec, pokud to právní předpisy nevyžadují z důvodu naléhavých a oprávněných veřejných zájmů; zdůrazňuje, že předpovědi umělé inteligence založené na charakteristikách konkrétní skupiny osob vedou k posilování a opakování stávajících forem diskriminace; domnívá se, že je třeba vyvinout značné úsilí, aby se zabránilo automatizované diskriminaci a předpojatosti; vyzývá k zavedení přísných dodatečných záruk v případě, že jsou systémy umělé inteligence v oblasti prosazování práva nebo v soudnictví užívány vůči nezletilým osobám nebo ve vztahu k nim;

10. zdůrazňuje asymetrii moci mezi těmi, kteří „zaměstnávají“ technologie umělé inteligence, a těmi, kteří jsou jim vystaveni; zdůrazňuje, že je nezbytné, aby se využívání umělé inteligence policejními a soudními orgány v trestních věcech nestalo faktorem nerovnosti, sociálního rozkolu nebo vyloučení; zdůrazňuje dopad používání nástrojů umělé inteligence na práva podezřelých osob na obhajobu, obtíže při získávání smysluplných informací o fungování těchto nástrojů a následné obtíže při napadání jejich výsledků u soudu, zejména ze strany vyšetřovaných osob;

11. bere na vědomí rizika spojená zejména s únikem údajů, narušením bezpečnosti údajů a neoprávněným přístupem k osobním údajům a dalším informacím souvisejícím například  s trestním vyšetřováním nebo soudními případy, které zpracovávají systémy umělé inteligence; zdůrazňuje, že je třeba pečlivě zvážit hlediska ochrany a bezpečnosti systémů umělé inteligence, které se používají při prosazování práva a v soudnictví, a že tyto systémy musí být dostatečně silné a odolné, aby se v případě zlovolných útoků na tyto systémy zabránilo potenciálním katastrofickým důsledkům; zdůrazňuje význam bezpečnosti již od návrhu, jakož i zvláštního lidského dohledu před provozem některých kritických aplikací, a proto vyzývá orgány prosazování práva a soudní orgány, aby používaly pouze aplikace umělé inteligence, které dodržují zásadu ochrany soukromí a údajů již od návrhu, aby se zabránilo plíživému vývoji funkcí;

12. zdůrazňuje, že žádný systém umělé inteligence používaný při prosazování práva nebo v soudnictví by neměl mít možnost poškodit fyzickou integritu lidských bytostí ani rozdělovat práva nebo ukládat jednotlivcům právní povinnosti;

13. uznává, že vzhledem ke složitosti vývoje a provozu systémů umělé inteligence je třeba správně vymezit právní odpovědnost a ručení za případné škody; považuje za nezbytné vytvořit jasný a spravedlivý režim pro přidělování právní odpovědnosti a ručení za potenciální nepříznivé důsledky těchto vyspělých digitálních technologií; zdůrazňuje však, že prvořadým cílem musí být zabránit tomu, aby se tyto důsledky vůbec projevily; vyzývá k důslednému uplatňování zásady předběžné opatrnosti u všech aplikací umělé inteligence v souvislosti s prosazováním práva; zdůrazňuje, že právní odpovědnost a ručení musí vždy nést fyzická nebo právnická osoba, která musí být vždy identifikována za rozhodnutí přijatá s podporou UI; zdůrazňuje proto, že je třeba zajistit transparentnost podnikových struktur, které vytvářejí a spravují systémy umělé inteligence;

14. domnívá se, že pro zajištění účinnosti uplatňování práv na obhajobu a transparentnosti vnitrostátních systémů trestního soudnictví je nezbytné, aby podmínky, způsoby a důsledky používání nástrojů umělé inteligence v oblasti prosazování práva a soudnictví, jakož i práva dotčených osob, a postupy pro účinné a dostupné možnosti domoci se nápravy, a to i u soudu, reguloval konkrétní, jasný a přesný právní rámec; zdůrazňuje právo stran trestního řízení na přístup ke shromažďování údajů a souvisejícím posouzením prováděným nebo získaným prostřednictvím aplikací umělé inteligence; zdůrazňuje, že je nutné, aby vykonávající orgány zapojené do justiční spolupráce při rozhodování o žádosti o vydání (nebo předání) do jiného členského státu nebo země mimo EU posoudily, zda by použití nástrojů umělé inteligence v žádající zemi nemohlo prokazatelně ohrozit základní právo na spravedlivý proces; vyzývá Komisi, aby vydala pokyny, jak takové posouzení v souvislosti s justiční spoluprací v trestních věcech provádět; trvá na tom, že členské státy by měly v souladu s platnými právními předpisy zajistit, aby jednotlivci byli o skutečnosti, že jsou v jejich případě ze strany donucovacích orgánů nebo soudů uplatňovány aplikace umělé inteligence, informováni;

15. poukazuje na to, že pokud se lidé budou spoléhat pouze na údaje, profily a doporučení vytvořená stroji, nebudou schopni provést nezávislé posouzení; zdůrazňuje potenciálně závažné nepříznivé důsledky, zejména v oblasti prosazování práva a spravedlnosti, kdy jednotlivci mají přílišnou důvěru ve zdánlivě objektivní a vědeckou povahu nástrojů umělé inteligence a nezvažují možnost, že jejich výsledky jsou nesprávné, neúplné, irelevantní nebo diskriminační; upozorňuje, že se na výsledky systémů umělé inteligence nesmíme příliš spoléhat, a zdůrazňuje, že veřejné orgány si musí vybudovat důvěru a znalosti, aby mohly algoritmická doporučení zpochybňovat nebo zvrátit;  domnívá se, že je důležité mít ohledně těchto technologických řešení realistická očekávání a neslibovat v oblasti prosazování práva dokonalá řešení a odhalení všech spáchaných trestných činů;

16. zdůrazňuje, že v kontextu soudnictví a prosazování práva musí každé rozhodnutí s právním nebo podobným účinkem vždy učinit člověk, který za ně může nést odpovědnost; domnívá se, že ti, kteří jsou podrobeni systému založenému na umělé inteligenci, musí mít přístup k opravným prostředkům; připomíná, že podle právních předpisů EU má osoba právo nebýt předmětem rozhodnutí, které pro ni má právní účinky nebo se jí významně dotýká a které je založeno výhradně na automatizovaném zpracování údajů; zdůrazňuje rovněž, že automatizované individuální rozhodování nesmí být založeno na zvláštních kategoriích osobních údajů, pokud nejsou k dispozici vhodná opatření pro zajištění práv a svobod a oprávněných zájmů subjektu údajů; zdůrazňuje, že právní předpisy EU zakazují profilování, které vede k diskriminaci fyzických osob na základě zvláštních kategorií osobních údajů; zdůrazňuje, že rozhodnutí v oblasti prosazování práva jsou téměř vždy rozhodnutími, která mají vzhledem k výkonné povaze donucovacích orgánů a jejich kroků pro dotčenou osobu právní účinek; konstatuje, že používání umělé inteligence může ovlivnit lidská rozhodnutí a mít dopad na všechny fáze trestního řízení; domnívá se proto, že orgány využívající systémy umělé inteligence musí dodržovat mimořádně vysoké právní standardy a zajistit lidský zásah, zejména při analýze údajů získaných z těchto systémů; proto trvá na tom, že je třeba zachovat svrchovanou diskreční pravomoc soudců a rozhodování případ od případu; požaduje zákaz používání umělé inteligence a souvisejících technologií pro navrhování soudních rozhodnutí;

17. požaduje vysvětlitelnost algoritmů, transparentnost, sledovatelnost a ověřitelnost jako nedílnou součást dohledu, aby bylo zajištěno, že vývoj, zavádění a používání systémů umělé inteligence v rámci soudnictví a prosazování práva jsou v souladu se základními právy, že jim občané důvěřují, že výsledky získané z algoritmů umělé inteligence jsou srozumitelné pro uživatele a pro ty, na něž se vztahují, a že existuje transparentnost ve zdrojových údajích a v tom, jak systém dospěl ke konkrétním závěrům; zdůrazňuje, že v zájmu zajištění technické transparentnosti, robustnosti a přesnosti by měly být donucovacími nebo soudními orgány v Unii pořizovány pouze takové nástroje a systémy, jejichž algoritmy a logiku lze kontrolovat alespoň ze strany policie a soudnictví a ze strany nezávislých auditorů, aby bylo možné je hodnotit, kontrolovat a prověřovat, a trvá na tom, že nesmí být prodejcem uzavřeny nebo označeny za chráněné; dále poukazuje na to, že dokumentace by měla jasným a srozumitelným jazykem poskytovat informace o povaze služby, vyvinutých nástrojích, výkonnosti a podmínkách, za nichž lze očekávat, že tyto nástroje budou fungovat, a o rizicích, která mohou způsobit; vyzývá proto soudní a donucovací orgány, aby zajistily aktivní, plnou transparentnost vůči soukromým společnostem, které jim systémy umělé inteligence pro účely prosazování práva a soudnictví poskytují; doporučuje proto, aby byl pokud možno používán software s otevřeným zdrojovým kódem;

18. vybízí donucovací a soudní orgány, aby určily a posoudily oblasti, v nichž by některá individuálně uzpůsobená řešení umělé inteligence mohla být přínosná, a aby si vyměňovaly osvědčené postupy týkající se zavádění umělé inteligence; vyzývá členské státy a agentury EU, aby přijaly vhodné postupy zadávání veřejných zakázek na systémy umělé inteligence používané v oblasti prosazování práva nebo soudnictví s cílem zajistit jejich soulad se základními právy a platnými právními předpisy, včetně zajištění toho, aby softwarová dokumentace a algoritmy byly dostupné a přístupné příslušným orgánům a orgánům dohledu za účelem přezkumu; vyzývá zejména k přijetí závazných pravidel vyžadujících zveřejňování informací o partnerstvích veřejného a soukromého sektoru, smlouvách a zakázkách a o účelu, pro který jsou dané systémy pořizovány; zdůrazňuje, že je třeba poskytnout orgánům potřebné finanční prostředky a vybavit je náležitými odbornými znalostmi, aby bylo zaručeno plné dodržování etických, právních a technických požadavků spojených se zaváděním umělé inteligence;

19. požaduje sledovatelnost systémů umělé inteligence a rozhodovacího procesu, jež vymezuje jejich schopnosti a hranice a prostřednictvím povinné dokumentace eviduje, odkud pocházejí rozhodující atributy rozhodnutí; zdůrazňuje, že je důležité uchovávat úplnou dokumentaci školicích údajů, jejich kontext, účel, přesnost a vedlejší účinky, jakož i jejich zpracování tvůrci a vývojáři algoritmů a jejich soulad se základními právy; zdůrazňuje, že musí být vždy možné omezit výpočty systému umělé inteligence na formu, která je pro člověka srozumitelná;

20. žádá, aby bylo před zavedením nebo použitím jakéhokoli systému umělé inteligence při prosazování práva a v soudnictví povinně provedeno posouzení dopadů na základní práva, aby bylo možné odhadnout potenciální rizika; připomíná povinnost předchozího posouzení dopadu na ochranu údajů u všech druhů zpracování, zejména při použití nových technologií, u nichž lze předpokládat, že vyvolají vysoké riziko pro práva a svobody fyzických osob, a zastává názor, že to je případ všech technologií umělé inteligence v oblasti prosazování práva a soudnictví; zdůrazňuje význam odborných znalostí orgánů pro ochranu údajů a agentur pro základní práva pro hodnocení těchto systémů; zdůrazňuje, že tato posouzení dopadu na základní práva by měla být prováděna co nejotevřeněji a za aktivní účasti občanské společnosti; požaduje, aby posouzení dopadu rovněž jasně definovala ochranná opatření nezbytná k odstranění zjištěných rizik a aby byla v co největší možné míře zveřejněna ještě před zavedením jakéhokoli systému umělé inteligence;

21. zdůrazňuje, že pouze spolehlivá evropská správa umělé inteligence s nezávislým hodnocením umožňuje nezbytnou funkčnost zásad základních práv; vyzývá k pravidelnému povinnému kontrolování všech systémů umělé inteligence, které se využívají při prosazování práva a v soudnictví a mohou mít významný dopad na život jednotlivců,  nezávislým orgánem, aby se, jakmile jsou v provozu, testovaly a hodnotily algoritmické systémy, jejich kontext, účel, přesnost, výkonnost a rozsah, s cílem odhalit, prošetřit, diagnostikovat a napravit jakékoli nežádoucí a nepříznivé účinky a zajistit, aby systémy umělé inteligence fungovaly zamýšleným způsobem; vyzývá proto k vytvoření jasného institucionálního rámce pro tento účel, včetně řádného regulačního a dohledového rámce, s cílem zajistit plné provádění a zaručit plně informovanou demokratickou diskusi o nezbytnosti a přiměřenosti umělé inteligence v oblasti trestního soudnictví; zdůrazňuje, že výsledky těchto auditů by měly být zpřístupněny ve veřejných rejstřících, aby občané věděli, že jsou systémy umělé inteligence zavedeny a jaká opatření jsou přijímána pro nápravu porušování základních práv;

22. zdůrazňuje, že datové soubory a algoritmické systémy používané při klasifikaci, posuzování a předpovídání v různých fázích zpracování údajů při vývoji umělé inteligence a souvisejících technologií mohou rovněž vést k rozdílnému zacházení se skupinami osob a jejich přímé a nepřímé diskriminaci, zejména z toho důvodu, že údaje používané pro učení prediktivních policejních algoritmů odrážejí priority probíhajícího dohledu a v konečném důsledku mohou vést k opakování a posilování stávajících předsudků; proto zdůrazňuje, že technologie umělé inteligence, zejména jsou-li využívány v oblasti prosazování práva a soudnictví, vyžadují mezioborový výzkum a vstupy, včetně vědeckých a technologických studií, kritických rasových studií nebo studií zaměřených na zdravotní postižení a dalších oborů ze sociální oblasti, mimo jiné ohledně toho, jak jsou vytvářeny rozdíly, jak probíhá klasifikační práce a jaké jsou její důsledky; zdůrazňuje proto, že je třeba systematicky investovat do začlenění těchto oborů do studie a výzkumu umělé inteligence na všech úrovních; zdůrazňuje rovněž, že je třeba zajistit, aby týmy, které tyto systémy navrhují, vyvíjejí, testují, udržují, zavádějí a pořizují pro účely prosazování práva a soudnictví, pokud možno zohledňovaly rozmanitost společnosti obecně jakožto netechnický prostředek ke snížení rizika diskriminace;

23. mimoto zdůrazňuje, že náležitá odpovědnost vyžaduje značnou specializovanou odbornou přípravu týkající se etických ustanovení, možných nebezpečí, omezení a řádného používání technologií umělé inteligence, zejména u policejních a soudních zaměstnanců; zdůrazňuje, že by mělo být na základě odborného vzdělání a kvalifikace zajištěno, aby byly osoby přijímající rozhodnutí vyškoleny v otázkách případného zkreslení, neboť soubory dat mohou být založeny na diskriminačních a předpojatých údajích; podporuje zavádění osvětových a vzdělávacích iniciativ s cílem zajistit, aby jednotlivci pracující v oblasti prosazování práva a soudnictví měli povědomí a znalosti o omezeních, schopnostech a rizicích, která s sebou používání systémů umělé inteligence nese, včetně rizika automatizace; připomíná, že zahrnutí případů rasismu ze strany policejních sil při plnění jejich povinností do souborů údajů o umělé inteligenci nevyhnutelně povede k rasistické předpojatosti zjištění, hodnocení a doporučení vytvořených umělou inteligencí; znovu proto vyzývá členské státy, aby podporovaly antidiskriminační politiky a vypracovaly národní akční plány proti rasismu v oblasti policejní práce a soudního systému;

24. konstatuje, že v oblasti prosazování práva se v rámci aplikací umělé inteligence používají prediktivní policejní algoritmy, avšak varuje, že ačkoli mohou být v rámci prediktivního policejního dohledu analyzovány soubory údajů nezbytné pro identifikaci vzorců a korelací, nelze tím zodpovědět otázku příčinné souvislosti a nelze tím spolehlivě předvídat chování jednotlivce, a tato praxe tudíž nemůže být jediným důvodem pro zásah; poukazuje na to, že některá města ve Spojených státech používání prediktivních policejních systémů po provedení auditů ukončila; připomíná, že během pracovní cesty výboru LIBE do Spojených států v únoru 2020 byli jeho členové informováni policejními odděleními New York City a Cambridge (Massachusetts) o tom, že v důsledku nedostatečné účinnosti, diskriminačního dopadu a neúspěšnosti v praxi postupně ukončila své programy prediktivního policejního dohledu a místo toho se přiklonila ke komunitní činnosti; konstatuje, že to vedlo ke snížení míry trestné činnosti; staví se tedy proti tomu, aby donucovací orgány využívaly umělou inteligenci k předvídání chování jednotlivců nebo skupin na základě historických údajů a dosavadního chování, členství ve skupině, umístění nebo jakýchkoliv jiných podobných charakteristik, za účelem identifikace osob, které by mohly spáchat trestný čin;

25. bere na vědomí různé způsoby rozpoznávání obličeje, jako je mimo jiné ověřování (tj. porovnání živého obličeje s fotografií v dokladu totožnosti, např. v případě inteligentních hranic), identifikace (tj. porovnání fotografie se sadou fotografií v databází) a ztotožňování (tj. ztotožňování obličeje v reálném čase ze zdrojů, jako jsou kamerové záznamy, a jejich porovnání s databázemi, např. sledování v reálném čase), z nichž každý má dopady na ochranu základních práv; je pevně přesvědčen, že zavádění systémů rozpoznávání obličeje v oblasti prosazování práva by mělo být omezeno na jasně odůvodněné účely, a to při plném dodržování platných právních předpisů; znovu potvrzuje, že používání technologie rozpoznávání obličeje musí splňovat přinejmenším požadavky na minimalizaci údajů, přesnost údajů, omezení uchovávání údajů, bezpečnost údajů a odpovědnost a že musí být zákonné, spravedlivé a transparentní a sledovat konkrétní, jasně vyjádřený a legitimní účel, který je jednoznačně vymezen v právních předpisech členských států nebo Unie; zastává názor, že systémy ověřování mohou být nadále zaváděny a úspěšně používány pouze tehdy, pokud lze omezit jejich negativní účinky a splnit výše uvedená kritéria;

26. dále vyzývá k trvalému zákazu používání automatizované analýzy a rozpoznávání jiných lidských prvků ve veřejně přístupných prostorách, jako jsou chůze, otisky prstů, DNA, hlas a další biometrické a behaviorální signály;

27. žádá však o moratorium na zavádění systémů rozpoznávání obličeje pro účely prosazování práva, jež mají identifikační funkci, pokud nejsou využívány výhradně k identifikaci obětí trestných činů, dokud nebude možné považovat technické normy za plně souladné se základními právy, získané výsledky budou nezkreslené a nediskriminační, právní rámec bude poskytovat striktní záruky proti zneužití a důslednou demokratickou kontrolu a dohled a bude empiricky prokázána nezbytnost a zajištěna proporcionalita zavádění takových technologií; konstatuje, že pokud výše uvedená kritéria nejsou splněna, systémy by neměly být používány ani zaváděny;

28. vyjadřuje hluboké znepokojení nad tím, že donucovací orgány a zpravodajské služby používají soukromé databáze rozpoznávání obličeje, jako je aplikace umělé inteligence ClearView, která obsahuje více než tři miliardy snímků, jež byly nezákonně získány ze sociálních sítí a dalších částí internetu, a to i od občanů EU; vyzývá členské státy, aby donucovacím orgánům uložily povinnost zveřejnit informace o tom, zda používají technologii ClearView nebo obdobné technologie od jiných poskytovatelů; připomíná stanovisko Evropského sboru pro ochranu údajů (EDPB), že využívání služby, jako je aplikace ClearView, donucovacími orgány v Evropské unii by „pravděpodobně nebylo v souladu s režimem ochrany údajů EU“; požaduje zákaz používání soukromých databází pro rozpoznávání obličeje při vymáhání práva;

29. bere na vědomí studii proveditelnosti Komise o možných změnách prümského rozhodnutí[8], mimo jiné pokud jde o snímky obličeje; bere na vědomí dřívější výzkum, že ve forenzním kontextu by nebyly potenciální nové identifikátory, např. rozpoznávání duhovky či obličeje, tak spolehlivé, jako je DNA nebo otisky prstů; připomíná Komisi, že každý legislativní návrh musí být založen na důkazech a musí respektovat zásadu přiměřenosti; naléhavě vyzývá Komisi, aby rozšířila rámec prümského rozhodnutí až po provedení úplného posouzení dopadů a po zohlednění doporučení Evropského inspektora ochrany údajů (EDPS) a Evropského sboru pro ochranu údajů, a to pouze v případě, že budou existovat pádné vědecké důkazy o spolehlivosti rozpoznávání obličeje ve forenzním kontextu ve srovnání s DNA nebo s otisky prstů;

30. zdůrazňuje, že používání biometrických údajů obecněji souvisí se zásadou práva na lidskou důstojnost, která je základem všech základních práv zaručených Listinou; domnívá se, že používání a sběr biometrických údajů pro účely identifikace na dálku, například prostřednictvím rozpoznávání obličeje na veřejných místech a při automatických hraničních kontrolách uplatňovaných na letištích, může představovat zvláštní riziko pro základní práva, jehož důsledky by se mohly výrazně lišit v závislosti na účelu, kontextu a rozsahu použití; dále zdůrazňuje spornou vědeckou platnost technologií rozpoznávání, jako jsou kamery, které snímají pohyby očí a změny velikosti zorniček, v rámci prosazování práva; zastává názor, že používání biometrické identifikace v kontextu prosazování práva a soudnictví by mělo být vždy považováno za „vysoké riziko“, a proto by mělo podléhat dalším požadavkům, jak doporučuje odborná skupina Komise na vysoké úrovni pro umělou inteligenci;

31. vyjadřuje hluboké znepokojení nad výzkumnými projekty financovanými v rámci programu Horizont 2020, které využívají umělou inteligenci na vnějších hranicích, jako je projekt iBorderCtrl, „inteligentní systém detekce lži“ profilující cestující na základě automatizovaného počítačového pohovoru uskutečněného přes webovou kameru cestujícího před uskutečněním cesty, a analýza 38 mikrogest založená na umělé identifikaci, která je testována v Maďarsku, Lotyšsku a Řecku; vyzývá proto Komisi, aby prostřednictvím legislativních a nelegislativních prostředků a v případě potřeby prostřednictvím řízení pro porušení povinnosti zavedla zákaz veškerého zpracovávání biometrických údajů, včetně snímků obličeje, pro účely vymáhání práva, jež vede k hromadnému sledování ve veřejně přístupných prostorách; dále vyzývá Komisi, aby přestala financovat biometrický výzkum nebo zavádění programů, jež by mohly vést k nerozlišujícímu hromadnému sledování ve veřejných prostorách; v této souvislosti zdůrazňuje, že je třeba věnovat zvláštní pozornost používání dronů v policejních operacích a uplatňovat v této oblasti přísný rámec;

32. podporuje doporučení odborné skupiny Komise na vysoké úrovni pro umělou inteligenci, která se vyslovila pro zákaz hromadného posuzování jednotlivců na základě technologií umělé inteligence; domnívá se, že rozsáhlé normativní posuzování občanů ze strany veřejných orgánů v jakékoli podobě, zejména v oblasti prosazování práva a soudnictví, vede ke ztrátě nezávislosti, ohrožuje zásadu nediskriminace a nelze je považovat za slučitelné se základními právy, zejména s lidskou důstojností, zakotvenými v právních předpisech EU;

33. vyzývá k celkově větší transparentnosti s cílem dosáhnout komplexního pochopení používání aplikací umělé inteligence v Unii; žádá členské státy, aby poskytly kompletní informace o nástrojích, jež využívají jejich donucovací a soudní orgány, druzích využívaných nástrojů, účelech, k nimž jsou využívány, typech trestné činnosti, pro něž jsou využívány, a názvy společností nebo organizací, které tyto nástroje vyvinuly; vyzývá donucovací a soudní orgány, aby rovněž informovaly veřejnost a zajistily dostatečnou transparentnost, pokud jde o používání umělé inteligence a souvisejících technologií při výkonu jejich pravomocí, včetně zveřejňování míry falešné pozitivity a falešné negativity těchto technologií; požaduje, aby Komise shromažďovala a aktualizovala informace na jednom místě; vyzývá Komisi, aby rovněž zveřejňovala a aktualizovala informace o používání umělé inteligence agenturami Unie pověřenými prosazováním práva a justičními úkoly; vyzývá Evropský sbore pro ochranu osobních údajů, aby posoudil zákonnost těchto technologií a aplikací umělé inteligence používaných donucovacími a soudními orgány;

34. připomíná, že aplikace umělé inteligence, včetně aplikací používaných v souvislosti s prosazováním práva a soudnictvím, jsou na celém světě vyvíjeny velmi rychle; naléhavě vyzývá všechny evropské zainteresované strany, včetně členských států a Komise, aby prostřednictvím mezinárodní spolupráce zajistily zapojení partnerů mimo EU s cílem zvýšit standardy na mezinárodní úrovni a nalézt společný doplňkový právní a etický rámec pro využívání umělé inteligence, zejména v kontextu prosazování práva a soudnictví, který bude v plném rozsahu respektovat Listinu, evropské acquis v oblasti ochrany údajů a lidská práva;

35. vyzývá Agenturu EU pro základní práva, aby ve spolupráci s Evropským sborem pro ochranu osobních údajů a evropským inspektorem ochrany údajů vypracovala komplexní pokyny, doporučení a osvědčené postupy s cílem dále upřesnit kritéria a podmínky pro vývoj, používání a zavádění aplikací a řešení umělé inteligence pro účely prosazování práva a soudnictví; zavazuje se, že vypracuje studii o provádění směrnice o prosazování práva[9] s cílem určit, jak je při zpracovávání údajů donucovacími a soudními orgány zajištěna ochrana osobních údajů, zejména při vývoji nebo zavádění nových technologií; dále vyzývá Komisi, aby zvážila, zda jsou zapotřebí konkrétní legislativní opatření týkající se dalšího vymezení kritérií a podmínek pro vývoj, používání a zavádění aplikací a řešení umělé inteligence donucovacími a soudními orgány;

36. pověřuje svého předsedu, aby předal toto usnesení Radě a Komisi.

 

 

VYSVĚTLUJÍCÍ PROHLÁŠENÍ

Umělá inteligence (UI) je jednou ze strategických technologií 21. století, která vytváří značné výhody z hlediska účinnosti, přesnosti a pohodlnosti, a pozitivně proto přispívá k evropskému hospodářství. Aplikace umělé inteligence mimo jiné zlepšily zdravotní péči, zvýšily účinnost zemědělské činnosti, přispěly ke zmírnění změny klimatu a přizpůsobení se této změně a zlepšily efektivitu výroby.

 

Umělá inteligence je jednou z hlavních priorit současné Komise. Předsedkyně Komise Ursula von der Leyenová ve svých politických směrech oznámila koordinovaný evropský přístup k lidským a etickým důsledkům umělé inteligence a rovněž uvedla, že je třeba lépe využívat data velkého objemu pro inovace. Schvalování umělé inteligence jako záležitosti na úrovni EU doprovázela úvaha o tom, jak v technologie umělé inteligence zaručit důvěru a jak zajistit, aby umělá inteligence neohrožovala základní práva EU.

 

Evropský parlament o ní však jednal už o několik let dříve, než se z ní Komise rozhodla učinit hlavní prioritu. Několik usnesení o datech velkého objemu, robotice a umělé inteligenci, která Parlament od roku 2016 přijal, ukazují, že toto téma je pro Parlament důležité. Usnesení se zaměřila na různé důsledky, které umělá inteligence vyvolala, a na to, jak ovlivňuje blahobyt, vzdělávání, technologie, zákonná a základní práva a průmysl obecně. Tato usnesení zdůraznila, že je potřeba přijmout přístup „zaměřený na člověka“, který se zakládá na dodržování základních práv, konkrétně na Listině základních práv Evropské unie a na rámci ochrany údajů v EU.

 

Jedná se o „soubor technologií, které kombinují data, algoritmy a výpočetní výkon“, „pokrok v oblasti výpočetní techniky a rostoucí dostupnost údajů jsou proto klíčovými faktory současného rychlého rozvoje umělé inteligence“[10]. Pro umělou inteligenci je stěžejní skutečnost, že se zakládá na sběru, analýze a opakujícím se shromažďování velkého množství údajů, včetně osobních údajů, a to z různých zdrojů, na které se vztahuje automatické zpracování pomocí počítačových algoritmů a vyspělé techniky pro zpracování údajů. Tyto techniky využívají k vytvoření určitých vzájemných souvislostí, trendů a vzorků jak uložená data, tak datové proudy (analýza dat velkého objemu). Údaje použité pro umělou inteligenci nepochází pouze od jednotlivců; aplikace umělé inteligence nejvíce využívají údaje z odvětví průmyslu, obchodu a veřejného sektoru, které se zpracovávají pro různé účely. Přestože mohou být někdy údaje používané aplikacemi umělé inteligence neosobního charakteru, činnost umělé inteligence s sebou velmi často nese zpracovávání osobních údajů, jelikož často vede k automatizovaným rozhodnutím, která mají přímý dopad na jednotlivce. Tyto vlastnosti umělé inteligence proto vyžadují, abychom v této oblasti věnovali zvláštní pozornost dodržování základních zásad o ochraně údajů a soukromí.

 

Umělá inteligence nabízí rovněž široké možnosti v oblasti prosazování práva a trestního soudnictví, zejména při zlepšování pracovních postupů donucovacích a soudních orgánů a v účinnějším boji proti některým druhům trestných činů, především v oblasti finanční trestné činnosti, praní peněz, financování terorismu a rovněž některých druhů kyberkriminality. V tomto sektoru zahrnují aplikace umělé inteligence mimo jiné technologie rozpoznávání obličeje, automatické rozpoznávání registračních značek, identifikaci mluvčího, rozpoznávání řeči, technologie odezírání ze rtů, odposlouchávání (např. algoritmy pro detekci výstřelu), nezávislý výzkum a analýzy identifikovaných databází, předpověď (prediktivní policejní a kriminální analýzy přístupového bodu), nástroje pro detekci chování, nezávislé nástroje k odhalování finančního podvodu a financování terorismu, sledování sociálních médií (získávání a shromažďování údajů pro jejich vytěžování při spojování), zachytávače IMSI a automatizované systémy sledování, které zahrnují různé rozpoznávací schopnosti (jako např. rozpoznání srdečního rytmu a termovizní kamery). V oblasti soudnictví mohou být nástroje umělé inteligence použity při vypočítávání pravděpodobností pro opakování trestného činu, v udělování probace nebo při rozhodování o trestu.

 

Nehledě na výhody, které umělá inteligence přináší, s sebou nese i řadu potenciálních rizik, jako například neprůhledné rozhodování, různé druhy diskriminace, neoprávněné vniknutí do našich osobních životů, problémy s ochranou osobních údajů, lidské důstojnosti a svobodu projevu a informací. Tato potenciální rizika jsou ještě závažnější v oblasti prosazování práva a trestního soudnictví, protože mohou ovlivnit presumpci neviny, základní práva na svobodu a bezpečnost jednotlivce a účinnou právní ochranu a spravedlivý proces.

 

Tato zpráva se snaží vyřešit problémy plynoucí z používání umělé inteligence v trestním právu a jeho využívání policií a soudními orgány v trestních věcech. Ačkoli uznává potenciální možnosti a výhody, které s sebou může umělá inteligence nést, zdůrazňuje zároveň vysoká rizika a dopady, které může mít za následek.

 

Zpráva zdůrazňuje potřebu plně respektovat základní práva zakotvená Listině základních práv Evropské unie a v právních předpisech Unie v oblasti ochrany údajů a soukromí, konkrétně směrnice (EU) 2016/680 (policejní směrnice), a nutnost zavést několik základních zásad v životním cyklu umělé inteligence, jako algoritmickou vysvětlitelnost a transparentnost, sledovatelnost, provádění nutných posuzování dopadů na základní práva a povinných auditů před použitím nebo zavedením jakéhokoli systému umělé inteligence. Všechny tyto požadavky nejsou nutné pouze k zajištění toho, aby byly systémy umělé inteligence zákonné, ale rovněž k dosažení důvěry jednotlivců při jejich používání při prosazování práva a soudními orgány a orgány činnými v trestním řízení.

 

A konečně, váš zpravodaj požaduje pro účely prosazování práva moratorium na zavádění systémů rozpoznávání obličeje. Současný stav těchto technologií a značné dopady na základní práva vyžadují důkladnou a otevřenou společenskou debatu, aby bylo možné zvážit různé kladené otázky a zavedení těchto technologií zdůvodnit.

 

 

 

 

 

 

 

STANOVISKO VÝBORU PRO VNITŘNÍ TRH A OCHRANU SPOTŘEBITELŮ (3.9.2020)

pro Výbor pro občanské svobody, spravedlnost a vnitřní věci

k umělé inteligenci v trestním právu a jejímu využívání policií a soudními orgány v trestních věcech

(2020/2016(INI))

Zpravodaj: Marcel Kolaja

 

 

NÁVRHY

Výbor pro vnitřní trh a ochranu spotřebitelů vyzývá Výbor pro občanské svobody, spravedlnost a vnitřní věci jako příslušný výbor, aby do návrhu usnesení, který přijme, začlenil tyto návrhy:

A. vzhledem k tomu, že s ohledem na potenciální společenský přínos umělé inteligence a na rizika s ní spojená je třeba zlepšit fungování jednotného digitálního trhu posílením právní jistoty pro poskytovatele systémů umělé inteligence a zvýšením důvěry a bezpečnosti uživatelů tím, že se posílí záruky v oblasti právního státu a základních práv, zejména práva na soukromí a ochranu osobních údajů, práva na rovnost a nediskriminaci, práva na řádnou správu, práva na spravedlivý proces a práva na vysokou úroveň ochrany spotřebitele; vzhledem k tomu, že má-li se zabránit roztříštěnosti jednotného trhu, je nutné, aby byl v oblasti umělé inteligence a regulace jejího používání v trestních věcech policií a donucovacími orgány uplatňován jednotný evropský přístup;

B. vzhledem k tomu, že testování a využívání umělé inteligence policií a soudními orgány je velmi rozšířené a zahrnuje různé druhy užití, důsledků a rizik, které s sebou nesou, zejména pak v souvislosti se systémy rozpoznávání obličeje, profilování DNA, prediktivním mapováním trestné činnosti a extrakcí dat z mobilních telefonů, pokročilými vyhledávači judikatury, řešením on-line sporů a strojovým učením za účelem výkonu spravedlnosti;

C. vzhledem k tomu, že využívání umělé inteligence může představovat zásadní změnu paradigmatu ve výkonu trestního soudnictví;

D. vzhledem k tomu, že podle zprávy Agentury pro základní práva jsou v současnosti v členských státech k dispozici pouze omezené informace o možném využívání nebo testování technologií rozpoznávání obličeje[11];

E. vzhledem k tomu, že v členských státech, v nichž byly k dispozici určité informace o používání technologií rozpoznávání obličeje, zjistily orgány pro ochranu údajů, že používání těchto technologií není v souladu s právními předpisy o ochraně údajů a chybí právní základ pro jejich zavádění;

F. vzhledem k tomu, že v oblasti vnitřního trhu může Unie tuto situaci zásadním způsobem změnit prostřednictvím reformy postupů zadávání veřejných zakázek, na jejímž základě se vládní opatření a postupy sladí se sekundárními politickými cíli, jako je ochrana údajů a nediskriminace;

G. vzhledem k tomu, že během fáze navrhování, testování a uplatňování algoritmického rozhodování založeného na datech může docházet k diskriminaci v důsledku zkreslení, která jsou součástí datových souborů nebo algoritmů;

H. vzhledem k tomu, že technický vývoj a používání umělé inteligence musí spočívat na zásadách, aby se zajistilo dodržování lidských a základních práv;

I. vzhledem k tomu, že dne 4. prosince 2018 zveřejnila Evropská komise pro hodnocení efektivity soudnictví při Radě Evropy etickou chartu pro využívání umělé inteligence v soudních systémech, která stanoví etické zásady pro používání umělé inteligence v soudních systémech;

J. vzhledem k tomu, že některá využití technologií umělé inteligence jsou obzvláště citlivá a náchylná ke zneužívání, což v nedávné době vedlo k tomu, že se některé technologické společnosti rozhodly, že již nebudou související software nabízet;

1. domnívá se, že umělá inteligence, kterou používají policejní a soudní orgány, musí být obecně zařazena do kategorie „vysoce riziková“ a je nutno s ní nakládat s nejvyšší opatrností a podle nejvyšších norem ochrany údajů, a to s ohledem na úlohu, kterou tyto orgány plní při ochraně veřejného zájmu, a na charakter jejich povinností; domnívá se, že je naléhavě třeba, aby byl na evropské úrovni vytvořen společný regulační rámec pro umělou inteligenci na vnitřním trhu; je přesvědčen, že by se EU měla v oblasti vývoje a využití umělé inteligence ujmout vedoucí úlohy a zavést regulaci na úrovni Unie, a to i v oblasti zadávání veřejných zakázek, přičemž by se tato regulace měla zakládat na jednoznačných pravidlech, základních právech a etických zásadách, aby se zajistila stejná vysoká úroveň ochrany spotřebitelů a jednotné normy pro toto odvětví v celé EU s cílem umožnit lepší fungování vnitřního trhu a současně podpořit inovace a posílit právní jistotu pro podniky, především MSP; vyzývá Komisi, aby před tím, než iniciuje případné nové legislativní návrhy, prověřila uplatňování stávajících právních předpisů a jejich vymáhání;

2. uznává, že využívání umělé inteligence v oblasti spravedlnosti může přispět ke zlepšení účinnosti a kvality řízení; v této souvislosti zdůrazňuje, že je třeba dodržovat zejména pravidla stanovená Evropskou úmluvou o lidských právech a Úmluvou Rady Evropy o ochraně osob se zřetelem na automatizované zpracování osobních dat;

3. vyzývá Komisi, aby posoudila technologie umělé inteligence, které jsou k dispozici na trhu, a míru jejich využívání policií a soudními orgány v jednotlivých zemích;

4. zdůrazňuje, že  umělá inteligence by měla přispívat ke snižování administrativní zátěže veřejných orgánů a zvýšit účinnost jejich rozhodování a že by systémy umělé inteligence měly podléhat lidské kontrole a zakládat se na lidské spolupráci a koordinaci; v této souvislosti zdůrazňuje, že by konečnou odpovědnost za veškerá rozhodnutí v trestních věcech měli vždy nést lidé; zdůrazňuje, že je důležité, aby byly soubory dat přesné,  využívají-li se v rámci souvisejících procesů elektronické veřejné správy (e-government) a administrativních rozhodnutí v celé Unii;

5. zdůrazňuje, že je důležité umožnit inovace, transparentnost, dohledatelnost a ověřování; zdůrazňuje, že v těchto otázkách by mohla být přínosná umělá inteligence z otevřených zdrojů, která by mohla rovněž podpořit spolupráci a rozvíjet kulturu výměny nápadů a zkušeností v oblasti použití a vytváření algoritmů;

6. domnívá se, že umělá inteligence používaná policí a donucovacími orgány v trestních záležitostech by měla být v případech, kdy je to možné, zaváděna jakožto otevřený software na základě veřejného zadávacího řízení, a to v souladu s platnými právními předpisy včetně směrnice Evropského parlamentu a Rady (EU) 2019/790 ze dne 17. dubna 2019 o autorském právu a právech s ním souvisejících na jednotném digitálním trhu, a že by softwarová dokumentace a algoritmy měly být dostupné, aby tak příslušné orgány mohly provést přezkum, jak systém umělé inteligence došel k určitému závěru; zdůrazňuje, že by součástí předběžného posuzování shody měl být audit zaměřený na základní práva; je přesvědčen, že má-li se zajistit, aby podniky a občané včetně spotřebitelů mohli důvěřovat lepším, dostupným, nediskriminačním a spolehlivým veřejným službám za spravedlivou cenu a aby tyto služby pro ně byly přínosem, je, při dodržení práva a hodnot EU a platných předpisů v oblasti ochrany údajů a aniž by bylo ohroženo vyšetřování nebo trestní stíhání, naprosto nezbytné, aby byly dispozici vysvětlitelné a objektivní algoritmy, jež splňují požadavek týkající se dostatečné transparentnosti, a aby byla pro trénování algoritmů používána otevřená data v souladu s příslušnými právním předpisy, včetně směrnice (EU) 2019/1024 o otevřených datech a opakovaném použití informací veřejného sektoru, aniž by bylo dotčeno nařízení (EU) 2016/679;

7. zdůrazňuje, že sběr údajů a monitorování jednotlivců pomocí umělé inteligence by se měly omezovat na osoby podezřelé z trestných činů a na soudem schválené sledování v souladu s platnými vnitrostátními právními předpisy, přičemž musí být respektováno soukromí a presumpce neviny, a to i pokud jde o ostatní uživatele a spotřebitele, na něž by tyto systémy a postupy mohly mít nepřímo dopad; zdůrazňuje, že pokud jsou při rozhodování používány statistické výpočty, mělo by být na základě odborného vzdělání a kvalifikace zajištěno, aby byly osoby přijímající rozhodnutí vyškoleny v otázkách případného zkreslení, neboť soubory dat mohou být založeny na diskriminačních a předpojatých údajích; v této souvislosti poukazuje na význam kvality algoritmů a původních údajů a připomíná, že pokud jde o vkládání dat a jejich analýzy, musí se použití umělé inteligence zakládat na zásadě nediskriminace; požaduje, aby postupy pro zadávání zakázek na takovéto aplikace obsahovaly záruky proti případné předpojatosti; vyzývá k tomu, aby si soudní a policejní orgány členských států vyměňovaly informace a osvědčené postupy týkající se uplatňování technik a nástrojů umělé inteligence, aby se tak v rámci jednotného trhu předešlo roztříštěnému přístupu a zajistila se ochrana spotřebitelů a občanů v celé Unii;

8. trvá na tom, že by členské státy v souladu s platnými trestněprávními předpisy měly zajistit, aby byli občané a spotřebitelé informováni, pokud se stali subjektem použití umělé inteligence, a že by občané měli mít k dispozici jednoduché, účinné a snadno dostupné postupy pro podávání stížnosti a nápravu, včetně soudní nápravy, aby mohli účinně bránit svá práva;

9. připomíná velké riziko spojené s některými typy umělé inteligence, včetně technologií rozpoznávání obličeje ve veřejných prostorech a automatizované detekce chování a profilování osob na hranicích za účelem jejich rozdělení do rizikových kategorií, biometrického odhalování a rozpoznávání pro účely hromadného sledování, hromadného hodnocení občanů a prediktivní policejní práce, a žádá Komisi, aby regulovala zadávání zakázek na tyto typy technologií a jejich použití s cílem zamezit riziku jejich zneužívání; v této souvislosti vítá probíhající práci Komise, jejímž cílem je posoudit využívání biometrických technologií a zvážit možnosti regulace, včetně přístupu založeného na posouzení rizik a jejich zákazu za určitých okolností, a zavést nezbytné záruky v případech, kdy je jejich použití odůvodněné;

10. zdůrazňuje, že je třeba plně respektovat svrchovanou pravomoc soudců jednat dle vlastního uvážení a rozhodovat na základě individuálního posouzení případů, aby se zabránilo standardizaci rozhodnutí, která by se zakládala na čistě statistických úvahách.

 

INFORMACE O PŘIJETÍ VE VÝBORU POŽÁDANÉM O STANOVISKO

Datum přijetí	3.9.2020
Výsledek konečného hlasování	+: –: 0:	40 4 0
Členové přítomní při konečném hlasování	Alex Agius Saliba, Andrus Ansip, Alessandra Basso, Brando Benifei, Adam Bielan, Hynek Blaško, Biljana Borzan, Vlad-Marius Botoş, Markus Buchheit, Dita Charanzová, Deirdre Clune, David Cormand, Petra De Sutter, Carlo Fidanza, Evelyne Gebhardt, Sandro Gozi, Maria Grapini, Svenja Hahn, Virginie Joron, Eugen Jurzyca, Arba Kokalari, Marcel Kolaja, Kateřina Konečná, Andrey Kovatchev, Jean-Lin Lacapelle, Maria-Manuel Leitão-Marques, Morten Løkkegaard, Adriana Maldonado López, Antonius Manders, Beata Mazurek, Leszek Miller, Dan-Ștefan Motreanu, Kris Peeters, Anne-Sophie Pelletier, Christel Schaldemose, Andreas Schwab, Tomislav Sokol, Ivan Štefanec, Kim Van Sparrentak, Marion Walsmann, Marco Zullo
Náhradníci přítomní při konečném hlasování	Maria da Graça Carvalho, Anna Cavazzini, Krzysztof Hetman

 

JMENOVITÉ KONEČNÉ HLASOVÁNÍ
VE VÝBORU POŽÁDANÉM O STANOVISKO

40	+
EPP	Maria da Graça Carvalho, Deirdre Clune, Krzysztof Hetman, Arba Kokalari, Andrey Kovatchev, Antonius Manders, Dan-Ștefan Motreanu, Kris Peeters, Andreas Schwab, Tomislav Sokol, Ivan Štefanec, Marion Walsmann
S&D	Alex Agius Saliba, Brando Benifei, Biljana Borzan, Evelyne Gebhardt, Maria Grapini, Maria-Manuel Leitão-Marques, Adriana Maldonado López, Leszek Miller, Christel Schaldemose
RENEW	Andrus Ansip, Vlad-Marius Botoş, Dita Charanzová, Sandro Gozi, Svenja Hahn, Morten Løkkegaard
ID	Hynek Blaško
GREENS/EFA	Anna Cavazzini, David Cormand, Petra De Sutter, Marcel Kolaja, Kim Van Sparrentak
ECR	Adam Bielan, Carlo Fidanza, Eugen Jurzyca, Beata Mazurek
EUL/NGL	Kateřina Konečná, Anne-Sophie Pelletier
NI	Marco Zullo

 

4	-
ID	Alessandra Basso, Markus Buchheit, Virginie Joron, Jean-Lin Lacapelle

 

0	0

 

Význam zkratek:

+ : pro

- : proti

0 : zdrželi se

 

 

 

 

STANOVISKO VÝBORU PRO PRÁVNÍ ZÁLEŽITOSTI (15.9.2020)

pro Výbor pro občanské svobody, spravedlnost a vnitřní věci

k umělé inteligenci v trestním právu a jejímu využívání policií a soudními orgány v trestních věcech

(2020/2016(INI))

Zpravodaj: Angel Dzhambazki

 

 

NÁVRHY

Výbor pro právní záležitosti vyzývá Výbor pro občanské svobody, spravedlnost a vnitřní věci jako příslušný výbor, aby do návrhu usnesení začlenil tyto návrhy:

A. vzhledem k tomu, že právo na spravedlivý proces je základním a při vymáhání práva závazným institutem zakotveným v Listině základních práv Evropské unie a v Evropské úmluvě o lidských právech; vzhledem k tomu, že se toto právo uplatňuje ve všech fázích trestního řízení, včetně trestního stíhání, a zaručuje, že po celou délku řízení daného nebudou přijata opatření, mimo jiné technické povahy, jejichž přímým či nepřímým důsledkem je zbavení práva na obhajobu jeho podstaty; vzhledem k tomu, že záruky spojené s touto zásadou, zejména záruka „nezávislého soudu“, záruka „rovnosti před zákonem“ a presumpce neviny, jsou v oblasti trestního práva přísnější; vzhledem k tomu, že tato práva musí být respektována za všech okolností, zejména v souvislosti s použitím umělé inteligence, a to především s ohledem na to, že technologie založené na umělé inteligenci by mohly mít dopad na různá lidská práva;

B. vzhledem k tomu, že ochrana osobních údajů v souladu s obecným nařízením o ochraně osobních údajů (GDPR)[12] a případně dalšími příslušnými právními předpisy je platná za všech okolností;

C. vzhledem k tomu, že s umělou inteligencí a souvisejícími technologiemi, včetně jejich schopnosti se samostatně učit, vždy souvisí určitý stupeň lidského zásahu;

D. vzhledem k tomu, že umělá inteligence má potenciál stát se trvalou součástí systémů trestního práva;

E. vzhledem k tomu, že umělá inteligence a související technologie jsou pro Unii prioritou s ohledem na rychlý pokrok v odvětví technologií a na význam ostražitosti nad jejich nynějším a budoucím dopadem na jedinečný evropský systém práv duševního vlastnictví; vzhledem k tomu, že řada odvětví již umělou inteligenci a související technologie využívá, například robotika, doprava a zdravotnictví;

F. vzhledem k tomu, že technologie, jako je umělá inteligence a související technologie, mohou být využity v oblasti trestního práva s cílem snížit míru trestné činnosti, zjednodušit určitá řízení pomocí svého uplatnění v analýze statistických údajů v rámci posuzování a prevence trestné činnosti a odhalovat a vyšetřovat trestné činy; vzhledem k tomu, že by Unie měla dále rozvíjet své kapacity, pokud jde o software, ukládání dat a technologie umělé inteligence, aby se napravily nedostatky v souvislosti s ochranou osobních údajů;

G. vzhledem k tomu, že tyto technologie lze využít k vytváření anonymizovaných statistických databází, které pomáhají orgánům, akademickým pracovníkům a zákonodárcům analyzovat číselné údaje a účinně navrhovat politická řešení pro účely prevence trestné činnosti a pomoci pachatelům úspěšně se opětovně začlenit do společnosti;

H. vzhledem k tomu, že právní rámec pro umělou inteligenci a její uplatňování v trestním právu by měl v případě nutnosti zahrnovat legislativní opatření počínaje závaznými opatřeními, která zabrání krokům, které by nepochybně oslabily základní práva a svobody;

I. vzhledem k tomu, že z důvodu přirozeně neprůhledné povahy systémů UI se mohou nové nástroje používané v rámci trestního soudnictví dostat do střetu s určitými základními svobodami;

J. vzhledem k tomu, že je nezbytné předcházet případným rizikům spojeným s využíváním systémů umělé inteligence v oblasti trestního soudnictví a tato rizika zmírňovat, aby byla zajištěna základní práva podezřelých a obviněných v trestním řízení;

1. zdůrazňuje, že je zásadně důležité řádně zhodnotit rizika spojená s využíváním systémů umělé inteligence, například pokud jde o diskriminaci a zásahy do soukromí, a posoudit etické a provozní důsledky použití umělé inteligence a souvisejících technologií v naší společnosti, zejména ze strany státních, policejních a soudních orgánů v rámci systémů trestního soudnictví, jakož i otázky týkající se odpovědnosti a důkazního břemene, pokud dojde k pochybení v souvislosti s provozem systémů umělé inteligence; domnívá se, že je nezbytné vytvořit jasný regulační rámec s cílem stanovit limity a poskytnout nezbytné záruky; domnívá se, že etické zásady, jako jsou zásady stanovené v Evropské etické chartě o používání umělé inteligence v soudních systémech a jejich prostředí, by měly být zohledněny a respektovány veřejnými a soukromými subjekty odpovědnými za původní návrh a vývoj nástrojů a služeb umělé inteligence, aby tak všechny sociální subjekty měly k dispozici úplné informace o podnikových strukturách společností, které vytvářejí programy umělé inteligence; zdůrazňuje význam lidského faktoru, který vždy musí být tím, kdo při používání softwaru založeného na umělé inteligenci a v rámci systému trestního práva činí konečné rozhodnutí, ať už jde o vymáhání práva policejním orgánem, nebo ze strany trestního soudnictví; opětovně zdůrazňuje, software k biometrickému rozpoznávání by měly být používán pouze v případech, kdy takový krok bude jednoznačně schválen;

2. zdůrazňuje, že je zapotřebí dosáhnout rovnováhy mezi používáním systémů umělé inteligence v trestním řízení a dodržováním všech základních práv a procesních záruk stanovených v evropském a mezinárodním právu a že je nutné tuto rovnováhu udržovat;

3. zdůrazňuje význam využívání umělé inteligence s řádným respektem vůči zásadám právního státu a nezávislosti soudní moci v rozhodovacím procesu;

4. vyzývá Komisi, aby dále vyjasnila pravidla pro ochranu a sdílení údajů shromážděných pomocí umělé inteligence a souvisejících technologií ze strany orgánů oprávněných shromažďovat nebo zpracovávat tyto údaje, včetně neosobních a anonymizovaných údajů, které přímo či nepřímo určují totožnost osoby, a to při plném dodržování nařízení GDPR a směrnice o soukromí a elektronických komunikacích[13]; dále zdůrazňuje, že právo na spravedlivý proces by mělo zahrnovat právo občanů a stran řízení na přístup k těmto údajům, zejména pokud jsou tyto údaje shromažďovány z jejich osobních zařízení nebo vybavení v souladu s nařízením GDPR, ale také pro účely výkonu jejich práva na obhajobu, pokud nastoupí jejich odpovědnost podle práva;

5. zdůrazňuje, že je nutné zvýšit transparentnost systémů umělé inteligence využívaných v trestních věcech, aby se umožnil soudní dohled a zabezpečilo se, aby vývojáři umělé inteligence a souvisejících technologií zajistili dostatečnou úroveň transparentnosti algoritmů a algoritmického rozhodování ve prospěch příslušných orgánů a občanů; upozorňuje na obecné právo stran řízení na přístup k postupům spojeným se shromažďováním údajů, prognózami uplatňovanými za účelem prevence trestné činnosti, katalogizací a vyhodnocením důkazů v trestním řízení a určením toho, zda podezřelá osoba může představovat nebezpečí pro společnost, pokud tomu nebrání stávající právní předpisy EU, jako je směrnice (EU) 2016/680[14]; dále zdůrazňuje, že je důležité mít přístup k výstupům vytvořených umělou inteligencí nebo s její pomocí, a v konečném důsledku určit odpovědnost za oznamovací postupy a za kroky umělé inteligence a souvisejících technologií v trestních věcech, zejména pokud jde o analýzu velkého množství důkazů při vyšetřování a určování totožnosti podezřelých či obětí trestného činu; připomíná význam otázek, které vyvstávají v souvislosti se správou, základními právy a procesními zárukami, zásadou nediskriminace, odpovědností, transparentností, nestranností, spravedlností a racionální integritou umělé inteligence a souvisejících technologií, a zároveň zdůrazňuje nutnost zajistit stálý lidský dohled nad těmito technologiemi; trvá na tom, že soudní orgány musí být povinny odůvodnit svá rozhodnutí, mimo jiné i tehdy, pokud se tato rozhodnutí opírají o důkazní prvky, které byly zajištěny pomocí technologií využívajících umělou inteligenci, což si žádá vysoký stupeň soudní kontroly a přísná kritéria přípustnosti, a to v souladu s usnesením Parlamentu ze dne 16. února 2017 o robotice[15], v němž se zdůrazňuje nutnost toho, aby bylo vždy možné uvést odůvodnění všech rozhodnutí přijatých za pomoci umělé inteligence, pokud by takové rozhodnutí mohlo mít dopad na životy jedné nebo více osob; připomíná rozdíl mezi používáním umělé inteligence a souvisejících technologií při předcházení trestné činnosti a v trestním soudnictví; zdůrazňuje, že technologie umělé inteligence musí vždy plnit podřízenou úlohu;

6. připomíná, že k nejzávažnějšímu zneužití umělé inteligence a souvisejících technologií, jako je hromadné sledování, profilování, prediktivní policejní programy, které by mohly posoudit, kde pravděpodobně dojde k trestnému činu a kde se mohou nacházet podezřelé osoby, a stanovení pravděpodobnosti viktimizace, zranitelnosti osob, prohlášení osoby za pohřešovanou nebo za oběť či pachatele domácího násilí nebo sexuálního trestného činu, stejně jako porušení řádných procesních práv, může docházet v důsledku činnosti orgánů veřejné moci jednajících v zájmu vymáhání práva;

7. zdůrazňuje význam používání automaticky generovaných údajů při shromažďování a analýze důkazů; připomíná, že jak při prevenci trestné činnosti, tak v oblasti trestního soudnictví může docházet k chybám zapříčiněným lidským faktorem, což může vést k nesprávnému použití analýzy vstupních údajů a výstupů, jakož i k jejich nesprávné interpretaci, a vyzývá proto k obezřetnému postupu při analýze účinnosti a vhodnosti používání technologií umělé inteligence ve všech rozhodovacích procesech;

8. vyzývá všechny příslušné veřejné orgány, zejména donucovací orgány, jako je policie a soudní moc, aby informovaly veřejnost a zajistily dostatečnou transparentnost, pokud jde o to, jakým způsobem využívají umělou inteligenci a související technologie při výkonu svých pravomocí, zejména v oblasti trestního práva;

9. považuje za klíčové, aby se využíváním systémů umělé inteligence v rámci trestního řízení zajistilo dodržování základních zásad trestního řízení, včetně práva na spravedlivý proces, zásady presumpce neviny a práva na účinný opravný prostředek, jakož i zajištění monitorování a nezávislé kontroly systémů automatizovaného rozhodování;

10. zdůrazňuje důležitost zásady „člověk má konečné slovo“ (human-in-command principle) a ověřování výstupů vytvořených umělou inteligencí nebo s její pomocí; připomíná význam otázek týkajících se správy, transparentnosti, srozumitelnosti a odpovědnosti s cílem zajistit dodržování základních práv a zabránit případným nedostatkům v oblasti umělé inteligence;

11. zdůrazňuje svůj obezřetný přístup k používání softwaru pro biometrické rozpoznávání; zdůrazňuje nejednoznačnost, která vyplývá z nedostatečnosti ve vztahu k ochraně údajů i k porušení soukromí údajů, která je s touto oblastí z povahy věci spojena; se znepokojením poukazuje na slučování osobních údajů o občanech v Evropské unii ze strany cizích zemí, a to prostřednictvím soukromých subjektů a poskytovatelů;

12. připomíná, že v souladu se stávajícími pravidly EU o ochraně údajů a s Listinou základních práv Evropské unie lze umělou inteligenci používat pouze pro účely biometrického rozpoznávání totožnosti, pokud je takové použití řádně odůvodněné, přiměřené a podléhá náležitým zárukám; vítá doporučení odborné skupiny Komise na vysoké úrovni pro umělou inteligenci ohledně přiměřeného, uvážlivého a riziko zohledňujícího využívání technologie biometrického rozpoznávání v souladu s právní úpravou ochrany osobních údajů; navrhuje, aby používání této technologie bylo jasně odůvodněné na základě stávajících právních předpisů a aby Komise posoudila, jakým způsobem lze tato doporučení účinně realizovat, a to se zvláštním ohledem na právo na soukromí a ochranu osobních údajů;

13. je pevně přesvědčen, že rozhodnutí generovaná umělou inteligencí nebo souvisejícími technologiemi, zejména v oblasti justice a vymáhání práva, která mají přímý a významný dopad na práva a povinnosti fyzických nebo právnických osob, by měla být předmětem přísného ověřování ze strany lidské bytosti a řádného soudního dohledu;

14. považuje za nezbytné posoudit vhodnost toho, zda mají být rozhodnutí ve věci vymáhání práva částečně přenesena na umělou inteligenci, a pokud ano, za jakých podmínek a v jaké souvislosti by takové použití umělé inteligence mělo být povoleno; domnívá se, že s umělou inteligencí a souvisejícími technologiemi, které mohou nahradit rozhodování orgánu veřejné moci, by mělo být zacházeno s nejvyšší obezřetností; zdůrazňuje, že je třeba vypracovat přísné etické normy a zvláštní kodexy chování pro navrhování a používání umělé inteligence s cílem pomoci donucovacím a soudním orgánům v případě, že by rozhodnutí vymáhající právo byla přenesena na umělou inteligenci; poukazuje na stávající činnost Výboru pro právní záležitosti.

 

INFORMACE O PŘIJETÍ VE VÝBORU POŽÁDANÉM O STANOVISKO

Datum přijetí	10.9.2020
Výsledek konečného hlasování	+: –: 0:	22 3 0
Členové přítomní při konečném hlasování	Manon Aubry, Gunnar Beck, Geoffroy Didier, Angel Dzhambazki, Ibán García Del Blanco, Jean-Paul Garraud, Esteban González Pons, Mislav Kolakušić, Gilles Lebreton, Karen Melchior, Jiří Pospíšil, Franco Roberti, Marcos Ros Sempere, Liesje Schreinemacher, Stéphane Séjourné, Raffaele Stancanelli, Marie Toussaint, Adrián Vázquez Lázara, Axel Voss, Marion Walsmann, Tiemo Wölken, Lara Wolters, Javier Zarzalejos
Náhradníci přítomní při konečném hlasování	Heidi Hautala, Emil Radev

 

 

JMENOVITÉ KONEČNÉ HLASOVÁNÍ
VE VÝBORU POŽÁDANÉM O STANOVISKO

22	+
EPP	Geoffroy Didier, Esteban González Pons, Jiří Pospíšil, Emil Radev, Axel Voss, Marion Walsmann, Javier Zarzalejos
S&D	Ibán García Del Blanco, Franco Roberti, Marcos Ros Sempere, Tiemo Wölken, Lara Wolters
RENEW	Karen Melchior, Liesje Schreinemacher, Stéphane Séjourné, Adrián Vázquez Lázara
ID	Gunnar Beck, Jean-Paul Garraud, Gilles Lebreton
ECR	Angel Dzhambazki, Raffaele Stancanelli
NI	Mislav Kolakušić

 

3	-
VERTS/ALE	Heidi Hautala, Marie Toussaint
GUE/NGL	Manon Aubry

 

0	0

 

Význam zkratek:

+ : pro

- : proti

0 : zdrželi se

 

 

 

INFORMACE O PŘIJETÍ V PŘÍSLUŠNÉM VÝBORU

Datum přijetí	29.6.2021
Výsledek konečného hlasování	+: –: 0:	36 24 6
Členové přítomní při konečném hlasování	Magdalena Adamowicz, Konstantinos Arvanitis, Malik Azmani, Katarina Barley, Pernando Barrena Arza, Pietro Bartolo, Nicolas Bay, Vladimír Bilčík, Vasile Blaga, Ioan-Rareş Bogdan, Patrick Breyer, Saskia Bricmont, Joachim Stanisław Brudziński, Jorge Buxadé Villalba, Damien Carême, Caterina Chinnici, Marcel de Graaff, Anna Júlia Donáth, Lena Düpont, Cornelia Ernst, Laura Ferrara, Nicolaus Fest, Jean-Paul Garraud, Maria Grapini, Sylvie Guillaume, Andrzej Halicki, Evin Incir, Sophia in ‘t Veld, Patryk Jaki, Marina Kaljurand, Fabienne Keller, Peter Kofod, Łukasz Kohut, Moritz Körner, Alice Kuhnke, Jeroen Lenaers, Juan Fernando López Aguilar, Lukas Mandl, Roberta Metsola, Nadine Morano, Javier Moreno Sánchez, Maite Pagazaurtundúa, Nicola Procaccini, Emil Radev, Paulo Rangel, Terry Reintke, Diana Riba i Giner, Ralf Seekatz, Michal Šimečka, Birgit Sippel, Sara Skyttedal, Martin Sonneborn, Tineke Strik, Ramona Strugariu, Annalisa Tardino, Tomas Tobé, Dragoş Tudorache, Milan Uhrík, Tom Vandendriessche, Bettina Vollath, Elissavet Vozemberg-Vrionidi, Jadwiga Wiśniewska, Elena Yoncheva, Javier Zarzalejos
Náhradníci přítomní při konečném hlasování	Tanja Fajon, Miguel Urbán Crespo

 

 

JMENOVITÉ KONEČNÉ HLASOVÁNÍ V PŘÍSLUŠNÉM VÝBORU

36		+
NI		Laura Ferrara, Martin Sonneborn
Renew		Malik Azmani, Anna Júlia Donáth, Sophia in ‘t Veld, Fabienne Keller, Moritz Körner, Maite Pagazaurtundúa, Michal Šimečka, Ramona Strugariu, Dragoş Tudorache
S&D		Katarina Barley, Pietro Bartolo, Caterina Chinnici, Tanja Fajon, Maria Grapini, Sylvie Guillaume, Evin Incir, Marina Kaljurand, Łukasz Kohut, Juan Fernando López Aguilar, Javier Moreno Sánchez, Birgit Sippel, Bettina Vollath, Elena Yoncheva
The Left		Konstantinos Arvanitis, Pernando Barrena Arza, Cornelia Ernst, Miguel Urbán Crespo
Verts/ALE		Patrick Breyer, Saskia Bricmont, Damien Carême, Alice Kuhnke, Terry Reintke, Diana Riba i Giner, Tineke Strik
24	-
ID	Nicolas Bay, Nicolaus Fest, Jean-Paul Garraud, Marcel de Graaff, Peter Kofod, Annalisa Tardino, Tom Vandendriessche
NI	Milan Uhrík
PPE	Magdalena Adamowicz, Vladimír Bilčík, Vasile Blaga, Ioan-Rareş Bogdan, Lena Düpont, Andrzej Halicki, Jeroen Lenaers, Lukas Mandl, Roberta Metsola, Nadine Morano, Paulo Rangel, Ralf Seekatz, Sara Skyttedal, Tomas Tobé, Elissavet Vozemberg-Vrionidi, Javier Zarzalejos
6	0
ECR	Joachim Stanisław Brudziński, Jorge Buxadé Villalba, Patryk Jaki, Nicola Procaccini, Jadwiga Wiśniewska
PPE	Emil Radev

 

Význam zkratek:

+ : pro

- : proti

0 : zdrželi se

 

 

 

• [1] Úř. věst. L 119, 4.5.2016, s. 1.
• [2] Úř. věst. L 119, 4.5.2016, s. 89.
• [3] Úř. věst. L 295, 21.11.2018, s. 39.
• [4]Úř. věst. L 201, 31.7.2002, s. 37.
• [5] Úř. věst. L 135, 24.5.2016, s. 53.
• [6] Přijaté texty, P9_TA(2020)0173.
• [7] Úř. věst. C 263, 25.7.2018, s. 82.
• [8] Rozhodnutí Rady 2008/615/SVV ze dne 23. června 2008 o posílení přeshraniční spolupráce, zejména v boji proti terorismu a přeshraniční trestné činnosti. Úř. věst. L 210, 6.8.2008, s. 1.
• [9] Směrnice Evropského parlamentu a Rady (EU) 2016/680 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů příslušnými orgány za účelem prevence, vyšetřování, odhalování či stíhání trestných činů nebo výkonu trestů, o volném pohybu těchto údajů a o zrušení rámcového rozhodnutí Rady 2008/977/SVV. Úř. věst. L 119, 4.5.2016, s. 89.
• [10] COM(2020) 65 final.
• [11] Agentura Evropské unie pro základní práva: Technologie pro rozpoznávání obličeje: základní práva v souvislosti s prosazováním práva (FRA Focus), 27. listopadu 2019.
  https://fra.europa.eu/sites/default/files/fra_uploads/fra-2019-facial-recognition-technology-focus-paper-1_en.pdf
• [12] Nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů a o zrušení směrnice 95/46/ES (Úř. věst. L 119, 4.5.2016, s. 1).
• [13] Směrnice Evropského parlamentu a Rady 2002/58/ES ze dne 12. července 2002 o zpracování osobních údajů a ochraně soukromí v odvětví elektronických komunikací (Úř. věst. L 201, 31.7.2002, s. 37).
• [14] Směrnice Evropského parlamentu a Rady (EU) 2016/680 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů příslušnými orgány za účelem prevence, vyšetřování, odhalování či stíhání trestných činů nebo výkonu trestů, o volném pohybu těchto údajů a o zrušení rámcového rozhodnutí Rady 2008/977/SVV (Úř. věst. L 119, 4.5.2016, s. 89).
• [15] Usnesení Evropského parlamentu ze dne 16. února 2017 obsahující doporučení Komisi o občanskoprávních pravidlech pro robotiku (Úř. věst. C 252, 18.7.2018, s. 239).