O Parlamento Europeu,

–  Tendo em conta o Tratado da União Europeia, nomeadamente os artigos 2.º e 6.º, e o Tratado sobre o Funcionamento da União Europeia, nomeadamente o artigo 16.º,

–  Tendo em conta a Carta dos Direitos Fundamentais da União Europeia («Carta»), nomeadamente os artigos 6.º, 7.º, 8.º, 11.º, 12.º, 13.º, 20.º, 21.º, 24.º e 47.º,

–  Tendo em conta a Convenção para a Proteção dos Direitos Humanos e das Liberdades Fundamentais,

–  Tendo em conta a Convenção do Conselho da Europa para a Proteção das Pessoas relativamente ao Tratamento Automatizado de Dados de Carácter Pessoal (Convenção 108), e o protocolo que a altera («Convenção 108+»),

–  Tendo em conta a Código Europeu de Ética para o Uso da Inteligência Artificial nos Sistemas Judiciais e seu Ambiente, publicada pela Comissão Europeia para a Eficiência da Justiça (CEPEJ) do Conselho da Europa,

–  Tendo em conta a comunicação da Comissão, de 8 de abril de 2019, intitulada «Aumentar a confiança numa inteligência artificial centrada no ser humano» (COM(2019)0168),

–  Tendo em conta o documento intitulado «Ethics Guidelines for Trustworthy AI» (Orientações éticas para uma IA de confiança) publicado pelo grupo de peritos de alto nível sobre inteligência artificial em 8 de abril de 2019,

–  Tendo em conta o Livro Branco da Comissão de 19 de fevereiro de 2020, intitulado «A inteligência artificial - Uma abordagem europeia virada para a excelência e a confiança» (COM(2020)0065),

–  Tendo em conta a comunicação da Comissão, de 19 de fevereiro de 2020, intitulada «Uma estratégia europeia para os dados» (COM(2020)0066),

–  Tendo em conta o Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016, relativo à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais e à livre circulação desses dados e que revoga a Diretiva 95/46/CE (Regulamento Geral sobre a Proteção de Dados)(1),

–  Tendo em conta a Diretiva (UE) 2016/680 do Parlamento Europeu e do Conselho, de 27 de abril de 2016, relativa à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais pelas autoridades competentes para efeitos de prevenção, investigação, deteção ou repressão de infrações penais ou execução de sanções penais, e à livre circulação desses dados, e que revoga a Decisão-Quadro 2008/977/JAI do Conselho(2),

–  Tendo em conta o Regulamento (UE) 2018/1725 do Parlamento Europeu e do Conselho, de 23 de outubro de 2018, relativo à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais pelas instituições e pelos órgãos e organismos da União e à livre circulação desses dados, e que revoga o Regulamento (CE) n.º 45/2001 e a Decisão n.º 1247/2002/CE(3),

–  Tendo em conta a Diretiva 2002/58/CE do Parlamento Europeu e do Conselho, de 12 de julho de 2002, relativa ao tratamento de dados pessoais e à proteção da privacidade no sector das comunicações eletrónicas (Diretiva relativa à privacidade e às comunicações eletrónicas)(4),

–  Tendo em conta o Regulamento (UE) 2016/794 do Parlamento Europeu e do Conselho, de 11 de maio de 2016, que cria a Agência da União Europeia para a Cooperação Policial (Europol) e que substitui e revoga as Decisões 2009/371/JAI, 2009/934/JAI, 2009/935/JAI, 2009/936/JAI e 2009/968/JAI do Conselho(5),

–  Tendo em conta a sua resolução, de 19 de junho de 2020, sobre as manifestações de protesto contra o racismo na sequência da morte de George Floyd(6),

–  Tendo em conta a sua resolução, de 14 de março de 2017, sobre as implicações dos grandes volumes de dados nos direitos fundamentais: privacidade, proteção de dados, não discriminação, segurança e aplicação da lei(7),

–  Tendo em conta a audição realizada na Comissão das Liberdades Cívicas, da Justiça e dos Assuntos Internos (LIBE), em 20 de fevereiro de 2020, sobre a inteligência artificial no domínio do Direito penal e a respetiva utilização pelas autoridades policiais e judiciárias em matéria penal,

–  Tendo em conta o relato da missão da Comissão LIBE nos Estados Unidos efetuada em fevereiro de 2020,

–  Tendo em conta o artigo 54.º do seu Regimento,

–  Tendo em conta os pareceres da Comissão do Mercado Interno e da Proteção dos Consumidores e da Comissão dos Assuntos Jurídicos,

–  Tendo em conta o relatório da Comissão das Liberdades Cívicas, da Justiça e dos Assuntos Internos (A9-0232/2021),

A.  Considerando que as tecnologias digitais, em geral, e a proliferação do tratamento e da análise de dados possibilitados pela inteligência artificial (IA), em particular, são extraordinariamente promissoras, embora acarretem riscos; que, nos últimos anos, se verificaram grandes avanços no desenvolvimento da IA, fazendo desta uma das tecnologias estratégicas do século XXI, com potencial para gerar benefícios substanciais em termos de eficiência, precisão e comodidade, trazendo, assim, uma mudança positiva para a sociedade, mas também sérios riscos para os direitos fundamentais e para as democracias alicerçadas no Estado de direito; considerando que a IA não deve ser vista como um fim em si, mas como um instrumento ao serviço das pessoas, com o objetivo último de aumentar o bem-estar, as capacidades e a segurança dos seres humanos;

B.  Considerando que, não obstante os progressos contínuos a nível da velocidade de processamento e da capacidade de memória, não existem ainda programas capazes de igualar a flexibilidade humana no que se refere a domínios mais amplos ou a tarefas que exijam a compreensão do contexto ou uma análise crítica; considerando que algumas aplicações de IA alcançaram, na execução de determinadas tarefas específicas (por exemplo, tecnologias jurídicas), níveis de desempenho semelhantes aos de peritos e profissionais humanos, sendo capazes de gerar resultados a uma velocidade excecionalmente elevada e a uma escala muito mais vasta;

C.  Considerando que em alguns países, inclusive em vários Estados-Membros, o recurso a aplicações de IA, ou a sistemas integrados de IA, pelas autoridades policiais e pelo sistema judicial é maior do que noutros, o que se fica, em parte, a dever à falta de regulamentação e a diferenças regulamentares que possibilitam ou interditam a utilização de IA para determinadas finalidades; considerando que a crescente utilização da IA no domínio do direito penal se baseia em promessas segundo as quais diminuirá o crime e conduzirá a decisões mais objetivas; considerando que, no entanto, estas promessas nem sempre são verdadeiras;

D.  Considerando que os direitos e as liberdades fundamentais consignados na Carta devem ser garantidos ao longo de todo o ciclo de vida da IA e respetivas tecnologias, nomeadamente no momento da conceção, do desenvolvimento, da implantação e utilização, e devem ser tidos em conta no quadro da aplicação da lei em todas as circunstâncias;

E.  Considerando que a tecnologia de IA deve ser desenvolvida de forma antropocêntrica, ser digna de confiança pública e estar sempre ao serviço dos seres humanos; considerando que os sistemas de IA devem garantir que são concebidos de modo a que possam ser sempre desligados por um operador humano;

F.  Considerando que os sistemas de IA devem ser concebidos para proteção e benefício de todos os membros da sociedade (tendo, nomeadamente, em conta as populações vulneráveis e marginalizadas na sua conceção), ser não discriminatórios e seguros, e que as suas decisões devem ser explicáveis e transparentes, respeitar a autonomia humana e os direitos fundamentais, por forma a serem fiáveis, tal como descrito nas Orientações éticas para uma IA de confiança do grupo de peritos de alto nível sobre a inteligência artificial;

G.  Considerando que a União, juntamente com os Estados-Membros, tem a responsabilidade fundamental de garantir que as decisões relativas ao ciclo de vida e à utilização de aplicações de IA no domínio da justiça e da aplicação da lei sejam tomadas de forma transparente, salvaguardando na íntegra os direitos fundamentais e, em particular, não perpetuem a discriminação, a parcialidade ou os preconceitos, onde quer que existam; considerando que as opções políticas pertinentes devem respeitar os princípios da necessidade e da proporcionalidade, de modo a garantir a constitucionalidade e um sistema judicial equitativo e humano;

H.  Considerando que as aplicações de IA podem criar grandes oportunidades no domínio da execução da lei, em particular na melhoria dos métodos de trabalho das autoridades policiais e judiciais, assim como no combate mais eficiente a certos tipos de crime, designadamente a criminalidade financeira, o branqueamento de capitais e o financiamento do terrorismo, o abuso sexual em linha e a exploração de crianças, bem como certos tipos de cibercrime, contribuindo, assim, para a segurança e a proteção dos cidadãos da UE, ao mesmo tempo que podem implicar riscos significativos para os direitos fundamentais das pessoas; considerando que um recurso generalizado à IA para efeitos de vigilância em larga escala seria desproporcionado;

I.  Considerando que o desenvolvimento e o funcionamento de sistemas de IA para as autoridades policiais e judiciárias implica um contributo de múltiplas pessoas, organizações, componentes de máquinas, algoritmos de programas informáticos e utilizadores humanos, em ambientes muitas vezes complexos e difíceis; considerando que as aplicações da IA pelas autoridades policiais e judiciárias se encontram em fases de desenvolvimento distintas, que vão desde a conceptualização através de criação de protótipos, passando, ainda, pela avaliação ou pela utilização pós-aprovação; considerando que poderão surgir, no futuro, novas possibilidades de utilização, à medida que aumenta a maturidade das tecnologia, graças à investigação científica em curso a nível mundial;

J.  Considerando que é necessário um modelo claro para a atribuição de responsabilidade jurídica pelos potenciais efeitos nocivos dos sistemas de IA no domínio do direito penal; considerando que as disposições regulamentares neste domínio devem sempre manter a responsabilidade humana e ter como objetivo, acima de tudo, evitar quaisquer efeitos nocivos;

K.  Considerando que, em última análise, cabe aos Estados-Membros garantir o pleno respeito dos direitos fundamentais sempre que sejam utilizados sistemas de IA no domínio da aplicação da lei e do poder judicial;

L.  Considerando que a relação entre a proteção dos direitos fundamentais e a eficácia do policiamento tem de constituir sempre um elemento fundamental das discussões sobre o eventual recurso à IA pelos serviços policiais e como é que tal deve ser feito, atendendo a que essas decisões podem ter consequências duradouras para a vida e a liberdade dos indivíduos; considerando que tal é particularmente importante, visto que a IA pode vir a tornar-se uma parte permanente do ecossistema da nossa justiça penal, ao proporcionar assistência e análise em matéria de investigação;

M.  Considerando que a IA é utilizada pelas autoridades policiais em programas informáticos como as tecnologias de reconhecimento facial, nomeadamente para procurar suspeitos em bases de dados e identificar vítimas de tráfico de seres humanos ou de exploração sexual e abuso de menores, no reconhecimento automático de matrículas, na identificação de pessoas pela voz, no reconhecimento da fala, na leitura labial, nas escutas (ou seja, algoritmos de deteção de disparos), na investigação e na análise autónomas de bases de dados identificadas, nas previsões (previsão policial e análise de locais de criminalidade), nas ferramentas de deteção de comportamentos, as ferramentas avançadas de autópsia virtual, para ajudar a determinar a causa da morte, nos instrumentos autónomos para detetar fraudes financeiras e o financiamento do terrorismo, na monitorização das redes sociais (extração e recolha de dados para a identificação de ligações) e nos sistemas de vigilância automatizada que integram diferentes possibilidades de deteção (como a deteção de batimentos cardíacos e as câmaras térmicas); considerando que as aplicações atrás referidas, a par de potenciais ou futuras aplicações da tecnologia de IA no âmbito da aplicação da lei, podem ter graus de fiabilidade e precisão muito variados e um impacto na proteção dos direitos fundamentais e na dinâmica dos sistemas de justiça criminal; considerando que muitas dessas ferramentas são utilizadas em países terceiros, mas seriam ilegais nos termos do quadro legislativo e da jurisprudência da União em matéria de proteção de dados; considerando que a utilização rotineira de algoritmos, ainda que com uma taxa reduzida de falsos positivos, pode conduzir a que o número de alertas falsos ultrapasse, de longe, o de alertas corretos;

N.  Considerando que as ferramentas e as aplicações IA são também utilizadas pelo poder judicial em vários países do mundo, inclusivamente para sustentar decisões sobre a prisão preventiva, sentenças, o cálculo das probabilidades de reincidência e a determinação da liberdade condicional, a resolução de litígios em linha, a gestão da jurisprudência e a disponibilização de um acesso facilitado à justiça; considerando que tal conduziu a uma distorção e diminuição das oportunidades dadas às pessoas de cor e a outras minorias; considerando que, atualmente na UE, com exceção de alguns Estados-Membros, a sua utilização se limita principalmente a processos civis;

O.  Considerando que a utilização da IA pelas autoridades policiais implica uma série de riscos potencialmente elevados e, em alguns casos, inaceitáveis, para a proteção dos direitos fundamentais dos indivíduos, designadamente decisões opacas, diferentes tipos de discriminação e erros inerentes ao algoritmo subjacente, que podem ser reforçados por ciclos de resposta, bem como riscos para a proteção da privacidade e dos dados pessoais, a proteção da liberdade de expressão e de informação, a presunção de inocência, o direito a um recurso efetivo e a um julgamento justo, bem como riscos para a liberdade e a segurança das pessoas;

P.  Considerando que os sistemas de IA utilizados pelos serviços policiais e pelo poder judicial também são vulneráveis a ataques por meio da IA ou à contaminação de dados, através da qual se procede deliberadamente à inclusão de um conjunto de dados incorreto, para produzir resultados tendenciosos; considerando que os danos resultantes destas situações podem ser ainda mais importantes e causar danos exponencialmente maiores, tanto a nível individual, como coletivo;

Q.  Considerando que a utilização da IA no domínio da aplicação da lei e do poder judicial não deve ser encarada como uma mera viabilidade técnica, mas sim como uma decisão política relativa à conceção e aos objetivos da aplicação da lei e dos sistemas de justiça penal; considerando que o direito penal moderno e liberal assenta na ideia de que as autoridades estatais reagem a um crime após este ter sido cometido, sem partir do princípio que as pessoas são perigosas e precisam de ser constantemente monitorizadas de modo a evitar quaisquer eventuais ilícitos; considerando que as técnicas de vigilância baseadas na IA desafiam profundamente esta abordagem e tornam urgente que os legisladores de todo o mundo avaliem de forma exaustiva as consequências decorrentes da autorização da implantação de tecnologias que diminuem o papel dos seres humanos na aplicação da lei e nas decisões de justiça;

1.  Reitera que, na medida em que o tratamento de grandes quantidades de dados é a base da IA, o direito à proteção da vida privada e o direito à proteção dos dados pessoais se aplicam a todos os domínios da IA e que o quadro jurídico da União em matéria de proteção dos dados e da privacidade deve ser plenamente respeitado; recorda, por conseguinte, que a UE já definiu normas de proteção de dados no quadro da aplicação da lei que constituem os alicerces de qualquer regulamentação futura no domínio da IA para utilização pelas autoridades policiais e pelo poder judicial; recorda que o tratamento de dados pessoais deve ser lícito e justo, as finalidades do tratamento devem ser especificadas, explícitas e legítimas, o tratamento deve ser adequado, pertinente e não excessivo em relação à finalidade para a qual é tratado, deve ser exato, atualizado e os dados inexatos devem, a menos que sejam aplicáveis restrições, ser retificados ou apagados, que os dados não devem ser conservados mais tempo do que o necessário, devem ser definidos prazos claros e adequados para o apagamento ou para a revisão periódica da necessidade de conservação desses dados, que deve ser efetuada de forma segura; sublinha igualmente que deve ser evitada a eventual identificação de pessoas através de uma aplicação de IA que utilize dados previamente anonimizados;

2.  Reafirma que todas as soluções policiais e judiciais baseadas na inteligência artificial devem também ser utilizadas no pleno respeito pela dignidade humana, pelos princípios da não discriminação, da liberdade de circulação, da presunção de inocência e do direito de defesa, incluindo o direito ao silêncio, a liberdade de expressão e o livre acesso à informação, a liberdade de reunião e a liberdade de associação, a igualdade perante a lei, o princípio da igualdade das partes e o direito a um recurso efetivo e a um julgamento justo, em conformidade com a Carta e a Convenção Europeia dos Direitos do Homem; salienta que deve ser proibida toda e qualquer utilização de IA que seja incompatível com os direitos fundamentais;

3.  Reconhece que a rapidez com que as aplicações de IA estão a ser desenvolvidas em todo o mundo não permite uma listagem exaustiva das aplicações e, por conseguinte, exige um modelo de governação claro e coerente que garanta, tanto os direitos fundamentais dos indivíduos, como a clareza jurídica para os criadores, tendo em conta a evolução permanente da tecnologia; considera, no entanto, tendo em conta o papel e a responsabilidade das autoridades policiais e judiciais e o impacto das decisões que tomam para efeitos de prevenção, investigação, deteção ou repressão de infrações penais ou de execução de sanções penais, que o recurso a aplicações de IA tem de ser classificada como de alto risco nos casos em que possa vir a afetar significativamente a vida das pessoas;

4.  Entende, neste contexto, que quaisquer instrumentos de IA desenvolvidos ou utilizados pelas autoridades policiais ou judiciais devem, no mínimo, ser seguros, robustos, fiáveis e adequados ao fim a que se destinam, respeitar os princípios de equidade, da minimização dos dados, da responsabilização, da transparência, da não discriminação e da explicabilidade, e que o seu desenvolvimento, implantação e utilização devem ser sujeitos a uma avaliação dos riscos e a testes rigorosos de necessidade e proporcionalidade, em que as salvaguardas devem ser proporcionais aos riscos identificados; destaca que a confiança dos cidadãos na utilização da IA desenvolvida, implantada e utilizada na UE depende do pleno cumprimento desses critérios;

5.  Reconhece o contributo positivo de certos tipos de aplicações de IA para o trabalho das autoridades policiais e judiciais em toda a União; salienta, designadamente, a melhoria da gestão da jurisprudência, tornada possível por ferramentas que permitem opções de pesquisa adicionais; considera que existe uma série de outras utilizações potenciais da IA para a aplicação da lei e para o sistema judicial que poderiam ser exploradas tendo em conta os cinco princípios da Carta Europeia de Ética sobre o Uso da Inteligência Artificial em Sistemas Judiciais e seu Ambiente, adotada pela CEPEJ, prestando especial atenção às «utilizações a considerar com a reserva mais extrema», identificadas pela CEPEJ;

6.  Sublinha que qualquer tecnologia pode ser desviada dos seus propósitos, pelo que se impõe um controlo democrático rigoroso e uma supervisão independente de qualquer tecnologia que seja utilizada pelas autoridades policiais e judiciais, especialmente as que possam ser desviadas para a vigilância ou a elaboração de perfis em larga escala; observa, por conseguinte, com grande preocupação, o potencial de determinadas tecnologias de IA utilizadas pelas autoridades policiais para efeitos de vigilância em larga escala; destaca o requisito legal de impedir a vigilância em larga escala através de tecnologias de IA, que, por definição, não é consentânea com os princípios da necessidade e da proporcionalidade, e de proibir a utilização de aplicações que possam resultar na vigilância em larga escala;

7.  Salienta que a abordagem adotada em alguns países terceiros relativamente ao desenvolvimento, implantação e utilização de tecnologias de vigilância em larga escala interfere desproporcionadamente com os direitos fundamentais, pelo que não deve ser seguida pela UE; realça, por conseguinte, que as salvaguardas contra a utilização abusiva de tecnologias de IA por parte das autoridades policiais e judiciais também têm de ser regulamentadas de modo uniforme em toda a União;

8.  Salienta o potencial de parcialidade e discriminação resultante da utilização de aplicações de IA, tais como a aprendizagem automática, incluindo dos algoritmos em que tais aplicações se baseiam; observa que os preconceitos podem ser inerentes a conjuntos de dados de base, especialmente quando são utilizados dados históricos, inseridos pelos criadores dos algoritmos ou gerados quando os sistemas são aplicados em situações reais; destaca que os resultados das aplicações de IA são necessariamente influenciados pela qualidade dos dados utilizados e que esses preconceitos inerentes tendem a aumentar gradualmente, a perpetuar e a ampliar a discriminação existente, em particular para pessoas pertencentes a certos grupos étnicos ou certas comunidades racializadas;

9.  Sublinha que muitas das tecnologias de identificação baseadas em algoritmos atualmente em uso cometem um número desproporcionado de erros de identificação e categorização e são, portanto, prejudiciais para as pessoas racializadas, pessoas de certas comunidades étnicas, pessoas LGBTI, crianças e idosos, e mulheres; relembra que as pessoas têm, não só o direito de ser corretamente identificadas, como também o de nem sequer serem identificadas, a menos que tal seja exigido por lei, por razões imperiosas e legítimas de interesse público; salienta que as previsões da IA baseadas nas características de um grupo específico de pessoas acabam por amplificar e reproduzir as formas de discriminação existentes; considera que devem ser envidados esforços importantes para evitar a discriminação e a parcialidade automatizadas; requer fortes salvaguardas adicionais quando as autoridades policiais ou judiciais utilizam sistemas de IA em tarefas relacionadas com menores;

10.  Destaca a assimetria de poder entre os que utilizam tecnologias de IA e aqueles que lhes estão sujeitos; salienta que é imperativo que a utilização de IA pelas autoridades policiais e judiciais não se torne um fator de desigualdade, divisão social ou exclusão; sublinha o impacto da utilização de ferramentas de IA nos direitos de defesa dos suspeitos, a dificuldade em obter informações significativas sobre o seu funcionamento e a consequente dificuldade em contestar os seus resultados em tribunal, em particular por indivíduos sob investigação;

11.  Toma nota dos riscos relacionados, em particular, com as fugas de dados, as violações da segurança dos dados e o acesso não autorizado a dados pessoais e outras informações relacionadas, por exemplo, com investigações criminais ou processos judiciais tratados por sistemas de IA; sublinha que os aspetos ligados à segurança e proteção dos sistemas de IA utilizados pelas autoridades policiais e judiciais devem ser cuidadosamente examinados e ser suficientemente sólidos e resistentes para prevenir consequências potencialmente catastróficas de ataques maliciosos contra sistemas de IA; salienta a importância da segurança desde a conceção, bem como da supervisão humana específica antes de operar determinadas aplicações críticas e, por conseguinte, insta as autoridades policiais e judiciais a utilizarem apenas aplicações de IA que respeitem o princípio da privacidade e da proteção de dados desde a conceção, a fim de evitar o desvirtuamento das funções;

12.  Destaca que nenhum sistema de IA deve poder causar danos à integridade física de seres humanos, nem atribuir direitos ou impor obrigações jurídicas às pessoas;

13.  Reconhece os desafios à correta determinação da responsabilidade jurídica e da responsabilização por danos potenciais, dada a complexidade do desenvolvimento e funcionamento dos sistemas de IA; considera necessário criar um regime claro e justo para a atribuição da responsabilidade jurídica pelas potenciais consequências negativas destas tecnologias digitais avançadas; sublinha, no entanto, que o objetivo primordial tem de ser o de evitar a todo o transe que se produzam essas consequências; apela, por conseguinte, à aplicação do princípio da precaução em todas as aplicações da IA no contexto da aplicação da lei; sublinha que a responsabilidade jurídica e a responsabilização devem caber sempre a uma pessoa singular ou coletiva, que tem de ser sempre identificada no que toca às decisões tomadas com o apoio da IA; salienta, por conseguinte, a necessidade de garantir a transparência das estruturas empresariais que produzem e gerem sistemas de IA;

14.  Considera essencial, tanto para a eficácia do exercício dos direitos de defesa, como para a transparência dos sistemas nacionais de justiça penal, que um quadro jurídico específico, claro e preciso regule as condições, modalidades e consequências da utilização de instrumentos de IA no âmbito da aplicação da lei e do poder judicial, bem como os direitos das pessoas visadas e procedimentos de reclamação e reparação eficazes e facilmente disponíveis, designadamente o recurso judicial; sublinha o direito de as partes num processo penal terem acesso ao processo de recolha de dados e às avaliações conexas efetuadas ou obtidas através da utilização de aplicações de IA; sublinha a necessidade de as autoridades de execução envolvidas na cooperação judiciária, ao decidirem sobre um pedido de extradição (ou de entrega) para outro Estado-Membro ou país terceiro, avaliarem se a utilização de instrumentos de IA no país requerente pode comprometer manifestamente o direito fundamental a um julgamento justo; insta a Comissão a facultar orientações sobre a forma de realizar essa avaliação no contexto da cooperação judiciária em matéria penal; insiste que os Estados-Membros, em conformidade com a legislação aplicável, devem garantir que as pessoas sejam informadas se forem sujeitas à utilização de aplicações de IA pelas autoridades policiais ou judiciais;

15.  Assinala, contudo, que se os humanos se basearem exclusivamente nos dados, perfis e recomendações gerados pelas máquinas, não serão capazes de levar a cabo uma avaliação independente; salienta as consequências potencialmente graves, mormente no domínio da aplicação da lei e da justiça, quando as pessoas confiam excessivamente na natureza aparentemente objetiva e científica dos instrumentos de IA e não consideram a possibilidade de os seus resultados serem incorretos, incompletos, irrelevantes ou discriminatórios; destaca que cumpre evitar uma confiança excessiva nos resultados fornecidos pelos sistemas de IA e salienta a necessidade de as autoridades reforçarem a confiança e os conhecimentos necessários para desafiar ou anular uma recomendação algorítmica; considera importante ter expectativas realistas sobre tais soluções tecnológicas e não prometer soluções de aplicação da lei perfeitas e a deteção de todas as infrações cometidas;

16.  Sublinha que, em contextos judiciais e policiais, toda e qualquer decisão judicial ou similar deve ser sempre tomada por um ser humano, que pode ser responsabilizado pelas decisões tomadas; considera que as pessoas sujeitas a sistemas alimentados por IA têm de poder recorrer a medidas corretivas; recorda que, ao abrigo do direito da UE, uma pessoa tem o direito de não ser objeto de uma decisão que produza efeitos jurídicos que lhe digam respeito ou que a afete de forma significativa, caso se baseie exclusivamente no tratamento automatizado de dados; sublinha ainda que o processo de decisão individual automatizado não se deve basear em categorias particulares de dados pessoais, a menos que estejam em vigor medidas adequadas para salvaguardar os direitos e liberdades da pessoa em causa e os seus legítimos interesses; destaca que o direito da UE proíbe a definição de perfis que conduza à discriminação de pessoas singulares com base em categorias particulares de dados pessoais; relembra que as decisões no domínio da aplicação coerciva da lei são, quase sempre, decisões que acarretam um efeito jurídico para a pessoa em causa, em virtude da natureza executória das autoridades policiais e das respetivas ações; salienta que a utilização de IA pode influenciar as decisões humanas e ter impacto em todas as fases do processo penal; considera, por conseguinte, que as autoridades que utilizam sistemas de IA devem respeitar normas jurídicas extremamente elevadas e assegurar a intervenção humana, especialmente na análise dos dados provenientes desses sistemas; requer, portanto, que seja mantido a poder discricionário soberano dos juízes e a tomada de decisões numa base casuística; apela à proibição do uso de IA e das tecnologias relacionadas para propor decisões judiciais;

17.  Apela à explicabilidade, à transparência, à rastreabilidade algorítmica e à verificação, como parte necessária da supervisão, de molde a garantir que o desenvolvimento, a implantação e a utilização de sistemas de IA pelas autoridades policiais e judiciais respeitem os direitos fundamentais e sejam da confiança dos cidadãos, bem como a assegurar que os resultados gerados pelos algoritmos de IA possam ser compreensíveis para os utilizadores e para os que estão sujeitos a esses sistemas, e a que haja efetivamente transparência em relação aos dados de base e ao modo como o sistema chega a uma determinada conclusão; salienta que, para assegurar a transparência técnica, a robustez e a exatidão, esses instrumentos e sistemas só devem poder ser adquiridos pelas autoridades policiais ou judiciais da União cujos algoritmos e cuja lógica sejam auditáveis e acessíveis, pelo menos, à polícia e ao sistema judicial, bem como aos auditores independentes, de molde a permitir a sua avaliação, auditoria e controlo, e não devem ser fechados ou rotulados como propriedade exclusiva pelos vendedores; assinala, além disso, que deve ser fornecida documentação em linguagem clara e inteligível sobre a natureza do serviço, as ferramentas desenvolvidas, o desempenho e as condições em que se pode esperar que funcionem e os riscos que possam acarretar; apela, por conseguinte, às autoridades judiciais e policiais para usarem de uma transparência proactiva e total sobre as empresas privadas que lhes fornecem sistemas de AI para fins de aplicação da lei e judiciais; recomenda, por conseguinte, a utilização de programas informáticos abertos, sempre que possível;

18.  Incentiva as autoridades policiais e judiciais a identificarem e avaliarem os domínios em que algumas soluções de IA personalizadas possam ser benéficas e a procederem ao intercâmbio de boas práticas em matéria de implantação da IA; apela à adoção pelos Estados-Membros e pelas agências da UE de processos adequados de contratação pública para sistemas de IA quando utilizados num contexto policial ou judicial, a fim de assegurar a sua conformidade com os direitos fundamentais e a legislação aplicável, incluindo a garantia de que a documentação e os algoritmos de software estão disponíveis e acessíveis às autoridades competentes e às autoridades de supervisão para efeitos de revisão; solicita, em particular, regras vinculativas que exijam a divulgação pública das parcerias público-privadas, dos contratos e aquisições, bem como do objetivo para o qual são adquiridos; salienta que cumpre facultar o financiamento necessário às autoridades, bem como dotá-las dos conhecimentos especializados necessários para assegurar o pleno cumprimento dos requisitos éticos, jurídicos e técnicos associados à implantação da IA;

19.  Apela rastreabilidade dos sistemas de IA e do processo decisório que delineia as suas funções, define as capacidades e limitações dos sistemas e acompanha a origem dos atributos definidores de uma decisão, através de documentação obrigatória; sublinha a importância de manter uma documentação completa dos dados de formação, do seu contexto, da finalidade, da exatidão e dos efeitos secundários, bem como do seu tratamento por parte de quem cria e concebe algoritmos e da respetiva conformidade com os direitos fundamentais; destaca que deve ser sempre possível reduzir a computação de qualquer sistema de IA a uma forma compreensível para os seres humanos;

20.  Solicita uma avaliação de impacto obrigatória dos direitos fundamentais antes da aplicação ou implantação de qualquer sistema de IA destinado às autoridades policiais ou judiciais, a fim de avaliar potenciais riscos para os direitos fundamentais; relembra que uma avaliação prévia do impacto na proteção de dados para todos os tipos de tratamento é obrigatória, em particular para os que utilizem novas tecnologias, sempre que o tratamento seja suscetível de resultar num elevado risco para os direitos e liberdades das pessoas singulares, e considera que é esse o caso no que se refere a todas as tecnologias de IA para fins policiais e judiciais; destaca os conhecimentos especializados das autoridades de proteção de dados e das agências dos direitos fundamentais na avaliação destes sistemas; realça que estas avaliações de impacto em matéria de direitos fundamentais devem ser realizadas de uma forma tão aberta quanto possível e com a participação ativa da sociedade civil; solicita que as avaliações de impacto definam também claramente as salvaguardas necessárias para fazer face aos riscos identificados e que sejam tornadas públicas, na medida do possível, antes da implantação de qualquer sistema de IA;

21.  Salienta que só através de uma boa gestão da IA europeia, bem como de uma avaliação independente, será possível a tão necessária aplicação dos princípios dos direitos fundamentais; solicita a realização de auditorias periódicas obrigatórias de todos os sistemas de IA utilizados pelas autoridades policiais e judiciais por uma autoridade independente, sempre que exista o potencial de afetar significativamente a vida das pessoas, para testar e avaliar os sistemas algorítmicos, o seu contexto, a finalidade, a exatidão, o desempenho e a escala, e, uma vez em funcionamento, para detetar, investigar, diagnosticar e retificar quaisquer efeitos indesejados e adversos e para assegurar que os sistemas de IA estão a funcionar como pretendido; apela, por conseguinte, a um quadro institucional claro para este efeito, que inclua uma supervisão regulamentar e controlo adequados, de molde a garantir a plena aplicação e um debate democrático plenamente informado sobre a necessidade e a proporcionalidade da IA no domínio da justiça penal; sublinha que os resultados dessas auditorias devem ser disponibilizados em registos públicos, para que os cidadãos saibam se estão a ser implantados sistemas de IA e quais as medidas tomadas para corrigir violações de direitos fundamentais;

22.  Salienta que os conjuntos de dados e os sistemas algorítmicos utilizados ao efetuar classificações, avaliações e previsões durante as várias fases do tratamento de dados no âmbito do desenvolvimento de IA e de tecnologias conexas também podem levar a um tratamento diferenciado e à discriminação direta e indireta de grupos de pessoas, em particular porque os dados utilizados na formação de algoritmos de policiamento preditivo refletem as prioridades de vigilância em vigor e, consequentemente, podem acabar por reproduzir e amplificar os preconceitos correntes; salienta, portanto, que as tecnologias da IA, especialmente quando utilizadas para fins policiais e judiciais, requerem investigação e contributos interdisciplinares, nomeadamente nos domínios da ciência e dos estudos tecnológicos, estudos críticos sobre a raça, estudos sobre deficiência e outras disciplinas ligadas ao contexto social, incluindo a forma como a diferença é construída, o trabalho de classificação e as respetivas consequências; destaca, por conseguinte, a necessidade de investir sistematicamente na integração dessas disciplinas no estudo e na investigação da IA a todos os níveis; salienta também que é importante que as equipas que concebem, desenvolvem, testam, mantêm, implantam e adquirem estes sistemas de IA para as autoridades policiais e judiciais, representem, sempre que possível, a diversidade da sociedade em geral como um meio não técnico para reduzir os riscos de discriminação;

23.  Destaca que uma responsabilização e responsabilidade adequadas exigem uma formação especializada considerável, sobretudo das autoridades policiais e judiciais, no que diz respeito às normas éticas, aos perigos potenciais, às limitações e à correta utilização da tecnologia de IA; salienta que importa velar por que os decisores beneficiem de uma formação profissional adaptada e disponham das qualificações adequadas sobre os riscos de parcialidade, uma vez que os conjuntos de dados podem basear-se em dados discriminatórios e assentes em preconceitos; apoia a criação de iniciativas de sensibilização e educativas, para garantir que que quem faz parte das autoridades policiais ou judiciais está ciente e compreende as limitações, as capacidades e os riscos associados aos sistemas de IA, mormente o risco de preconceito resultante da automatização; recorda que a inclusão na formação em IA de conjuntos de dados de casos de racismo por parte das forças policiais no exercício das suas funções conduzirá inevitavelmente a preconceitos racistas nos resultados, nas pontuações e recomendações geradas pela IA; reitera, por conseguinte, o seu apelo aos Estados-Membros para que promovam políticas contra a discriminação em todos os domínios e desenvolvam planos de ação nacionais contra o racismo nos domínios do policiamento e do sistema judicial;

24.  Observa que o policiamento preditivo é uma das aplicações de IA utilizadas pelas autoridades policiais, mas adverte que, embora o policiamento preditivo possa analisar os conjuntos de dados fornecidos para a identificação de padrões e correlações, não pode dar resposta ao problema da causalidade e não pode fazer previsões fiáveis sobre o comportamento individual, pelo que não pode constituir a única base para uma intervenção; salienta que várias cidades dos Estados Unidos puseram termo à utilização de sistemas de previsão policial após auditorias; relembra que durante a missão da Comissão LIBE aos Estados Unidos, em fevereiro de 2020, os deputados ao Parlamento foram informados pelos departamentos de polícia de Nova Iorque e de Cambridge/Massachusetts que haviam gradualmente posto fim aos seus programas de previsão policial, devido à falta de eficácia, ao impacto discriminatório e a falhas práticas, optando, antes, pelo policiamento de proximidade; relembra que o policiamento de proximidade conduziu a uma diminuição das taxas de criminalidade; opõe-se, por conseguinte, à utilização da IA pelas autoridades policiais para fazer previsões comportamentais sobre indivíduos ou grupos com base em dados históricos e comportamentos passados, pertença a grupos, localização ou quaisquer outras características semelhantes, tentando, assim, identificar pessoas suscetíveis de cometer um crime;

25.  Regista os diferentes tipos de utilização do reconhecimento facial, tais como, entre outros, a verificação/autenticação (ou seja, a correspondência entre um rosto ao vivo e uma fotografia num documento de identificação, por exemplo, no caso das fronteiras inteligentes), a identificação (ou seja, a correspondência entre uma fotografia e uma base de dados de fotografias) e a deteção (isto é, deteção de rostos em tempo real a partir de fontes como imagens de CCTV, e correspondência desses rostos com bases de dados, por exemplo, no caso de vigilância em tempo real), cada um dos quais tem diferentes implicações para a proteção dos direitos fundamentais; está firmemente convicto de que a implantação de sistemas de reconhecimento facial pelas autoridades policiais deve ser limitada a fins claramente justificados, no pleno respeito dos princípios da proporcionalidade e da necessidade, bem como da lei aplicável; reitera que a utilização de tecnologia de reconhecimento facial tem, no mínimo, de cumprir os requisitos de minimização dos dados, exatidão dos dados, limitação do armazenamento, segurança dos dados e responsabilização, devendo também ser lícita, equitativa e transparente e prosseguir uma finalidade específica, explícita e legítima que seja claramente identificada no direito da União ou dos Estados-Membros; entende que os sistemas de verificação e autenticação só podem continuar a ser implantados e utilizados com êxito se os seus efeitos adversos puderem ser atenuados e se os critérios acima referidos forem cumpridos;

26.  Apela, além disso, à proibição permanente do recurso a análises automatizadas e/ou do reconhecimento em espaços acessíveis ao público de outras características humanas, tais como o andar, as impressões digitais, o ADN, a voz e outros sinais biométricos e comportamentais;

27.  Solicita, contudo, uma moratória à implantação de sistemas de reconhecimento facial para fins de aplicação da lei destinados à identificação, a menos que sejam estritamente utilizados para efeitos de identificação de vítimas de crime, até que as normas técnicas possam ser consideradas plenamente conformes com os direitos fundamentais, os resultados obtidos não sejam tendenciosos e discriminatórios, o quadro jurídico preveja salvaguardas rigorosas contra a utilização indevida e um controlo e supervisão democráticos rigorosos, e existam provas empíricas da necessidade e proporcionalidade da implantação de tais tecnologias; faz notar que, nos casos em que os critérios acima referidos não sejam cumpridos, os sistemas não devem ser utilizados ou implantados;

28.  Manifesta profunda preocupação com o recurso, pelas autoridades policiais e pelos serviços de informação, a bases de dados privadas de reconhecimento facial como a Clearview AI, uma base de dados com mais de rês mil milhões de imagens, inclusive de cidadãos da UE, que foram recolhidas ilegalmente de redes sociais e outras partes da Internet; insta os Estados-Membros a obrigarem as autoridades policiais a divulgarem se estão a utilizar a tecnologia Clearview AI ou tecnologias equivalentes de outros prestadores; recorda o parecer do Comité Europeu para a Proteção de Dados (CEPD), segundo o qual é provável que a utilização de um serviço como a Clearview AI pelas autoridades policiais não seja compatível com o regime de proteção de dados da UE; insta a Comissão a proibir a utilização de bases de dados privadas de reconhecimento facial no domínio da aplicação da lei;

29.  Toma nota do estudo de viabilidade da Comissão sobre as possíveis alterações à Decisão Prüm(8), incluindo no que se refere ao reconhecimento facial; observa que os resultados de investigações anteriores indicam que nenhum novo identificador potencial, como o reconhecimento da íris ou o reconhecimento facial, será tão fiável, em contexto forense, como o ADN ou as impressões digitais; relembra à Comissão que toda e qualquer proposta legislativa deve ser devidamente fundamentada e respeitar o princípio da proporcionalidade; urge a Comissão a não alargar o quadro da Decisão Prüm, a menos que existam provas científicas sólidas da fiabilidade do reconhecimento facial num contexto forense comparável com o ADN ou as impressões digitais, depois de ter realizado uma avaliação de impacto completa, e tendo em conta as recomendações da Autoridade Europeia para a Proteção de Dados (AEPD) e do CEPD;

30.  Destaca que a utilização de dados biométricos está mais amplamente relacionada com o princípio do direito à dignidade humana, que constitui a base de todos os direitos fundamentais garantidos pela Carta; Considera que a utilização e a recolha de quaisquer dados biométricos para fins de identificação à distância, por exemplo, através de reconhecimento facial em espaços públicos, bem como em cancelas de controlo automatizado de fronteiras utilizadas em controlo fronteiriços nos aeroportos, podem acarretar riscos específicos para os direitos fundamentais, cujas implicações podem variar consideravelmente em função da finalidade, do contexto e do âmbito da utilização; salienta ainda a validade científica contestada da tecnologia de reconhecimento, designadamente de câmaras que detetam movimentos oculares e alterações na dimensão da pupila, num contexto policial; entende que o uso da identificação biométrica nos contextos policial e judicial deve ser sempre considerada de «alto risco» e, por conseguinte, sujeita a requisitos adicionais, de acordo com as recomendações do Grupo de Peritos de Alto Nível sobre IA da Comissão;

31.  Manifesta a sua profunda preocupação com projetos de investigação financiados pelo Horizonte 2020 que implantam inteligência artificial nas fronteiras externas, como o projeto iBorderCtrl, um «sistema inteligente de deteção de mentiras» que traça o perfil dos viajantes com base numa entrevista automatizada por computador realizada, antes da viagem, com recurso à câmara Web do viajante, bem como uma análise de 38 pequenos gestos, baseada em inteligência artificial e testada na Hungria, na Letónia e na Grécia; exorta a Comissão a aplicar, através de medidas legislativas e não legislativas, e, recorrendo, se necessário, a processos por infração, uma proibição de todo e qualquer tratamento biométrico, inclusive o reconhecimento facial, para efeitos de aplicação da lei, que resulte numa vigilância em larga escala nos espaços acessíveis ao público; insta ainda a Comissão a pôr termo à investigação ou à implantação de soluções ou de programas biométricos sempre que tal possa contribuir para uma vigilância indiscriminada nos espaços públicos; salienta, neste contexto, que deve ser dada especial atenção, e aplicado um quadro rigoroso, à utilização de veículos aéreos não tripulados em operações policiais;

32.  Apoia as recomendações do Grupo de Peritos de Alto Nível sobre IA da Comissão que advoga a proibição da pontuação em larga escala das pessoas recorrendo à IA; considera que qualquer forma de pontuação normativa dos indivíduos realizada em larga escala pelas autoridades públicas, em especial as autoridades policiais e judiciais, redunda numa perda de autonomia, compromete o princípio da não discriminação e não pode ser considerada em sintonia com os direitos fundamentais, em particular a dignidade humana, tal como codificada no direito da UE;

33.  Apela a uma maior transparência geral, de molde a permitir uma compreensão abrangente da utilização das aplicações de IA na União; solicita que os Estados-Membros forneçam informações completas sobre os instrumentos utilizados pelas suas autoridades policiais e judiciais, os tipos de instrumentos utilizados, os fins para que são utilizados, os tipos de crime a que são aplicados e os nomes das empresas ou organizações que desenvolveram esses instrumentos; exorta todas as autoridades policiais e judiciais a informarem o público e a garantirem também uma transparência suficiente no que se refere à utilização que fazem da IA e de tecnologias conexas no desempenho das respetivas competências, designadamente mediante a divulgação das taxas de falsos positivos e de falsos negativos da tecnologia em causa; solicita que a Comissão compile e atualize as informações num único local; exorta a Comissão a publicar e atualizar igualmente informações sobre a utilização da IA pelas agências da União responsáveis pelas funções policiais e judiciais; insta o CEPD a avaliar a legalidade destas tecnologias e das aplicações de IA utilizadas pelas autoridades policiais e judiciais;

34.  Recorda que as aplicações de IA, mormente aplicações utilizadas pelas autoridades policiais e judiciais, estão a ser desenvolvidas a nível mundial e a um ritmo acelerado; urge todas as partes interessadas europeias, incluindo os Estados-Membros e a Comissão, a garantirem, através da cooperação internacional, o envolvimento de parceiros fora da UE, para melhorar as normas a nível internacional e encontrar um quadro jurídico e ético comum e complementar para a utilização da IA, em particular para as autoridades policiais e judiciais, que respeite plenamente a Carta, o acervo europeu em matéria de proteção de dados e; de uma maneira geral, os direitos humanos;

35.  Insta a Agência dos Direitos Fundamentais da UE, em colaboração com o CEPD e a AEPD, a elaborar orientações, recomendações e boas práticas abrangentes, com o intuito de especificar melhor os critérios e as condições para o desenvolvimento, a utilização e a implantação de aplicações e soluções de IA a utilizar pelas autoridades policiais e judiciais; compromete-se a realizar um estudo sobre a aplicação da Diretiva relativa à proteção de dados na aplicação da lei(9), por forma a identificar o modo como a proteção dos dados pessoais foi assegurada nas atividades de tratamento levadas a cabo pelas autoridades policiais e judiciais, em especial no âmbito do desenvolvimento ou da implantação de novas tecnologias; insta, além disso, a Comissão a ponderar a necessidade de uma ação legislativa específica para definir melhor os critérios e as condições para o desenvolvimento, a utilização e a implantação de aplicações e soluções de IA por parte das autoridades policiais e judiciais;

36.  Encarrega o seu Presidente de transmitir a presente resolução ao Conselho e à Comissão.

(1) JO L 119 de 4.5.2016, p. 1. (2) JO L 119 de 4.5.2016, p. 89. (3) JO L 295 de 21.11.2018, p. 39. (4) JO L 201 de 31.7.2002, p. 37. (5) JO L 135 de 24.5.2016, p. 53. (6) JO C 362 de 8.9.2021, p. 63. (7) JO C 263 de 25.7.2018, p. 82. (8) Decisão 2008/615/JAI do Conselho, de 23 de junho de 2008, relativa ao aprofundamento da cooperação transfronteiras, em particular no domínio da luta contra o terrorismo e a criminalidade transfronteiras (JO L 210 de 6.8.2008, p. 1). (9) Diretiva (UE) 2016/680 do Parlamento Europeu e do Conselho, de 27 de abril de 2016, relativa à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais pelas autoridades competentes para efeitos de prevenção, investigação, deteção ou repressão de infrações penais ou execução de sanções penais, e à livre circulação desses dados, e que revoga a Decisão-Quadro 2008/977/JAI do Conselho, JO L 119 de 4.5.2016, p. 89.