Verfahren : 2020/2016(INI)
Werdegang im Plenum
Entwicklungsstadium in Bezug auf das Dokument : A9-0232/2021

Eingereichte Texte :

A9-0232/2021

Aussprachen :

PV 04/10/2021 - 13
CRE 04/10/2021 - 13

Abstimmungen :

PV 05/10/2021 - 9
PV 06/10/2021 - 2

Angenommene Texte :

P9_TA(2021)0405

<Date>{13/07/2021}13.7.2021</Date>
<NoDocSe>A9-0232/2021</NoDocSe>
PDF 266kWORD 93k

<TitreType>BERICHT</TitreType>

<Titre>über das Thema: Künstliche Intelligenz im Strafrecht und ihre Verwendung durch die Polizei und Justizbehörden in Strafsachen</Titre>

<DocRef>(2020/2016(INI))</DocRef>


<Commission>{LIBE}Ausschuss für bürgerliche Freiheiten, Justiz und Inneres</Commission>

Berichterstatter: <Depute>Petar Vitanov</Depute>

ÄND.
ENTWURF EINER ENTSCHLIESSUNG DES EUROPÄISCHEN PARLAMENTS
 BEGRÜNDUNG
 STELLUNGNAHME DES AUSSCHUSSES FÜR BINNENMARKT UND VERBRAUCHERSCHUTZ
 STELLUNGNAHME DES RECHTSAUSSCHUSSES
 ANGABEN ZUR ANNAHME IM FEDERFÜHRENDEN AUSSCHUSS
 NAMENTLICHE SCHLUSSABSTIMMUNG IM FEDERFÜHRENDEN AUSSCHUSS

ENTWURF EINER ENTSCHLIESSUNG DES EUROPÄISCHEN PARLAMENTS

zu dem Thema: Künstliche Intelligenz im Strafrecht und ihre Verwendung durch die Polizei und Justizbehörden in Strafsachen

(2020/2016(INI))

Das Europäische Parlament,

 unter Hinweis auf den Vertrag über die Europäische Union (EUV), insbesondere auf die Artikel 2 und 6, und auf den Vertrag über die Arbeitsweise der Europäischen Union (AEUV), insbesondere auf Artikel 16,

 unter Hinweis auf die Charta der Grundrechte der Europäischen Union (im Folgenden „Charta“), insbesondere die Artikel 6, 7, 8, 11, 12, 13, 20, 21, 24 und 47,

 unter Hinweis auf die Konvention zum Schutze der Menschenrechte und Grundfreiheiten,

 unter Hinweis auf das Übereinkommen des Europarats zum Schutz des Menschen bei der automatischen Verarbeitung personenbezogener Daten (SEV 108) und das dazugehörige Änderungsprotokoll (Übereinkommen 108+),

 unter Hinweis auf die Europäische Ethik-Charta der Europäischen Kommission für die Wirksamkeit der Justiz (CEPEJ) des Europarats über den Einsatz künstlicher Intelligenz in Justizsystemen,

 unter Hinweis auf die Mitteilung der Kommission vom 8. April 2019 mit dem Titel „Schaffung von Vertrauen in eine auf den Menschen ausgerichtete künstliche Intelligenz“ (COM(2019)0168),

 unter Hinweis auf die von der hochrangigen Expertengruppe der Kommission für künstliche Intelligenz am 8. April 2019 veröffentlichten Ethik-Leitlinien für vertrauenswürdige künstliche Intelligenz,

 unter Hinweis auf das Weißbuch der Kommission vom 19. Februar 2020 mit dem Titel „Künstliche Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen“ (COM(2020)0065),

 unter Hinweis auf die Mitteilung der Kommission vom 19. Februar 2020 mit dem Titel „Eine europäische Datenstrategie“ (COM(2020)0066),

 unter Hinweis auf die Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung)[1],

 unter Hinweis auf die Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates[2],

 unter Hinweis auf die Verordnung (EU) 2018/1725 des Europäischen Parlaments und des Rates vom 23. Oktober 2018 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die Organe, Einrichtungen und sonstigen Stellen der Union, zum freien Datenverkehr und zur Aufhebung der Verordnung (EG) Nr. 45/2001 und des Beschlusses Nr. 1247/2002/EG[3],

 unter Hinweis auf die Richtlinie 2002/58/EG des Europäischen Parlaments und des Rates vom 12. Juli 2002 über die Verarbeitung personenbezogener Daten und den Schutz der Privatsphäre in der elektronischen Kommunikation (Datenschutzrichtlinie für elektronische Kommunikation)[4],

 unter Hinweis auf die Verordnung (EU) 2016/794 des Europäischen Parlaments und des Rates vom 11. Mai 2016 über die Agentur der Europäischen Union für die Zusammenarbeit auf dem Gebiet der Strafverfolgung (Europol) und zur Ersetzung und Aufhebung der Beschlüsse 2009/371/JI, 2009/934/JI, 2009/935/JI, 2009/936/JI und 2009/968/JI des Rates[5],

 unter Hinweis auf seine Entschließung vom 19. Juni 2020 zu den Protestkundgebungen gegen Rassismus nach dem Tod von George Floyd[6],

 unter Hinweis auf seine Entschließung vom 14. März 2017 zu den Folgen von Massendaten für die Grundrechte: Privatsphäre, Datenschutz, Nichtdiskriminierung, Sicherheit und Rechtsdurchsetzung[7],

 unter Hinweis auf die Anhörung im Ausschuss für bürgerliche Freiheiten, Justiz und Inneres (LIBE) vom 20. Februar 2020 zu dem Thema: Künstliche Intelligenz im Strafrecht und ihre Verwendung durch die Polizei- und Justizbehörden in Strafsachen,

 

 unter Hinweis auf den Bericht über die Reise einer Delegation des LIBE-Ausschusses in die Vereinigten Staaten im Februar 2020,

 gestützt auf Artikel 54 seiner Geschäftsordnung,

 unter Hinweis auf die Stellungnahmen des Ausschusses für Binnenmarkt und Verbraucherschutz sowie des Rechtsausschusses,

 unter Hinweis auf den Bericht des Ausschusses für bürgerliche Freiheiten, Justiz und Inneres (A9‑0232/2021),

A. in der Erwägung, dass die digitalen Technologien im Allgemeinen und die durch künstliche Intelligenz (KI) ermöglichte starke Zunahme von Datenverarbeitung und Analytik im Besonderen außerordentlich vielversprechend sind und außerordentlich große Gefahren bergen; in der Erwägung, dass die Entwicklung der KI in den letzten Jahren einen großen Sprung nach vorn gemacht hat, was sie zu einer der strategischen Technologien des 21. Jahrhunderts macht, die das Potenzial hat, erhebliche Vorteile in Bezug auf Effizienz, Genauigkeit und Komfort zu bringen und damit positive Veränderungen für die europäische Wirtschaft und Gesellschaft zu bewirken, aber auch große Risiken für die Grundrechte und die auf Rechtsstaatlichkeit beruhenden Demokratien mit sich bringt; in der Erwägung, dass die KI nicht als Selbstzweck betrachtet werden sollte, sondern als ein Werkzeug, das den Menschen dient, mit dem letztendlichen Ziel, das menschliche Wohlergehen, die Fähigkeiten der Menschen und ihre Sicherheit zu steigern;

B. in der Erwägung, dass es trotz stetiger Fortschritte bei der Rechengeschwindigkeit und der Speicherkapazität der Computer noch keine Programme gibt, die es mit der menschlichen Flexibilität in ausgedehnteren Bereichen oder bei Aufgaben, die Kontextverständnis oder kritische Analyse erfordern, aufnehmen können; in der Erwägung, dass einige KI-Anwendungen das Leistungsniveau menschlicher Experten und Fachleute bei der Ausführung bestimmter spezifischer Aufgaben (z. B. im Bereich der Rechtstechnologie) erreicht haben und Ergebnisse mit drastisch höherer Geschwindigkeit und in sehr viel größerem Umfang liefern können;

C. in der Erwägung, dass einige Länder, darunter mehrere Mitgliedstaaten, mehr Gebrauch von KI-Anwendungen oder eingebetteten KI-Systemen in der Strafverfolgung und der Justiz machen als andere, was zum Teil auf fehlende Regulierung und auf regulatorische Unterschiede zurückzuführen ist, die den Einsatz von KI für bestimmte Zwecke ermöglichen oder verbieten; in der Erwägung, dass der zunehmende Einsatz von KI im Bereich des Strafrechts insbesondere auf den Verheißungen beruht, dass sie zur Abnahme bestimmter Arten von Straftaten und zu objektiveren Entscheidungen führen würde; in der Erwägung, dass diese Verheißungen jedoch nicht immer erfüllt werden;

D. in der Erwägung, dass die in der Charta verankerten Grundrechte und -freiheiten während des gesamten Lebenszyklus von KI und verwandten Technologien, insbesondere während ihrer Konzeption, ihrer Entwicklung, ihres Einsatzes und ihrer Verwendung, gewährleistet sein sollten und dass sie unter allen Umständen in der Strafverfolgung angewendet werden sollten;

E. in der Erwägung, dass die KI-Technologie so entwickelt werden sollte, dass sie den Menschen in den Mittelpunkt stellt, dass sie das Vertrauen der Öffentlichkeit verdient und dass sie stets im Dienste des Menschen arbeitet; in der Erwägung, dass KI-Systeme die ultimative Garantie bieten sollten, dass sie so konzipiert sind, dass sie stets von einer menschlichen Bedienungsperson abgeschaltet werden können;

F. in der Erwägung, dass es notwendig ist, dass KI-Systeme zum Schutz und Nutzen aller Mitglieder der Gesellschaft konzipiert werden (wobei bei der Ausgestaltung auch gefährdete und marginalisierte Bevölkerungsgruppen berücksichtigt werden müssen), dass sie nicht diskriminierend und sicher sind, dass ihre Entscheidungen erklärbar und transparent sind und dass sie die menschliche Autonomie und die Grundrechte respektieren, damit sie vertrauenswürdig sind, wie in den Ethik-Leitlinien der hochrangigen Expertengruppe für künstliche Intelligenz beschrieben;

G. in der Erwägung, dass die Union zusammen mit den Mitgliedstaaten eine maßgebliche Verantwortung dafür trägt, dass Entscheidungen im Umfeld des Lebenszyklus und des Einsatzes von KI-Anwendungen im Bereich der Justiz und der Strafverfolgung auf transparente Weise getroffen werden, die Grundrechte in vollem Umfang schützen und insbesondere keine Diskriminierung, Voreingenommenheit oder Vorurteile festschreiben, wo sie bestehen; in der Erwägung, dass bei den einschlägigen politischen Entscheidungen die Grundsätze der Notwendigkeit und der Verhältnismäßigkeit beachtet werden sollten, um die Verfassungsmäßigkeit und ein faires und humanes Justizsystem zu gewährleisten;

H. in der Erwägung, dass KI-Anwendungen große Chancen im Bereich der Strafverfolgung bieten können, insbesondere bei der Verbesserung der Arbeitsmethoden der Strafverfolgungs- und Justizbehörden und bei der effizienteren Bekämpfung bestimmter Arten von Straftaten, insbesondere von Finanzkriminalität, Geldwäsche und Terrorismusfinanzierung, sexuellem Missbrauch und Ausbeutung von Kindern im Internet sowie bestimmten Arten von Cyberkriminalität, und damit zur Sicherheit der EU-Bürger beitragen können, wenn sie auch gleichzeitig erhebliche Risiken für die Grundrechte der Menschen mit sich bringen können; in der Erwägung, dass eine undifferenzierte Anwendung von KI zum Zwecke der Massenüberwachung unverhältnismäßig wäre;

I. in der Erwägung, dass die Entwicklung und der Einsatz von KI-Systemen für Polizei- und Justizbehörden die Mitwirkung verschiedenster Einzelpersonen, Organisationen, Maschinenkomponenten, Software-Algorithmen und menschlicher Nutzer in einem häufig komplexen und herausfordernden Umfeld umfassen; in der Erwägung, dass sich die KI-Anwendungen für Strafverfolgung und Justiz in verschiedenen Entwicklungsphasen befinden, die von der Konzeptualisierung über Versuche mit Prototypen oder Evaluierungen bis hin zur Anwendung nach der Zulassung reichen; in der Erwägung, dass sich in Zukunft neue Einsatzmöglichkeiten ergeben können, wenn die Technologien dank der laufenden wissenschaftlichen Forschung weltweit ausgereifter werden;

J. in der Erwägung, dass ein klares Modell für die Zuweisung der rechtlichen Verantwortung für die potenziell schädlichen Auswirkungen von KI-Systemen im Bereich des Strafrechts unerlässlich ist; in der Erwägung, dass die Verwaltungsvorschriften in diesem Bereich stets die menschliche Verantwortlichkeit wahren sollten und in erster Linie darauf abzielen müssen, schädliche Auswirkungen überhaupt zu vermeiden;

K. in der Erwägung, dass letztendlich die Mitgliedstaaten für die Gewährleistung der uneingeschränkten Achtung der Grundrechte verantwortlich sind, wenn KI-Systeme auf dem Gebiet der Strafverfolgung und der Justiz eingesetzt werden;

L. in der Erwägung, dass das Verhältnis zwischen dem Schutz der Grundrechte und einer effektiven Polizeiarbeit bei den Diskussionen darüber, ob und wie KI in der Strafverfolgung eingesetzt werden sollte, stets ein wichtiger Faktor sein muss, da die Entscheidungen in diesem Bereich langfristige Auswirkungen auf das Leben und die Freiheit Einzelner haben können; in der Erwägung, dass dies besonders wichtig ist, da KI das Potenzial hat, ein fester Bestandteil unseres strafrechtlichen Ökosystems zu werden, indem sie Ermittlungsanalysen und -unterstützung bietet;

M. in der Erwägung, dass KI von den Strafverfolgungsbehörden genutzt wird bei Anwendungen wie Gesichtserkennungstechnologien – etwa zur Durchsuchung von Fahndungsdatenbanken und zur Identifizierung von Opfern von Menschenhandel oder sexueller Ausbeutung oder sexuellem Missbrauch von Kindern –, automatische Nummernschilderkennung, Sprecheridentifizierung, Spracherkennung, Lippenlesetechnologien, akustische Überwachung (d. h. Schusserkennungsalgorithmen), autonome Forschung und Analyse identifizierter Datenbanken, Vorhersage (vorausschauende Polizeiarbeit und Kriminalitäts-Hotspot-Analyse), Verhaltenserkennungswerkzeuge, moderne virtuelle Autopsie-Instrumente, die bei der Bestimmung der Todesursache nützlich sind, autonome Werkzeuge zur Erkennung von Finanzbetrug und Terrorismusfinanzierung, Überwachung sozialer Medien (Scraping und das Sammeln von Daten zum Aufspüren von Zusammenhängen) und automatisierte Überwachungssysteme mit unterschiedlichen Erkennungsfähigkeiten (wie Herzschlagerkennung und Wärmebildkameras); in der Erwägung, dass die vorgenannten Anwendungen neben anderen potenziellen oder künftigen Anwendungen von KI-Technologie in der Strafverfolgung einen sehr unterschiedlichen Grad an Zuverlässigkeit und Genauigkeit sowie an Auswirkungen auf den Schutz der Grundrechte und auf die Dynamik der Strafjustizsysteme aufweisen können; in der Erwägung, dass viele dieser Werkzeuge in Nicht-EU-Ländern eingesetzt werden, aber nach dem Besitzstand der Union im Bereich des Datenschutzes und nach der Rechtsprechung rechtswidrig wären; in der Erwägung, dass der routinemäßige Einsatz von Algorithmen, selbst mit einer geringen Falsch-Positiv-Rate, zu Fehlalarmen führen kann, deren Zahl bei weitem höher liegt als die Zahl der richtigen Alarme;

N. in der Erwägung, dass KI-Instrumente und -Anwendungen auch von der Justiz in mehreren Ländern weltweit eingesetzt werden, u. a. zur Unterstützung von Entscheidungen über die Untersuchungshaft, bei der Strafzumessung, der Berechnung der Rückfallwahrscheinlichkeit und der Festsetzung von Bewährungsstrafen, der Online-Streitbeilegung, der Bearbeitung der Rechtsprechung und der Bereitstellung eines erleichterten Zugangs zum Recht; in der Erwägung, dass dies die Möglichkeiten von People of Color und anderen Minderheiten verfälscht und schmälert; in der Erwägung, dass ihr Einsatz in der EU derzeit mit Ausnahme einiger Mitgliedstaaten hauptsächlich auf Zivilsachen beschränkt ist;

O. in der Erwägung, dass der Einsatz von KI in der Strafverfolgung eine Reihe von potenziell hohen und in einigen Fällen nicht hinnehmbaren Risiken für den Schutz der Grundrechte des Einzelnen mit sich bringt, wie etwa undurchsichtige Entscheidungsfindung, verschiedene Arten von Diskriminierung und dem zugrunde liegenden Algorithmus innewohnende Fehler, die durch Rückkopplungsschleifen verstärkt werden können, sowie Risiken für den Schutz der Privatsphäre und personenbezogener Daten, den Schutz der Meinungs- und Informationsfreiheit, die Unschuldsvermutung, das Recht auf einen wirksamen Rechtsbehelf und ein faires Verfahren sowie Risiken für die Freiheit und Sicherheit des Einzelnen;

P. in der Erwägung, dass KI-Systeme, die von den Strafverfolgungs- und Justizbehörden eingesetzt werden, auch anfällig sind für KI-unterstützte Angriffe auf Informationssysteme und die Verfälschung von Daten („Data poisoning“), bei der absichtlich ein falscher Datensatz eingegeben wird, um verzerrte Ergebnisse zu erzielen; in der Erwägung, dass in diesen Situationen der daraus resultierende Schaden potenziell sogar noch bedeutender ist und zu einem exponentiell höheren Schadensausmaß sowohl für Einzelpersonen als auch für Gruppen führen kann;

Q. in der Erwägung, dass der Einsatz von KI im Bereich der Strafverfolgung und der Justiz nicht als bloß technisch machbar betrachtet werden sollte, sondern als eine politische Entscheidung, die die Konzeption und die Ziele der Strafverfolgung und der Strafrechtssysteme betrifft; in der Erwägung, dass das moderne Strafrecht auf der Auffassung beruht, dass die Behörden auf eine Straftat reagieren, nachdem diese begangen wurde, und nicht davon ausgeht, dass alle Menschen gefährlich sind und permanent überwacht werden müssen, damit ein potenzielles Fehlverhalten verhindert werden kann; in der Erwägung, dass KI-basierte Überwachungstechniken diesen Ansatz ernsthaft in Frage stellen und es dringend erforderlich machen, dass Gesetzgeber weltweit die Folgen der Zulassung des Einsatzes von Technologien gründlich prüfen, die dazu führen, dass der Mensch bei der Strafverfolgung und der Urteilsfällung eine geringere Rolle spielt;

1. bekräftigt, dass, da die Verarbeitung großer Mengen personenbezogener Daten im Mittelpunkt der künstlichen Intelligenz steht, das Recht auf Schutz des Privatlebens und das Recht auf den Schutz personenbezogener Daten für alle Bereiche der künstlichen Intelligenz gelten und dass der Rechtsrahmen der Union für den Datenschutz und den Schutz der Privatsphäre uneingeschränkt eingehalten werden muss; ruft daher in Erinnerung, dass die EU bereits Datenschutzstandards für die Strafverfolgung festgelegt hat, die die Grundlage für jegliche künftige Regulierung der KI für den Einsatz in der Strafverfolgung und der Justiz bilden; erinnert daran, dass die Verarbeitung personenbezogener Daten rechtmäßig und nach Treu und Glauben erfolgen sollte, dass die Zwecke der Verarbeitung angegeben, eindeutig und rechtmäßig sein sollten, dass die Verarbeitung dem Zweck, zu dem sie erfolgt, entsprechen, dafür erheblich sein und nicht darüber hinausgehen sollte, dass sie sachlich richtig sein und auf dem neuesten Stand gehalten werden sollte und dass unrichtige Daten, sofern keine Einschränkungen gelten, berichtigt oder gelöscht werden sollten, dass die Daten nicht länger als nötig aufbewahrt werden sollten, dass klare und angemessene Fristen für die Löschung oder für die regelmäßige Überprüfung der Notwendigkeit der Speicherung solcher Daten festgelegt werden sollten und dass die Verarbeitung auf sichere Weise erfolgen sollte; betont ferner, dass eine mögliche Identifizierung von Personen durch eine KI-Anwendung unter Verwendung von Daten, die zuvor anonymisiert wurden, verhindert werden sollte;

2. bekräftigt, dass alle KI-Lösungen für die Strafverfolgung und die Justiz auch die Grundsätze der Menschenwürde, der Nichtdiskriminierung und der Freizügigkeit, die Unschuldsvermutung und das Recht auf Verteidigung, einschließlich des Rechts zur Aussageverweigerung, die Freiheit der Meinungsäußerung und die Informationsfreiheit, die Versammlungs- und Vereinigungsfreiheit, die Gleichheit vor dem Gesetz, den Grundsatz der Waffengleichheit und das Recht auf einen wirksamen Rechtsbehelf und ein faires Verfahren gemäß der Charta und der Europäischen Menschenrechtskonvention in vollem Umfang achten müssen; betont, dass der Einsatz von KI-Anwendungen untersagt werden muss, wenn er nicht mit den Grundrechten vereinbar ist;

3. erkennt an, dass die Geschwindigkeit, mit der KI-Anwendungen weltweit entwickelt werden, keine erschöpfende Auflistung von Anwendungen zulässt und daher ein klares und kohärentes Governance-Modell erforderlich ist, das sowohl die Grundrechte des Einzelnen als auch Rechtsklarheit für die Entwickler in Anbetracht der ständigen Weiterentwicklung der Technologie gewährleistet; ist jedoch der Ansicht, dass in Anbetracht der Rolle und Verantwortung von Polizei- und Justizbehörden und der Auswirkungen von Entscheidungen, die sie zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Vollstreckung von strafrechtlichen Sanktionen treffen, der Einsatz von KI-Anwendungen dann als hochrisikoreich eingestuft werden muss, wenn die Möglichkeit besteht, dass er beträchtliche Auswirkungen auf das Leben von Einzelpersonen hat;

4. vertritt in diesem Zusammenhang die Auffassung, dass alle KI-Instrumente, die von den Strafverfolgungsbehörden oder der Justiz entwickelt oder eingesetzt werden, mindestens sicher, robust und zweckmäßig sein und den Grundsätzen der Fairness, der Datenminimierung, der Rechenschaftspflicht, der Transparenz, der Nichtdiskriminierung und der Erklärbarkeit entsprechen sollten und dass ihre Entwicklung, ihr Einsatz und ihre Verwendung einer Risikobewertung und einer strengen Prüfung der Notwendigkeit und Verhältnismäßigkeit unterliegen sollten, wobei die Schutzmaßnahmen in einem angemessenen Verhältnis zu den ermittelten Risiken stehen müssen; hebt hervor, dass das Vertrauen der Bürger in die Verwendung von in der EU entwickelter und eingesetzter KI von der uneingeschränkten Erfüllung dieser Kriterien abhängt;

5. erkennt den positiven Beitrag bestimmter Arten von KI-Anwendungen zur Arbeit der Strafverfolgungs- und Justizbehörden in der gesamten Union an; hebt beispielsweise die bessere Bearbeitung der Rechtsprechung hervor, die durch Instrumente mit zusätzlichen Suchoptionen ermöglicht wird; ist der Auffassung, dass es eine Reihe weiterer potenzieller Verwendungen von KI für die Strafverfolgung und die Justiz gibt, die unter Berücksichtigung der fünf Grundsätze der von der Europäischen Kommission für die Wirksamkeit der Justiz (CEPEJ) angenommenen Ethik-Charta für den Einsatz künstlicher Intelligenz in Justizsystemen und deren Umfeld erforscht werden könnten, wobei den von der CEPEJ genannten „mit größten Vorbehalten zu betrachtenden Verwendungen“ besondere Aufmerksamkeit gewidmet werden sollte;

6. betont, dass jede Technologie zweckentfremdet werden kann, und fordert daher eine strenge demokratische Kontrolle und unabhängige Aufsicht über alle KI-fähigen Technologien, die von Strafverfolgungs- und Justizbehörden eingesetzt werden, insbesondere über solche, die für die Massenüberwachung oder das Erstellen von Massenprofilen zweckentfremdet werden können; nimmt daher mit großer Sorge das Potenzial bestimmter KI-Technologien zur Kenntnis, die in der Strafverfolgung für Massenüberwachungszwecke eingesetzt werden; unterstreicht das rechtliche Erfordernis, eine Massenüberwachung mittels KI-Technologien zu verhindern, die per definitionem nicht den Grundsätzen der Notwendigkeit und Verhältnismäßigkeit entspricht, und den Einsatz von Anwendungen zu verbieten, die dazu führen könnten;

7. betont, dass der in einigen Nicht-EU-Ländern verfolgte Ansatz hinsichtlich der Entwicklung, des Einsatzes und der Verwendung von Massenüberwachungstechnologien unverhältnismäßig in Grundrechtspositionen eingreift und daher von der EU nicht übernommen werden darf; betont daher, dass auch die Schutzmaßnahmen gegen den Missbrauch von KI-Technologien durch Strafverfolgungs- und Justizbehörden unionsweit einheitlich geregelt werden müssen;

8. betont das Potenzial für Verzerrung und Diskriminierung, das sich aus dem Einsatz von KI-Anwendungen wie etwa maschinellem Lernen ergibt, einschließlich der Algorithmen, auf denen solche Anwendungen beruhen; stellt fest, dass Verzerrungen den zugrunde liegenden Datensätzen innewohnen können, insbesondere wenn historische Daten verwendet, von den Entwicklern der Algorithmen eingeführt oder bei der Implementierung der Systeme in der realen Welt erzeugt werden; weist darauf hin, dass die von KI-Anwendungen gelieferten Ergebnisse zwangsläufig von der Qualität der verwendeten Daten beeinflusst werden und dass solche inhärenten Verzerrungen die Tendenz haben, allmählich zuzunehmen und dadurch bestehende Diskriminierungen fortzusetzen und zu verstärken, insbesondere für Personen, die bestimmten ethnischen Gruppen oder Gemeinschaften, die aufgrund von Rassismus benachteiligt sind, angehören;

9. unterstreicht die Tatsache, dass viele der derzeit verwendeten algorithmusgesteuerten Identifizierungstechnologien unverhältnismäßig viele Personen falsch identifizieren und falsch klassifizieren und daher Menschen, die aufgrund von Rassismus benachteiligt sind, Personen, die bestimmten ethnischen Gemeinschaften angehören, LGBTI-Personen, Kindern und älteren Menschen sowie Frauen Schaden zufügen; erinnert daran, dass Einzelpersonen nicht nur das Recht haben, korrekt identifiziert zu werden, sondern auch das Recht, überhaupt nicht identifiziert zu werden, es sei denn, dies ist aus zwingendem und rechtmäßigem öffentlichem Interesse gesetzlich vorgeschrieben; betont, dass KI-Vorhersagen, die auf Merkmalen einer bestimmten Personengruppe beruhen, dazu führen, dass bestehende Formen der Diskriminierung verstärkt und reproduziert werden; ist der Auffassung, dass große Anstrengungen unternommen werden sollten, um automatisierte Diskriminierung und Voreingenommenheit zu vermeiden; fordert robuste zusätzliche Schutzmaßnahmen, wenn KI-Systeme in der Strafverfolgung oder in der Justiz bei Minderjährigen oder in Bezug auf sie eingesetzt werden;

10. betont die Machtasymmetrie zwischen denjenigen, die KI-Technologien einsetzen, und denjenigen, die ihnen unterworfen sind; betont, dass es zwingend erforderlich ist, dass der Einsatz von KI-Instrumenten durch Strafverfolgungs- und Justizbehörden nicht zu einem Faktor der Ungleichheit, der sozialen Spaltung oder der Ausgrenzung wird; unterstreicht die Auswirkungen des Einsatzes von KI-Instrumenten auf die Verteidigungsrechte von Verdächtigen, die Schwierigkeit, aussagekräftige Informationen über ihre Funktionsweise zu erhalten, und die daraus resultierende Schwierigkeit der Anfechtung ihrer Ergebnisse vor Gericht, insbesondere durch Personen, gegen die ermittelt wird;

11. nimmt die Risiken zur Kenntnis, die insbesondere mit Datenlecks, Verstößen gegen die Datensicherheit und unbefugtem Zugriff auf personenbezogene Daten und andere Informationen im Zusammenhang beispielsweise mit strafrechtlichen Ermittlungen oder Gerichtsverfahren verbunden sind, die von KI-Systemen verarbeitet werden; betont, dass die Sicherheitsaspekte von KI-Systemen, die in der Strafverfolgung und in der Justiz eingesetzt werden, sorgfältig geprüft werden und hinreichend robust und widerstandsfähig sein müssen, um die potenziell katastrophalen Folgen böswilliger Angriffe auf KI-Systeme abzuwenden; unterstreicht die Bedeutung eingebauter Sicherheit (security by design) sowie einer spezifischen menschlichen Aufsicht vor dem Betrieb bestimmter kritischer Anwendungen und fordert daher, dass Strafverfolgungs- und Justizbehörden nur KI-Anwendungen einsetzen, die dem Grundsatz des „eingebauten Datenschutzes“ (privacy and data protection by design) entsprechen, um eine schleichende Ausweitung auf andere Zwecke zu vermeiden;

12. betont, dass kein KI-System, das von Strafverfolgungsbehörden oder der Justiz eingesetzt wird, in die Lage versetzt werden sollte, die körperliche Unversehrtheit von Menschen zu schädigen oder Einzelpersonen Rechte zu übertragen bzw. rechtliche Verpflichtungen aufzuerlegen;

13. erkennt die Herausforderungen an, die sich angesichts der Komplexität der Entwicklung und des Betriebs von KI-Systemen in Bezug auf die korrekte Zuweisung rechtlicher Verantwortung und Haftung für potenzielle Schäden stellen; hält es für notwendig, eine klare und faire Regelung für die Zuweisung der rechtlichen Verantwortung und Haftung für die möglichen nachteiligen Folgen zu schaffen, die durch diese fortgeschrittenen digitalen Technologien verursacht werden; betont jedoch, dass das Ziel in erster Linie darin bestehen muss, das Eintreten solcher Folgen von vornherein zu verhindern; fordert daher die Anwendung des Vorsorgeprinzips bei allen Anwendungen von KI im Rahmen der Strafverfolgung; betont, dass die rechtliche Verantwortung und Haftung immer bei einer natürlichen oder juristischen Person liegen muss, die bei Entscheidungen, die mit Hilfe von KI getroffen werden, immer identifiziert werden muss; betont daher die Notwendigkeit, die Transparenz der Unternehmensstrukturen, die KI-Systeme herstellen und verwalten, sicherzustellen;

14. erachtet es sowohl für die Wirksamkeit der Ausübung von Verteidigungsrechten als auch für die Transparenz der nationalen Strafrechtssysteme für wesentlich, dass ein spezifischer, klarer und präziser Rechtsrahmen die Bedingungen, Modalitäten und Folgen des Einsatzes von KI-Instrumenten im Bereich der Strafverfolgung und der Justiz sowie die Rechte der betroffenen Personen und wirksame und leicht zugängliche Beschwerde- und Rechtsbehelfsverfahren, einschließlich gerichtlicher Rechtsbehelfe, regelt; unterstreicht das Recht der Parteien eines Strafverfahrens auf Zugang zu dem Datenerhebungsprozess und den damit verbundenen Bewertungen, die durch den Einsatz von KI-Anwendungen vorgenommen oder erlangt wurden; unterstreicht die Notwendigkeit, dass die Vollstreckungsbehörden, die an der justiziellen Zusammenarbeit beteiligt sind, bei der Entscheidung über ein Ersuchen um Auslieferung (oder Übergabe) an einen anderen Mitgliedstaat oder einen Nicht-EU-Staat prüfen, ob der Einsatz von KI-Instrumenten in dem ersuchenden Land das Grundrecht auf ein faires Verfahren offenkundig beeinträchtigen könnte; fordert die Kommission auf, Leitlinien für die Durchführung einer solchen Prüfung im Rahmen der justiziellen Zusammenarbeit in Strafsachen herauszugeben; besteht darauf, dass die Mitgliedstaaten im Einklang mit den geltenden Rechtsvorschriften sicherstellen sollten, dass Einzelpersonen darüber informiert werden, wenn Strafverfolgungsbehörden oder die Justiz KI-Anwendungen bei ihnen einsetzen;

15. weist darauf hin, dass Menschen nicht in der Lage sein werden, eine unabhängige Bewertung vorzunehmen, wenn sie sich ausschließlich auf von Maschinen generierte Daten, Profile und Empfehlungen stützen; weist auf die potenziell schwerwiegenden nachteiligen Folgen in Fällen – insbesondere im Bereich der Strafverfolgung und der Justiz – hin, in denen Einzelpersonen zu sehr auf den scheinbar objektiven und wissenschaftlichen Charakter von KI-Instrumenten vertrauen und nicht die Möglichkeit in Betracht ziehen, dass ihre Ergebnisse falsch, unvollständig, irrelevant oder diskriminierend sein könnten; betont, dass ein übermäßiges Vertrauen in die von KI-Systemen gelieferten Ergebnisse vermieden werden sollte, und hebt hervor, dass die Behörden Vertrauen und Wissen aufbauen müssen, um eine algorithmische Empfehlung zu hinterfragen oder ihr nicht zu folgen; hält es für wichtig, realistische Erwartungen an solche technologischen Lösungen zu haben und keine perfekten Lösungen für die Strafverfolgung und die Aufdeckung aller begangenen Straftaten zu versprechen;

16. betont, dass im Kontext von Justiz und Strafverfolgung die Entscheidung, die rechtliche oder ähnliche Wirkungen entfaltet, immer von einem Menschen getroffen werden muss, der für die getroffenen Entscheidungen zur Rechenschaft gezogen werden kann; ist der Ansicht, dass diejenigen, die KI-gestützten Systemen unterworfen sind, die Möglichkeit haben müssen, Rechtsmittel einzulegen; erinnert daran, dass eine Person nach EU-Recht das Recht hat, nicht einer ausschließlich auf einer automatisierten Verarbeitung von Daten beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie erheblich beeinträchtigt; betont ferner, dass automatisierte Einzelentscheidungen nicht auf besonderen Kategorien personenbezogener Daten beruhen dürfen, es sei denn, es bestehen geeignete Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person; betont, dass das Unionsrecht eine Profilerstellung, die zu Diskriminierung natürlicher Personen auf der Grundlage bestimmter Kategorien personenbezogener Daten führt, verbietet; weist darauf hin, dass Entscheidungen im Bereich der Strafverfolgung fast immer Entscheidungen sind, die aufgrund der exekutiven Qualität von Strafverfolgungsbehörden und ihren Maßnahmen eine rechtliche Wirkung gegenüber der betroffenen Person nach sich ziehen; stellt fest, dass der Einsatz von KI menschliche Entscheidungen beeinflussen und sich auf alle Stadien von Strafverfahren auswirken kann; vertritt daher die Auffassung, dass Behörden, die KI-Systeme einsetzen, extrem hohe rechtliche Standards einhalten und menschliches Tätigwerden sicherstellen müssen, insbesondere bei der Analyse von Daten, die von solchen Systemen stammen; verlangt daher, dass das souveräne Ermessen von Richtern und die Entscheidungsfindung in jedem Einzelfall nicht angetastet werden; fordert ein Verbot des Einsatzes von KI und verwandten Technologien für die Erstellung von Vorschlägen von Gerichtsentscheidungen;

17. fordert algorithmische Erklärbarkeit, Transparenz, Rückverfolgbarkeit und Überprüfung als notwendigen Teil der Aufsicht, um sicherzustellen, dass die Entwicklung, der Einsatz und die Nutzung von KI-Systemen für Justiz und Strafverfolgung den Grundrechten entsprechen und das Vertrauen der Bürger genießen, sowie um sicherzustellen, dass die von KI-Algorithmen erzeugten Ergebnisse für die Nutzer und die diesen Systemen unterworfenen Personen verständlich gemacht werden können und dass Transparenz über die Quelldaten und die Art und Weise besteht, wie das System zu einer bestimmten Schlussfolgerung gelangt ist; weist darauf hin, dass es Strafverfolgungs- und Justizbehörden in der Union – zur Gewährleistung der technischen Transparenz, Robustheit und Genauigkeit – nur erlaubt sein sollte, solche Instrumente und Systeme zu erwerben, deren Algorithmen und Logik überprüfbar und zumindest der Polizei und der Justiz sowie den unabhängigen Prüfern zugänglich sind, um ihre Bewertung, Prüfung und Kontrolle zu ermöglichen, und dass sie von den Verkäufern nicht verschlossen oder als „geschützt“ gekennzeichnet werden dürfen; weist ferner darauf hin, dass eine Dokumentation in klarer, verständlicher Sprache über die Art des Dienstes, die entwickelten Instrumente, die Leistung und die Bedingungen, unter denen sie erwartungsgemäß funktionieren, sowie die Risiken, die sie verursachen könnten, bereitgestellt werden sollte; fordert daher die Justiz- und Strafverfolgungsbehörden auf, für proaktive und vollständige Transparenz in Bezug auf private Unternehmen zu sorgen, die ihnen KI-Systeme für die Zwecke der Strafverfolgung und der Justiz zur Verfügung stellen; empfiehlt daher die Verwendung von Open-Source-Software, wo immer dies möglich ist;

18. empfiehlt den Strafverfolgungs- und Justizbehörden, die Bereiche zu ermitteln und zu bewerten, in denen einige maßgeschneiderte KI-Lösungen von Nutzen sein könnten, und sich über bewährte Verfahren für den Einsatz von KI auszutauschen; fordert, dass die Mitgliedstaaten und die EU-Agenturen geeignete Verfahren für die öffentliche Beschaffung von KI-Systemen einführen, wenn diese in einem Kontext der Strafverfolgung oder Justiz eingesetzt werden, um die Einhaltung der Grundrechte und der geltenden Rechtsvorschriften zu gewährleisten, wobei auch sichergestellt werden muss, dass die Software-Dokumentation und die Algorithmen den zuständigen Behörden und Aufsichtsbehörden zu Überprüfungszwecken zur Verfügung stehen und zugänglich sind; fordert insbesondere verbindliche Regeln, durch die eine öffentliche Offenlegung von öffentlich-privaten Partnerschaften, Verträgen und Akquisitionen und des Zwecks, für den sie beschafft werden, vorgeschrieben wird; betont, dass die Behörden mit den notwendigen Finanzmitteln und mit dem erforderlichen Fachwissen ausgestattet werden müssen, damit gewährleistet ist, dass die ethischen, rechtlichen und technischen Anforderungen, die mit dem Einsatz von KI verknüpft sind, uneingeschränkt erfüllt werden;

19. fordert die Rückverfolgbarkeit von KI-Systemen und des Entscheidungsprozesses, die ihre Funktionen umreißt, die Fähigkeiten und Grenzen der Systeme definiert und durch eine verpflichtende Dokumentation nachvollziehbar macht, woher die bestimmenden Kriterien für eine Entscheidung stammen; unterstreicht die Bedeutung einer vollständigen Dokumentation der Trainingsdaten, ihres Kontexts, ihres Zwecks, ihrer Genauigkeit und ihrer Nebenwirkungen sowie ihrer Verarbeitung durch die Urheber und Entwickler der Algorithmen und ihrer Einhaltung der Grundrechte; betont, dass es immer möglich sein muss, die Rechenvorgänge eines KI-Systems auf eine für Menschen verständliche Form zu reduzieren;

20. fordert, dass vor der Einführung oder dem Einsatz von KI-Systemen für die Strafverfolgung oder die Justiz eine obligatorische Folgenabschätzung für die Grundrechte durchgeführt wird, um mögliche Risiken für die Grundrechte abzuschätzen; erinnert daran, dass die vorherige Datenschutzfolgenabschätzung für jede Art der Verarbeitung obligatorisch ist, insbesondere bei der Verwendung neuer Technologien, die wahrscheinlich zu einem hohen Risiko für die Rechte und Freiheiten natürlicher Personen führen wird, und ist der Ansicht, dass dies bei den meisten KI-Technologien im Bereich der Strafverfolgung und der Justiz der Fall ist; unterstreicht die Sachkenntnis von Datenschutzbehörden und Grundrechtsagenturen, wenn es um die Bewertung dieser Systeme geht; betont, dass diese Folgenabschätzungen für die Grundrechte so offen wie möglich und unter aktiver Beteiligung der Zivilgesellschaft durchgeführt werden sollten; fordert, dass die Folgenabschätzungen auch klare Angaben zu den Schutzmaßnahmen enthalten, die erforderlich sind, um die ermittelten Risiken zu bewältigen, und dass sie vor dem Einsatz eines KI-Systems so weit wie möglich öffentlich zugänglich gemacht werden;

21. betont, dass nur eine robuste europäische KI-Governance mit unabhängiger Evaluierung die notwendige Umsetzung der Grundrechtsprinzipien ermöglichen kann; fordert eine regelmäßige obligatorische Prüfung aller von Strafverfolgungsbehörden und der Justiz eingesetzten KI-Systeme, die das Potenzial haben, das Leben von Einzelpersonen erheblich zu beeinträchtigen, durch eine unabhängige Behörde, um algorithmische Systeme, ihren Kontext, ihren Zweck, ihre Genauigkeit, ihre Leistung und ihr Ausmaß zu testen und zu bewerten und, sobald sie in Betrieb sind, um unerwünschte und nachteilige Auswirkungen zu erkennen, zu untersuchen, zu diagnostizieren und zu beheben und um sicherzustellen, dass die KI-Systeme wie beabsichtigt funktionieren; fordert daher einen klaren institutionellen Rahmen für diesen Zweck, einschließlich einer angemessenen Regulierungsaufsicht und Beaufsichtigung, um eine vollständige Umsetzung sicherzustellen und eine demokratische Debatte in voller Sachkenntnis über die Notwendigkeit und Verhältnismäßigkeit von KI im Bereich der Strafjustiz zu gewährleisten; betont, dass die Ergebnisse dieser Prüfungen in öffentlichen Registern zur Verfügung gestellt werden sollten, sodass die Bürgerinnen und Bürger die KI-Systeme, die eingesetzt werden, kennen und wissen, welche Maßnahmen getroffen werden, um einer Verletzung von Grundrechten abzuhelfen;

22. betont, dass die Datensätze und algorithmischen Systeme, die bei der Erstellung von Klassifizierungen, Bewertungen und Vorhersagen in den verschiedenen Phasen der Datenverarbeitung bei der Entwicklung von KI und verwandten Technologien verwendet werden, auch zu einer unterschiedlichen Behandlung und einer unmittelbaren und mittelbaren Diskriminierung von Personengruppen führen können, insbesondere da die Daten, die zum Trainieren von Algorithmen für die vorausschauende Polizeiarbeit verwendet werden, die aktuellen Überwachungsprioritäten widerspiegeln und folglich dazu führen können, dass bestehende Vorurteile reproduziert und verstärkt werden; betont daher, dass KI-Technologien, insbesondere wenn sie für die Strafverfolgung und die Justiz eingesetzt werden, interdisziplinäre Forschung und Beiträge erfordern, auch aus den Bereichen der Wissenschafts- und Technologiestudien, der Forschung zum Thema „Critical Race“ (Rasse als Analysekategorie des Rechts), der Behindertenforschung und anderen Disziplinen, die sich mit dem sozialen Kontext befassen, einschließlich der Art und Weise, wie Unterschiede konstruiert werden, sowie der Arbeit der Klassifizierung und ihrer Folgen; betont daher, dass systematisch in die Einbeziehung dieser Fachrichtungen in Studien und Forschung über künstliche Intelligenz auf allen Ebenen investiert werden muss; betont ferner, wie wichtig es ist, dass sich in den Teams, die diese KI-Systeme für die Strafverfolgung und die Justiz konzipieren, entwickeln, testen, warten, einsetzen und beschaffen, möglichst die Vielfalt der Gesellschaft im Allgemeinen als nichttechnisches Mittel zur Verringerung der Diskriminierungsrisiken widerspiegelt;

23. weist weiter darauf hin, dass für eine angemessene Rechenschaftspflicht, Verantwortung und Haftung eine spezielle Schulung in Bezug auf die ethischen Bestimmungen, die potenziellen Gefahren, die Beschränkungen und die richtige Verwendung der KI-Technologie, insbesondere für die Mitarbeiter von Polizei und Justiz, erforderlich ist; betont, dass durch angemessene fachliche Schulungen und Qualifikationen sichergestellt werden sollte, dass die Entscheidungsträger über das Risiko der Voreingenommenheit aufgeklärt werden, da die Datensätze auf diskriminierenden und vorurteilsbelasteten Daten beruhen können; unterstützt die Gründung von Sensibilisierungs- und Bildungsinitiativen, damit Einzelpersonen, die in der Strafverfolgung und der Justiz arbeiten, sich der Einschränkungen, Fähigkeiten und Risiken, die die Nutzung von KI-Systemen nach sich zieht, einschließlich des Risikos einer Automatisierungsverzerrung, bewusst sind und sie verstehen; erinnert daran, dass die Einbeziehung von Fällen von Rassismus seitens der Polizeikräfte bei der Erfüllung ihrer Pflichten in KI-Trainingsdatensätze unweigerlich zu rassistischen Verzerrungen in den von KI generierten Erkenntnissen, Bewertungen und Empfehlungen führen wird;  wiederholt daher seinen Aufruf an die Mitgliedstaaten, Antidiskriminierungsmaßnahmen zu fördern und nationale Aktionspläne gegen Rassismus im Bereich der Polizei und der Justiz zu entwickeln;

24. stellt fest, dass vorausschauende Polizeiarbeit zwar zu den KI-Anwendungen gehört, die im Bereich der Strafverfolgung eingesetzt werden, warnt jedoch davor, dass vorausschauende Polizeiarbeit zwar die gegebenen Datensätze zur Identifizierung von Mustern und Korrelationen analysieren kann, aber nicht die Frage der Kausalität beantworten und keine verlässlichen Vorhersagen über individuelles Verhalten machen kann und daher nicht die alleinige Grundlage für ein Eingreifen darstellen darf; weist darauf hin, dass mehrere Städte in den Vereinigten Staaten ihre Nutzung von Systemen der vorausschauenden Polizeiarbeit nach Prüfungen eingestellt haben; erinnert daran, dass während der Erkundungsreise des LIBE-Ausschusses in die Vereinigten Staaten im Februar 2020 den Mitgliedern von den Polizeidienststellen der Stadt New York und von Cambridge (Massachusetts) mitgeteilt wurde, dass sie ihre Programme für vorausschauende Polizeiarbeit wegen mangelnder Wirksamkeit, diskriminierender Auswirkungen und praktischer Misserfolge hatten auslaufen lassen und sich stattdessen der bürgernahen Polizeiarbeit zugewandt hatten; nimmt zur Kenntnis, dass dies zu einem Rückgang der Kriminalitätsraten geführt hat; spricht sich daher gegen den Einsatz von KI durch Strafverfolgungsbehörden aus, um Vorhersagen über das Verhalten von Einzelpersonen oder Gruppen auf der Grundlage von historischen Daten und früherem Verhalten, Gruppenzugehörigkeit, Standort oder anderen derartigen Merkmalen zu treffen und damit zu versuchen, Personen zu identifizieren, die wahrscheinlich eine Straftat begehen werden;

25. nimmt die verschiedenen Arten der Nutzung von Gesichtserkennung zur Kenntnis, wie z. B. Verifizierung/Authentifizierung (d. h. Abgleich des Gesichts einer anwesenden Person mit einem Foto in einem Ausweisdokument, z. B. intelligente Grenzen), Identifizierung (d. h. Abgleich eines Fotos mit einer bestimmten Fotodatenbank) und Erkennung (d. h. Erkennung von Gesichtern in Echtzeit aus Quellen wie CCTV-Aufzeichnungen und Abgleich mit Datenbanken, z. B. Überwachung in Echtzeit), die jeweils unterschiedliche Auswirkungen auf den Schutz der Grundrechte haben; ist fest davon überzeugt, dass der Einsatz von Gesichtserkennungssystemen durch Strafverfolgungsbehörden auf eindeutig gerechtfertigte Zwecke beschränkt sein sollte, bei denen die Grundsätze der Verhältnismäßigkeit und Notwendigkeit sowie das geltende Recht uneingeschränkt eingehalten werden; bekräftigt, dass die Nutzung von Gesichtserkennungstechnologie mindestens den Anforderungen der Datenminimierung, Datengenauigkeit, Speicherbegrenzung, Datensicherheit und Rechenschaftspflicht genügen sowie rechtlich erlaubt, fair und transparent sein und einem spezifischen, expliziten und rechtmäßigen Zweck dienen muss, der im Recht des Mitgliedstaats oder dem Unionsrecht eindeutig definiert ist; ist der Auffassung, dass Verifizierungs- und Authentifizierungssysteme nur dann weiterhin erfolgreich eingesetzt und verwendet werden können, wenn ihre nachteiligen Auswirkungen abgeschwächt und die vorgenannten Kriterien erfüllt werden können;

26. fordert darüber hinaus das dauerhafte Verbot der Verwendung einer automatisierten Analyse und/oder Erkennung anderer menschlicher Merkmale, wie Gangart, Fingerabdrücke, DNA, Stimme und anderer biometrischer und verhaltensbezogener Signale, in öffentlich zugänglichen Räumen;

27. fordert ein Moratorium für den Einsatz von Gesichtserkennungssystemen für Strafverfolgungszwecke, die die Funktion der Identifizierung haben – es sei denn, sie werden ausschließlich für die Identifizierung von Verbrechensopfern verwendet –, bis die technischen Standards als vollständig grundrechtskonform angesehen werden können, die erzielten Ergebnisse unverzerrt und nicht diskriminierend sind, der Rechtsrahmen strenge Vorkehrungen gegen Missbrauch und strenge demokratische Kontrolle und Überwachung vorsieht und empirische Nachweise für die Notwendigkeit und Verhältnismäßigkeit des Einsatzes solcher Technologien vorliegen; stellt fest, dass die Systeme nicht verwendet oder eingesetzt werden sollten, wenn die oben genannten Kriterien nicht erfüllt sind;

28. äußert seine große Besorgnis über die Nutzung privater Gesichtserkennungsdatenbanken durch Akteure der Strafverfolgung und Nachrichtendienste wie Clearview AI, eine Datenbank mit mehr als drei Milliarden Bildern unter anderem von EU-Bürgern, die illegal in sozialen Netzwerken und anderen Teilen des Internets gesammelt wurden; fordert die Mitgliedstaaten auf, den Akteuren der Strafverfolgung zwingend vorzuschreiben, dass sie offenlegen, ob sie die Technologie Clearview AI oder gleichwertige Technologien anderer Anbieter nutzen; erinnert an die Stellungnahme des Europäischen Datenschutzausschusses (EDSA), wonach die Nutzung eines Dienstes wie Clearview AI durch Strafverfolgungsbehörden in der Europäischen Union wahrscheinlich nicht mit der Datenschutzregelung der Union im Einklang stünde; fordert ein Verbot der Nutzung privater Gesichtserkennungsdatenbanken in der Strafverfolgung;

29. nimmt die Machbarkeitsstudie der Kommission zu möglichen Änderungen am Beschluss zum Prümer Vertrag[8], auch hinsichtlich Gesichtsbildern, zur Kenntnis; nimmt frühere Untersuchungen zur Kenntnis, wonach keine potenziellen neuen Identifikationsmerkmale, etwa die Iris- oder Gesichtserkennung, in einem forensischen Kontext so zuverlässig wären wie die DNA oder Fingerabdrücke; erinnert die Kommission daran, dass jeder Gesetzgebungsvorschlag faktengestützt sein und dem Grundsatz der Verhältnismäßigkeit entsprechen muss; fordert die Kommission nachdrücklich auf, den Rahmen des Beschlusses zum Prümer Vertrag nur zu erweitern, wenn solide wissenschaftliche Nachweise für die Zuverlässigkeit der Gesichtserkennung in einem forensischen Kontext im Vergleich zu DNA oder Fingerabdrücken vorliegen, nachdem sie eine umfassende Folgenabschätzung durchgeführt hat, wobei auch die Empfehlungen des Europäischen Datenschutzbeauftragten (EDSB) und des Europäischen Datenschutzausschusses (EDSA) zu berücksichtigen sind;

30. betont, dass die Verwendung biometrischer Daten im weiteren Sinne mit dem Grundsatz des Rechts auf Menschenwürde zusammenhängt, der die Grundlage für alle durch die Charta garantierten Grundrechte bildet; ist der Auffassung, dass die Nutzung und Erhebung biometrischer Daten für Zwecke der Fernidentifizierung, beispielsweise durch Gesichtserkennung im öffentlichen Bereich, sowie an automatischen Sicherheitsschleusen, die für Grenzkontrollen an Flughäfen verwendet werden, spezifische Risiken für die Grundrechte aufwerfen kann, deren Auswirkungen je nach Zweck, Kontext und Umfang der Verwendung erhebliche Unterschiede aufweisen könnten; hebt ferner die umstrittene wissenschaftliche Gültigkeit der Technologie zur Affekterkennung, wie z. B. Kameras, die Augenbewegungen und Veränderungen der Pupillengröße erkennen, in einem Kontext der Strafverfolgung hervor; ist der Ansicht, dass die Verwendung biometrischer Identifizierung im Kontext der Strafverfolgung und der Justiz immer als hochrisikoreich betrachtet werden sollte und daher zusätzlichen Anforderungen unterworfen werden sollte, wie es die hochrangige Expertengruppe der Kommission für KI empfiehlt;

31. äußert sich sehr besorgt über im Rahmen von Horizont 2020 finanzierte Forschungsprojekte, bei denen künstliche Intelligenz an Außengrenzen zum Einsatz kommt, beispielsweise das Projekt iBorderCtrl, ein „intelligentes Lügendetektionssystem“, das auf der Grundlage eines vor der Reise mit der Webcam des Reisenden aufgenommenen, per Computer automatisierten Interviews und einer KI-gestützten Analyse von 38 Mikroimpressionen Profile von Reisenden erstellt und in Ungarn, Lettland und Griechenland erprobt wird; fordert die Kommission daher auf, mit legislativen und nichtlegislativen Mitteln und erforderlichenfalls durch Vertragsverletzungsverfahren ein Verbot jeglicher Verarbeitung biometrischer Daten, einschließlich Gesichtsbildern, zu Strafverfolgungszwecken zu erwirken, wenn diese Verarbeitung zu einer Massenüberwachung in öffentlich zugänglichen Räumen führt; fordert die Kommission ferner auf, die Finanzierung von Forschungsarbeiten, Einsätzen oder Programmen im Zusammenhang mit biometrischen Identifikatoren einzustellen, bei denen die Möglichkeit besteht, dass sie zu einer wahllosen Massenüberwachung in öffentlichen Räumen führen; betont in diesem Zusammenhang, dass dem Einsatz von Drohnen bei Polizeieinsätzen besondere Aufmerksamkeit gewidmet werden sollte und dass ein strikter Rahmen dafür gelten sollte;

32. unterstützt die Empfehlungen der hochrangigen Expertengruppe der Kommission für KI, die sich für ein Verbot von KI-gestützter massenhafter Bewertung („Scoring“) von Einzelpersonen ausspricht; ist der Auffassung, dass jede Art der normativen Bewertung von Bürgern in großem Maßstab durch Behörden, insbesondere im Bereich der Strafverfolgung und der Justiz, zum Verlust von Autonomie führt, den Grundsatz der Diskriminierungsfreiheit gefährdet und nicht als mit den im EU-Recht kodifizierten Grundrechten, insbesondere der Menschenwürde, im Einklang stehend betrachtet werden kann;

33. fordert eine größere generelle Transparenz, um sich ein umfassendes Bild von dem Einsatz von KI-Anwendungen in der Union machen zu können; verlangt, dass die Mitgliedstaaten umfassende Informationen über die von ihren Strafverfolgungs- und Justizbehörden eingesetzten Instrumente, die Arten der verwendeten Instrumente, die Zwecke, für die sie eingesetzt werden, die Arten von Straftaten, auf die sie angewandt werden, und die Namen der Unternehmen oder Organisationen, die diese Instrumente entwickelt haben, bereitstellen; fordert die Strafverfolgungs- und Justizbehörden auf, auch die Öffentlichkeit zu informieren und ausreichende Transparenz in Bezug auf ihren Einsatz von KI und verwandten Technologien bei der Ausübung ihrer Befugnisse an den Tag zu legen, einschließlich der Offenlegung der Falsch-Positiv- und Falsch-Negativ-Raten der betreffenden Technologie; verlangt, dass die Kommission die Informationen an einer zentralen Stelle bündelt und aktualisiert; fordert die Kommission auf, auch Informationen über den Einsatz von KI durch die mit Strafverfolgungs- und Justizaufgaben betrauten Agenturen der Union zu veröffentlichen und zu aktualisieren; fordert den EDSB auf, die Rechtmäßigkeit der KI-Technologien und -Anwendungen zu bewerten, die von den Strafverfolgungsbehörden und der Justiz eingesetzt werden;

34. erinnert daran, dass KI-Anwendungen, einschließlich solcher, die im Rahmen der Strafverfolgung und der Justiz eingesetzt werden, weltweit in rasantem Tempo entwickelt werden; fordert alle europäischen Interessenträger, einschließlich der Mitgliedstaaten und der Kommission, nachdrücklich auf, durch internationale Zusammenarbeit sicherzustellen, dass sich Partner außerhalb der EU engagieren, um die Standards auf internationaler Ebene anzuheben und einen gemeinsamen und ergänzenden Rechts- und Ethikrahmen für den Einsatz von KI, insbesondere für die Strafverfolgung und die Justiz, zu finden, durch den die Charta, der europäische Besitzstand im Bereich des Datenschutzes und die Menschenrechte im weiteren Sinne uneingeschränkt geachtet werden;

35. fordert die Agentur der Europäischen Union für Grundrechte auf, in Zusammenarbeit mit dem EDSA und dem EDSB umfassende Leitlinien, Empfehlungen und bewährte Verfahren auszuarbeiten, um die Kriterien und Bedingungen für die Entwicklung, die Verwendung und den Einsatz von KI-Anwendungen und -Lösungen zur Nutzung durch Strafverfolgungs- und Justizbehörden weiter zu spezifizieren; sagt zu, eine Studie über die Umsetzung der Richtlinie zum Datenschutz bei der Strafverfolgung[9] durchzuführen, um zu ermitteln, wie der Schutz personenbezogener Daten bei Verarbeitungstätigkeiten von Strafverfolgungs- und Justizbehörden, insbesondere bei der Entwicklung oder dem Einsatz neuer Technologien, gewährleistet wird; fordert die Kommission ferner auf zu prüfen, ob spezifische legislative Maßnahmen erforderlich sind, um die Kriterien und Bedingungen für die Entwicklung, die Verwendung und den Einsatz von KI-Anwendungen und -Lösungen durch Strafverfolgungs- und Justizbehörden weiter zu spezifizieren;

36. beauftragt seinen Präsidenten, diese Entschließung dem Rat und der Kommission zu übermitteln.

 


 

BEGRÜNDUNG

Künstliche Intelligenz (KI) ist eine der strategischen Technologien des 21. Jahrhunderts, die erhebliche Vorteile in Bezug auf Effizienz, Genauigkeit und Komfort bietet und damit einen positiven Beitrag zur europäischen Wirtschaft leistet. KI-Anwendungen haben unter anderem die Gesundheitsfürsorge verbessert, die Effizienz der Landwirtschaft gesteigert, zur Eindämmung des Klimawandels und zur Anpassung an ihn beigetragen und die Effizienz der Produktion verbessert.

 

KI ist eine der Hauptprioritäten der derzeitigen Kommission. Kommissionspräsidentin Ursula von der Leyen kündigte in ihren politischen Leitlinien einen koordinierten europäischen Ansatz zu den menschlichen und ethischen Auswirkungen der künstlichen Intelligenz sowie eine Reflexion über die bessere Nutzung von Big Data für Innovationen an. Die Befürwortung der KI als Thema auf EU-Ebene wurde von Überlegungen begleitet, wie das Vertrauen in KI-Technologien gewährleistet werden kann und wie sichergestellt werden kann, dass die KI die Grundrechte der EU nicht beeinträchtigt.

 

Allerdings hatte sich das Europäische Parlament schon seit mehreren Jahren mit AI befasst, bevor die Kommission beschloss, ihr eine hohe Priorität einzuräumen. Mehrere Entschließungen zu Big Data, Robotik und künstlicher Intelligenz, die das Parlament seit 2016 angenommen hat, zeigen, welche Bedeutung das Parlament diesem Thema beimisst. Die Entschließungen haben sich mit verschiedenen von der KI aufgeworfenen Fragen befasst und untersucht, wie sie sich auf Gemeinwohl, Bildung, Technologie, Rechtsvorschriften und Grundrechte sowie auf die Industrie im Allgemeinen auswirkt. In diesen Entschließungen wurde die Notwendigkeit betont, einen auf den Menschen ausgerichteten Ansatz zu verfolgen, der auf der Achtung der Grundrechte, nämlich der Charta der Grundrechte der EU und des EU-Datenschutzrahmens, basiert.

 

Als „ein Bestand an Technologien, die Daten, Algorithmen und Rechenleistung kombinieren“, sind „Fortschritte in der Informatik und die zunehmende Verfügbarkeit von Daten [...] daher der Schlüsselfaktor für den derzeitigen Aufstieg der KI“[10]. Im Mittelpunkt der KI steht die Tatsache, dass sie auf der Sammlung, Analyse und wiederkehrenden Anhäufung großer Datenmengen, einschließlich personenbezogener Daten, aus einer Vielzahl von Quellen beruht, die einer automatisierten Verarbeitung durch Computeralgorithmen und fortschrittliche Datenverarbeitungstechniken unterzogen werden. Diese Techniken verwenden sowohl gespeicherte als auch gestreamte Daten, um bestimmte Korrelationen, Trends und Muster zu erzeugen (Big-Data-Analyse). Die für die KI verwendeten Daten stammen nicht nur von Einzelpersonen selbst; KI-Anwendungen verwenden meist Daten aus der Industrie, der Wirtschaft und dem öffentlichen Sektor, die für eine Vielzahl unterschiedlicher Zwecke verarbeitet werden. Auch wenn es sein kann, dass es sich bei den von KI-Anwendungen verwendeten Daten mitunter um nicht personenbezogene Daten handelt, bringt die KI-Aktivität sehr oft die Verarbeitung personenbezogener Daten mit sich, da die KI-Aktivität häufig zu automatisierten Entscheidungen führt, die sich direkt auf die Einzelpersonen auswirken. Diese Merkmale der KI erfordern daher, dass wir in diesem Bereich besonders auf die Einhaltung der Grundprinzipien des Datenschutzes und der Privatsphäre achten.

 

KI bietet auch im Bereich der Strafverfolgung und der Strafjustiz große Chancen, insbesondere bei der Verbesserung der Arbeitsmethoden der Strafverfolgungs- und Justizbehörden und bei der effizienteren Bekämpfung bestimmter Arten von Straftaten, vor allem im Bereich der Finanzkriminalität, der Geldwäsche und der Terrorismusfinanzierung sowie bestimmter Arten der Cyberkriminalität. Zu den KI-Anwendungen in diesem Bereich gehören u. a Gesichtserkennungstechnologien, automatische Nummernschilderkennung, Sprecheridentifizierung, Spracherkennung, Lippenlesetechnologien, akustische Überwachung (z. B. Schusserkennungsalgorithmen), autonome Forschung und Analyse identifizierter Datenbanken, Prognose (vorausschauende Polizeiarbeit und Analyse von Kriminalitäts-Hotspots), Verhaltenserkennungswerkzeuge, autonome Werkzeuge zur Erkennung von Finanzbetrug und Terrorismusfinanzierung, Überwachung von sozialen Medien (Scraping und das Sammeln von Daten zum Aufspüren von Zusammenhängen), IMSI-Catcher und automatische Überwachungssysteme mit unterschiedlichen Erkennungsfähigkeiten (wie Herzschlagerkennung und Wärmebildkameras). Im Justizwesen können KI-Instrumente bei der Berechnung der Wahrscheinlichkeit von Rückfälligkeit und bei der Festlegung der Bewährung oder der Entscheidung über die Verurteilung eingesetzt werden.

 

Ungeachtet der Vorteile, die die künstliche Intelligenz mit sich bringt, ist es eine Tatsache, dass sie gleichzeitig eine Reihe potenzieller Risiken birgt, wie z. B. undurchsichtige Entscheidungsfindung, verschiedene Arten der Diskriminierung, Eindringen in unser Privatleben und Herausforderungen für den Schutz personenbezogener Daten, der Menschenwürde und der Meinungs- und Informationsfreiheit. Diese potenziellen Gefahren werden im Bereich der Strafverfolgung und der Strafjustiz noch verschärft, da sie die Unschuldsvermutung, die Grundrechte auf Freiheit und Sicherheit des Einzelnen sowie auf einen wirksamen Rechtsbehelf und ein faires Verfahren beeinträchtigen können.

 

In diesem Bericht wird versucht, die Fragen anzusprechen, die durch den Einsatz der KI im Strafrecht und ihre Verwendung durch die Polizei- und die Justizbehörden in Strafsachen aufgeworfen werden. Der Berichterstatter erkennt zwar die potenziellen Chancen und Vorteile an, die die KI mit sich bringen kann, weist aber auch auf die erheblichen Risiken und Auswirkungen hin, die sie nach sich ziehen kann.

 

Er betont die Notwendigkeit, die Grundrechte, wie sie in der Charta der Grundrechte der EU und im Datenschutzrecht der Union, namentlich in der Richtlinie (EU) 2016/680 (Polizeirichtlinie), verankert sind, uneingeschränkt zu respektieren, sowie die Notwendigkeit, mehrere Kernprinzipien im Lebenszyklus der künstlichen Intelligenz umzusetzen, wie z. B. algorithmische Erklärbarkeit und Transparenz, Rückverfolgbarkeit, die Durchführung obligatorischer Folgenabschätzungen für die Grundrechte vor der Implementierung oder des Einsatzes eines KI-Systems und obligatorische Prüfungen. All diese Anforderungen sind nicht nur notwendig, um die Rechtmäßigkeit von KI-Systemen zu gewährleisten, sondern auch, um das Vertrauen des Einzelnen in ihre Nutzung durch die Strafverfolgungs- und Strafjustizbehörden zu gewinnen.

 

Schlussendlich fordert der Berichterstatter ein Moratorium für den Einsatz von Gesichtserkennungssystemen zu Strafverfolgungszwecken. Der aktuelle Stand dieser Technologien und die erheblichen Auswirkungen auf die Grundrechte erfordern eine eingehende und offene gesellschaftliche Debatte, um die verschiedenen aufgeworfenen Fragen und die Rechtfertigung für ihren Einsatz zu erörtern.

 


 

 

 

STELLUNGNAHME DES AUSSCHUSSES FÜR BINNENMARKT UND VERBRAUCHERSCHUTZ (3.9.2020)

<CommissionInt>für den Ausschuss für bürgerliche Freiheiten, Justiz und Inneres</CommissionInt>


<Titre>zu dem Thema: Künstliche Intelligenz im Strafrecht und ihre Verwendung durch die Polizei und Justizbehörden in Strafsachen</Titre>

<DocRef>(2020/2016(INI))</DocRef>

Verfasser der Stellungnahme: <Depute>Marcel Kolaja</Depute>

 

 

VORSCHLÄGE

Der Ausschuss für Binnenmarkt und Verbraucherschutz ersucht den federführenden Ausschuss für bürgerliche Freiheiten, Justiz und Inneres, folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

A. in der Erwägung, dass angesichts des positiven gesellschaftlichen Potenzials, aber auch der inhärenten Risiken der künstlichen Intelligenz (KI) die Funktionsweise des digitalen Binnenmarkts verbessert werden sollte, indem die Rechtssicherheit für KI-Anbieter und das Vertrauen und die Sicherheit der Nutzer durch verbesserte Schutzmaßnahmen zur Gewährleistung der Rechtsstaatlichkeit und der Achtung der Grundrechte in diesem Bereich – insbesondere des Rechts auf den Schutz der Privatsphäre und der personenbezogenen Daten, des Rechts auf Gleichbehandlung und Nichtdiskriminierung, des Rechts auf gutes Verwaltungshandeln, des Rechts auf ein faires Verfahren und des Rechts auf ein hohes Verbraucherschutzniveau – gestärkt werden; in der Erwägung, dass ein gemeinsames europäisches Konzept für KI und die Regulierung ihrer Verwendung durch die Polizei und Strafverfolgungsbehörden in Strafsachen erforderlich sind, wenn es gilt, einer Fragmentierung des Binnenmarkts vorzubeugen;

B. in der Erwägung, dass die Erprobung und der Einsatz von KI durch die Polizei und Justizbehörden weit verbreitet ist und unterschiedliche Einsatzbereiche und damit einhergehende Folgen und Risiken mit sich bringt, insbesondere im Hinblick auf Gesichtserkennungssysteme, DNA-Profiling, Systeme zur Vorhersage des örtlichen Kriminalitätsgeschehens, die Extraktion von Mobiltelefondaten, ausgefeilte Suchmaschinen zur Rechtsprechungsrecherche, Online-Streitbeilegung und maschinelles Lernen im Bereich der Rechtspflege;

C. in der Erwägung, dass der Einsatz von KI einen Paradigmenwechsel in der Strafrechtspflege mit sich bringen kann;

D. in der Erwägung, dass dem Bericht der Agentur für Grundrechte zufolge derzeit nur wenige Informationen über die mögliche Nutzung oder Erprobung von Gesichtserkennungstechnologien in den Mitgliedstaaten vorliegen[11];

E. in der Erwägung, dass die Datenschutzbehörden in denjenigen Mitgliedstaaten, in denen Informationen über den Einsatz von Gesichtserkennungstechnologien verfügbar waren, festgestellt haben, dass der Einsatz dieser Technologien gegen Datenschutzrecht verstößt und es an einer Rechtsgrundlage für ihre Verwendung fehlt;

F. in der Erwägung, dass die Union im Bereich des Binnenmarkts durch eine Reform der Verfahren zur Vergabe öffentlicher Aufträge viel bewirken kann, indem sie staatliche Maßnahmen und staatliches Handeln mit sekundären politischen Zielen wie dem Datenschutz und der Nichtdiskriminierung in Einklang bringt;

G. in der Erwägung, dass in der Konzeptions-, Test- und Umsetzungsphase eine in den Datensätzen oder Algorithmen enthaltene Voreingenommenheit zu Diskriminierungen bei der datengesteuerten, auf Algorithmen basierenden Entscheidungsfindung führen kann;

H. in der Erwägung, dass eine auf Grundsätzen beruhende technische Entwicklung und Anwendung der KI erforderlich ist, damit die Einhaltung der Grund- und Menschenrechte sichergestellt ist;

I. in der Erwägung, dass die Europäische Kommission für die Effizienz der Justiz des Europarats am 4. Dezember 2018 eine Ethik-Charta für den Einsatz künstlicher Intelligenz in Justizsystemen veröffentlicht hat, in der ethische Grundsätze für die Nutzung der KI in Justizsystemen festgelegt sind;

J. in der Erwägung, dass bestimmte Einsatzbereiche von KI-Technologien besonders sensibel und missbrauchsanfällig sind, was in der letzten Zeit einige Technologieunternehmen dazu veranlasst hat, keine entsprechende Software mehr anzubieten;

1. vertritt die Auffassung, dass der Einsatz von KI durch die Polizei und die Justizbehörden generell als hochriskant einzustufen ist und – angesichts der Rolle dieser Behörden beim Schutz des öffentlichen Interesses und der Natur ihrer Aufgaben – äußerte Vorsicht und die Einhaltung höchster Datenschutzstandards erfordert; ist der Ansicht, dass es für den Einsatz von KI im Binnenmarkt dringend eines gemeinsamen europäischen Regulierungsrahmens bedarf; vertritt die Auffassung, dass die EU bei der Festlegung von Rechtsvorschriften auf Unionsebene, darunter auch im Bereich des Vergaberechts, auf der Grundlage klarer Regeln, der Grundrechte und ethischer Standards, eine Führungsrolle bei der Entwicklung und Nutzung von KI übernehmen sollte, um in der gesamten EU ein gleich hohes Verbraucherschutzniveau und einheitliche Branchenstandards sicherzustellen, eine bessere Funktionsweise des Binnenmarkts zu ermöglichen und gleichzeitig Innovationen zu fördern und Rechtssicherheit für Unternehmen, insbesondere KMU, zu schaffen; fordert die Kommission auf, die Anwendung der bestehenden Rechtsvorschriften und ihre Durchsetzung zu überprüfen, bevor sie mögliche neue Legislativvorschläge auf den Weg bringt;

2. erkennt an, dass der Einsatz von KI im Justizbereich dazu beitragen kann, die Effizienz und Qualität der Verfahren zu verbessern; betont in diesem Zusammenhang, dass insbesondere die Bestimmungen der Europäischen Menschenrechtskonvention und des Übereinkommens des Europarats zum Schutz des Menschen bei der automatischen Verarbeitung personenbezogener Daten eingehalten werden müssen;

3. fordert die Kommission auf, die auf dem Markt verfügbare KI-Technologie und das Ausmaß ihrer Nutzung durch die Polizei und die Justizbehörden in den einzelnen Ländern zu bewerten;

4. betont, dass KI dazu beitragen sollte, den Verwaltungsaufwand für die Behörden zu verringern und die Effizienz ihrer Entscheidungsfindung zu verbessern, und dass KI-Systeme stets der Aufsicht, Mitarbeit und Koordination durch Menschen unterliegen sollten; betont in diesem Zusammenhang, dass die letztendliche Verantwortung für Entscheidungen in Strafsachen stets bei einem Menschen liegen sollte; betont, wie wichtig fehlerfreie Datensätze sind, wenn diese verwendet werden, um damit zusammenhängende elektronische Behördendienste und Verwaltungsentscheidungen in der gesamten Union zu unterstützen;

5. hebt hervor, wie wichtig es ist, Innovationen, Transparenz, Rückverfolgbarkeit und Überprüfungen zu ermöglichen; betont, dass eine quelloffene KI hierzu beitragen und gleichzeitig die Zusammenarbeit stärken und eine Kultur des Austauschs von Ideen und Erfahrungen im Zusammenhang mit der Nutzung und Erstellung von Algorithmen fördern könnte;

6. ist der Auffassung, dass KI-Anwendungen, die von der Polizei und den Strafverfolgungsbehörden in Strafsachen eingesetzt werden, als Open-Source-Software freigegeben werden sollten, und zwar nach Möglichkeit im Rahmen eines Vergabeverfahrens und in Übereinstimmung mit den geltenden Rechtsvorschriften, darunter auch der Richtlinie (EU) 2019/790 des Europäischen Parlaments und des Rates vom 17. April 2019 über das Urheberrecht und verwandte Schutzrechte im digitalen Binnenmarkt, und dass dabei die Software-Dokumentation und die Algorithmen zugänglich sein sollten, damit die zuständigen Behörden überprüfen können, wie das KI-System zu einem bestimmten Ergebnis gelangt ist; betont, dass im Voraus eine Konformitätsbewertung vorgenommen werden sollte, bei der auch die Auswirkungen auf die Grundrechte analysiert werden; weist darauf hin, dass zum einen die Einhaltung der Rechtsvorschriften und Werte der EU sowie der geltenden Datenschutzvorschriften sichergestellt und jede Gefährdung von Ermittlungen oder strafrechtlichen Verfolgungsmaßnahmen vermieden werden muss, und zum anderen nachvollziehbare und unvoreingenommene Algorithmen, die der Verpflichtung zur Gewährleistung eines hinreichenden Maßes an Transparenz genügen, sowie die Nutzung offener Daten für Schulungen im Einklang mit den geltenden Rechtsvorschriften, einschließlich der Richtlinie (EU) 2019/1024 über offene Daten und die Weiterverwendung von Informationen des öffentlichen Sektors sowie unbeschadet der Verordnung (EU) 2016/679, von wesentlicher Bedeutung sind, wenn es darum geht, sicherzustellen, dass sich Unternehmen, Bürger und Verbraucher zu fairen Kosten auf bessere, zugängliche, diskriminierungsfreie und zuverlässige öffentliche Dienste verlassen und von ihnen profitieren können;

7. betont, dass die KI-gestützte Datenerhebung und Personenüberwachung auf Tatverdächtige und gerichtlich angeordnete Überwachungsmaßnahmen gemäß den geltenden nationalen Rechtsvorschriften beschränkt sein sollte, wobei die Achtung der Privatsphäre und die Unschuldsvermutung, einschließlich derjenigen anderer Nutzer und Verbraucher, die von solchen Systemen und Praktiken unbeabsichtigt betroffen sein könnten, zu berücksichtigen sind; betont, dass in Fällen, in denen die Entscheidungsfindung durch statistische Berechnungen unterstützt wird, durch angemessene fachliche Schulungen und Qualifikationen sichergestellt werden sollte, dass die Entscheidungsträger über das Risiko der Voreingenommenheit aufgeklärt werden, da Datensätze auf diskriminierenden und vorurteilsbelasteten Daten beruhen können; betont in diesem Zusammenhang die Bedeutung der Qualität von Algorithmen und Originaldaten und erinnert daran, dass der Einsatz von KI davon abhängen muss, dass bei der Eingabe und Analyse der Daten der Grundsatz der Nichtdiskriminierung beachtet wird; fordert, dass bei Verfahren zur Vergabe öffentlicher Aufträge über solche Anwendungen Vorkehrungen gegen eine mögliche Voreingenommenheit verlangt werden; fordert den Austausch von Informationen und bewährten Verfahren in Bezug auf die Anwendung von KI-Techniken und -Instrumenten durch Justiz- und Polizeibehörden in den Mitgliedstaaten, um einen fragmentierten Ansatz im Binnenmarkt zu vermeiden und den Schutz der Verbraucher und Bürger in der gesamten Union sicherzustellen;

8. besteht darauf, dass die Mitgliedstaaten im Einklang mit den geltenden strafrechtlichen Vorschriften sicherstellen sollten, dass Bürger und Verbraucher informiert werden, wenn sie von der Nutzung von KI-Anwendungen betroffen sind, und dass den Bürgern einfache, wirksame und leicht zugängliche Beschwerde- und Rechtsbehelfsverfahren, einschließlich gerichtlicher Rechtsbehelfe, zur Verfügung gestellt werden sollten, damit sie ihre Rechte wirksam wahrnehmen können;

9. weist auf die hohen Risiken bei bestimmten Arten von KI hin, darunter Technologien zur Gesichtserkennung im öffentlichen Raum, die automatisierte Verhaltenserkennung und Profilerstellung, um Menschen an den Grenzen in Risikokategorien einzuteilen, die biometrische Identifikation und Erkennung für Massenüberwachung, die Bewertung der Bürger in großem Umfang sowie die vorausschauende Polizeiarbeit, und fordert die Kommission auf, Vorschriften für die Beschaffung und Verwendung solcher Technologien zu erlassen, um das Risiko des Missbrauchs auszuschließen; begrüßt in diesem Zusammenhang die laufenden Arbeiten der Kommission zur Bewertung des Einsatzes biometrischer Technologien und zur Prüfung der Regulierungsoptionen – einschließlich eines risiko-basierten Ansatzes und eines Verbots in bestimmten Situationen – sowie die Einführung erforderlicher Schutzmaßnahmen, wenn der Einsatz solcher Technnologien gerechtfertigt ist;

10. betont, dass der hoheitliche Ermessensspielraum der Richter und Einzelfallentscheidungen beibehalten werden müssen, um zu verhindern, dass es zur Standardisierung von Entscheidungen auf der Grundlage rein statistischer Berechnungen kommt.


ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme

3.9.2020

 

 

 

Ergebnis der Schlussabstimmung

+:

–:

0:

40

4

0

Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder

Alex Agius Saliba, Andrus Ansip, Alessandra Basso, Brando Benifei, Adam Bielan, Hynek Blaško, Biljana Borzan, Vlad-Marius Botoş, Markus Buchheit, Dita Charanzová, Deirdre Clune, David Cormand, Petra De Sutter, Carlo Fidanza, Evelyne Gebhardt, Sandro Gozi, Maria Grapini, Svenja Hahn, Virginie Joron, Eugen Jurzyca, Arba Kokalari, Marcel Kolaja, Kateřina Konečná, Andrey Kovatchev, Jean-Lin Lacapelle, Maria-Manuel Leitão-Marques, Morten Løkkegaard, Adriana Maldonado López, Antonius Manders, Beata Mazurek, Leszek Miller, Dan-Ștefan Motreanu, Kris Peeters, Anne-Sophie Pelletier, Christel Schaldemose, Andreas Schwab, Tomislav Sokol, Ivan Štefanec, Kim Van Sparrentak, Marion Walsmann, Marco Zullo

Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter

Maria da Graça Carvalho, Anna Cavazzini, Krzysztof Hetman

 


NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

40

+

PPE

Maria da Graça Carvalho, Deirdre Clune, Krzysztof Hetman, Arba Kokalari, Andrey Kovatchev, Antonius Manders, Dan-Ștefan Motreanu, Kris Peeters, Andreas Schwab, Tomislav Sokol, Ivan Štefanec, Marion Walsmann

S&D

Alex Agius Saliba, Brando Benifei, Biljana Borzan, Evelyne Gebhardt, Maria Grapini, Maria-Manuel Leitão-Marques, Adriana Maldonado López, Leszek Miller, Christel Schaldemose

RENEW

Andrus Ansip, Vlad-Marius Botoş, Dita Charanzová, Sandro Gozi, Svenja Hahn, Morten Løkkegaard

ID

Hynek Blaško

Verts/ALE

Anna Cavazzini, David Cormand, Petra De Sutter, Marcel Kolaja, Kim Van Sparrentak

ECR

Adam Bielan, Carlo Fidanza, Eugen Jurzyca, Beata Mazurek

GUE/NGL

Kateřina Konečná, Anne-Sophie Pelletier

NI

Marco Zullo

 

4

-

ID

Alessandra Basso, Markus Buchheit, Virginie Joron, Jean-Lin Lacapelle

 

0

0

 

 

 

Erklärung der benutzten Zeichen:

+ : dafür

- : dagegen

0 : Enthaltungen

 

 


 

 

STELLUNGNAHME DES RECHTSAUSSCHUSSES (15.9.2020)

<CommissionInt>für den Ausschuss für bürgerliche Freiheiten, Justiz und Inneres</CommissionInt>


<Titre>zu dem Thema: Künstliche Intelligenz im Strafrecht und ihre Verwendung durch die Polizei und Justizbehörden in Strafsachen</Titre>

<DocRef>(2020/2016(INI))</DocRef>

Verfasser der Stellungnahme: <Depute>Angel Dzhambazki</Depute>

 

 

VORSCHLÄGE

Der Rechtsausschuss ersucht den federführenden Ausschuss für bürgerliche Freiheiten, Justiz und Inneres, folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

A. in der Erwägung, dass das Recht auf ein faires Verfahren ein grundlegendes und rechtsverbindliches Recht ist, das in der Charta der Grundrechte der Europäischen Union und in der Europäischen Menschenrechtskonvention zu Strafverfolgungszwecken verankert ist; in der Erwägung, dass dies während des gesamten Strafverfahrens, einschließlich der Strafverfolgung, gilt und dass die Wahrung dieses Rechts in allen Phasen des Verfahrens das Ergreifen von Maßnahmen, einschließlich technischer Maßnahmen, untersagt, die unmittelbar oder mittelbar zur Folge haben, dass dem Recht auf Verteidigung die Substanz entzogen wird; in der Erwägung, dass die mit diesem Grundsatz verbundenen Garantien im Strafrecht strenger sind, insbesondere die eines „unabhängigen Gerichts“, der „Gleichheit vor dem Gesetz“ und der Unschuldsvermutung; in der Erwägung, dass diese Rechte unter allen Umständen gewahrt werden müssen, insbesondere im Zusammenhang mit der Nutzung künstlicher Intelligenz (KI) , zumal KI-gestützte Technologien Auswirkungen auf verschiedene Menschenrechte haben könnten;

B. in der Erwägung, dass der Schutz personenbezogener Daten im Einklang mit der Allgemeinen Datenschutzverordnung (GDPR)[12] und gegebenenfalls anderen einschlägigen Rechtsvorschriften jederzeit gilt;

C. in der Erwägung, dass die KI und damit zusammenhängende Technologien, einschließlich ihrer eigenständigen Lernfähigkeit, stets ein gewisses Eingreifen durch den Menschen erfordern;

D. in der Erwägung, dass die KI das Potenzial besitzt, zu einem festen Bestandteil von Strafrechtssystemen zu werden;

E. in der Erwägung, dass KI und verwandte Technologien eine Priorität für die Union sind, wenn man die raschen Fortschritte im Technologiesektor und die Bedeutung der Wachsamkeit hinsichtlich der derzeitigen und künftigen Auswirkungen auf das einzigartige europäische System der Rechte des geistigen Eigentums berücksichtigt; in der Erwägung, dass der Einsatz künstlicher Intelligenz und verwandter Technologien in einer Vielzahl von Bereichen bereits umgesetzt wird, z.B. in den Bereichen Robotik, Verkehr und der Gesundheitsversorgung, um nur einige zu nennen;

F. in der Erwägung, dass Technologien wie die künstliche Intelligenz und verwandte Technologien im Bereich des Strafrechts mit dem Ziel eingesetzt werden könnten, die Kriminalitätsraten zu senken, bestimmte Verfahren durch ihren Einsatz bei der statistischen Datenanalyse in der Kriminalitätsanalyse und -prävention zu erleichtern und Straftaten aufzudecken und zu untersuchen; in der Erwägung, dass die Union ihre Kapazitäten im Hinblick auf Software, Datenspeicherung und KI-Technologien weiter ausbauen sollte, um die Unzulänglichkeiten im Bereich des Datenschutzes und der Privatsphäre zu verbessern;

G. in der Erwägung, dass diese Technologien genutzt werden können, um anonymisierte statistische Datenbanken zu erstellen, die Behörden, Wissenschaftlern und Gesetzgebern helfen, Zahlen zu analysieren und eine effiziente Politik zu konzipieren, um Kriminalität zu verhindern und Straftäter bei der erfolgreichen Wiedereingliederung in die Gesellschaft zu unterstützen;

H. in der Erwägung, dass der Rechtsrahmen für KI und ihre Anwendung auf das Strafrecht erforderlichenfalls legislative Maßnahmen umfassen sollte, angefangen bei verbindlichen Maßnahmen zur Verhinderung von Praktiken, die zweifellos die Grundrechte und -freiheiten untergraben würden;

I. in der Erwägung, dass aufgrund der grundsätzlichen Undurchsichtigkeit der KI-Systeme die neuen Instrumente, die im Kontext der Strafjustiz eingesetzt werden, im Widerspruch zu einigen Grundfreiheiten stehen könnten;

J. in der Erwägung, dass mögliche rechtliche Risiken im Zusammenhang mit der Anwendung von KI-Systemen in Strafsachen verhindert und abgeschwächt werden müssen, um die Grundrechte von Verdächtigen und Beschuldigten in Strafverfahren zu schützen;

1. betont, dass es von entscheidender Bedeutung ist, die Risiken der Nutzung von KI-Systemen, wie Diskriminierung und Verletzung der Privatsphäre, gebührend zu bewerten und alle ethischen und operativen Auswirkungen der Nutzung der KI und verwandter Technologien in unserer Gesellschaft, insbesondere durch staatliche Behörden, die Polizei und die Justizbehörden innerhalb der Strafrechtssysteme, sowie haftungs- und beweisrechtliche Fragen im Falle potenzieller Fehler im Zusammenhang mit dem Betrieb von KI-Systemen zu berücksichtigen; ist der Auffassung, dass ein klarer Regelungsrahmen notwendig ist, um Grenzen zu ziehen und die notwendigen Schutzvorkehrungen bereitzustellen; ist der Ansicht, dass ethische Grundsätze, wie sie in der Europäischen Ethik-Charta des Europarates über den Einsatz künstlicher Intelligenz in Justizsystemen festgelegt sind, von öffentlichen und privaten Einrichtungen, die für die anfängliche Gestaltung und Entwicklung von KI-Tools und -Diensten verantwortlich sind, berücksichtigt und eingehalten werden sollten, damit alle gesellschaftlichen Akteure umfassende Informationen über die Unternehmensstrukturen von Unternehmen, die KI-Programme erstellen, erhalten können; betont die Bedeutung des Faktors Mensch, der bei der Verwendung von auf KI-Technologien basierender Software und innerhalb des Strafrechtssystems immer der letzte Entscheidungsträger sein sollte, sei es bei polizeilichen Vollzugsaufgaben oder der Strafjustiz; bekräftigt, dass biometrische Erkennungssoftware nur in eindeutig gerechtfertigten Situationen eingesetzt werden sollte;

2. betont, dass ein Gleichgewicht zwischen dem Einsatz von KI-Systemen bei Strafverfahren und der Einhaltung aller in den europäischen und internationalen Rechtsvorschriften vorgesehenen Grundrechte und Verfahrensgarantien eingerichtet und sichergestellt werden muss;

3. betont, dass es wichtig ist, dass beim Einsatz künstlicher Intelligenz die Grundsätze der Rechtsstaatlichkeit und der Unabhängigkeit der Justiz im Entscheidungsprozess gebührend gewahrt bleiben;

4. fordert die Kommission auf, die Vorschriften über den Schutz und die gemeinsame Nutzung von Daten zu präzisieren, die von autorisierten Behörden, die zur Erhebung und/oder Verarbeitung solcher Daten, einschließlich nicht personenbezogener und anonymisierter Daten, die eine direkte oder indirekte Identifizierung von Personen ermöglichen, befugt sind, durch künstliche Intelligenz und damit zusammenhängende Technologien unter voller Beachtung der Datenschutz-Grundverordnung und der Datenschutzrichtlinie für elektronische Kommunikation erhoben werden[13]; betont ferner, dass das Recht auf ein faires Verfahren beinhalten sollte, dass Bürger und Prozessparteien das Recht auf Zugang zu diesen Daten erhalten, insbesondere wenn diese Daten gemäß der Datenschutz-Grundverordnung von ihren persönlichen Geräten oder Ausrüstungen aus erhoben werden, aber auch zum Zwecke ihres Rechts auf Verteidigung, sobald ihre gesetzliche Haftung in Anspruch genommen wird;

5. unterstreicht, wie wichtig es ist, die Transparenz der KI-Systeme, die in Strafsachen eingesetzt werden, zu erhöhen, um eine gerichtliche Aufsicht zu ermöglichen, und sicherzustellen, dass die Entwickler von KI und damit zusammenhängenden Technologien ein ausreichendes Maß an Transparenz der Algorithmen und algorithmischen Entscheidungen zum Nutzen der zuständigen Behörden und der Bürger gewährleisten; betont das allgemeine Recht der Parteien auf Zugang zu Verfahren im Zusammenhang mit der Datenerhebung, den Prognosebeurteilungen für die Kriminalprävention, der Katalogisierung und Auswertung krimineller Beweismittel und der Feststellung, ob ein Verdächtiger eine Gefahr für die Gesellschaft darstellen könnte, wenn geltendes EU-Recht vorliegt, z. B. die Richtlinie (EU) 2016/680[14], dies nicht einschränkt; unterstreicht darüber hinaus, wie wichtig es ist, Zugang zu den von der KI produzierten oder von der KI unterstützten Ergebnissen zu haben und letztlich die Verantwortung für die Meldeverfahren und die Rolle der KI und damit zusammenhängender Technologien in Strafsachen zu definieren, insbesondere im Hinblick auf die Analyse großer Mengen von Beweisen bei strafrechtlichen Ermittlungen und die Identifizierung von Verdächtigen oder Opfern von Verbrechen; weist erneut auf die Bedeutung von Fragen im Zusammenhang mit der Regierungsführung, den Grundrechten und Verfahrensgarantien, der Nichtdiskriminierung, der Rechenschaftspflicht, der Transparenz, der Unparteilichkeit, der Fairness und der intellektuellen Integrität der KI und damit zusammenhängender Technologien hin und betont gleichzeitig die Notwendigkeit, jederzeit eine menschliche Aufsicht zu gewährleisten; besteht darauf, dass die Justizbehörden verpflichtet werden müssen, ihre Entscheidungen zu begründen, auch wenn sie Beweiselemente verwenden, die durch KI-gestützte Technologien erbracht werden, die ein hohes Maß an gerichtlicher Kontrolle und strenge Zulässigkeitskriterien erfordern, im Einklang mit seiner Entschließung vom 16. Februar 2017 zur Robotik[15], in der betont wird, dass es immer möglich sein sollte, die Gründe für jede Entscheidung mit Hilfe von KI zu liefern, die sich auf das Leben einer oder mehrerer Personen auswirken kann; erinnert an die Unterscheidung zwischen dem Einsatz von KI und damit zusammenhängenden Technologien in der Verbrechensverhütung und der Strafverfolgung; betont die untergeordnete Rolle, die KI-Technologien zu jeder Zeit erfüllen müssen;

6. erinnert daran, dass die gravierendsten missbräuchlichen Verwendungen der KI und damit zusammenhängender Technologien, wie z.B. Massenüberwachung, Erstellung von Profilen, vorausschauende Polizeiarbeit, wodurch eingeschätzt werden könnte, wo Verbrechen wahrscheinlich stattfinden werden, wo sich Verdächtige wahrscheinlich aufhalten, die Wahrscheinlichkeit, dass eine Person viktimisiert wird, schutzbedürftig ist, als vermisst gemeldet wird oder Opfer oder Verursacher häuslicher Gewalt bzw. einer Sexualstraftat ist, sowie Verstöße gegen das Recht auf ein ordnungsgemäßes Gerichtsverfahren von öffentlichen Behörden, die in der Strafverfolgung tätig sind, ausgehen können;

7. unterstreicht die Bedeutung von automatisch generierten Daten, die bei der Sammlung und Analyse von Beweisen verwendet werden; erinnert daran, dass sowohl bei der Prävention von Straftaten als auch in der Strafjustiz die Ursache für Fehler oder möglichen Missbrauch bei der Analyse der Dateneingabe und -ausgabe sowie deren Interpretation beim Menschen liegen kann, und fordert daher einen vorsichtigen Ansatz bei der Analyse der Wirksamkeit und Angemessenheit des Einsatzes von KI-Technologien in allen Entscheidungsprozessen;

8. fordert alle zuständigen Behörden, insbesondere Strafverfolgungsbehörden wie Polizei und Justiz, auf, die Öffentlichkeit zu informieren und für ausreichende Transparenz hinsichtlich ihres Einsatzes der KI und damit zusammenhängender Technologien bei der Ausübung ihrer Befugnisse zu sorgen, insbesondere in strafrechtlichen Angelegenheiten;

9. hält es für wesentlich, dass die Anwendung von KI-Systemen im Rahmen von Strafverfahren die Achtung der Grundprinzipien des Strafverfahrens, einschließlich des Rechts auf ein faires Verfahren, sowie des Grundsatzes der Unschuldsvermutung und des Rechts auf einen wirksamen Rechtsbehelf und die Überwachung und unabhängige Kontrolle der automatisierten Entscheidungsfindungssysteme gewährleisten sollte;

10. unterstreicht die Bedeutung des Prinzips der Steuerung durch den Menschen (human-in-command principle ) und der Überprüfung der von KI-produzierten oder von KI-gestützten Ergebnisse; erinnert an die Bedeutung von Fragen im Zusammenhang mit Governance, Transparenz, Erklärungsfähigkeit und Rechenschaftspflicht, um die Achtung der Grundrechte zu gewährleisten und mögliche Fehler in der KI zu vermeiden;

11. betont seinen vorsichtigen Ansatz bei der Verwendung biometrischer Erkennungssoftware; hebt die Zweideutigkeit hervor, die sich aus einer inhärenten Unzulänglichkeit des Datenschutzes sowie aus Verletzungen des Datenschutzes ergibt; nimmt mit Besorgnis die Zusammenführung personenbezogener Daten von Bürgern in der Europäischen Union durch das Ausland, durch Entwickler und Anbieter aus dem privaten Sektor zur Kenntnis;

12. erinnert daran, dass in Übereinstimmung mit den geltenden EU-Datenschutzvorschriften und der Charta der Grundrechte der Europäischen Union die AI nur dann für die Zwecke der biometrischen Fernerkennung verwendet werden darf, wenn eine solche Verwendung gebührend gerechtfertigt und verhältnismäßig ist und angemessenen Garantien unterliegt; begrüßt die Empfehlungen der Hochrangigen Expertengruppe für KI der Kommission für einen verhältnismäßigen, fundierten und risikobasierten Einsatz biometrischer Erkennungstechnologie im Einklang mit den Vorschriften über den Schutz personenbezogener Daten; schlägt vor, dass die Anwendung dieser Technologie nach den geltenden Rechtsvorschriften eindeutig gerechtfertigt sein muss, und dass die Kommission prüft, wie diese Empfehlungen unter besonderer Berücksichtigung der Einhaltung des Rechts auf Privatsphäre und auf Schutz personenbezogener Daten wirksam integriert werden können;

13. ist der festen Überzeugung, dass Entscheidungen, die von KI oder damit zusammenhängenden Technologien, insbesondere in den Bereichen Justiz und Strafverfolgung, getroffen werden und die einen direkten und erheblichen Einfluss auf die Rechte und Pflichten natürlicher oder juristischer Personen haben, einer rigorosen Überprüfung durch den Menschen und einem ordnungsgemäßen Verfahren unterzogen werden sollten;

14. hält es für notwendig zu analysieren, ob es zweckmäßig ist, dass Entscheidungen der Strafverfolgungsbehörden teilweise an die KI delegiert werden können, und wenn ja, unter welchen Bedingungen und in welcher Hinsicht eine solche Verwendung der KI erlaubt werden könnte; ist der Ansicht, dass KI und damit zusammenhängende Technologien, die Entscheidungen der öffentlichen Hand ersetzen können, mit äußerster Vorsicht behandelt werden sollten; betont die Notwendigkeit, strenge ethische Grundsätze und spezifische Verhaltenskodizes für die Gestaltung und den Einsatz der KI zu entwickeln, um Strafverfolgungs- und Justizbehörden zu unterstützen, falls Entscheidungen der Strafverfolgung an die KI delegiert werden; verweist auf die laufenden Arbeiten im Rechtsausschuss.


ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme

10.9.2020

 

 

 

Ergebnis der Schlussabstimmung

+:

–:

0:

22

3

0

Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder

Manon Aubry, Gunnar Beck, Geoffroy Didier, Angel Dzhambazki, Ibán García Del Blanco, Jean-Paul Garraud, Esteban González Pons, Mislav Kolakušić, Gilles Lebreton, Karen Melchior, Jiří Pospíšil, Franco Roberti, Marcos Ros Sempere, Liesje Schreinemacher, Stéphane Séjourné, Raffaele Stancanelli, Marie Toussaint, Adrián Vázquez Lázara, Axel Voss, Marion Walsmann, Tiemo Wölken, Lara Wolters, Javier Zarzalejos

Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter

Heidi Hautala, Emil Radev

 


NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

22

+

EPP

Geoffroy Didier, Esteban González Pons, Jiří Pospíšil, Emil Radev, Axel Voss, Marion Walsmann, Javier Zarzalejos

S&D

Ibán García Del Blanco, Franco Roberti, Marcos Ros Sempere, Tiemo Wölken, Lara Wolters

RENEW

Karen Melchior, Liesje Schreinemacher, Stéphane Séjourné, Adrián Vázquez Lázara

ID

Gunnar Beck, Jean-Paul Garraud, Gilles Lebreton

ECR

Angel Dzhambazki, Raffaele Stancanelli

NI

Mislav Kolakušić

 

3

-

VERTS/ALE

Heidi Hautala, Marie Toussaint

GUE/NGL

Manon Aubry

 

0

0

 

 

 

Erklärung der benutzten Zeichen:

+ : dafür

- : dagegen

0 : Enthaltung

 


 

 

ANGABEN ZUR ANNAHME IM FEDERFÜHRENDEN AUSSCHUSS

Datum der Annahme

29.6.2021

 

 

 

Ergebnis der Schlussabstimmung

+:

–:

0:

36

24

6

Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder

Magdalena Adamowicz, Konstantinos Arvanitis, Malik Azmani, Katarina Barley, Pernando Barrena Arza, Pietro Bartolo, Nicolas Bay, Vladimír Bilčík, Vasile Blaga, Ioan-Rareş Bogdan, Patrick Breyer, Saskia Bricmont, Joachim Stanisław Brudziński, Jorge Buxadé Villalba, Damien Carême, Caterina Chinnici, Marcel de Graaff, Anna Júlia Donáth, Lena Düpont, Cornelia Ernst, Laura Ferrara, Nicolaus Fest, Jean-Paul Garraud, Maria Grapini, Sylvie Guillaume, Andrzej Halicki, Evin Incir, Sophia in ‘t Veld, Patryk Jaki, Marina Kaljurand, Fabienne Keller, Peter Kofod, Łukasz Kohut, Moritz Körner, Alice Kuhnke, Jeroen Lenaers, Juan Fernando López Aguilar, Lukas Mandl, Roberta Metsola, Nadine Morano, Javier Moreno Sánchez, Maite Pagazaurtundúa, Nicola Procaccini, Emil Radev, Paulo Rangel, Terry Reintke, Diana Riba i Giner, Ralf Seekatz, Michal Šimečka, Birgit Sippel, Sara Skyttedal, Martin Sonneborn, Tineke Strik, Ramona Strugariu, Annalisa Tardino, Tomas Tobé, Dragoş Tudorache, Milan Uhrík, Tom Vandendriessche, Bettina Vollath, Elissavet Vozemberg-Vrionidi, Jadwiga Wiśniewska, Elena Yoncheva, Javier Zarzalejos

Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter

Tanja Fajon, Miguel Urbán Crespo

 

NAMENTLICHE SCHLUSSABSTIMMUNG IM FEDERFÜHRENDEN AUSSCHUSS

36

+

NI

Laura Ferrara, Martin Sonneborn

Renew

Malik Azmani, Anna Júlia Donáth, Sophia in ‘t Veld, Fabienne Keller, Moritz Körner, Maite Pagazaurtundúa, Michal Šimečka, Ramona Strugariu, Dragoş Tudorache

S&D

Katarina Barley, Pietro Bartolo, Caterina Chinnici, Tanja Fajon, Maria Grapini, Sylvie Guillaume, Evin Incir, Marina Kaljurand, Łukasz Kohut, Juan Fernando López Aguilar, Javier Moreno Sánchez, Birgit Sippel, Bettina Vollath, Elena Yoncheva

The Left

Konstantinos Arvanitis, Pernando Barrena Arza, Cornelia Ernst, Miguel Urbán Crespo

Verts/ALE

Patrick Breyer, Saskia Bricmont, Damien Carême, Alice Kuhnke, Terry Reintke, Diana Riba i Giner, Tineke Strik

24

-

ID

Nicolas Bay, Nicolaus Fest, Jean-Paul Garraud, Marcel de Graaff, Peter Kofod, Annalisa Tardino, Tom Vandendriessche

NI

Milan Uhrík

PPE

Magdalena Adamowicz, Vladimír Bilčík, Vasile Blaga, Ioan-Rareş Bogdan, Lena Düpont, Andrzej Halicki, Jeroen Lenaers, Lukas Mandl, Roberta Metsola, Nadine Morano, Paulo Rangel, Ralf Seekatz, Sara Skyttedal, Tomas Tobé, Elissavet Vozemberg-Vrionidi, Javier Zarzalejos

6

0

ECR

Joachim Stanisław Brudziński, Jorge Buxadé Villalba, Patryk Jaki, Nicola Procaccini, Jadwiga Wiśniewska

PPE

Emil Radev

 

Erklärung der benutzten Zeichen:

+ : dafür

- : dagegen

0 : Enthaltung

 

[1] ABl. L 119 vom 4.5.2016, S. 1.

[2] ABl. L 119 vom 4.5.2016, S. 89.

[3] ABl. L 295 vom 21.11.2018, S. 39.

[4] ABl. L 201 vom 31.7.2002, S. 37.

[5] ABl. L 135 vom 24.5.2016, S. 53.

[6] Angenommene Texte, P9_TA(2020)0173.

[7] ABl. C 263 vom 25.7.2018, S. 82.

[8] Beschluss 2008/615/JI des Rates vom 23. Juni 2008 zur Vertiefung der grenzüberschreitenden Zusammenarbeit, insbesondere zur Bekämpfung des Terrorismus und der grenzüberschreitenden Kriminalität (ABl. L 210 vom 6.8.2008, S. 1).

[9] Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates (ABl. L 119 vom 4.5.2016, S. 89).

[11] Agentur der Europäischen Union für Grundrechte: Gesichtserkennungstechnologie: Grundrechtsfragen im Zusammenhang mit der Strafverfolgung (FRA Focus), 27. November 2019

https://fra.europa.eu/sites/default/files/fra_uploads/fra-2019-facial-recognition-technology-focus-paper-1_en.pdf

[12] Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (ABl. L 119 vom 4.5.2016, S. 1).

[13] Richtlinie 2002/58/EG des Europäischen Parlaments und des Rates vom 12. Juli 2002 über die Verarbeitung personenbezogener Daten und den Schutz der Privatsphäre in der elektronischen Kommunikation (ABl. L 201 vom 31.7.2002, S. 37).

[14] Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates (ABl. L 119 vom 4.5.2016, S. 89).

[15] Entschließung des Europäischen Parlaments vom 16. Februar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik (ABl. C 252 vom 18.7.2018, S. 239).

Letzte Aktualisierung: 1. September 2021Rechtlicher Hinweis - Datenschutzbestimmungen