Index 
 Zurück 
 Vor 
 Vollständiger Text 
Verfahren : 2020/2013(INI)
Werdegang im Plenum
Entwicklungsstadium in Bezug auf das Dokument : A9-0001/2021

Eingereichte Texte :

A9-0001/2021

Aussprachen :

Abstimmungen :

Angenommene Texte :

P9_TA(2021)0009

Angenommene Texte
PDF 199kWORD 67k
Mittwoch, 20. Januar 2021 - Brüssel
Künstliche Intelligenz: Fragen der Auslegung und Anwendung von internationalen Rechtsvorschriften
P9_TA(2021)0009A9-0001/2021

Entschließung des Europäischen Parlaments vom 20. Januar 2021 zu dem Thema „Künstliche Intelligenz: Fragen der Auslegung und Anwendung von für die EU geltenden internationalen Rechtsvorschriften in Bezug auf die zivile und militärische Nutzung und der Zuständigkeit des Staates außerhalb des Anwendungsbereichs der Strafgerichtsbarkeit“ (2020/2013(INI))

Das Europäische Parlament,

–  unter Hinweis auf die Präambel des Vertrags über die Europäische Union sowie auf die Artikel 2, 3, 10, 19, 20, 21, 114, 167, 218, 225 und 227,

–  unter Hinweis auf das in den Artikeln 20 und 227 des Vertrags über die Arbeitsweise der Europäischen Union verankerte Petitionsrecht,

–  unter Hinweis auf die Charta der Grundrechte der Europäischen Union,

–  unter Hinweis auf die Richtlinie 2000/43/EG des Rates vom 29. Juni 2000 zur Anwendung des Gleichbehandlungsgrundsatzes ohne Unterschied der Rasse oder der ethnischen Herkunft(1) (Richtlinie zur Rassengleichheit),

–  unter Hinweis auf die Richtlinie 2000/78/EG des Rates vom 27. November 2000 zur Festlegung eines allgemeinen Rahmens für die Verwirklichung der Gleichbehandlung in Beschäftigung und Beruf(2) (Richtlinie über die Gleichbehandlung in Beschäftigung und Beruf),

–  unter Hinweis auf die Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung)(3) (DSGVO) und die Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates(4),

–  unter Hinweis auf die Verordnung (EU) 2018/1488 des Rates vom 28. September 2018 zur Gründung des Gemeinsamen Unternehmens für europäisches Hochleistungsrechnen(5),

–  unter Hinweis auf den Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates vom 6. Juni 2018 zur Aufstellung des Programms „Digitales Europa“ für den Zeitraum 2021–2027, (COM(2018)0434),

–  unter Hinweis auf seine Entschließung vom 16. Februar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik(6),

–  unter Hinweis auf seine Entschließung vom 1. Juni 2017 zur Digitalisierung der europäischen Industrie(7),

–  unter Hinweis auf seine Entschließung vom 12. September 2018 zu autonomen Waffensystemen(8),

–  unter Hinweis auf seine Entschließung vom 11. September 2018 zu der Gleichstellung von Sprachen im digitalen Zeitalter(9),

–  unter Hinweis auf seine Entschließung vom 12. Februar 2019 zu einer umfassenden europäischen Industriepolitik in Bezug auf künstliche Intelligenz (KI) und Robotik(10),

–  unter Hinweis auf die Mitteilung der Kommission an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen vom 11. Dezember 2019 zum europäischen Grünen Deal (COM(2019)0640),

–  unter Hinweis auf das Weißbuch der Kommission vom 19. Februar 2020 mit dem Titel „Zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen“ (COM(2020)0065),

–  unter Hinweis auf die Mitteilung der Kommission vom 19. Februar 2020 an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen mit dem Titel „Eine europäische Datenstrategie“ (COM(2020)0066),

–  unter Hinweis auf die Mitteilung der Kommission vom 19. Februar 2020 an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen mit dem Titel „Gestaltung der digitalen Zukunft Europas“ (COM(2020)0067),

–  unter Hinweis auf den Bericht der von der Kommission im Juni 2018 eingesetzten Hochrangigen Sachverständigengruppe für künstliche Intelligenz vom 8. April 2019 mit dem Titel „Ethics Guidelines for Trustworthy AI“ (Ethikleitlinien für eine vertrauenswürdige KI),

–  unter Hinweis auf das Rahmenübereinkommen des Europarats zum Schutz nationaler Minderheiten, das Protokoll Nr. 12 zur Konvention zum Schutz der Menschenrechte und Grundfreiheiten und die Europäische Charta der Regional- oder Minderheitensprachen,

–  unter Hinweis auf die Europäische Ethik-Charta über den Einsatz künstlicher Intelligenz in Justizsystemen, die die Arbeitsgruppe des Europarats zur Qualität der Justiz (CEPEJ-GT-QUAL) im Dezember 2018 verabschiedet hat;

–  unter Hinweis auf die Empfehlung des OECD-Rates zur künstlichen Intelligenz, die am 22. Mai 2019 angenommen wurde,

–  gestützt auf Artikel 54 seiner Geschäftsordnung,

–  unter Hinweis auf die Stellungnahmen des Ausschusses für auswärtige Angelegenheiten, des Ausschusses für Binnenmarkt und Verbraucherschutz, des Ausschusses für Verkehr und Tourismus und des Ausschusses für bürgerliche Freiheiten, Justiz und Inneres,

–  unter Hinweis auf den Bericht des Rechtsausschusses (A9-0001/2021),

Einführung

A.  in der Erwägung, dass künstliche Intelligenz (KI), Robotik und damit zusammenhängende Technologien schnell entwickelt werden und direkte Auswirkungen auf alle Aspekte unserer Gesellschaft haben, einschließlich grundlegender sozialer und wirtschaftlicher Prinzipien und Werte;

B.  In der Erwägung, dass KI eine Revolution in der Militärdoktrin und -ausrüstung durch einen tiefgreifenden Wandel in der Einsatzweise von Armeen bewirkt, was hauptsächlich auf die Integration und Nutzung neuer Technologien und autonomer Fähigkeiten zurückzuführen ist;

C.  in der Erwägung, dass die Entwicklung und Gestaltung der sogenannten „künstlichen Intelligenz“, der Robotik und damit zusammenhängender Technologien durch Menschen erfolgt, deren Entscheidungen über den potenziellen Nutzen dieser Technologien für die Gesellschaft bestimmen;

D.  in der Erwägung, dass mit einem gemeinsamen Rahmen der Union die Entwicklung, der Einsatz und die Nutzung von KI, Robotik und damit zusammenhängenden Technologien abgedeckt und die Achtung der Menschenwürde und der Menschenrechte, wie sie in der Charta der Grundrechte der Europäischen Union verankert sind, sichergestellt werden müssen;

E.  in der Erwägung, dass die Union und ihre Mitgliedstaaten eine besondere Verantwortung dafür tragen sicherzustellen, dass KI, Robotik und damit zusammenhängende Technologien – da sie grenzüberschreitend eingesetzt werden können – auf den Menschen ausgerichtet sind, d. h. grundsätzlich für den Einsatz im Dienste der Menschheit und des Gemeinwohls bestimmt sind, um zum Wohlergehen und allgemeinen Interesse ihrer Bürger beizutragen; in der Erwägung, dass die Union den Mitgliedstaaten dabei helfen sollte, dies zu erreichen, insbesondere denjenigen, die begonnen haben, über die mögliche Entwicklung von Rechtsnormen oder Gesetzesänderungen in diesem Bereich nachzudenken;

F.  in der Erwägung, dass die Unionsbürger von einem geeigneten, effektiven, transparenten und schlüssigen Regulierungskonzept auf Unionsebene profitieren könnten, das hinreichend klare Bedingungen festlegt, unter denen Unternehmen Anwendungen entwickeln und ihre Geschäftsmodelle planen können, während gleichzeitig sichergestellt wird, dass die Union und ihre Mitgliedstaaten die Kontrolle über die zu erlassenden Vorschriften behalten, sodass sie nicht gezwungen sind, von Dritten festgelegte Normen zu übernehmen oder zu akzeptieren;

G.  in der Erwägung, dass ethische Leitlinien wie die von der hochrangigen Expertengruppe für künstliche Intelligenz angenommenen Grundsätze ein guter Anfang sind, jedoch nicht ausreichen, um sicherzustellen, dass Unternehmen fair handeln, und um für einen wirksamen Schutz von Einzelpersonen zu sorgen;

H.  in der Erwägung, dass aufgrund dieser besonderen Verantwortung Fragen der Auslegung und Anwendung des Völkerrechts im Zusammenhang mit der aktiven Teilnahme der EU an internationalen Verhandlungen insofern geprüft werden müssen, als die EU von der zivilen und militärischen Nutzung dieser Art von KI, Robotik und damit zusammenhängenden Technologien betroffen ist und Fragen der Zuständigkeit des Staates hinsichtlich solcher Technologien außerhalb des Bereichs der Strafjustiz liegen;

I.  in der Erwägung, dass es von wesentlicher Bedeutung ist, einen angemessenen und umfassenden Rechtsrahmen für die ethischen Aspekte dieser Technologien sowie für Haftung, Transparenz und Rechenschaftspflicht zu schaffen (insbesondere für KI, Robotik und damit zusammenhängende Technologien, die als hochriskant gelten) in der Erwägung, dass sich in diesem Rahmen widerspiegeln muss, dass die intrinsisch europäischen und universellen humanistischen Werte auf die gesamte Wertschöpfungskette bei der Entwicklung, Umsetzung und Nutzung von KI anwendbar sind; in der Erwägung, dass dieser ethische Rahmen für die Entwicklung (einschließlich Forschung und Innovation), die Umsetzung und Nutzung von Folgenabschätzungen unter uneingeschränkter Achtung des Unionsrechts und der in der Charta der Grundrechte der Europäischen Union verankerten Werte gelten muss;

J.  in der Erwägung, dass der Zweck dieser Prüfung darin besteht zu untersuchen, inwieweit sich die Regeln des Völkerrechts und des Internationalen Privatrechts dafür eignen, diese Technologien zu regeln, sowie die Herausforderungen und Risiken aufzuzeigen, die diese Technologien für die Zuständigkeit des Staates darstellen, damit sie angemessen und verhältnismäßig bewältigt werden können;

K.  in der Erwägung, dass die Kommission in ihrem Weißbuch nicht die militärischen Aspekte der Nutzung künstlicher Intelligenz berücksichtigt;

L.  in der Erwägung, dass eine harmonisierte europäische Herangehensweise an diese Probleme eine gemeinsame Definition von KI sowie Schritte erfordert, durch die sichergestellt wird, dass die Grundwerte der Europäischen Union, die Grundsätze der Charta der Grundrechte und die internationalen Menschenrechtskonventionen eingehalten werden;

M.  in der Erwägung, dass KI beispiellose Möglichkeiten bietet, die Leistungsfähigkeit des Verkehrssektors zu verbessern, indem man sich den Herausforderungen einer steigenden Verkehrsnachfrage, der Sicherheit und des Umweltschutzes stellt und indem gleichzeitig alle Verkehrsträger intelligenter, effizienter und bequemer gemacht werden;

N.  in der Erwägung, dass eine Befassung mit KI im Verteidigungsbereich auf EU-Ebene für die Entwicklung der Fähigkeiten der EU in diesem Sektor unerlässlich ist;

Definition von künstlicher Intelligenz

1.  ist der Ansicht, dass ein gemeinsamer europäischer Rechtsrahmen mit harmonisierten Begriffsbestimmungen und allgemeinen ethischen Grundsätzen angenommen werden muss, die auch den Einsatz von KI für militärische Zwecke betreffen; fordert daher die Kommission auf, folgende Begriffsbestimmungen festzulegen:

   „KI-System“ ein softwaregestütztes oder in Hardware-Geräte eingebettetes System, das ein Intelligenz simulierendes Verhalten zeigt, indem es unter anderem Daten sammelt und verarbeitet, seine Umgebung analysiert und interpretiert und mit einem gewissen Maß an Autonomie Maßnahmen ergreift, um bestimmte Ziele zu erreichen;
   „autonom“ ein KI-System, das durch Interpretation bestimmter Eingaben und durch Verwendung einer Reihe vorab festgelegter Befehle funktioniert, ohne auf solche Befehle beschränkt zu sein, wenngleich das Verhalten des Systems durch das ihm vorgegebene Ziel und andere relevante Vorgaben seines Entwicklers eingeschränkt wird bzw. auf die Verwirklichung des Ziels ausgerichtet ist;

2.  betont, dass sich die Sicherheits- und Verteidigungspolitik der Europäischen Union und ihrer Mitgliedstaaten nach den in der Europäischen Charta der Grundrechte und der Charta der Vereinten Nationen verankerten Grundsätzen – durch Letztere werden alle Staaten aufgerufen, in ihren Beziehungen untereinander von der Androhung oder Anwendung von Gewalt abzusehen – und dem internationalen Recht, den Grundsätzen der Menschenrechte und der Achtung der Menschenwürde und einem gemeinsamen Verständnis der universellen Werte der unverletzlichen und unveräußerlichen Rechte des Menschen, der Freiheit, der Demokratie, der Gleichheit und der Rechtsstaatlichkeit richtet; betont, dass bei allen Verteidigungstätigkeiten im Rahmen der Union diese universellen Werte geachtet und gleichzeitig Frieden, Stabilität, Sicherheit und Fortschritt in Europa und in der Welt gefördert werden müssen;

Völkerrecht und militärische Nutzung der künstlichen Intelligenz

3.  ist der Auffassung, dass KI, die im militärischen und zivilen Kontext eingesetzt wird, einer maßgeblichen menschlichen Kontrolle unterliegen muss, sodass jederzeit ein Mensch die Möglichkeit hat, sie im Falle von unvorhergesehenem Verhalten, versehentlichen Angriffen, Cyberangriffen oder Eingriffen Dritter in KI-basierte Technologie zu korrigieren, zu stoppen oder zu deaktivieren, oder wenn Dritte solche Technologie erwerben;

4.  ist der Auffassung, dass die Achtung des Völkerrechts, insbesondere des humanitären Völkerrechts, das eindeutig für alle Waffensysteme und deren Betreiber gilt, eine grundlegende Anforderung darstellt, die die Mitgliedstaaten erfüllen müssen, insbesondere wenn die Zivilbevölkerung zu schützen ist oder Vorsichtsmaßnahmen gegen etwaige Angriffe im Rahmen militärischer Aggression und Cyberkriege ergriffen werden müssen;

5.  hebt hervor, dass KI und damit zusammenhängende Technologien auch eine Rolle bei der irregulären oder unkonventionellen Kriegsführung spielen können; schlägt vor, dass Forschung, Entwicklung und Einsatz von KI in solchen Fällen denselben Bedingungen unterliegen sollten wie der Einsatz in konventionellen Konflikten;

6.  betont, dass der Einsatz von KI die Möglichkeit bietet, die Sicherheit der Europäischen Union und ihrer Bürger zu stärken, und dass es für die EU von wesentlicher Bedeutung ist, in künftigen internationalen Debatten zu diesem Thema einen integrierten Ansatz zu verfolgen;

7.  fordert die KI-Forschungsgemeinschaft auf, diesen Grundsatz in alle oben genannten KI-basierten Systeme, die für militärische Zwecke bestimmt sind, zu integrieren; ist der Auffassung, dass keine Behörde eine Ausnahme von diesen Grundsätzen festlegen oder ein solches System zertifizieren darf;

8.  bekräftigt, dass autonome Entscheidungsfindung die Menschen nicht von ihrer Verantwortung entbinden darf und dass Menschen immer die letzte Verantwortung für Entscheidungsprozesse haben müssen, damit der für die Entscheidung verantwortliche Mensch identifiziert werden kann;

9.  betont, dass beim Einsatz von KI in einem militärischen Kontext die Mitgliedstaaten, die Konfliktparteien und Einzelpersonen jederzeit ihre Verpflichtungen nach dem geltenden Völkerrecht einhalten und die Verantwortung für Handlungen übernehmen müssen, die sich aus dem Einsatz solcher Systeme ergeben; unterstreicht, dass die vorhersehbaren, zufälligen oder unerwünschten Handlungen und Auswirkungen von KI-basierten Systemen unter allen Umständen als Verantwortung der Mitgliedstaaten, Konfliktparteien und Einzelpersonen zu betrachten sind;

10.  begrüßt die Möglichkeit der Nutzung von künstlicher Intelligenz für Ausbildung und Übungen, deren Potenzial nicht unterschätzt werden sollte, vor allem da die EU Übungen sowohl zivilen als auch militärischen Charakters durchführt;

11.  hebt hervor, dass während der Entwurfs-, Entwicklungs-, Test-, Einsatz- und Nutzungsphasen KI-gestützter Systeme potenzielle Risiken jederzeit gebührend berücksichtigt werden müssen, insbesondere im Hinblick auf unbeabsichtigte zivile Opfer und Verletzungen, unbeabsichtigte Verluste von Menschenleben und Schäden an ziviler Infrastruktur sowie Risiken im Zusammenhang mit unbeabsichtigtem Einsatz, Manipulation, Verbreitung, Cyberangriffen, Eingriffen Dritter in KI-basierte autonome Technologie oder wenn Dritte diese Technologie erwerben;

12.  erinnert daran, dass der Grundsatz der Neuheit gemäß dem Gutachten des Internationalen Gerichtshofs vom 8 Juli 1996 nicht zur Begründung einer Abweichung von der Achtung der bestehenden Normen des humanitären Völkerrechts geltend gemacht werden darf;

13.  ist der Ansicht, dass mit KI nicht nur Operationen unterstützt werden, sondern dass sie auch dem zivile Personal der Streitkräfte durch die massenhafte Verarbeitung ihrer Gesundheitsdaten und die Ausweitung der Gesundheitsüberwachung zugutekommen und dazu dienen wird, Risikofaktoren im Zusammenhang mit ihrer Umgebung und ihren Arbeitsbedingungen zu ermitteln und geeignete Schutzmaßnahmen zur Begrenzung der gesundheitlichen Auswirkungen auf das zivile Personal vorzuschlagen;

14.  bekräftigt, dass die Regulierungsbemühungen durch sinnvolle Zertifizierungs- und Überwachungssysteme sowie durch klare Mechanismen zur Überprüfbarkeit, Erklärbarkeit, Rechenschaftspflicht und Rückverfolgbarkeit unterstützt werden müssen, damit der Regulierungsrahmen nicht durch technologische Entwicklungen überholt wird

15.  betont, dass es in einer hypervernetzten Welt wichtig ist, dass sich die Europäische Union an der Schaffung eines internationalen Rechtsrahmens für den Einsatz von künstlicher Intelligenz beteiligt; fordert die EU nachdrücklich auf, die Führung zu übernehmen und gemeinsam mit den Vereinten Nationen und der internationalen Gemeinschaft eine aktive Rolle bei der Förderung dieses globalen Rahmens zu übernehmen, der den Einsatz von KI für militärische und andere Zwecke regelt, wobei sicherzustellen ist, dass dieser Einsatz innerhalb der strengen Grenzen bleibt, die durch das Völkerrecht und das humanitäre Völkerrecht , insbesondere die Genfer Konventionen vom 12. August 1949, gesetzt werden; betont, dass dieser Rahmen niemals gegen die Gebote des öffentlichen Gewissens und der Menschlichkeit, wie sie in der Martens-Klausel niedergelegt sind, verstoßen oder Verstöße dagegen zulassen darf und mit den Sicherheitsvorschriften und den Erfordernissen des Verbraucherschutzes in Einklang stehen muss; fordert die EU und die Mitgliedstaaten nachdrücklich auf, robuste Überwachungs- und Bewertungssysteme für die Entwicklung von KI-Technologien festzulegen, insbesondere für solche, die in autoritären Staaten für militärische Zwecke eingesetzt werden;

16.  hebt hervor, dass die Robotik dem militärischen Personal nicht nur die Möglichkeit gibt, auf Distanz zu bleiben, sondern auch für einen besseren Selbstschutz sorgt, z. B. bei Einsätzen in kontaminierter Umgebung, bei der Brandbekämpfung, der Minenräumung an Land oder auf See und der Verteidigung gegen Drohnenschwärme;

17.  betont, dass bei der Entwicklung, Einführung, Nutzung und Verwaltung von KI die in den EU-Verträgen verankerten Grundrechte, Werte und Freiheiten geachtet werden müssen, und fordert die Mitgliedstaaten auf, KI-Systeme mit hohem Risiko, die eine Bedrohung für die Grundrechte darstellen, nicht einzusetzen; nimmt die Veröffentlichung des Weißbuchs der Kommission zur künstlichen Intelligenz zur Kenntnis und fordert eine eingehendere Untersuchung der potenziellen Gefährdung der Grundrechte, die sich aus der Nutzung von KI durch staatliche Stellen sowie durch die Organe, Einrichtungen und sonstigen Stellen der Europäischen Union ergibt;

18.  fordert die Kommission auf, die Erforschung und Diskussion über die Möglichkeiten des Einsatzes von KI in der Katastrophenhilfe, der Krisenprävention und der Friedenssicherung zu fördern;

19.  begrüßt die Einsetzung einer Gruppe der Vereinten Nationen von Regierungssachverständigen (GGE) für die Förderung des verantwortungsbewussten Verhaltens von Staaten im Cyberspace im Kontext der internationalen Sicherheit und fordert die EU auf, sich umfassend an ihrer Arbeit zu beteiligen;

20.  fordert den Vizepräsidenten der Kommission/Hohen Vertreter für Außen- und Sicherheitspolitik (HR/VP) auf, den Weg für globale Verhandlungen zu ebnen, um eine KI-Rüstungskontrollregelung einzurichten und alle bestehenden Vertragsinstrumente zur Rüstungskontrolle, Abrüstung und Nichtverbreitung zu aktualisieren, damit KI-gestützte Systeme, die in der Kriegsführung eingesetzt werden, berücksichtigt werden; fordert, dass im Gemeinsamen Standpunkt des Rates zur Festlegung gemeinsamer Regeln für die Kontrolle der Ausfuhr von Militärtechnologie und Militärgütern KI-gestützte Waffensysteme umfassend berücksichtigt und erfasst werden;

21.  bekräftigt, dass diese Regeln stets mit den im Römischen Statut vom 17. Juli 1998 genannten Grundsätzen des Verbots von Verbrechen des Völkermordes, Verbrechen gegen die Menschlichkeit und Kriegsverbrechen im Einklang stehen müssen;

22.  weist darauf hin, dass menschliche Entscheidungen mit eindeutigen Risiken behaftet sind, wenn sie unter ausschließlicher Bezugnahme auf von Maschinen generierte Daten, Profile und Empfehlungen getroffen werden; weist darauf hin, dass die Gesamtkonzeption von KI-gestützten Systemen auch Leitlinien für die menschliche Aufsicht und Kontrolle umfassen sollte; fordert, dass Bestimmungen über die Transparenz und Erklärbarkeit von Algorithmen und die Notwendigkeit menschlicher Eingriffe sowie weitere Maßnahmen wie unabhängige Prüfungen und spezifische Stresstests eingeführt werden, um die Einhaltung der Vorschriften zu fördern und durchzusetzen; betont, dass solche Prüfungen regelmäßig von einer unabhängigen Behörde durchgeführt werden sollten, die die von staatlichen Behörden oder dem Militär genutzten KI‑gestützten Anwendungen mit hohem Risiko überwachen würde;

23.  betont, dass überprüft werden muss, wie risikoreiche, auf KI beruhende Technologien zu Entscheidungen gelangen; weist darauf hin, dass die Grundsätze der Nichtdiskriminierung und der Verhältnismäßigkeit gewahrt werden müssen und dass Fragen der Kausalität, der Haftung und der Verantwortung sowie der Transparenz, der Rechenschaftspflicht und der Erklärbarkeit geklärt werden müssen um festzulegen, ob bzw. in welchem Umfang der Staat als Akteur im Völkerrecht, aber auch bei der Ausübung der eigenen Zuständigkeit mithilfe von KI-gestützten Systemen, die über eine gewisse Autonomie verfügen, handeln kann, ohne dass dabei gegen völkerrechtliche Verpflichtungen wie etwa ein ordnungsgemäßes Verfahren verstoßen wird;

24.  betont nachdrücklich, dass es wichtig ist, in menschliche Fähigkeiten, einschließlich digitaler Kompetenzen, zu investieren, damit eine Anpassung an den wissenschaftlichen Fortschritt erfolgt, indem KI-gestützte Lösungen für Personen, die reglementierte Berufe ausüben, unter anderem Tätigkeiten im Zusammenhang mit der Ausübung der Zuständigkeit des Staates, wie etwa die Rechtspflege, herangezogen werden; fordert die Mitgliedstaaten und die Kommission auf, diesem Gesichtspunkt im Rahmen der Umsetzung der Richtlinie 2005/36/EG(11) gebührend Rechnung zu tragen;

25.  besteht darauf, dass KI-Systeme stets den Grundsätzen der Verantwortung, der Gerechtigkeit, der Regierbarkeit, der Vorsorge, der Rechenschaftspflicht, der Zurechenbarkeit, der Vorhersehbarkeit, der Nachvollziehbarkeit, der Zuverlässigkeit, der Vertrauenswürdigkeit, der Transparenz, der Erklärbarkeit, der Fähigkeit, mögliche Veränderungen der Umstände und des Einsatzumfelds zu erkennen, der Unterscheidung zwischen Kombattanten und Nichtkombattanten sowie der Verhältnismäßigkeit entsprechen müssen; betont, dass nach dem letztgenannten Grundsatz die Rechtmäßigkeit einer militärischen Aktion von einer Abwägung zwischen dem verfolgten Ziel und den eingesetzten Mitteln abhängt und dass die Beurteilung der Verhältnismäßigkeit immer von einem Menschen vorgenommen werden muss;

26.  betont, dass beim Einsatz von KI-gestützten Systemen in den Bereichen Sicherheit und Verteidigung das umfassende Situationsverständnis des menschlichen Bedieners, die Vorhersehbarkeit, Zuverlässigkeit und Belastbarkeit des KI-gestützten Systems sowie die Fähigkeit des menschlichen Bedieners, mögliche Veränderungen der Umstände und des operativen Umfelds zu erkennen, und seine Fähigkeit, in einen Angriff einzugreifen oder ihn abzubrechen, erforderlich sind, um sicherzustellen, dass die Grundsätze des humanitären Völkerrechts, insbesondere Unterscheidung, Verhältnismäßigkeit und Vorsicht bei Angriffen, über die gesamte Befehls- und Kontrollkette hinweg vollständig angewendet werden; betont, dass KI-gestützte Systeme ermöglichen müssen, dass die verantwortlichen Menschen eine sinnvolle Kontrolle vornehmen, die volle Verantwortung über die Systeme übernehmen und für alle ihre Anwendungen rechenschaftspflichtig sind; fordert die Kommission auf, den Dialog, eine engere Zusammenarbeit und Synergien zwischen den Mitgliedstaaten, Forschern, Wissenschaftlern, Akteuren der Zivilgesellschaft, dem Privatsektor, insbesondere führenden Unternehmen, und dem Militär zu fördern um sicherzustellen, dass politische Entscheidungsprozesse für verteidigungsbezogene KI-Regelungen inklusiv sind;

27.  betont, dass das Parlament die Ausarbeitung und dringende Verabschiedung eines Gemeinsamen Standpunkts zu letalen autonomen Waffensystemen (LAWS), der die Entwicklung, die Herstellung und den Einsatz von LAWS, die in der Lage sind, Angriffe ohne maßgebliche menschliche Kontrolle auszuführen, verhindert, sowie die Aufnahme wirksamer Verhandlungen über ihr Verbot gefordert hat; verweist in diesem Zusammenhang auf seine Entschließung vom 12. September 2018 zu autonomen Waffensystemen; erinnert daran, dass sich der Begriff „letale autonome Waffensysteme“ (LAWS) auf Waffensysteme bezieht, die ohne maßgebliche menschliche Kontrolle über die kritischen Funktionen des Anvisierens und Angreifens einzelner Ziele funktionieren; betont, dass die Entscheidung, ein Ziel auszuwählen und mittels Waffensystemen mit einem gewissen Grad an Autonomie tödliche Maßnahmen zu ergreifen, immer von menschlichen Bedienern getroffen werden muss, die eine maßgebliche Kontrolle, Aufsicht und das notwendige Urteilsvermögen im Einklang mit den Grundsätzen der Verhältnismäßigkeit und Notwendigkeit ausüben; betont, dass KI-gestützte Systeme unter keinen Umständen die menschliche Entscheidungsfindung in diesem Bereich ersetzen dürfen;

28.  stellt darüber hinaus fest, dass autonome Waffensysteme als eine besondere Kategorie von KI im militärischen Bereich auf internationaler Ebene erörtert und vereinbart werden sollten, insbesondere im Rahmen des Forums zum Übereinkommen der Vereinten Nationen über bestimmte konventionelle Waffen; verweist auf die laufende internationale Debatte über LAWS zur Regulierung neu entstehender Militärtechnologien, die bisher zu keiner Einigung geführt hat; weist darauf hin, dass sich die EU erst kürzlich bereit erklärt hat, die Auswirkungen der KI-Entwicklungen und der Digitalisierung auf den Verteidigungssektor zu erörtern; ist der Auffassung, dass die EU eine entscheidende Rolle dabei spielen kann, die Mitgliedstaaten bei der Harmonisierung ihres Ansatzes in Bezug auf militärische KI zu unterstützen, um die internationalen Erörterungen anzuführen;

29.  besteht auf der Notwendigkeit einer EU-weiten Strategie gegen LAWS und eines Verbots von sogenannten „Killerrobotern“;

30.  betont, dass die im militärischen Kontext eingesetzte KI eine Reihe von Mindestanforderungen erfüllen muss, d. h. sie sollte in der Lage sein, zwischen Kombattanten, Nichtkombattanten und Kombattanten auf dem Schlachtfeld zu unterscheiden und zu erkennen, wann ein Kombattant sich ergibt oder außer Gefecht ist, sie sollte keine wahllosen Auswirkungen haben, kein unnötiges menschliches Leid verursachen, nicht voreingenommen sein und nicht auf der Grundlage absichtlich unvollständiger Daten trainiert werden, und sie sollte den Grundsätzen des humanitären Völkerrechts, der Verhältnismäßigkeit bei der Anwendung von Gewalt und der Vorsorge vor dem Angriff genügen;

31.  ist der Auffassung, dass der Einsatz letaler autonomer Waffensysteme grundlegende ethische und rechtliche Fragen hinsichtlich der Fähigkeit des Menschen zur Kontrolle dieser Systeme aufwirft, und fordert, dass KI-gestützte Technologie nicht in der Lage sein sollte, autonome Entscheidungen zu treffen, die die Rechtsgrundsätze der Unterscheidung, der Verhältnismäßigkeit und der Vorsorge betreffen;

32.  fordert transparente Risikominderungsmaßnahmen auf internationaler Ebene für die Entwicklung und den Einsatz von militärischer KI, insbesondere im Hinblick auf die Prinzipien der territorialen Integrität, der Nichteinmischung und der Gewaltanwendung; betont, dass es wichtig ist, militärische Aspekte zu berücksichtigen, wenn rechtliche und ethische Fragen im europäischen Rahmen für KI behandelt werden; erinnert an seinen Standpunkt zu einem Verbot der Entwicklung, der Herstellung und des Einsatzes von LAWS; bedauert, dass es keine ausdrücklichen weltweiten Übereinkommen über den Einsatz dieser Waffen gibt;

33.  erkennt an, dass die Dynamik des modernen Wettrüstens, die sich aus der Entwicklung von LAWS durch die großen militärischen Nationalstaaten ergibt, den Fortschritt und die wirksame universelle Anwendung und Durchsetzung gemeinsamer Regeln und Rechtsrahmen übersteigt, weil Informationen über die Entwicklung und den Einsatz dieser Systeme geheim sind und die Nationalstaaten ein inhärentes Interesse daran haben, die schnellsten und wirksamsten Offensivfähigkeiten zu schaffen, ungeachtet der derzeitigen oder potenziellen künftigen Rechtsrahmen oder -grundsätze;

34.  ist der Ansicht, dass LAWS nur als letztes Mittel eingesetzt werden sollten und nur dann rechtmäßig sind, wenn sie einer strengen menschlichen Kontrolle unterliegen, wobei ein Mensch jederzeit das Kommando übernehmen können muss, da ein maßgebliches menschliches Eingreifen und die Überwachung im Prozess des Treffens tödlicher Entscheidungen unerlässlich sind und da Menschen immer verantwortlich sein sollten, wenn über Leben und Tod entschieden wird; ist der Ansicht, dass Systeme ohne jegliche menschliche Kontrolle („human off the loop“) und menschliche Aufsicht ohne Ausnahmen und unter allen Umständen verboten werden müssen;

35.  fordert den HR/VP, die Mitgliedstaaten und den Europäischen Rat auf, dringend einen gemeinsamen Standpunkt zu autonomen Waffensystemen zu entwickeln und zu verabschieden, der eine maßgebliche menschliche Kontrolle über die kritischen Funktionen von Waffensystemen, auch während des Einsatzes, sicherstellt, um in den einschlägigen Foren mit einer Stimme zu sprechen und entsprechend zu handeln; fordert in diesem Zusammenhang den HR/VP, die Mitgliedstaaten und den Rat auf, sich über bewährte Verfahren auszutauschen und Beiträge von Sachverständigen, Wissenschaftlern und der Zivilgesellschaft einzuholen, wie dies im Standpunkt vom 12. September 2018 zu autonomen Waffensystemen zum Ausdruck gebracht wird, in der es heißt, dass Angriffe stets unter erheblicher menschlicher Beteiligung durchgeführt werden müssen;

36.  legt den Staaten nahe, eine Bewertung vorzunehmen, ob und wie autonome militärische Geräte zu ihrer nationalen Sicherheit beitragen und wie ihre nationale Sicherheit von KI-gestützten Waffensystemen profitieren könnte, insbesondere von dem Potenzial solcher Technologien, die menschliche Entscheidungsfindung im Einklang mit dem humanitären Völkerrecht und dessen Grundsätzen zu unterstützen und zu verbessern; erinnert daran, dass es bei allen LAWS mit einem hohen Maß an Autonomie wegen schlecht geschriebener Codes oder Cyberangriffen vonseiten feindlicher Staaten oder nichtstaatlicher Akteure zu Fehlfunktionen kommen kann;

37.  besteht darauf, dass LAWS nur in besonderen Fällen und gemäß Genehmigungsverfahren eingesetzt werden dürfen, die im Voraus in Texten detailliert festgelegt werden, die der betreffende Staat – unabhängig davon, ob er Mitglied der Nordatlantikvertrags-Organisation ist oder nicht – der Öffentlichkeit oder zumindest seinem nationalen Parlament zugänglich macht;

38.  ist der Auffassung, dass die LAWS die Bestimmungen des Übereinkommens vom 10. Oktober 1980 über bestimmte konventionelle Waffen, insbesondere das Verbot, dass sie „übermäßige Leiden verursachen“, einhalten müssen;

39.  schlägt zur Verhinderung ihrer unkontrollierten Verbreitung vor, dass die LAWS in die Liste der Waffen, die den Bestimmungen des Waffenhandelsübereinkommens vom 2. April 2013 unterliegen, aufgenommen werden, die in Artikel 2 dieses Vertrags enthalten ist;

40.  fordert, um jede Verwechslung zwischen einem Menschen und einem Roboter zu vermeiden, ein Verbot der Anthropomorphisierung von LAWS;

41.  begrüßt die Einigung zwischen Rat und Parlament, letale autonome Waffen, „die keine wirksame menschliche Kontrolle über die Entscheidungen über die Auswahl und den Angriff bei der Durchführung von Angriffen“ ermöglichen, von Maßnahmen, die aus dem Europäischen Verteidigungsfonds (EEF) finanziert werden, auszuschließen; erinnert an seinen Standpunkt, dass der Einsatz, die Entwicklung oder die Herstellung von LAWS ohne maßgebliche menschliche Kontrolle nicht für eine Finanzierung aus dem EEF in Frage kommen;

42.  fordert die Kommission auf, Forschung, Entwicklung, Einsatz und Nutzung von KI zur Wahrung des Friedens und zur Prävention von Konflikten zu unterstützen;

43.  stellt fest, dass das weltweite KI-Ökosystem von amerikanischen und chinesischen Digitalriesen dominiert wird, die inländische Kapazitäten aufbauen und zahlreiche vielversprechende Unternehmen aufkaufen; ist daher der festen Überzeugung, dass die EU, um einen Rückstand in der Technologie der künstlichen Intelligenz zu vermeiden, ein besseres Gleichgewicht zwischen Grundlagenforschung und industriellen Anwendungen anstreben und gleichzeitig komparative strategische Vorteile entwickeln muss, indem sie ihr eigenes Potenzial und ihre Ressourcen weiter ausbaut;

44.  hebt hervor, dass Roboter, sofern sie unter die Definition des Begriffs „Maschine“ gemäß der Richtlinie 2006/42/EG(12) fallen, im Einklang mit den darin vorgesehenen Standards und Sicherheitsmaßnahmen gestaltet und zusammengebaut werden sollten;

45.  weist erneut auf den Anspruch der EU hin, weltweit für Frieden einzutreten, und fordert, dass die EU sich stärker für weltweite Abrüstung engagiert und ihre Bemühungen um Nichtverbreitung intensiviert, dass sie bei ihren Maßnahmen und Strategien darauf bedacht ist, den Weltfrieden und die internationale Sicherheit zu wahren, und dabei für die Achtung des humanitären Völkerrechts und der internationalen Menschenrechtsnormen sowie für den Schutz der Zivilbevölkerung und der zivilen Infrastrukturen sorgt;

46.  betont die Notwendigkeit, die potenziellen Auswirkungen von KI als strategischen Faktor für die Gemeinsame Sicherheits- und Verteidigungspolitik (GSVP) der EU zu untersuchen, insbesondere bei militärischen und zivilen Missionen und Operationen sowie bei der Entwicklung von EU-Fähigkeiten;

47.  erinnert daran, dass unsere Verbündeten auf nationaler Ebene bzw. im Rahmen der NATO oder der EU dabei sind, KI in ihre militärischen Systeme zu integrieren; ist der Ansicht, dass die Interoperabilität mit unseren Verbündeten durch gemeinsame Standards gewahrt werden muss, da diese für die Durchführung von gemeinsamen Operationen von wesentlicher Bedeutung sind; erinnert daran, dass die Zusammenarbeit im Bereich der KI abgesehen davon innerhalb eines europäischen Rahmens erfolgen sollte, der der einzige relevante Rahmen ist, um wirklich starke Synergien zu erzeugen, wie dies in der KI-Strategie der EU vorgeschlagen wird;

48.  ist der Auffassung, dass die EU die Auswirkungen von Fortschritten im Bereich der KI auf Verteidigung und Kriegsführung, einschließlich potenziell destabilisierender Entwicklungen und Einsätze, sorgfältig überwachen und berücksichtigen und die ethische Forschung und Gestaltung leiten muss, wobei die Integrität personenbezogener Daten und der individuelle Zugang und die Kontrolle zu gewährleisten sowie wirtschaftliche und humanitäre Fragen zu berücksichtigen sind;

49.  verweist auf seinen Standpunkt vom 12. September 2018 zu autonomen Waffensystemen, in dem es erklärt, dass Angriffe nicht ohne bedeutende Steuerung durch den Menschen ermöglicht werden dürfen; fordert den HR/VP, die Mitgliedstaaten und den Europäischen Rat auf, einen gemeinsamen Standpunkt zu autonomen Waffensystemen anzunehmen, der eine maßgebliche menschliche Kontrolle über die kritischen Funktionen von Waffensystemen, auch während des Einsatzes, gewährleistet; bekräftigt erneut seine Unterstützung für die Gruppe von Regierungssachverständigen der Hohen Vertragsparteien des Übereinkommens der Vereinten Nationen über bestimmte konventionelle Waffen in Bezug auf ihre Arbeit zu letalen autonomen Waffensystemen, da diese Gruppe nach wie vor das relevante internationale Forum für Diskussionen und Verhandlungen über die rechtlichen Herausforderungen durch autonome Waffensysteme ist; fordert, dass alle derzeitigen multilateralen Bemühungen schneller vorangetrieben werden, damit die normativen und ordnungspolitischen Rahmenbedingungen mit den technologischen Entwicklungen und neuen Methoden der Kriegsführung Schritt halten können; fordert den HR/VP auf, sich im Rahmen der laufenden Diskussionen der Vertragsstaaten des Waffenübereinkommens der Vereinten Nationen über die internationale Regulierung von KI-Waffen weiterhin zu engagieren und dazu beizutragen, dass die Bemühungen um die Entwicklung eines neuen globalen Regelungsrahmens und eines rechtsverbindlichen Instruments unverzüglich vorangetrieben werden, wobei der Schwerpunkt auf Definitionen, Konzepten und Merkmalen neu entstehender Technologien im Bereich der KI-Waffen, ethischen und rechtlichen Fragen der menschlichen Kontrolle, insbesondere im Hinblick auf ihre kritischen Funktionen, wie etwa Auswahl von Zielen und Angriff, die Aufrechterhaltung der menschlichen Verantwortung und Rechenschaftspflicht und das notwendige Maß an Mensch-Maschine-Interaktion, einschließlich des Konzepts der menschlichen Kontrolle und des menschlichen Urteilsvermögens, liegen soll; fordert, dass diese Bemühungen die Einhaltung des humanitären Völkerrechts und der Menschenrechte in den verschiedenen Phasen des Lebenszyklus von KI-gestützten Waffen sicherstellen, um spezifische Empfehlungen für die Klärung, Berücksichtigung und Weiterentwicklung von Aspekten des normativen Rahmens in Bezug auf neu entstehende Technologien im Bereich der LAWS zu vereinbaren;

50.  ist der Überzeugung, dass ein wirksamer Mechanismus zur Durchsetzung der Regeln für die Nichtverbreitung von LAWS und allen künftigen offensiven KI-gestützten Technologien von größter Bedeutung für die globale Sicherheit ist;

Zuständigkeit des Staates: Beispiele aus zivilen Bereichen, einschließlich Gesundheit und Justiz

51.  betont, dass die Mitgliedstaaten wirksam handeln müssen, um ihre Abhängigkeit von ausländischen Daten zu verringern und – ohne den Markt erheblich zu verzerren – sicherzustellen, dass der Besitz hochentwickelter KI-Technologien durch mächtige private Gruppen nicht dazu führt, dass die Zuständigkeit des Staates in Frage gestellt oder sogar von privaten Einrichtungen usurpiert wird, insbesondere wenn diese privaten Gruppen im Besitz eines Drittlandes außerhalb der Europäischen Union sind;

52.  betont, dass der Einsatz von KI-Systemen im Entscheidungsfindungsprozess von Behörden zu voreingenommenen Entscheidungen führen kann, die sich negativ auf die Bürger auswirken, und dass sie daher strengen Kontrollkriterien unterliegen sollten, u. a. in Bezug auf ihre Sicherheit, Transparenz, Rechenschaftspflicht, Nichtdiskriminierung sowie soziale und ökologische Verantwortung fordert die Mitgliedstaaten nachdrücklich auf, die Risiken im Zusammenhang mit KI-gesteuerten Entscheidungen im Zusammenhang mit der Ausübung der Zuständigkeit des Staates zu bewerten und Sicherheitsvorkehrungen wie eine maßgebliche menschliche Aufsicht, Transparenzanforderungen und die Möglichkeit, solche Entscheidungen anzufechten, vorzusehen;

53.  fordert die Mitgliedstaaten nachdrücklich auf, die Risiken im Zusammenhang mit KI‑gestützten Technologien zu bewerten, bevor Tätigkeiten automatisiert werden, die mit der Ausübung der Zuständigkeit des Staates verbunden sind, wie etwa die Rechtspflege; fordert die Mitgliedstaaten auf zu prüfen, ob Schutzmaßnahmen, beispielsweise die Überwachung durch qualifizierte Fachkräfte und strenge Vorschriften über die Berufsethik, vorgesehen werden müssen;

54.  betont, dass es wichtig ist, auf europäischer Ebene Maßnahmen zu ergreifen, um die dringend benötigten Investitionen, die Dateninfrastruktur, die Forschung einschließlich der Erforschung der Nutzung künstlicher Intelligenz durch Behörden und einen gemeinsamen Ethikrahmen zu fördern;

55.  betont, dass die Europäische Union nach strategischer Widerstandsfähigkeit streben muss, damit sie im Falle einer Krise nie wieder unvorbereitet ist, und unterstreicht, dass dies insbesondere für die künstliche Intelligenz und ihre militärischen Anwendungen von entscheidender Bedeutung ist; betont, dass die Lieferketten für militärische KI-Systeme, die zu technologischen Abhängigkeiten führen können, überprüft werden sollten und dass solche Abhängigkeiten allmählich abgebaut werden sollten; fordert verstärkte Investitionen in die europäische KI im Verteidigungsbereich und in die ihr zugrunde liegende kritische Infrastruktur;

56.  legt der Kommission nahe, die Folgen eines Moratoriums für den Einsatz von Gesichtserkennungssystemen zu bewerten und in Abhängigkeit von den Ergebnissen dieser Bewertung ein Moratorium für den Einsatz dieser Systeme in öffentlichen Räumen durch Behörden und in Räumlichkeiten, die für das Bildungs- und Gesundheitswesen bestimmt sind, in Betracht zu ziehen, sowie für den Einsatz von Gesichtserkennungssystemen durch Strafverfolgungsbehörden in halböffentlichen Räumen wie Flughäfen zu erwägen, bis die technischen Standards als vollständig grundrechtskonform angesehen werden können, die abgeleiteten Ergebnisse unvoreingenommen und nicht diskriminierend sind und es strenge Schutzmaßnahmen gegen Missbrauch gibt, die die Notwendigkeit und Verhältnismäßigkeit des Einsatzes solcher Technologien sicherstellen;

57.  betont, dass der Cybersicherheit im Zusammenhang mit KI große Bedeutung zukommt, sowohl in offensiven als auch in defensiven Szenarien; weist in diesem Zusammenhang auf die Bedeutung der internationalen Zusammenarbeit und der Veröffentlichung und des Austauschs von Informationen über Schwachstellen und Abhilfemaßnahmen im Bereich der IT‑Sicherheit hin; fordert eine internationale Zusammenarbeit im Bereich der Cybersicherheit, um KI wirksam zu nutzen und einzuführen, und Maßnahmen zum Schutz vor einer missbräuchlichen Nutzung von KI und vor Cyberangriffen; weist darüber hinaus auf den doppelten (zivilen und militärischen) Verwendungszweck von IT‑Systemen und KI hin und fordert seine wirksame Regulierung;

58.  ist der Ansicht, dass die Mitgliedstaaten KI-Technologien fördern sollten, die für die Menschen arbeiten, und dass Personen, die Gegenstand einer von einer Behörde auf der Grundlage von Informationen aus einem KI-System getroffenen Entscheidung waren, darüber informiert werden sollten, unverzüglich die im vorstehenden Absatz genannten Informationen erhalten sollten, die Möglichkeit haben sollten, diese Entscheidung anzufechten und sich dafür zu entscheiden, dass über diesen Rechtsbehelf ohne den Einsatz eines KI-Systems entschieden wird; fordert die Mitgliedstaaten auf, die Notwendigkeit zu prüfen, Schutzmaßnahmen zu ergreifen, wie sie in der Richtlinie (EU) 2018/958(13) vorgesehen sind, beispielsweise die Überwachung durch eine qualifizierte Fachkraft und Vorschriften über die Berufsethik;

59.  betont, dass Vorhersagen, die auf der gemeinsamen Nutzung von Daten, dem Zugriff auf Daten oder deren Verwendung basieren, den Anforderungen an Qualität, Integrität, Transparenz, Sicherheit, Datenschutz und Kontrolle unterliegen müssen; betont, dass bei der Entwicklung, der Einführung und der Nutzung von KI, Robotik und damit zusammenhängenden Technologien der Rechtsrahmen der EU für Datenschutz und den Schutz der Privatsphäre geachtet werden muss, damit die Sicherheit der Bürger erhöht und ihr Vertrauen in diese Technologien gestärkt wird;

60.  beobachtet eine rasche Entwicklung von KI‑gestützten Anwendungen, die einzigartige charakteristische Merkmale wie beispielsweise von Gesichtszügen, Bewegungen und Haltungen erkennen; warnt, dass die Nutzung von Anwendungen zur automatisierten Personenerkennung Probleme hinsichtlich des Eingriffes in die Privatsphäre, des Diskriminierungsverbots und des Schutzes personenbezogener Daten verursachen kann;

61.  betont, dass jede Entscheidung über eine natürliche Person, die ausschließlich auf automatischen Verarbeitungen, einschließlich Profilerstellungen, beruht und die eine nachteilige Rechtswirkung für die betroffene Person hat oder sie erheblich beeinträchtigt, nach dem Unionsrecht verboten ist, es sei denn, sie ist durch das Unionsrecht oder das Recht eines Mitgliedstaats zugelassen und unterliegt dabei angemessenen Maßnahmen zum Schutz der Daten, der Freiheiten und berechtigter Interessen der betroffenen Person;

62.  fordert, dass Algorithmen erklärbar und transparent sein und einer Regulierungsaufsicht unterliegen müssen, wenn künstliche Intelligenz von Behörden genutzt wird, und dass Folgenabschätzungen durchgeführt werden, bevor staatliche Behörden Instrumente einsetzen, die KI-gestützten Technologien nutzen; fordert die Kommission und den Europäischen Datenschutzausschuss auf, Leitlinien, Empfehlungen und bewährte Verfahren herauszugeben, mit denen die Kriterien und Bedingungen, die für Entscheidungen gelten, die auf der Grundlage von Profilerstellungen getroffen werden, und für den Einsatz von KI durch öffentliche Einrichtungen genauer festgelegt werden;

63.  stellt fest, dass die künstliche Intelligenz eine immer entscheidendere Rolle im Gesundheitswesen spielen wird, insbesondere durch Diagnosealgorithmen, robotergestützte Chirurgie, intelligente Prothesen, personalisierte Behandlungen auf der Grundlage einer dreidimensionalen Modellierung des Körpers jedes Patienten, soziale Roboter zur Unterstützung älterer Menschen, digitale Therapien zur Verbesserung der Autonomie bestimmter psychisch kranker Menschen, prädiktive Medizin und Software zur Antizipation von Epidemien;

64.  besteht jedoch darauf, dass bei allen Anwendungen der KI im Bereich der öffentlichen Gesundheit der Schutz der personenbezogenen Daten der Patienten geachtet und die unkontrollierte Verbreitung dieser Daten vermieden werden muss;

65.  fordert, dass bei allen Anwendungen von KI im Gesundheitswesen das Prinzip der Gleichbehandlung von Patienten in Bezug auf den Zugang zur Behandlung gewahrt bleibt, die Beziehung zwischen Patient und Arzt geachtet wird und jederzeit mit dem Hippokratischen Eid vereinbar ist, sodass der Arzt immer die Möglichkeit hat, von der durch KI vorgeschlagenen Lösung abzuweichen und damit die Verantwortung für jede Entscheidung behält;

66.  stellt fest, dass der Einsatz von KI bei der Bekämpfung von Kriminalität und Cyberkriminalität eine breite Palette von Möglichkeiten und Chancen mit sich bringen könnte; bekräftigt gleichzeitig, dass der Grundsatz, dass das, was offline illegal ist, auch online illegal ist, weiterhin gelten sollte;

67.  stellt fest, dass KI zunehmend im Bereich der Justiz eingesetzt wird, um Entscheidungen zu treffen, die rationaler sind, dem geltenden Recht besser entsprechen und schneller ergehen; begrüßt die Tatsache, dass durch den Einsatz von KI eine Beschleunigung der Gerichtsverfahren zu erwarten ist;

68.  ist der Auffassung, dass klargestellt werden muss, ob es angemessen ist, Strafverfolgungsentscheidungen teilweise an KI zu delegieren, wobei die Kontrolle über die endgültige Entscheidung in Menschenhand bleiben muss;

69.  betont, dass durch die Nutzung von KI in der Justiz die Analyse und Erhebung von Daten und der Schutz der Opfer verbessert werden könnten, dass dies im Rahmen von Forschung und Entwicklung untersucht werden könnte und dass dazu entsprechende Folgenabschätzungen erstellt werden sollten, insbesondere in Bezug auf die Garantien für ein ordnungsgemäßes Verfahren und zur Verhinderung von Verzerrungen und Diskriminierungen, wobei das Vorsorgeprinzip anzuwenden ist; erinnert jedoch daran, dass dies kein Ersatz für die menschliche Beteiligung an der Urteilsfindung oder Entscheidungsfindung ist;

70.  erinnert an die Bedeutung der Grundsätze der Governance, der Transparenz, der Unparteilichkeit, der Verantwortlichkeit, der Fairness und der intellektuellen Integrität beim Einsatz von KI in der Strafjustiz;

71.  fordert die Mitgliedstaaten nachdrücklich auf, die Risiken im Zusammenhang mit KI‑gestützten Technologien zu bewerten, bevor Tätigkeiten automatisiert werden, die mit der Ausübung der Zuständigkeit des Staates verbunden sind, insbesondere im Bereich der Justiz; fordert sie auf zu prüfen, ob Schutzmaßnahmen, beispielsweise die Überwachung durch qualifizierte Fachkräfte und berufsethische Regeln, vorgesehen werden müssen.

72.  stellt fest, dass bestimmte KI-Technologien die Automatisierung der Informationsverarbeitung und des Handelns in einem noch nie dagewesenen Ausmaß ermöglichen, etwa die massenhafte zivile und militärische Überwachung, die eine Bedrohung für die Grundrechte darstellt und den Weg für unrechtmäßige Eingriffe in die staatliche Souveränität ebnet; fordert die völkerrechtliche Überprüfung von Massenüberwachungsmaßnahmen, auch im Hinblick auf Fragen der Zuständigkeit und der Durchsetzung; hegt schwerwiegende Bedenken gegenüber einigen hochgradig intrusiven Anwendungen zur Bewertung des sozialen Verhaltens („Social Scoring“), die gerade entwickelt werden, da sie die Achtung der Grundrechte ernsthaft gefährden; fordert ein ausdrückliches Verbot des Einsatzes von massenhaftem „Social Scoring“ durch öffentliche Stellen als Mittel zur Einschränkung der Rechte der Bürger; fordert, dass angesichts der Entscheidungshegemonie und der Kontrolle bestimmter privater Akteure über die Entwicklung dieser Technologien die Rechenschaftspflicht privater Akteure nach internationalem Recht gestärkt wird; fordert in diesem Zusammenhang die Kommission, den Rat und die Mitgliedstaaten auf, bei der Aushandlung, dem Abschluss und der Ratifizierung internationaler Abkommen im Zusammenhang mit grenzüberschreitenden Familiensachen, z. B. internationalen Kindesentführungen, besondere Aufmerksamkeit walten zu lassen und sicherzustellen, dass in diesem Zusammenhang KI-Systeme stets unter wirksamer menschlicher Kontrolle eingesetzt werden und ordnungsgemäße Verfahren innerhalb der EU und der Länder, die diese Abkommen unterzeichnet haben, eingehalten werden;

73.  fordert, dass die Öffentlichkeit über den Einsatz von KI im Bereich der Justiz informiert wird und dass ein solcher Einsatz nicht zu einer Diskriminierung aufgrund von voreingenommener Programmierung führt; betont, dass das Recht jedes Einzelnen auf Zugang zu einem öffentlichen Beamten respektiert werden muss, ebenso wie das Recht des zuständigen Beamten, die Entscheidung persönlich zu treffen und von den Informationen, die er von der KI erhalten hat, abzuweichen, wenn er dies in Anbetracht der Einzelheiten der betreffenden Angelegenheit für erforderlich hält; hebt das Recht des Beschuldigten hervor, gegen die Entscheidung in Übereinstimmung mit dem nationalen Recht Berufung einzulegen, ohne jemals die Justiz ihrer endgültige Verantwortung zu entheben;

74.  fordert daher, dass alle diese öffentlichen und administrativen Verwendungen als Informationen im öffentlichen Bereich betrachtet werden und dass eine Diskriminierung aufgrund von voreingenommener Programmierung vermieden wird;

75.  betont, dass eine ordnungsgemäße Einführung und Nutzung von KI ermöglicht werden muss; fordert die Mitgliedstaaten auf, ihr ziviles und militärisches Personal angemessen zu schulen, sodass es in der Lage ist, Diskriminierungen und Verzerrungen in Datensätzen sicher zu erkennen und zu verhindern;

76.  ist zutiefst besorgt, dass Deepfake-Technologien die Erstellung immer realistischerer Foto-, Audio- und Videofälschungen ermöglichen, die zur Erpressung, zur Generierung von Fake News, zur Schwächung des Vertrauens der Öffentlichkeit und zur Beeinflussung des öffentlichen Diskurses eingesetzt werden könnten; ist der Überzeugung, dass mit derartigen Praktiken potenziell Länder destabilisiert, Desinformationen verbreitet und Wahlen beeinflusst werden können; fordert daher, dass die Urheber von sämtlichen Deepfake-Materialien und anderer realistisch wirkender künstlicher Videos dazu verpflichtet werden anzugeben, dass es sich nicht um Originalaufnahmen handelt, und dass die Nutzung solchen Materials im Zusammenhang mit Wahlen stark eingeschränkt wird und für eine konsequente Durchsetzung dieser Regeln gesorgt wird; fordert eine angemessene Forschung auf diesem Gebiet um sicherzustellen, dass die Technologien zur Bekämpfung dieser Phänomene mit der bösartigen Nutzung von KI Schritt halten;

Verkehr

77.  nimmt das erhebliche wirtschaftliche Potenzial von KI-Anwendungen zur Kenntnis, u. a. für die Optimierung der langfristigen Leistung, der Wartung, der Ausfallvorhersage und der Bauplanung bei Verkehrsinfrastrukturen und Gebäuden sowie für die Sicherheit, die Energieeffizienz und die Kosten; fordert die Kommission daher auf, die KI-Forschung und den Austausch bewährter Verfahren im Verkehrsbereich weiter zu fördern;

78.  betont, dass die KI gefördert werden muss, um die Multimodalität, die Interoperabilität und die Energieeffizienz aller Verkehrsträger zu verbessern, die Effizienz bei der Organisation und Steuerung des Güter- und Personenverkehrs zu steigern, die Infrastruktur und Ressourcen entlang des Transeuropäischen Verkehrsnetzes (TEN-V) besser zu nutzen und die Hindernisse für die Schaffung eines echten einheitlichen europäischen Verkehrsraums abzubauen;

79.  erinnert an die Vorteile des Europäischen Eisenbahnverkehrsleitsystems (ERTMS), eines lückenlosen automatischen Zugsicherungssystems, und unterstützt die Entwicklung und internationale Standardisierung der Automatisierung des Zugbetriebs;

80.  begrüßt die Arbeit des Forschungsprojekts zur Entwicklung des europäischen Flugverkehrsmanagementsystems der neuen Generation (SESAR) zu unbemannten Flugsystemen und Flugverkehrsmanagementsystemen, sowohl im zivilen als auch im militärischen Bereich;

81.  weist darauf hin, dass autonome Fahrzeuge ein großes Potenzial zur Verbesserung der Mobilität und der Sicherheit haben und Vorteile für die Umwelt mit sich bringen, und fordert die Kommission und die Mitgliedstaaten auf, die Zusammenarbeit zwischen den Regulierungsbehörden und allen für die Einführung automatisierter Straßenfahrzeuge in der EU relevanten Akteuren sicherzustellen;

82.  weist darauf hin, dass sich die globale Schifffahrtsbranche dank der Integration von KI in den letzten Jahren stark verändert hat; erinnert an die derzeitigen umfassenden Diskussionen in der Internationalen Seeschifffahrtsorganisation über die wirksame Integration neuer und neu entstehender Technologien wie autonomer Schiffe in ihren Rechtsrahmen;

83.  betont, dass intelligente Verkehrssysteme die Verkehrsüberlastung verringern, die Sicherheit und die Barrierefreiheit verbessern und zu einer verbesserten Steuerung der Verkehrsströme, einer höheren Effizienz und besseren Mobilitätslösungen beitragen; weist darauf hin, dass traditionelle Verkehrsnetze zunehmend Cyberbedrohungen ausgesetzt sind; weist erneut darauf hin, wie wichtig ausreichende Ressourcen und weitere Forschungsarbeiten zu Sicherheitsrisiken für die Gewährleistung der Sicherheit automatisierter Systeme und ihrer Daten sind; begrüßt die Absicht der Kommission, die Cybersicherheit als regelmäßigen Tagesordnungspunkt für die Erörterung in internationalen Verkehrsorganisationen aufzunehmen;

84.  begrüßt die Bemühungen zur Einführung von KI-Systemen im öffentlichen Sektor und wird weitere Diskussionen über die Einführung von KI-Systemen im Verkehr unterstützen; fordert die Kommission auf, eine Bewertung der Verwendung von KI und vergleichbaren Technologien im Verkehrssektor vorzunehmen und eine nicht erschöpfende Liste von Hochrisikosegmenten in KI-Systemen zu erstellen, die Entscheidungen im Rahmen der Prärogativen der öffentlichen Hand in diesem Bereich ersetzen;

85.  betont, dass der Europäische Verteidigungsfonds und die Ständige Strukturierte Zusammenarbeit die Zusammenarbeit zwischen den Mitgliedstaaten und der europäischen Verteidigungsindustrie fördern sollten, um neue europäische Verteidigungsfähigkeiten in KI zu entwickeln und die Versorgungssicherheit unter Berücksichtigung ethischer Erwägungen zu gewährleisten; betont die Notwendigkeit, eine Fragmentierung zu vermeiden, indem Brücken zwischen verschiedenen Akteuren und Anwendungsdomänen gebaut werden, Kompatibilität und Interoperabilität auf allen Ebenen gefördert werden und der Schwerpunkt auf der gemeinsamen Arbeit an Architektur- und Plattformlösungen liegt; erinnert im Übrigen daran, dass die nächste Fazilität „Connecting Europe“, die auch intelligente Infrastrukturen fördert, einen Fonds für die Anpassung und den Ausbau ziviler oder militärischer Verkehrsinfrastrukturen mit doppeltem Verwendungszweck im Rahmen der TEN-V vorsehen wird, um die Synergien zwischen zivilen und militärischen Erfordernissen zu erhöhen und die zivile und militärische Mobilität innerhalb der Union zu verbessern; betont daher, dass weitere europäische Investitionen, Forschung und eine Führungsrolle bei Technologien erforderlich sind, die erhebliche Auswirkungen auf das Wirtschaftswachstum und ein erhebliches Potenzial im Hinblick auf einen doppelten Verwendungszweck haben;

86.  betont, dass viele Investitionen in neue Technologien bei Verkehr und Mobilität marktorientiert sind, dass kommerzielle Technologien und Produkte mit doppeltem Verwendungszweck jedoch häufig auf innovative Weise für militärische Zwecke eingesetzt werden; betont daher, dass das Potenzial mit doppeltem Verwendungszweck bei KI-gestützten Lösungen bei der Ausarbeitung von Normen für die Nutzung von KI in verschiedenen Bereichen des kommerziellen und militärischen Sektors berücksichtigt werden muss; fordert, dass hohe ethische Standards und Richtlinien in die Entwicklung von Verteidigungstechnologien, Produkten und Betriebsprinzipien einbezogen werden;

87.  weist darauf hin, dass die wirksame Beförderung von Gütern, Munition, Rüstungsgütern und Truppen ein wesentlicher Bestandteil erfolgreicher Militäroperationen ist; betont, dass davon ausgegangen wird, dass die KI in der Militärlogistik und bei Militärtransporten eine entscheidende Rolle spielen und zahlreiche Möglichkeiten schaffen wird; weist darauf hin, dass Länder in der ganzen Welt, einschließlich der EU-Mitgliedstaaten, KI-Waffen und andere Systeme in Land-, See- und Luftplattformen einbetten; erinnert daran, dass KI-Anwendungen im Verkehrssektor neue Fähigkeiten bieten und neue Formen der Taktik ermöglichen könnten, etwa die Kombination vieler Systeme wie Drohnen, unbemannte Boote oder Panzer in einer unabhängigen und koordinierten Operation;

Internationales Privatrecht

88.  stellt fest, dass angesichts der Tatsache, dass die Zahl von Rechtsstreitigkeiten, in denen das internationale Privatrecht eine Rolle spielt, zunimmt, was auf die Internationalisierung menschlicher Aktivitäten sowohl online als auch in der realen Welt zurückgeht, die KI bei deren Lösung helfen kann, indem sie Modelle erstellt, um das zuständige Gericht und das anwendbare Recht für jeden einzelnen Fall zu ermitteln, aber auch um die problematischsten Gesetzeskollisionen zu identifizieren und Lösungen zu deren Beilegung vorzuschlagen;

89.  ist jedoch der Auffassung, dass die Öffentlichkeit über den Einsatz künstlicher Intelligenz im internationalen Privatrecht angemessen informiert und eine Diskriminierung durch eine voreingenommene Programmierung vermieden werden muss, die zu einer systematischen Bevorzugung des nationalen Rechts gegenüber einem anderen führen würde, und dass der Grundsatz des gesetzlichen Richters, Rechtsmittel gemäß geltendem Recht und das Recht jedes Richters, von der durch AI vorgeschlagenen Lösung abzugehen, geachtet werden müssen;

90.  betont, dass die Tatsache, dass autonome Fahrzeuge in der Europäischen Union fahren werden, unter Umständen zu einer besonders hohen Zahl von Rechtsstreitigkeiten, in denen das internationale Privatrecht eine Rolle spielt, führen wird, weswegen dieser Bereich durch besondere europäische Vorschriften geregelt werden sollte, die das im Falle eines grenzüberschreitenden Schadensfalls anwendbare Recht festlegen;

91.  weist darauf hin, dass die EU angesichts der zunehmenden Bedeutung von Forschung und Entwicklung im Privatsektor und massiver Investitionen aus Drittstaaten einem starken Wettbewerb ausgesetzt ist; unterstützt daher die Bemühungen der EU, ihre Wettbewerbsvorteile weiter auszubauen, und ist der Auffassung, dass die EU darauf abzielen sollte, als Normgeber für KI in einer hypervernetzten Welt zu fungieren, indem sie eine wirksame Strategie gegenüber ihren externen Partnern verfolgt und ihre Bemühungen verstärkt, auf internationaler Ebene globale ethische Normen für KI im Einklang mit Sicherheitsvorschriften und Verbraucherschutzanforderungen sowie mit den europäischen Werten und Bürgerrechten, einschließlich der Grundrechte, festzulegen; ist der Auffassung, dass dies ferner für die Wettbewerbsfähigkeit und die Nachhaltigkeit der europäischen Unternehmen entscheidend ist; fordert die Kommission und die Mitgliedstaaten auf, die Zusammenarbeit mit Drittländern und internationalen Organisationen wie den Vereinten Nationen, der OECD, der G7 und der G20 zu verstärken und in einen breiteren Dialog einzutreten, um sich den Herausforderungen zu stellen, die sich aus der Entwicklung dieser sich rasch verändernden Technologie ergeben; ist der Auffassung, dass diese Bemühungen insbesondere darauf abzielen sollten, gemeinsame Normen festzulegen und die Interoperabilität von KI-gestützten Systemen zu verbessern; fordert die Kommission auf, den Dialog, eine engere Zusammenarbeit und Synergien zwischen den Mitgliedstaaten, Forschern, Akademikern, Akteuren der Zivilgesellschaft, dem Privatsektor, insbesondere führenden Unternehmen, und dem Militär zu fördern um sicherzustellen, dass die politischen Entscheidungsprozesse für verteidigungsbezogene KI-Regelungen inklusiv sind;

Leitgrundsätze

92.  ist der Auffassung, dass KI-Technologien und vernetzte Systeme darauf abzielen sollten, Rechtssicherheit für die Bürger zu bieten; unterstreicht daher, dass die Regeln für Gesetzeskollisionen und den Gerichtsstand weiterhin gelten sollten, wobei die Interessen der Bürgerinnen und Bürger sowie die Notwendigkeit, die Gefahr des Forum-Shopping zu verringern, berücksichtigt werden sollten; erinnert daran, dass KI den Menschen im Gerichtsverfahren nicht ersetzen kann, wenn es darum geht, ein Urteil zu fällen oder eine endgültige Entscheidung jeglicher Art zu treffen, da solche Entscheidungen immer von einem Menschen getroffen werden und ausnahmslos der menschlichen Überprüfung und einem ordnungsgemäßen Verfahren unterliegen müssen; besteht darauf, dass die Justizbehörden bei der Verwendung von Beweisen, die von KI-gestützten Technologien geliefert werden, verpflichtet sein sollten, ihre Entscheidungen zu begründen;

93.  erinnert daran, dass KI ein wissenschaftlicher Fortschritt ist, der das Recht nicht aushöhlen darf, sondern im Gegenteil immer durch das Recht – in der Europäischen Union durch das von ihren Organen und ihren Mitgliedstaaten ausgehende Recht – geregelt werden muss, und dass KI, Robotik und damit zusammenhängende Technologien unter keinen Umständen gegen die Grundrechte, die Demokratie und die Rechtsstaatlichkeit verstoßen dürfen;

94.  betont, dass KI, die zu Verteidigungszwecken eingesetzt wird, verantwortungsvoll, gerecht, nachvollziehbar, zuverlässig und beherrschbar sein sollte;

95.  ist der Ansicht, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, unabhängig von dem Bereich, in dem sie zum Einsatz kommen, auf sichere und in technischer Hinsicht gründliche Weise entwickelt werden sollten;

o
o   o

96.  beauftragt seinen Präsidenten, diese Entschließung dem Rat und der Kommission zu übermitteln.

(1) ABl. L 180 vom 19.7.2000, S. 22.
(2) ABl. L 303 vom 2.12.2000, S. 16.
(3) ABl. L 119 vom 4.5.2016, S. 1.
(4) ABl. L 119 vom 4.5.2016, S. 89.
(5) ABl. L 252 vom 8.10.2018, S. 1.
(6) ABl. C 252 vom 18.7.2018, S. 239.
(7) ABl. C 307 vom 30.8.2018, S. 163.
(8) ABl. C 433 vom 23.12.2019, S. 86.
(9) ABl. C 433 vom 23.12.2019, S. 42.
(10) ABl. C 449 vom 23.12.2020, S. 37.
(11) Richtlinie 2005/36/EG des Europäischen Parlaments und des Rates vom 7. September 2005 über die Anerkennung von Berufsqualifikationen (ABl. L 255 vom 30.9.2005, S. 22).
(12) Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates vom 17. Mai 2006 über Maschinen und zur Änderung der Richtlinie 95/16/EG (ABl. L 157 vom 9.6.2006, S. 24).
(13) Richtlinie (EU) 2018/958 des Europäischen Parlaments und des Rates vom 28. Juni 2018 über eine Verhältnismäßigkeitsprüfung vor Erlass neuer Berufsreglementierungen (ABl. L 173 vom 9.7.2018, S. 25).

Letzte Aktualisierung: 22. April 2021Rechtlicher Hinweis - Datenschutzbestimmungen