BERICHT mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien

8.10.2020 - (2020/2012(INL))

Rechtsausschuss
Berichterstatter: Ibán García Del Blanco
Verfasser der Stellungnahmen (*):
Urmas Paet, Ausschuss für auswärtige Angelegenheiten
Alexandra Geese, Ausschuss für Binnenmarkt und Verbraucherschutz
Valter Flego, Ausschuss für Verkehr und Tourismus
Assita Kanko, Ausschuss für bürgerliche Freiheiten, Justiz und Inneres
(*) Assoziierter Ausschuss – Artikel 57 der Geschäftsordnung
(Initiative gemäß Artikel 47 der Geschäftsordnung)

ENTWURF EINER ENTSCHLIESSUNG DES EUROPÄISCHEN PARLAMENTS

mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien

(2020/2012(INL))

Das Europäische Parlament,

– gestützt auf Artikel 225 des Vertrags über die Arbeitsweise der Europäischen Union,

– gestützt auf Artikel 114 des Vertrags über die Arbeitsweise der Europäischen Union,

– unter Hinweis auf die Charta der Grundrechte der Europäischen Union,

– unter Hinweis auf die Verordnung (EU) 2018/1488 des Rates vom 28. September 2018 zur Gründung des Gemeinsamen Unternehmens für europäisches Hochleistungsrechnen[1],

– unter Hinweis auf die Richtlinie 2000/43/EG des Rates vom 29. Juni 2000 zur Anwendung des Gleichbehandlungsgrundsatzes ohne Unterschied der Rasse oder der ethnischen Herkunft[2] (Richtlinie zur Gleichbehandlung ohne Unterschied der Rasse),

– unter Hinweis auf die Richtlinie 2000/78/EG des Rates vom 27. November 2000 zur Festlegung eines allgemeinen Rahmens für die Verwirklichung der Gleichbehandlung in Beschäftigung und Beruf[3] (Richtlinie zur Gleichbehandlung in Beschäftigung und Beruf),

– unter Hinweis auf die Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung – DSGVO)[4] und auf die Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates[5],

– unter Hinweis auf die Interinstitutionelle Vereinbarung über bessere Rechtsetzung vom 13. April 2016[6],

– unter Hinweis auf den Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates vom 6. Juni 2018 zur Aufstellung des Programms „Digitales Europa“ für den Zeitraum 2021–2027 (COM(2018)0434),

– unter Hinweis auf die Mitteilung der Kommission an das Europäische Parlament, den Rat, den Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen vom 11. Dezember 2019 zum europäischen Grünen Deal (COM(2019)0640),

– unter Hinweis auf die Mitteilung der Kommission vom 19. Februar 2020 an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen (COM(2020)0065),

– unter Hinweis auf die Mitteilung der Kommission vom 19. Februar 2020 an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen mit dem Titel „Eine europäische Datenstrategie“ (COM(2020)0066),

– unter Hinweis auf die Mitteilung der Kommission vom 19. Februar 2020 an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen mit dem Titel „Gestaltung der digitalen Zukunft Europas“ (COM(2020)0067),

– unter Hinweis auf die Schlussfolgerungen des Rates der Europäischen Union vom Juni 2020 zur Gestaltung der digitalen Zukunft Europas

– unter Hinweis auf seine Entschließung vom 16. Februar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik[7],

– unter Hinweis auf seine Entschließung vom 1. Juni 2017 zur Digitalisierung der europäischen Industrie[8],

– unter Hinweis auf seine Entschließung vom 12. September 2018 zu autonomen Waffensystemen[9],

– unter Hinweis auf seine Entschließung vom 11. September 2018 zu der Gleichstellung von Sprachen im digitalen Zeitalter[10],

– unter Hinweis auf seine Entschließung vom 12. Februar 2019 zu einer umfassenden europäischen Industriepolitik in Bezug auf künstliche Intelligenz und Robotik[11],

– unter Hinweis auf den Bericht der von der Kommission eingesetzten Hochrangigen Sachverständigengruppe für künstliche Intelligenz vom 8. April 2019 mit dem Titel „Ethics Guidelines for Trustworthy AI“ (Ethikleitlinien für eine vertrauenswürdige KI),

– unter Hinweis auf die Briefings und Studien, die auf Ersuchen der vom Referat Wissenschaftliche Vorausschau des Wissenschaftlichen Dienstes des Europäischen Parlaments verwalteten Lenkungsgruppe zur Zukunft von Wissenschaft und Technologie (STOA) erstellt wurden, mit den Titeln „What if algorithms could abide by ethical principles?“ (Was wäre, wenn Algorithmen ethischen Grundsätzen folgen könnten?), „Artificial Intelligence ante portas: Legal & ethical reflections“ (Künstliche Intelligenz ante portas: rechtliche und ethische Überlegungen), „A governance framework for algorithmic accountability and transparency“ (Ein Steuerungsrahmen für Rechenschaftspflicht und Transparenz in Bezug auf Algorithmen), „Should we fear artificial intelligence?“ (Sollten wir künstliche Intelligenz fürchten?) und „The ethics of artificial intelligence: Issues and initiatives“ (Ethische Aspekte der künstlichen Intelligenz: Fragen und Initiativen),

– unter Hinweis auf das Rahmenübereinkommen des Europarats zum Schutz nationaler Minderheiten, das Protokoll Nr. 12 zur Konvention zum Schutz der Menschenrechte und Grundfreiheiten und die Europäische Charta der Regional- oder Minderheitensprachen,

– unter Hinweis auf die Empfehlung des OECD-Rates zur künstlichen Intelligenz, die am 22. Mai 2019 angenommen wurde,

– gestützt auf die Artikel 47 und 54 seiner Geschäftsordnung,

– unter Hinweis auf die Stellungnahmen des Ausschusses für auswärtige Angelegenheiten, des Ausschusses für Binnenmarkt und Verbraucherschutz, des Ausschusses für Verkehr und Tourismus, des Ausschusses für bürgerliche Freiheiten, Justiz und Inneres, des Ausschusses für Beschäftigung und soziale Angelegenheiten, des Ausschusses für Umweltfragen, öffentliche Gesundheit und Lebensmittelsicherheit sowie des Ausschusses für Kultur und Bildung,

– unter Hinweis auf den Bericht des Rechtsausschusses (A9-0186/2020),

Einführung

A. in der Erwägung, dass der Einsatz und die Nutzung künstlicher Intelligenz (auch als „KI“ bezeichnet), der Robotik und damit zusammenhängender Technologien von Menschen ausgeführt werden, deren Entscheidungen das Potenzial dieser Technologien bestimmen, zum Nutzen der Gesellschaft eingesetzt werden zu können;

B. in der Erwägung, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, die das Potenzial haben, Chancen für Unternehmen und Vorteile für die Bürger zu kreieren, und die sich unmittelbar auf alle Aspekte unserer Gesellschaften, einschließlich der Grundrechte und der sozialen und wirtschaftlichen Grundsätze und Werte, auswirken können und einen dauerhaften Einfluss auf alle Tätigkeitsbereiche haben, rasch vorangetrieben und weiterentwickelt werden;

C. in der Erwägung, dass künstliche Intelligenz, Robotik und verwandte Technologien wesentliche Veränderungen auf dem Arbeitsmarkt und in den Arbeitsstätten mit sich bringen werden; in der Erwägung, dass sie potenziell Arbeitnehmer ersetzen können, die repetitive Tätigkeiten ausführen, und man mit ihnen kooperative Mensch-Maschine-Arbeitssysteme ermöglichen, die Wettbewerbsfähigkeit und den Wohlstand steigern und neue Beschäftigungsmöglichkeiten für qualifizierte Arbeitnehmer schaffen kann, dass sie jedoch zugleich eine ernsthafte Herausforderung im Hinblick auf die Neuorganisation der Arbeitnehmerschaft darstellen;

D. in der Erwägung, dass die Entwicklung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien mit dazu beitragen kann, in vielen verschiedenen Bereichen die Nachhaltigkeitsziele des europäischen Grünen Deals zu erreichen; in der Erwägung, dass digitale Technologien die Wirkung der Politik im Bereich des Umweltschutzes erhöhen können; in der Erwägung, dass sie auch zur Verringerung der Verkehrsüberlastung sowie der Emissionen von Treibhausgasen und Luftschadstoffen beitragen können;

E. in der Erwägung, dass KI-unterstützte intelligente Verkehrssysteme in Bereichen wie dem öffentlichen Verkehr verwendet werden können, um der Bildung von Staus vorzubeugen, die Routensuche zu optimieren, Menschen mit Behinderungen mehr Unabhängigkeit zu ermöglichen und die Energieeffizienz zu erhöhen und dadurch die Bemühungen um eine Verringerung der CO2-Emissionen zu verstärken und die Auswirkungen auf die Umwelt zu reduzieren;

F. in der Erwägung, dass diese Technologien neue Geschäftsmöglichkeiten eröffnen, die dazu beitragen können, dass sich die Wirtschaft der Union nach der gegenwärtigen Gesundheits- und Wirtschaftskrise erholt, wenn sie beispielsweise im Verkehrssektor intensiver genutzt werden; in der Erwägung, dass diese Geschäftsmöglichkeiten zur Schaffung neuer Arbeitsplätze führen können, da die Verbreitung dieser Technologien das Potenzial birgt, das Produktivitätsniveau von Unternehmen zu erhöhen und zu Effizienzsteigerungen beizutragen; in der Erwägung, dass Innovationsprogramme in diesem Bereich regionalen Clustern zum Erfolg verhelfen können;

G. in der Erwägung, dass die Union und ihre Mitgliedstaaten eine besondere Verantwortung dafür tragen, den Mehrwert künstlicher Intelligenz zu nutzen, zu fördern und zu steigern und dafür zu sorgen, dass KI-Technologien sicher sind und zum Wohlergehen ihrer Bürger beitragen und ihrem allgemeinen Interesse dienen, da sie einen enormen Beitrag zur Verwirklichung des gemeinsamen Ziels leisten können, das Leben der Bürger zu verbessern und den Wohlstand in der Union zu fördern, indem sie zur Entwicklung besserer Strategien und Innovationen in einer Reihe von Bereichen und Sektoren beitragen; in der Erwägung, dass die künstliche Intelligenz und die digitalen Kompetenzen zur vollen Ausschöpfung des Potenzials der KI und zur Sensibilisierung der Nutzer für die Vorteile und Herausforderungen, die die KI-Technologien mit sich bringen, in die allgemeine und berufliche Bildung einbezogen werden müssen, auch im Zusammenhang mit der Förderung der digitalen Inklusion, und dass Aufklärungskampagnen auf Unionsebene durchgeführt werden müssen, bei denen sämtliche Aspekte der KI-Entwicklung korrekt dargestellt werden;

H. in der Erwägung, dass ein gemeinsamer Regelungsrahmen der Union für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien („Regelungsrahmen für KI“) es den Bürgern ermöglichen sollte, an den sich aus ihrem Potenzial ergebenden Vorteilen teilzuhaben, und gleichzeitig die Bürger vor den potenziellen Risiken solcher Technologien schützen und die Vertrauenswürdigkeit solcher Technologien in der Union und anderswo stärken sollte; in der Erwägung, dass dieser Rahmen auf dem Unionsrecht und den Werten der Union beruhen und sich an den Grundsätzen der Transparenz und Erklärbarkeit, Fairness, Rechenschaftspflicht und Verantwortung orientieren sollte;

I. in der Erwägung, dass ein solcher Regelungsrahmen von entscheidender Bedeutung ist, um eine Fragmentierung des Binnenmarkts, die sich aus unterschiedlichen nationalen Rechtsvorschriften ergeben könnte, zu verhindern, und dazu beitragen wird, dringend benötigte Investitionen zu fördern, die Dateninfrastruktur weiterzuentwickeln und die Forschung zu unterstützen; in der Erwägung, dass er gemeinsame rechtliche Verpflichtungen und ethische Grundsätze umfassen sollte, wie dies in dem im Anhang zu dieser Entschließung geforderten Vorschlag für eine Verordnung vorgesehen ist; in der Erwägung, dass er im Einklang mit den Leitlinien für eine bessere Rechtsetzung festgelegt werden sollte;

J. in der Erwägung, dass die Union über einen strengen Rechtsrahmen verfügt, um unter anderem den Schutz personenbezogener Daten und der Privatsphäre sowie die Nichtdiskriminierung, die Förderung eines ausgewogenen Geschlechterverhältnisses, den Umweltschutz und die Rechte der Verbraucher sicherzustellen; in der Erwägung, dass ein derartiger Rechtsrahmen bestehend aus einem umfangreichen Paket horizontaler und sektoraler Rechtsvorschriften, einschließlich der geltenden Regelungen zur Produktsicherheit und Haftung, in Bezug auf künstliche Intelligenz, Robotik und damit zusammenhängende Technologien weiterhin Gültigkeit besitzt, obwohl bestimmte Anpassungen bei spezifischen Rechtsinstrumenten erforderlich sein könnten, um den digitalen Wandel und neue Herausforderungen zu berücksichtigen, die sich durch die Nutzung von künstlicher Intelligenz ergeben;

K. in der Erwägung, dass Bedenken bestehen, dass der aktuelle Rechtsrahmen der Union, einschließlich des Besitzstands im Bereich des Verbraucherschutzrechts sowie im Bereich Beschäftigung und Soziales, der Datenschutzgesetzgebung, der Gesetzgebung zur Produktsicherheit und Marktüberwachung sowie der Antidiskriminierungsgesetzgebung, nicht mehr zweckmäßig ist, um den Risiken, die durch künstliche Intelligenz, Robotik und damit zusammenhängende Technologien entstehen, wirksam zu begegnen;

L. in der Erwägung, dass zusätzlich zu den Anpassungen der bestehenden Rechtsvorschriften rechtliche und ethische Fragen im Zusammenhang mit KI-Technologien durch einen wirksamen, umfassenden und zukunftssicheren Regelungsrahmen des Unionsrechts angegangen werden sollten, der die in den Verträgen und der Charta der Grundrechte verankerten Grundsätze und Werte der Union widerspiegelt, bei dem von einer Überregulierung abgesehen werden sollte, indem lediglich bestehende Rechtslücken geschlossen werden, und der durch die Aufnahme verbindlicher Maßnahmen zur Verhinderung von Praktiken, die zweifellos die Grundrechte untergraben würden, die Rechtssicherheit für Unternehmen und Bürger gleichermaßen erhöhen sollte;

M. in der Erwägung, dass in allen künftigen Regelungsrahmen sämtliche gefährdeten Interessen berücksichtigt werden müssen; in der Erwägung, dass eine im Rahmen einer Folgenabschätzung durchgeführte sorgfältige Untersuchung der Folgen, die ein neuer Regelungsrahmen für alle Akteure mit sich bringt, eine Voraussetzung für weitere gesetzgeberische Maßnahmen sein sollte; in der Erwägung, dass die entscheidende Rolle der kleinen und mittleren Unternehmen (KMU) und Start-ups, insbesondere in der Wirtschaft der Union, einen in jedem Fall verhältnismäßigen Ansatz rechtfertigt, damit sie sich entwickeln und Innovationen einführen können;

 

N. in der Erwägung, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien schwerwiegende Auswirkungen auf die materielle und immaterielle Integrität von Personen, Gruppen und der Gesellschaft als Ganzes haben können, und dass dem potenziellen individuellen und kollektiven Schaden mit legislativen Maßnahmen begegnet werden muss;

O. in der Erwägung, dass zur Einhaltung des Regelungsrahmens der Union für KI möglicherweise spezifische Vorschriften für den Verkehrssektor der Union erlassen werden müssen;

P. in der Erwägung, dass KI-Technologien für den Verkehrssektor von strategischer Bedeutung sind, auch weil sie die Sicherheit und Zugänglichkeit aller Verkehrsträger erhöhen und neue Beschäftigungsmöglichkeiten und nachhaltigere Geschäftsmodelle schaffen; in der Erwägung, dass ein Konzept der Union für die Entwicklung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien im Verkehrswesen das Potenzial birgt, die globale Wettbewerbsfähigkeit und die strategische Autonomie der Unionswirtschaft zu erhöhen;

Q. in der Erwägung, dass menschliches Versagen immer noch bei etwa 95 % aller Straßenverkehrsunfälle in der Union eine Rolle spielt; in der Erwägung, dass die Union sich das Ziel gesetzt hatte, die Zahl der Verkehrstoten pro Jahr in der EU bis 2020 gegenüber 2010 um 50 % zu senken, aber angesichts stagnierender Fortschritte ihre Bemühungen mit dem „EU-Politikrahmen für die Straßenverkehrssicherheit im Zeitraum 2021 bis 2030 – Nächste Schritte auf dem Weg zur ‚Vision Null Straßenverkehrstote‘“ erneuert hat; in der Erwägung, dass KI, Automatisierung und andere neue Technologien in diesem Zusammenhang ein großes Potenzial bergen und entscheidend dafür sind, die Straßenverkehrssicherheit zu erhöhen, indem sie die Möglichkeiten menschlichen Versagens reduzieren;

R. in der Erwägung, dass der Regelungsrahmen der Union für KI auch dem Erfordernis Rechnung tragen sollte, dafür zu sorgen, dass die Arbeitnehmerrechte geachtet werden; In der Erwägung, dass die Rahmenvereinbarung der europäischen Sozialpartner über die Digitalisierung vom Juni 2020 berücksichtigt werden sollte;

S. in der Erwägung, dass der Anwendungsbereich des Regelungsrahmens für KI angemessen und verhältnismäßig sein und gründlich geprüft werden sollte; in der Erwägung, dass er ein breites Spektrum von Technologien und ihren Komponenten, einschließlich der von ihnen verwendeten oder erzeugten Algorithmen, Software und Daten, abdecken sollte und es in diesem Zusammenhang eines gezielten risikobasierten Ansatzes bedarf, um künftige Innovationen nicht zu behindern und die Entstehung unnötiger Belastungen, insbesondere für KMU, zu verhindern; in der Erwägung, dass die Ermittlung einer einzelnen Lösung, die für das gesamte Risikospektrum geeignet ist, durch die Vielfalt der Anwendungen erschwert wird, die von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien gesteuert werden;

T. in der Erwägung, dass Datenanalysen und KI sich immer stärker auf die Informationen auswirken, die den Bürgern zugänglich gemacht werden; in der Erwägung, dass eine missbräuchliche Verwendung derartiger Technologien die Grundrechte auf freie Meinungsäußerung und Information sowie die Freiheit und Pluralität der Medien gefährden könnte;

U. in der Erwägung, dass der geografische Anwendungsbereich des Regelungsrahmens der Union für KI alle Komponenten von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien umfassen sollte, die in der Union entwickelt, eingesetzt oder genutzt werden, auch in Fällen, in denen ein Teil der Technologien unter Umständen außerhalb der Union angesiedelt sein oder keinen festen Standort haben könnte;

V. in der Erwägung, dass der Regelungsrahmen der Union für KI alle relevanten Phasen umfassen sollte, insbesondere die Entwicklung, Einführung und Nutzung der einschlägigen Technologien und ihrer Komponenten, wobei die einschlägigen rechtlichen Verpflichtungen und ethischen Grundsätze gebührend zu berücksichtigen sind, und dass in ihm die Anforderungen festgelegt werden sollten, mit denen sichergestellt wird, dass Entwickler, Betreiber und Nutzer diese Verpflichtungen und Grundsätze uneingeschränkt einhalten;

W. in der Erwägung, dass ein harmonisierter Ansatz für ethische Grundsätze in Bezug auf künstliche Intelligenz, Robotik und damit zusammenhängende Technologien in der Union ein gemeinsames Verständnis der Konzepte erfordert, die diesen Technologien zugrunde liegen, wie etwa Algorithmen, Software, Daten oder Biometrie;

X. in der Erwägung, dass Maßnahmen auf Unionsebene dadurch zu rechtfertigen sind, dass eine rechtliche Fragmentierung oder eine bloße Aneinanderreihung von nationalen Vorschriften ohne einen gemeinsamen Bezugsrahmen vermieden werden muss und dass die einheitliche Anwendung gemeinsamer gesetzlich verankerter ethischer Grundsätze bei der Entwicklung, beim Einsatz und bei der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien sichergestellt werden muss; in der Erwägung, dass es dort, wo erhebliche Risiken bestehen, klarer Regeln bedarf;

Y. in der Erwägung, dass gemeinsame ethische Grundsätze nur dann wirkungsvoll sind, wenn sie auch gesetzlich verankert sind und wenn diejenigen, die für die Sicherstellung, Bewertung und Überwachung ihrer Einhaltung verantwortlich sind, benannt werden;

Z. in der Erwägung, dass ethische Leitlinien wie die von der Hochrangigen Expertengruppe für künstliche Intelligenz angenommenen Grundsätze ein guter Anfang sind, dass damit jedoch nicht gewährleistet werden kann, dass Entwickler, Betreiber und Nutzer in fairer Weise agieren und für einen wirksamen Schutz von Menschen sorgen; in der Erwägung, dass solche Leitlinien umso relevanter sind, wenn es um risikoreiche künstliche Intelligenz, Robotik und damit zusammenhängende Technologien geht;

AA. in der Erwägung, dass jeder Mitgliedstaat eine nationale Aufsichtsbehörde benennen sollte, die dafür zuständig ist, die Vereinbarkeit der Entwicklung, des Einsatzes und der Nutzung von risikoreicher künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien mit dem Regelungsrahmen der Union für KI sicherzustellen, zu bewerten und zu überwachen und in enger Zusammenarbeit mit den einschlägigen Interessenträgern und der Zivilgesellschaft Debatten und Aussprachen zu ermöglichen; in der Erwägung, dass die nationalen Aufsichtsbehörden zusammenarbeiten sollten;

AB. in der Erwägung, dass zur Gewährleistung eines harmonisierten Ansatzes in der gesamten Union und des optimalen Funktionierens des digitalen Binnenmarkts die Koordinierung auf Unionsebene durch die Kommission und/oder alle einschlägigen Organe, Einrichtungen und sonstigen Stellen der Union, die in diesem Zusammenhang benannt werden können, im Hinblick auf die neuen Chancen und Herausforderungen, insbesondere solche grenzüberschreitender Art, die sich aus den laufenden technologischen Entwicklungen ergeben, bewertet werden sollte; in der Erwägung, dass die Kommission zu diesem Zweck beauftragt werden sollte, eine geeignete Lösung für die Regelung dieser Koordinierung auf Unionsebene zu finden;

Eine auf den Menschen ausgerichtete und vom Menschen geschaffene künstliche Intelligenz

1. Ist der Auffassung, dass unbeschadet sektorspezifischer Rechtsvorschriften ein wirksamer und harmonisierter Regelungsrahmen auf der Grundlage des Unionsrechts, der Charta der Grundrechte der Europäischen Union (im Folgenden „Charta“) und der internationalen Menschenrechtsnormen, die insbesondere für Hochrisikotechnologien gelten, erforderlich ist, um in der gesamten Union gleiche Standards zu schaffen und die Werte der Union wirksam zu schützen;

2. ist der Auffassung, dass alle neuen Regelungsrahmen für KI, die rechtliche Verpflichtungen und ethische Grundsätze für die Entwicklung, den Einsatz und die Nutzung der künstlichen Intelligenz, der Robotik und damit zusammenhängender Technologien umfassen, die Charta uneingeschränkt achten und dadurch die Menschenwürde, die Autonomie und die Selbstbestimmung des Einzelnen achten, Schaden abwenden, Fairness, Inklusion und Transparenz fördern, Vorurteile und Diskriminierung, auch gegenüber Minderheitengruppen, beseitigen und die Grundsätze der Begrenzung der negativen externen Effekte der eingesetzten Technologie, die Sicherstellung der Erklärbarkeit der Technologien und die Gewährleistung, dass die Technologien dazu da sind, den Menschen zu dienen, und nicht etwa dazu, sie zu ersetzen oder für sie zu entscheiden, achten und einhalten sollten, mit dem letztendlichen Ziel, das Wohlergehen aller Menschen zu steigern;

3. hebt die Asymmetrie zwischen denjenigen hervor, die KI-Technologien einsetzen, und denjenigen, die mit ihnen interagieren und ihnen unterworfen sind; betont in diesem Zusammenhang, dass das Vertrauen der Bürger in KI nur mittels eines Regelungsrahmens der maßgeschneiderten Ethik mit entsprechenden Vorgaben entstehen kann, mit dem sichergestellt wird, dass bei jeglicher eingesetzter KI die Verträge, die Charta und das Sekundärrecht der Union uneingeschränkt geachtet und eingehalten werden; ist der Ansicht, dass die Entwicklung eines solchen Ansatzes im Einklang mit dem Vorsorgeprinzip stehen sollte, von dem sich die Rechtsvorschriften der Union leiten lassen und das im Mittelpunkt eines jeden Regelungsrahmens für KI stehen sollte; fordert in diesem Zusammenhang ein klares und stimmiges Lenkungsmodell, das es Unternehmen und Innovatoren ermöglicht, künstliche Intelligenz, Robotik und damit zusammenhängende Technologien weiterzuentwickeln;

4. ist der Überzeugung, dass sämtliche legislativen Maßnahmen in Bezug auf künstliche Intelligenz, Robotik und damit zusammenhängende Technologien im Einklang mit den Grundsätzen der Notwendigkeit und Verhältnismäßigkeit stehen sollten;

5.  ist der Auffassung, dass ein solcher Ansatz es den Unternehmen ermöglichen wird, innovative Produkte auf den Markt zu bringen und neue Möglichkeiten zu schaffen und gleichzeitig den Schutz der Werte der Union zu gewährleisten, indem er zur Entwicklung von KI-Systemen führt, bei denen die ethischen Grundsätze der Union von vornherein berücksichtigt werden; ist der Auffassung, dass ein solcher werteorientierter Regelungsrahmen einen Mehrwert darstellen würde, indem er der Union einen einzigartigen Wettbewerbsvorteil verschafft, und durch die Ankurbelung des Binnenmarkts einen bedeutenden Beitrag zum Wohlergehen und Wohlstand der Bürger und Unternehmen der Union leisten würde; betont, dass ein solcher Regelungsrahmen für KI auch einen Zusatznutzen bieten wird, was die Förderung von Innovationen auf dem Binnenmarkt betrifft; ist der Ansicht, dass dieser Ansatz den Unternehmen in der Union beispielsweise im Verkehrssektor die Möglichkeit bietet, in diesem Bereich weltweit eine Führungsrolle einzunehmen;

6. weist darauf hin, dass der Rechtsrahmen der Union für künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von ihnen verwendeten oder erzeugten Software, Algorithmen und Daten, gelten sollte;

7. stellt fest, dass die Chancen der künstlichen Intelligenz, der Robotik und der damit zusammenhängenden Technologien auf großen Datenmengen beruhen, wobei eine kritische Masse an Daten erforderlich ist, um Algorithmen zu trainieren und Ergebnisse zu verfeinern; begrüßt in diesem Zusammenhang die von der Kommission vorgeschlagene Schaffung eines gemeinsamen Datenraums in der EU zur Stärkung des Datenaustauschs und zur Unterstützung der Forschung unter voller Beachtung der EU-Datenschutzvorschriften;

8. ist der Auffassung, dass der derzeitige EU-Rechtsrahmen, insbesondere in Bezug auf den Schutz der Privatsphäre und personenbezogener Daten, in vollem Umfang für KI, die Robotik und damit zusammenhängende Technologien gelten und regelmäßig überprüft, kontrolliert und erforderlichenfalls aktualisiert werden muss, damit die von diesen Technologien ausgehenden Risiken wirksam eingedämmt werden; ist ferner der Auffassung, dass es in dieser Hinsicht von Vorteil wäre, wenn der Rechtsrahmen durch solide ethische Leitprinzipien ergänzt würde; weist darauf hin, dass in den Fällen, in denen es verfrüht wäre, Rechtsakte zu verabschieden, auf einen Rahmen mit nicht zwingenden Rechtsvorschriften (Soft Law) zurückgegriffen werden sollte;

9. erwartet, dass die Kommission als Folgemaßnahme zum Weißbuch zur künstlichen Intelligenz einen soliden ethischen Ansatz für den im Anhang dieser Entschließung geforderten Legislativvorschlag integriert, der unter anderem die Aspekte Sicherheit, Haftung und Grundrechte umfasst und in dessen Rahmen die Möglichkeiten der KI-Technologien maximiert und die Risiken minimiert werden; erwartet, dass der geforderte Gesetzesvorschlag politische Lösungen für die wichtigsten erkannten Risiken der künstlichen Intelligenz enthalten wird, unter anderem hinsichtlich der ethisch unbedenklichen Erfassung und Nutzung von Massendaten und der Frage der Transparenz und Voreingenommenheit von Algorithmen; fordert die Kommission auf, Kriterien und Indikatoren zur Kennzeichnung von KI-Technologie zu entwickeln, um Transparenz, Erklärbarkeit und Rechenschaftspflicht zu fördern und Anreize für zusätzliche von Entwicklern zu treffende Vorsichtsmaßnahmen zu schaffen; betont, dass in die Einbeziehung nicht technischer Disziplinen in Studien und die Forschung zur KI investiert werden muss, wobei der soziale Kontext zu berücksichtigen ist;

10. ist der Auffassung, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien im Einklang mit dem Grundsatz, dass ihre Entwicklung, ihr Einsatz und ihre Nutzung stets im Dienste des Menschen stehen müssen und niemals andersherum erfolgen dürfen und dass sie auf die Bedürfnisse des Menschen zugeschnitten sein und darauf abzielen sollten, das Wohlbefinden und die individuelle Freiheit zu verbessern, Frieden zu erhalten, Konflikte zu verhindern und die internationale Sicherheit zu stärken, wobei zugleich der Nutzen maximiert und die damit verbundenen Risiken verhindert und verringert werden sollten;

11. erklärt, dass die Entwicklung, der Einsatz und die Nutzung risikoreicher künstlicher Intelligenz, Robotik und damit zusammenhängender Technologien, auch, aber nicht ausschließlich, durch Menschen, immer auf ethischen Grundsätzen beruhen und so gestaltet sein sollte, dass menschliches Handeln und demokratische Kontrolle geachtet werden und möglich sind und dass die menschliche Kontrolle, wenn nötig, durch die Umsetzung geeigneter Kontrollmaßnahmen wiederhergestellt werden kann;

Risikobewertung

12. betont, dass jeder künftigen Verordnung ein differenzierter und zukunftsorientierter risikobasierter Ansatz zur Regulierung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich technologieneutraler Standards für alle Branchen und gegebenenfalls mit branchenspezifischen Standards, zugrunde liegen sollte; stellt fest, dass es zur Gewährleistung einer einheitlichen Umsetzung des Systems der Risikobewertung und der Einhaltung der damit verbundenen rechtlichen Verpflichtungen zur Gewährleistung gleicher Wettbewerbsbedingungen zwischen den Mitgliedstaaten und zur Verhinderung einer Fragmentierung des Binnenmarkts einer erschöpfenden und kumulativen Liste von Bereichen sowie Verwendungen oder Zwecken mit hohem Risiko bedarf; betont, dass eine solche Liste regelmäßig überprüft werden muss, und stellt fest, dass angesichts der Weiterentwicklung dieser Technologien die Art und Weise, wie ihre Risikobewertung durchgeführt wird, in Zukunft möglicherweise neu bewertet werden muss;

13. ist der Auffassung, dass die Entscheidung, ob künstliche Intelligenz, Robotik und damit zusammenhängende Technologien als risikoreich anzusehen sind und somit der verbindlichen Einhaltung der im Regelungsrahmen für künstliche Intelligenz festgelegten rechtlichen Verpflichtungen und ethischen Grundsätze unterliegen, stets auf der Grundlage einer unparteiischen, geregelten und externen Ex-ante-Bewertung auf der Grundlage konkreter und definierter Kriterien erfolgen sollte;

14. vertritt in diesem Zusammenhang die Auffassung, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien als mit hohem Risiko behaftet betrachtet werden sollten, wenn ihre Entwicklung, ihr Einsatz und ihre Nutzung ein erhebliches Risiko der Verletzung oder Schädigung von Einzelpersonen oder der Gesellschaft unter Verletzung der Grundrechte und unter Verstoß gegen die Sicherheitsvorschriften, die im Unionsrecht verankert sind, mit sich bringen; ist der Ansicht, dass bei der Beurteilung der Frage, ob KI-Technologien ein solches Risiko bergen, der Bereich, in dem sie entwickelt, eingesetzt oder genutzt werden, ihre spezifische Verwendung oder ihr spezifischer Zweck sowie die Schwere der zu erwartenden Verletzung oder Schädigung berücksichtigt werden sollten; vertritt die Auffassung, dass das erste und das zweite Kriterium, nämlich der Bereich und die spezifische Verwendung oder der spezifische zweck, kumulativ betrachtet werden sollten;

15. betont, dass die Risikobewertung dieser Technologien auf der Grundlage einer erschöpfenden und kumulativen Liste von Bereichen sowie Verwendungen und Zwecken mit hohem Risiko erfolgen sollte; ist der festen Überzeugung, dass innerhalb der Union Kohärenz gegeben sein sollte, was die Risikobewertung dieser Technologien betrifft, insbesondere wenn sie sowohl im Hinblick auf ihre Übereinstimmung mit dem Regelungsrahmen für AI als auch im Einklang mit allen anderen geltenden sektorspezifischen Rechtsvorschriften bewertet werden;

16. ist der Auffassung, dass dieser risikobasierte Ansatz so konzipiert sein sollte, dass der Verwaltungsaufwand für Unternehmen und insbesondere KMU durch den Einsatz bestehender Instrumente so weit wie möglich eingeschränkt wird; weist darauf hin, dass zu diesen Instrumenten unter anderem die Liste der Datenschutz-Folgenabschätzungen gemäß der Verordnung (EU) 2016/679 gehört;

Sicherheitsmerkmale, Transparenz und Rechenschaftspflicht

17. weist darauf hin, dass das Recht der Verbraucher auf Information als ein Grundprinzip im Unionsrecht verankert ist, und betont, dass es daher im Kontext von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien vollständig umgesetzt werden sollte; ist der Ansicht, dass es insbesondere Transparenz in Bezug auf die Interaktion mit Systemen der künstlichen Intelligenz, einschließlich Automatisierungsprozessen, und in Bezug auf deren Funktionsweise, Fähigkeiten, z. B. wie Informationen gefiltert und präsentiert werden, Genauigkeit und Einschränkungen umfassen sollte; vertritt die Auffassung, dass derartige Angaben den nationalen Aufsichtsbehörden und den nationalen Verbraucherschutzbehörden übermittelt werden sollten;

18. hebt hervor, dass das Vertrauen der Verbraucher für die Entwicklung und Umsetzung dieser Technologien, die inhärente Risiken bergen können, wenn sie auf undurchsichtigen Algorithmen und verzerrten Datensätzen beruhen, von wesentlicher Bedeutung ist; ist der Ansicht, dass die Verbraucher das Recht haben sollten, in verständlicher Form, rechtzeitig sowie in standardisierter, korrekter und barrierefreier Weise angemessen darüber informiert zu werden, dass algorithmische Systeme zur Anwendung kommen, auf welcher Logik sie beruhen, welche Ergebnisse und Auswirkungen sie für die Verbraucher mit sich bringen können, wie entscheidungsbefugte Personen erreicht werden können, wie sich die Entscheidungen des Systems überprüfen lassen und wie sie wirksam angefochten und korrigiert werden können; hebt diesbezüglich hervor, dass die Grundsätze von Information und Offenlegung, auf denen der Besitzstand im Bereich des Verbraucherschutzes beruht, berücksichtigt und geachtet werden müssen; ist der Ansicht, dass den Endnutzern ausführliche Informationen zum Betrieb von Transportsystemen und KI-unterstützten Fahrzeugen zur Verfügung gestellt werden müssen;

19. stellt fest, dass es von wesentlicher Bedeutung ist, dass die Algorithmen und die von künstlicher Intelligenz, Robotik oder damit zusammenhängenden Technologien verwendeten oder erzeugten Datensätze erläutert werden können und – wo dies unbedingt erforderlich ist sowie unter uneingeschränkter Achtung der Rechtsvorschriften der Union zu Datenschutz, dem Schutz der Privatsphäre, den Rechten des geistigen Eigentums und Handelsgeheimnissen – für öffentliche Behörden wie nationale Aufsichtsbehörden und Marktüberwachungsbehörden zugänglich sind; weist ferner darauf hin, dass in Übereinstimmung mit den striktesten und anwendbaren Branchenstandards Unterlagen von denjenigen aufbewahrt werden sollten, die an den verschiedenen Phasen der Entwicklung von Technologien mit hohem Risiko beteiligt sind; nimmt zur Kenntnis, dass es sein kann, dass Marktüberwachungsbehörden diesbezüglich über zusätzliche Vorrechte verfügen; hebt in diesem Zusammenhang die Rolle eines rechtmäßigen Reverse-Engineering hervor; ist der Auffassung, dass möglicherweise eine Prüfung der derzeitigen Marktüberwachungsvorschriften erforderlich ist, um dafür zu sorgen, dass diese den Entwicklungen im Bereich der künstlichen Intelligenz, der Robotik und damit zusammenhängender Technologien in ethischer Weise Rechnung tragen;

20. fordert, dass Entwickler und Betreiber von Hochrisikotechnologien verpflichtet werden, sofern dies aufgrund einer Risikobewertung angezeigt ist, die einschlägigen Unterlagen über Einsatz und Design sowie Sicherheitsanweisungen zur Verfügung zu stellen, einschließlich – wo dies unbedingt erforderlich ist sowie unter uneingeschränkter Achtung der Rechtsvorschriften der Union zu Datenschutz, dem Schutz der Privatsphäre, den Rechten des geistigen Eigentums und Handelsgeheimnissen – des Quellcodes, der Entwicklungsinstrumente und der vom System verwendeten Daten; stellt fest, dass eine derartige Verpflichtung es ermöglichen würde, zu bewerten, ob das Unionsrecht und die ethischen Grundsätze eingehalten werden, und verweist diesbezüglich auf das Beispiel der gesetzlich angeordneten Hinterlegung von Pflichtexemplaren einer Veröffentlichung in einer nationalen Bibliothek; weist auf den wichtigen Unterschied zwischen transparenten Algorithmen und der transparenten Nutzung von Algorithmen hin;

21. stellt ferner fest, dass im Hinblick auf die Achtung der Würde des Menschen, der Autonomie und der Sicherheit lebenswichtige und hochentwickelte medizinische Geräte sowie die Notwendigkeit gebührend berücksichtigt werden sollten, dass unabhängigen vertrauenswürdigen Stellen die Mittel vorbehalten bleiben, die für die Erbringung von Dienstleistungen für Personen, die diese Geräte tragen, erforderlich sind, wenn diese Dienstleistungen vom ursprünglichen Entwickler oder Betreiber nicht mehr erbracht werden, wie etwa Wartung, Reparaturen und Weiterentwicklungen, einschließlich Software-Updates zur Behebung von Fehlfunktionen und Schwachstellen;

22. vertritt die Auffassung, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, die mit hohem Risiko verbunden sind, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, unabhängig von dem Bereich, in dem sie entwickelt, betrieben und genutzt werden, vom Entwurf her in einer sicheren, nachvollziehbaren, technisch robusten, zuverlässigen, ethischen und rechtlich verbindlichen Weise entwickelt werden und einer unabhängigen Kontrolle und Aufsicht unterliegen sollten; ist insbesondere der Überzeugung, dass alle Akteure der gesamten Entwicklungs- und Lieferkette von Produkten und Dienstleistungen der künstlichen Intelligenz rechtlich haftbar sein sollten, und unterstreicht, dass es Mechanismen bedarf, durch die Haftbarkeit und Rechenschaftspflicht sichergestellt werden;

23. unterstreicht, dass Vorschriften und Vorgaben zu Erklärbarkeit, Überprüfbarkeit, Rückverfolgbarkeit und Transparenz – sofern dies aufgrund einer Risikobewertung angezeigt und unbedingt erforderlich ist sowie unter uneingeschränkter Achtung der Rechtsvorschriften der Union, etwa jener zu Datenschutz, dem Schutz der Privatsphäre, den Rechten des geistigen Eigentums und Handelsgeheimnissen – wie auch der Zugang der Behörden zu Technologie, Daten und Computersystemen, die diesen Technologien zugrunde liegen, von wesentlicher Bedeutung sind, damit die Bürger diesen Technologien vertrauen, selbst wenn der Grad der Erklärbarkeit relativ zur Komplexität der Technologien ist; weist darauf hin, dass nicht in allen Fällen erklärt werden kann, weswegen ein Modell zu einem bestimmten Ergebnis oder einer bestimmten Entscheidung geführt hat, wie es beispielsweise bei Black-Box-Algorithmen der Fall ist; vertritt daher die Ansicht, dass die Achtung dieser Grundsätze eine Voraussetzung für die Gewährleistung von Rechenschaftspflicht ist;

24. ist der Auffassung, dass die Bürger und Konsumenten darüber informiert werden sollten, wenn sie mit einem System interagieren, das künstliche Intelligenz verwendet, insbesondere um ein Produkt oder eine Dienstleistung für seine Nutzer zu personalisieren, ob und wie sie die Personalisierung ausschalten oder einschränken können;

25. weist in diesem Zusammenhang darauf hin, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien technisch robust und genau sein müssen, damit sie vertrauenswürdig sind;

26. betont, dass der Schutz von Netzwerken, die aus einem Verbund von KI und Robotertechnik bestehen, wichtig ist und dass durchgreifende Maßnahmen ergriffen werden müssen, damit Verstöße gegen die Sicherheitsbestimmungen, Datenlecks, die Verfälschung von Daten, Cyberangriffe und der Missbrauch persönlicher Daten verhindert werden, weshalb es notwendig sein wird, dass die zuständigen Agenturen, Einrichtungen und Organe sowohl auf EU-Ebene als auch auf nationaler Ebene untereinander wie auch mit den Endnutzern dieser Technologien zusammenarbeiten; fordert die Kommission und die Mitgliedstaaten auf, dafür zu sorgen, dass die Werte der EU und die Achtung der Grundrechte bei der Entwicklung und dem Betrieb von KI-Technologie jederzeit eingehalten werden, damit die Sicherheit und Widerstandsfähigkeit der digitalen Infrastruktur der Union gewährleistet sind;

Nichtverzerrung und Nichtdiskriminierung

27. weist darauf hin, dass künstliche Intelligenz – je nachdem, wie sie entwickelt und verwendet wird – das Potenzial hat, Verzerrungen zu schaffen und zu verstärken, auch durch inhärente Verzerrungen in den zugrunde liegenden Datensätzen, und daher verschiedene Formen der automatischen Diskriminierung, einschließlich indirekter Diskriminierung, zu bewirken, die vor allem Gruppen von Menschen mit ähnlichen Merkmalen betrifft; fordert die Kommission und die Mitgliedstaaten auf, alle erdenklichen Maßnahmen zu ergreifen, damit es nicht zu solchen Verzerrungen kommt und der uneingeschränkte Schutz der Grundrechte gewährleistet wird;

28. ist besorgt darüber, dass bei der Entwicklung, dem Betrieb und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien mit hohem Risiko, einschließlich der Software, der Algorithmen und der Daten, die von solchen Technologien genutzt oder erstellt werden, die Gefahr von Verzerrungen und Diskriminierung besteht; weist erneut darauf hin, dass dabei unter allen Umständen das Unionsrecht sowie die Menschenrechte und die Menschenwürde und die Autonomie und Selbstbestimmung des Einzelnen geachtet und die Gleichbehandlung und Nichtdiskriminierung aller Personen sichergestellt werden sollten;

29. betont, dass KI-Technologien so konzipiert sein sollten, dass sie die Werte der Union und die körperliche und psychische Unversehrtheit achten, ihnen dienen und sie schützen, durch sie die kulturelle und sprachliche Vielfalt der Union aufrechterhalten wird und sie dazu beitragen, wesentliche Bedürfnisse zu befriedigen; unterstreicht, dass jeder Einsatz zu vermeiden ist, der zu unzulässigem direktem oder indirektem Zwang führen, die psychologische Autonomie und psychische Gesundheit zu untergraben drohen oder zu ungerechtfertigter Überwachung, Täuschung oder unzulässiger Manipulation führen könnte;

30. ist der festen Überzeugung, dass die in der Charta verankerten grundlegenden Menschenrechte rigoros eingehalten werden sollten, damit gewährleistet ist, dass diese im Aufkommen begriffenen Technologien keine Schutzlücken schaffen;

31. bekräftigt, dass eine mögliche Voreingenommenheit in und Diskriminierung durch Software, Algorithmen und Daten dem Einzelnen und der Gesellschaft offenkundigen Schaden zufügen kann und hier Abhilfe geleistet werden sollte, indem die Entwicklung und der Austausch von Strategien zur Bekämpfung dieser Phänomene gefördert werden, etwa indem Verzerrungen von Datensätzen in Forschung und Entwicklung beseitigt und Regeln für die Datenverarbeitung erstellt werden; ist der Auffassung, dass dieser Ansatz das Potenzial hat, Software, Algorithmen und Daten bei der Bekämpfung von Verzerrungen und Diskriminierung in bestimmten Situationen in einen Vorteil umzukehren und zu einer Kraft für Gleichberechtigung und einen positiven sozialen Wandel zu machen;

32. ist der Ansicht, dass ethische Werte wie Fairness, Genauigkeit, Vertraulichkeit und Transparenz die Grundlage dieser Technologien sein sollten, was in diesem Zusammenhang bedeutet, dass ihre Abläufe so gestaltet sein sollten, dass sie keine verzerrten Ergebnisse erzeugen;

33. unterstreicht die Bedeutung der Qualität der für künstliche Intelligenz, Robotik und damit zusammenhängende Technologien je nach ihrem Kontext verwendeten Datensätze, vor allem hinsichtlich der Repräsentativität der verwendeten Trainingsdaten, für die Beseitigung von Verzerrungen in den Datensätzen sowie für die verwendeten Algorithmen und die Daten- und Aggregationsstandards; betont, dass die nationalen Aufsichtsbehörden befugt sein sollten, diese Datensätze zu prüfen, wann immer eine entsprechende Aufforderung ergeht, damit sichergestellt ist, dass sie den zuvor genannten Grundsätzen genügen;

34. hebt hervor, dass KI-Technologien vor dem Hintergrund des weit verbreiteten Desinformationskriegs, der insbesondere von außereuropäischen Akteuren angeheizt wird, ethisch nachteilige Auswirkungen haben könnten, indem eine Voreingenommenheit bei Daten und Algorithmen ausgenutzt wird oder indem Lerndaten von einem Drittland absichtlich abgeändert werden, und dass sie in nicht absehbarer Weise und mit unkalkulierbaren Folgen auch anderen Formen gefährlicher Manipulationen ausgesetzt sein könnten; daher besteht für die Union zunehmend die Notwendigkeit, weiterhin in Forschung, Analyse, Innovation und den grenz- und sektorübergreifenden Wissenstransfer zu investieren, um KI-Technologien zu entwickeln, die eindeutig frei von jeder Form des Profilings, der Voreingenommenheit und der Diskriminierung sind und wirksam zur Bekämpfung von Falschmeldungen und Desinformation beitragen können, wobei gleichzeitig der Datenschutz und der Rechtsrahmen der EU zu achten sind;

35. weist darauf hin, dass unbedingt sichergestellt werden muss, dass Einzelpersonen wirksame Rechtsbehelfe zur Verfügung stehen, und fordert die Mitgliedstaaten auf, dafür zu sorgen, dass es zugängliche, erschwingliche, unabhängige und wirksame Verfahren und Überprüfungsmechanismen gibt, um eine von Menschen durchgeführte unparteiische Überprüfung aller behaupteten Verstöße gegen Bürgerrechte – wie Verbraucherrechte oder bürgerliche Rechte – infolge des Einsatzes algorithmischer Systeme zu gewährleisten, unabhängig davon, ob diese von Akteuren des öffentlichen oder des privaten Sektors stammen; unterstreicht die Bedeutung des Entwurfs einer Richtlinie des Europäischen Parlaments und des Rates über Verbandsklagen zum Schutz der Kollektivinteressen der Verbraucher und zur Aufhebung der Richtlinie 2009/22/EG, zu der am 22. Juni 2020 eine politische Einigung im Hinblick auf künftige Fälle erzielt wurde, durch die die Einführung oder laufende Anwendung eines KI-Systems, das das Risiko einer Verletzung von Verbraucherrechten birgt, angefochten werden soll oder durch die infolge einer Rechtsverletzung Rechtsmittel eingelegt werden sollen; fordert die Kommission und die Mitgliedstaaten auf, dafür zu sorgen, dass nationale Verbraucherorganisationen und Verbraucherorganisationen auf EU-Ebene über ausreichende Mittel verfügen, um die Verbraucher bei der Wahrnehmung ihres Anspruchs auf Rechtsbehelf in Fällen zu unterstützen, in denen ihre Rechte verletzt wurden;

36. ist daher der Auffassung, dass jede natürliche oder juristische Person die Möglichkeit haben sollte, Rechtsmittel gegen eine Entscheidung einzulegen, die von künstlicher Intelligenz, Robotik oder damit zusammenhängenden Technologie zu ihrem Nachteil unter Verstoß gegen Unionsrecht oder gegen einzelstaatliches Recht getroffen wurde;

37. ist der Auffassung, dass sich Verbraucher mit Rechtsmittelanträgen ebenso an die nationalen Aufsichtsbehörden als erste Anlaufstelle bei vermuteten Verstößen gegen den Regelungsrahmen der Union in diesem Zusammenhang wenden könnten, damit die wirksame Durchsetzung des genannten Rahmens gewährleistet ist;

Soziale Verantwortung und ausgewogenes Geschlechterverhältnis

38. betont, dass sozial verantwortliche künstliche Intelligenz, Robotik und damit zusammenhängende Technologien eine Rolle bei der Suche nach Lösungen zu spielen haben, durch die grundlegende Rechte und Werte unserer Gesellschaft geschützt und gefördert werden, wie Demokratie, Rechtsstaatlichkeit, vielfältige und unabhängige Medien sowie objektive und frei verfügbare Informationen, Gesundheit und wirtschaftlicher Wohlstand, Chancengleichheit, Arbeitnehmer- und soziale Rechte, hochwertige Bildung, Schutz von Kindern, kulturelle und sprachliche Vielfalt, Gleichstellung der Geschlechter, digitale Kompetenz, Innovation und Kreativität; weist erneut darauf hin, dass dafür gesorgt werden muss, dass die Interessen aller Bürgerinnen und Bürger, auch jener, die ausgegrenzt oder schutzbedürftig sind, etwa Menschen mit Behinderungen, angemessen berücksichtigt und vertreten werden;

39. erachtet es als sehr wichtig, im Bereich der digitalen Kompetenzen allgemein ein hohes Niveau zu erreichen, hochqualifizierte Fachkräfte in diesem Bereich auszubilden und die gegenseitige Anerkennung entsprechender Qualifikationen in der gesamten Union sicherzustellen; hebt hervor, dass gemischte Teams aus Entwicklern und Ingenieuren mit wichtigen gesellschaftlichen Akteuren zusammenarbeiten müssen, damit verhindert wird, dass unbeabsichtigt geschlechtsspezifische und kulturelle Verzerrungen in KI-gestützte Algorithmen, Systeme und Anwendungen einfließen; unterstützt die Ausarbeitung von Lehrplänen und Aktivitäten zur Sensibilisierung der Öffentlichkeit für die gesellschaftlichen, rechtlichen und ethischen Auswirkungen von künstlicher Intelligenz;

40. betont, dass es von zentraler Bedeutung ist, die Gedanken- und die Meinungsfreiheit zu gewährleisten und somit sicherzustellen, dass diese Technologien nicht Hassreden oder Gewalt fördern, und ist deshalb der Auffassung, dass eine Behinderung oder Einschränkung der digital ausgeübten Meinungsfreiheit nach den Grundprinzipien der Union als ungesetzlich zu betrachten ist, es sei denn, die Ausübung dieses Grundrechts ist mit rechtswidrigen Handlungen verbunden;

41. betont, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien zur Verringerung sozialer Ungleichheiten beitragen können, und bekräftigt, dass das europäische Modell für ihre Entwicklung auf dem Vertrauen der Bürgerinnen und Bürger und einem stärkeren sozialen Zusammenhalt beruhen muss;

42. betont, dass durch den Betrieb eines Systems künstlicher Intelligenz der Zugang der Nutzer zu öffentlichen Diensten wie der Sozialversicherung nicht übermäßig eingeschränkt werden sollte; fordert die Kommission daher auf, sich damit zu befassen, wie dieses Ziel erreicht werden kann;

43. hebt den Stellenwert einer verantwortungsvollen Forschung und Entwicklung hervor, deren Ziel es ist, das gesamte Potenzial von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien zum Wohl der Bürger und der Öffentlichkeit zu maximieren; fordert die Bereitstellung von Mitteln seitens der Union und ihrer Mitgliedstaaten, um verantwortungsvolle Innovationen zu entwickeln und zu fördern;

44. betont, dass technisches Fachwissen immer wichtiger und es daher notwendig sein wird, das Ausbildungsangebot, insbesondere für die nächsten Generationen, laufend zu aktualisieren und die berufliche Umschulung von Personen zu fördern, die bereits berufstätig sind; vertritt diesbezüglich die Auffassung, dass Innovation und Ausbildung nicht nur in der Privatwirtschaft, sondern auch im öffentlichen Sektor gefördert werden sollten;

45. weist mit Nachdruck darauf hin, dass die Entwicklung, der Betrieb und die Nutzung dieser Technologien keinerlei Verletzungen oder Schäden für den Einzelnen oder die Gesellschaft oder die Umwelt verursachen sollten und dass die Entwickler, Betreiber und Nutzer dieser Technologien gemäß den einschlägigen Haftungsbestimmungen der Union und der Mitgliedstaaten folglich für solche Verletzungen oder Schäden verantwortlich gemacht werden sollten;

46. fordert die Mitgliedstaaten auf, sich mit der Frage zu befassen, ob der Verlust von Arbeitsplätzen infolge des Einsatzes dieser Technologien zu einer angemessenen staatlichen Politik, etwa einer Verkürzung der Arbeitszeit, führen sollte;

47. vertritt die Auffassung, dass es dringend eines Konzeptionsansatzes auf der Grundlage der Werte und ethischen Grundsätze der Union bedarf, um die Bedingungen für eine breite gesellschaftliche Akzeptanz von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien zu schaffen; erachtet diesen Ansatz, der auf die Entwicklung von vertrauenswürdiger, ethisch verantwortlicher und technisch robuster künstlicher Intelligenz abzielt, als wichtige Voraussetzung für eine nachhaltige und intelligente Mobilität, die sicher und zugänglich ist;

48. macht auf den hohen Mehrwert von autonomen Fahrzeugen für Personen, die in ihrer Mobilität eingeschränkt sind, aufmerksam, da solche Fahrzeuge diesen Personen eine wirksamere Teilnahme am individuellen Straßenverkehr ermöglichen und dadurch ihren Alltag erleichtern; betont die Bedeutung von Zugänglichkeit, insbesondere bei der Gestaltung von MaaS-Systemen (Mobility as a Service);

49. fordert die Kommission auf, die Entwicklung vertrauenswürdiger KI-Systeme weiter zu unterstützen, um den Verkehr sicherer, effizienter, zugänglicher, erschwinglicher und inklusiver zu gestalten, auch für Personen mit eingeschränkter Mobilität, insbesondere Menschen mit Behinderungen, und dabei die Richtlinie (EU) 2019/882 des Europäischen Parlaments und des Rates sowie die Rechtsvorschriften der Union über Fahr- und Fluggastgastrechte zu berücksichtigen;

50. ist der Ansicht, dass KI dazu beitragen kann, die Fähigkeiten und Kompetenzen von Menschen mit Behinderungen besser zu nutzen, und dass die Anwendung der KI am Arbeitsplatz zu integrativen Arbeitsmärkten und höheren Beschäftigungsquoten für Menschen mit Behinderungen beitragen kann;

Umwelt und Nachhaltigkeit

51. stellt fest, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien von Regierungen und Unternehmen zum Wohle der Menschen und des Planeten eingesetzt werden sollten sowie um zur Erreichung der Ziele nachhaltige Entwicklung, Umweltschutz, Klimaneutralität und Kreislaufwirtschaft beizutragen; vertritt die Ansicht, dass mit der Entwicklung, dem Betrieb und der Nutzung dieser Technologien im Einklang mit dem Unionsrecht ein Beitrag zum ökologischen Wandel geleistet, die Umwelt geschützt und jegliche von ihnen ausgehende Umweltbelastung während ihres Lebenszyklus und entlang ihrer gesamten Lieferkette minimiert und dieser Belastung entgegengewirkt werden sollte;

52. ist der Auffassung, dass für die Zwecke des vorstehenden Absatzes die Umweltauswirkungen der Entwicklung, des Betriebs und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, soweit relevant und angemessen, angesichts ihres Ausmaßes während deren gesamten Lebensdauer von sektorspezifischen Gremien bewertet werden könnten; ist ferner der Auffassung, dass eine solche Bewertung eine Abschätzung der Auswirkungen der Gewinnung der benötigten Materialien sowie des Energieverbrauchs und der Treibhausgasemissionen, die durch Entwicklung, Betrieb und Nutzung verursacht werden, umfassen könnte;

53. schlägt vor, dass im Hinblick auf die Erarbeitung verantwortungsvoller, hochmoderner Lösungen im Bereich der künstlichen Intelligenz das Potenzial von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien mit Hilfe verantwortungsvoller Forschung und Entwicklung, für die von der Union und ihren Mitgliedstaaten Ressourcen bereitgestellt werden müssen, erforscht, angekurbelt und maximiert werden sollte;

54. betont, dass sich durch die Entwicklung, den Betrieb und die Nutzung dieser Technologien Chancen für die Förderung der von den Vereinten Nationen festgelegten Ziele für nachhaltige Entwicklung, die globale Energiewende und die Dekarbonisierung bieten;

55. vertritt die Auffassung, dass die Ziele der sozialen Verantwortung, des ausgewogenen Geschlechterverhältnisses, des Umweltschutzes und der Nachhaltigkeit die geltenden allgemeinen und sektorspezifischen Verpflichtungen in diesen Bereichen nicht berühren sollten; ist der Auffassung, dass hinsichtlich der Methodik zur Bewertung der Einhaltung dieser Verordnung und der Erreichung dieser Ziele unverbindliche Durchführungsleitlinien für Entwickler, Betreiber und Nutzer insbesondere von Technologien mit hohem Risiko erstellt werden sollten;

56. fordert die Union auf, die Entwicklung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, bei denen der Mensch im Mittelpunkt steht und mit denen Herausforderungen im Zusammenhang mit der Umwelt und dem Klima angegangen werden und die Achtung der Grundrechte sichergestellt wird, über die Besteuerung, die Auftragsvergabe und sonstige Anreize zu fördern und finanziell zu unterstützen;

57. betont, dass trotz des derzeit großen CO2-Fußabdrucks von Entwicklung, Betrieb und Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich automatisierter Entscheidungen und maschinellem Lernen, diese Technologien zur Verringerung des derzeitigen ökologischen Fußabdrucks der IKT-Branche beitragen können; hebt hervor, dass diese und weitere, damit zusammenhängende und angemessen regulierte Technologien entscheidende Voraussetzungen für die Verwirklichung der Ziele des Grünen Deals, der Ziele der Vereinten Nationen für nachhaltige Entwicklung und des Übereinkommens von Paris in vielen unterschiedlichen Bereichen sein und die Schlagkraft von Umweltschutzmaßnahmen, beispielsweise im Bereich Abfallreduzierung und Umweltschädigung, stärken sollten;

58. fordert die Kommission auf, eine Studie über die Auswirkungen des CO2-Fußabdrucks der KI-Technologie sowie über die positiven wie auch die negativen Auswirkungen des Übergangs zur Nutzung der KI-Technologie durch die Verbraucher durchzuführen;

59. stellt fest, dass angesichts der zunehmenden Entwicklung von KI-Anwendungen, die Rechen-, Speicher- und Energieressourcen benötigen, die Umweltauswirkungen von KI-Systemen über ihren gesamten Lebenszyklus hinweg betrachtet werden sollten;

60. ist der Ansicht, dass in Bereichen wie Gesundheit letztlich eine natürliche oder juristische Person haften muss; betont, dass es rückverfolgbarer und öffentlich zugänglicher Trainingsdaten für Algorithmen bedarf;

61. unterstützt nachdrücklich die von der Kommission vorgeschlagene Schaffung eines europäischen Raums für Gesundheitsdaten[12], mit dem unter vollständiger Wahrung des Datenschutzes, einschließlich der Verarbeitung von Daten mit KI-Technologie, der Austausch von Gesundheitsdaten gefördert und Forschung unterstützt und die Verwendung und Wiederverwendung von Gesundheitsdaten verstärkt und ausgeweitet wird; spricht sich für den Ausbau des grenzüberschreitenden Austauschs von Gesundheitsdaten, ihre Verknüpfung und Nutzung durch sichere, zusammengeschlossene Archive, bestimmte Arten von Gesundheitsinformationen, wie z. B. europäische Patientenakten, Genominformationen und digitale medizinische Bilddaten aus, um unionsweite interoperable Register oder Datenbanken in Bereichen wie Forschung, Wissenschaft und Gesundheitswesen zu fördern;

62. betont den Nutzen von KI für die Prävention, Behandlung und Kontrolle von Krankheiten, der dadurch veranschaulicht wird, dass die KI die COVID-19-Epidemie vor der WHO vorausgesagt hat; fordert die Kommission nachdrücklich auf, das ECDC angemessen mit dem Regelungsrahmen und den Ressourcen auszustatten, die es für eine unabhängige Erhebung in Echtzeit von notwendigen, anonymisierten Gesundheitsdaten weltweit in Abstimmung mit den Mitgliedstaaten benötigt, um unter anderem Probleme anzugehen, die durch die COVID-19-Krise zutage gefördert wurden;

Privatsphäre und biometrische Erkennung

63. stellt fest, dass die Generierung und Nutzung von Daten, einschließlich personenbezogener Daten wie biometrische Daten, die sich aus der Entwicklung, dem Betrieb und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien ergeben, rasch zunimmt, wodurch unterstrichen wird, dass die Rechte der Bürger auf Privatsphäre und den Schutz personenbezogener Daten im Einklang mit dem Unionsrecht geachtet und durchgesetzt werden müssen;

64. weist darauf hin, dass ein Gegengewicht zu der sich aus diesen Technologien ergebenden Möglichkeit, personenbezogene und nicht personenbezogene Daten zu nutzen, um Personen zu kategorisieren und gezielt anzusprechen (sogenanntes Mikrotargeting), Schwachstellen einer Person zu ermitteln oder präzises vorhersagbares Wissen auszunutzen, gesetzt werden muss, und zwar durch wirksam durchgesetzte Grundsätze des Datenschutzes und des Schutzes der Privatsphäre wie die Datenminimierung, das Recht, gegen die Erstellung von Profilen Einspruch zu erheben und seine Daten zu kontrollieren, das Recht auf Erläuterung einer auf einer automatisierten Verarbeitung beruhenden Entscheidung, den Grundsatz des eingebauten Schutzes der Privatsphäre sowie die Grundsätze der Verhältnismäßigkeit, der Notwendigkeit und der Beschränkung auf der Grundlage genau festgelegter Zwecke in Übereinstimmung mit der DSGVO;

65. betont, dass bei einem Einsatz von Fernerkennungstechnologien, wie der Erkennung biometrischer Merkmale, insbesondere der Gesichtserkennung, durch Behörden aus Gründen eines erheblichen öffentlichen Interesses dieser Einsatz stets offengelegt werden, verhältnismäßig, zielgerichtet, auf bestimmte Zielvorgaben begrenzt und zeitlich beschränkt sein sowie im Einklang mit dem Unionsrecht und unter gebührender Berücksichtigung der Würde und Autonomie des Menschen und der in der Charta verankerten Grundrechte erfolgen sollte; betont ferner, dass die Kriterien für einen derartigen Einsatz und dessen Grenzen einer gerichtlichen Überprüfung und demokratischer Kontrolle unterliegen und den psychologischen und soziokulturellen Auswirkungen dieses Einsatzes auf die Zivilgesellschaft Rechnung tragen sollten;

66. weist darauf hin, dass der Betrieb von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien im Rahmen von Entscheidungen der öffentlichen Hand zwar Vorteile hat, jedoch auch zu schwerem Missbrauch führen kann, etwa Massenüberwachung, vorausschauender Polizeiarbeit und Verstößen gegen das Recht auf ein ordnungsgemäßes Gerichtsverfahren;

67. ist der Auffassung, dass Technologien, die automatisierte Entscheidungen produzieren und damit Entscheidungen von Behörden ersetzen können, mit äußerster Vorsicht behandelt werden sollten, insbesondere im Bereich der Justiz und der Strafverfolgung;

68. ist der Auffassung, dass die Mitgliedstaaten nur dann auf solche Technologien zurückgreifen sollten, wenn ihre Vertrauenswürdigkeit eingehend belegt ist und wenn in Fällen, in denen grundlegende Freiheiten auf dem Spiel stehen, wesentliche Eingriffe und eine wesentliche Überwachung durch den Menschen möglich sind oder systematisch erfolgen; unterstreicht, wie wichtig es ist, dass die nationalen Behörden Systeme künstlicher Intelligenz, die in diesen Fällen eingesetzt werden, einer strengen Folgenabschätzung im Hinblick auf die Grundrechte unterziehen, insbesondere nachdem diese Technologien als risikoreich eingestuft wurden;

69. vertritt die Auffassung, dass jede von künstlicher Intelligenz, Robotik oder damit zusammenhängenden Technologien getroffene Entscheidung im Rahmen der Vorrechte der öffentlichen Gewalt Gegenstand wesentlicher Eingriffe durch den Menschen und eines ordnungsgemäßen Verfahrens sein sollte, insbesondere nachdem diese Technologien als risikoreich eingestuft wurden;

70. ist der Auffassung, dass der technologische Fortschritt nicht dazu führen sollte, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien eingesetzt werden, um autonom Entscheidungen im Bereich des öffentlichen Sektors zu treffen, die direkte und erhebliche Auswirkungen auf die Rechte und Pflichten der Bürger haben;

71. stellt fest, dass KI, Robotik und damit zusammenhängende Technologien im Bereich der Strafverfolgung und der Grenzkontrolle die öffentliche Sicherheit erhöhen könnten, aber auch eine umfassende und strenge öffentliche Kontrolle und ein höchstmögliches Maß an Transparenz sowohl hinsichtlich der Risikobewertung einzelner Anwendungen als auch hinsichtlich eines allgemeinen Überblicks über den Einsatz von KI, Robotik und damit zusammenhängenden Technologien im Bereich der Strafverfolgung und der Grenzkontrolle notwendig machen; ist der Auffassung, dass solche Technologien erhebliche ethische Risiken bergen, die in Anbetracht der möglichen negativen Auswirkungen auf den Einzelnen, insbesondere auf sein Recht auf Privatsphäre, Datenschutz und Nichtdiskriminierung, angemessen angegangen werden müssen; betont, dass der Missbrauch solcher Technologien zu einer direkten Bedrohung für die Demokratie werden kann und dass bei ihrem Einsatz und ihrer Verwendung die Grundsätze der Verhältnismäßigkeit und Notwendigkeit, die Charta der Grundrechte sowie das einschlägige Sekundärrecht der EU wie die Datenschutzvorschriften eingehalten werden müssen; betont, dass Urteile niemals von künstlicher Intelligenz anstelle von Menschen gefällt werden sollten; ist der Ansicht, dass Entscheidungen, wie z. B. die Erwirkung einer Kaution oder einer Bewährungsstrafe, die vor Gericht verhandelt werden, oder Entscheidungen, die ausschließlich auf einer automatisierten Verarbeitung beruhen und eine Rechtswirkung gegenüber einer Einzelperson zur Folge haben oder diese erheblich beeinträchtigen, stets eine aussagekräftige Bewertung und eine Prüfung durch einen Menschen umfassen müssen;

Verantwortungsvolle Steuerung

72. betont, dass mit einer angemessenen Steuerung der Entwicklung, des Betriebs und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, insbesondere von risikoreichen Technologien, durch Maßnahmen, die sich auf die Rechenschaftspflicht konzentrieren und potenzielle Risiken im Zusammenhang mit Verzerrung und Diskriminierung ausschalten, die Sicherheit der Bürger erhöht und bewirkt werden kann, dass sie diesen Technologien mehr Vertrauen entgegenbringen;

73. ist der Auffassung, dass ein gemeinsamer Rahmen für die Steuerung dieser Technologien, der von der Kommission und/oder anderen einschlägigen Organen, Einrichtungen, Ämtern oder Agenturen, die für diese Aufgabe in diesem Zusammenhang benannt werden können, koordiniert und von den nationalen Aufsichtsbehörden in den einzelnen Mitgliedstaaten umgesetzt wird, einen kohärenten europäischen Ansatz gewährleisten und einer Fragmentierung des Binnenmarkts vorbeugen würde;

74. stellt fest, dass bei der Entwicklung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien Daten in großen Mengen genutzt werden und dass die Verarbeitung, der Austausch, der Zugang zu und die Verwendung dieser Daten in Übereinstimmung mit den Rechtsvorschriften und den darin festgelegten Anforderungen an Qualität, Integrität, Interoperabilität, Transparenz, Sicherheit, Datenschutz und Kontrolle geregelt werden müssen;

75. weist erneut darauf hin, dass der Zugang zu Daten ein wesentlicher Bestandteil für das Wachstum der digitalen Wirtschaft ist; weist in diesem Zusammenhang darauf hin, dass die Interoperabilität der Daten durch Begrenzung der Lock-in-Effekte eine zentrale Rolle dabei spielt, für faire Marktbedingungen zu sorgen und gleiche Wettbewerbsbedingungen im digitalen Binnenmarkt zu fördern;

76. unterstreicht, dass personenbezogene Daten angemessen geschützt werden müssen, insbesondere Daten über schutzbedürftige Gruppen wie Menschen mit Behinderungen, Patienten, Kinder, ältere Menschen, Minderheiten, Migranten und sonstige Gruppen, die von Ausgrenzung bedroht sind, oder Daten, die von diesen schutzbedürftigen Gruppen stammen;

77. stellt fest, dass die Entwicklung, der Betrieb und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien durch Behörden häufig an private Einrichtungen ausgelagert werden; ist der Auffassung, dass der Schutz der öffentlichen Werte und Grundrechte dadurch in keiner Weise gefährdet werden sollte; ist der Auffassung, dass die allgemeinen Bedingungen für öffentliche Ausschreibungen gegebenenfalls die ethischen Standards widerspiegeln sollten, denen Behörden unterworfen sind;

Verbraucher und der Binnenmarkt

78. betont, wie wichtig es ist, dass es einen Rechtsrahmen für KI gibt, der dann gilt, wenn Verbraucher in der Union Nutzer eines algorithmischen Systems sind, einem solchen unterliegen, Ziel eines solchen sind oder an ein algorithmisches System weitergeleitet werden, wobei es keine Rolle spielt, wo die Unternehmen, die das System entwickeln, verkaufen oder nutzen, niedergelassen sind; ist ferner der Auffassung, dass im Interesse der Rechtssicherheit die in diesem Rahmen festgelegten Vorschriften für alle Entwickler und die gesamte Wertschöpfungskette, also für die Entwicklung, die Bereitstellung und die Nutzung der entsprechenden Technologien und ihrer Komponenten, gelten sollten und dass damit ein hoher Verbraucherschutz sichergestellt werden sollte;

79. stellt fest, dass die künstliche Intelligenz, die Robotik und damit zusammenhängende Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, und Bereiche wie das Internet der Dinge, maschinelles Lernen, regelbasierte Systeme oder Prozesse der automatisierten oder unterstützten Entscheidungsfindung untrennbar miteinander verbunden sind; weist ferner darauf hin, dass standardisierte Symbole entwickelt werden könnten, mit deren Hilfe derartige Systeme den Verbrauchern erläutert werden können, wenn sich diese Systeme durch Komplexität auszeichnen oder Entscheidungen treffen können, die das Leben der Verbraucher erheblich beeinflussen;

80. weist erneut darauf hin, dass die Kommission den bestehenden Rechtsrahmen, einschließlich des Besitzstands im Bereich des Verbraucherrechts und der Rechtsvorschriften in den Bereichen Produkthaftung, Produktsicherheit und Marktüberwachung, und die Anwendung dieses Rechtsrahmens prüfen sollte, um Rechtslücken sowie bestehende rechtliche Pflichten zu ermitteln; ist der Ansicht, dass dies notwendig ist, um festzustellen, ob mit dem Rechtsrahmen auf die neuen Herausforderungen, die mit dem Aufkommen der künstlichen Intelligenz, der Robotik und damit zusammenhängender Technologien verbunden sind, reagiert und ein hohes Verbraucherschutzniveau sichergestellt werden kann;

81. betont, dass die Herausforderungen, die die künstliche Intelligenz, die Robotik und damit zusammenhängende Technologien mit sich bringen, wirksam angegangen werden müssen und dass dafür gesorgt werden muss, dass die Verbraucher in ihren Rechten gestärkt und angemessen geschützt werden; betont, dass über die herkömmlichen Grundsätze der Information und Offenlegung, auf denen der Besitzstand im Verbraucherschutz beruht, hinausgegangen werden muss, da stärkere Verbraucherrechte und klare Einschränkungen bei der Entwicklung, Bereitstellung und Nutzung der künstlichen Intelligenz, der Robotik und damit zusammenhängender Technologien erforderlich sein werden, um sicherzustellen, dass die Technologie dazu beiträgt, das Leben der Verbraucher zu verbessern, und sich so weiterentwickelt, dass die Grundrechte und die Verbraucherrechte sowie die Werte der Union gewahrt werden;

82. weist darauf hin, dass mit dem Beschluss Nr. 768/2008/EG ein Rechtsrahmen eingeführt wurde, in dessen Rahmen eine einheitliche Auflistung von Verpflichtungen für Hersteller, Einführer und Händler vorgesehen ist, die Anwendung von Normen gefördert wird und verschiedene Kontrollniveaus vorgesehen sind, die sich danach richten, wie gefährlich die entsprechenden Produkte sind; ist der Ansicht, dass dieser Rechtsrahmen auch für Produkte mit integrierter KI gelten sollte;

83. stellt fest, dass der Datenzugriff unter uneingeschränkter Achtung des Unionsrechts, zum Beispiel der Rechtsvorschriften im Zusammenhang mit dem Datenschutz, der Privatsphäre und Geschäftsgeheimnissen, auf die zuständigen nationalen Behörden ausgeweitet werden könnte, um die Auswirkungen der künstlichen Intelligenz, der Robotik und damit zusammenhängender Technologien auf die Verbraucher zu analysieren; weist darauf hin, wie wichtig es ist, die Verbraucher zu schulen, damit sie beim Umgang mit künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien besser informiert und kompetenter sind und um sie vor potenziellen Risiken zu schützen und ihre Rechte zu wahren; 

84. fordert die Kommission auf, Maßnahmen in Bezug auf die Rückverfolgbarkeit von Daten vorzuschlagen und dabei sowohl die Rechtmäßigkeit der Datenerfassung als auch den Schutz der Verbraucherrechte und Grundrechte zu berücksichtigen und das Unionsrecht, zum Beispiel die Rechtsvorschriften im Zusammenhang mit dem Datenschutz, der Privatsphäre, Rechten des geistigen Eigentums und Geschäftsgeheimnissen, uneingeschränkt zu achten;

85. weist darauf hin, dass diese Technologien auf die Nutzer ausgerichtet und so konzipiert sein sollten, dass alle Menschen ungeachtet ihres Alters, ihres Geschlechts, ihrer Fähigkeiten oder ihrer Eigenschaften KI-Produkte oder ‑Dienste nutzen können; weist darauf hin, dass ihre Barrierefreiheit für Menschen mit Behinderungen von besonderer Bedeutung ist; stellt fest, dass kein pauschales Konzept verfolgt werden sollte und dass die Grundsätze des universellen Designs berücksichtigt werden sollten, die sich an ein möglichst breites Spektrum von Nutzern richten und den einschlägigen Normen im Bereich der Barrierefreiheit folgen; betont, dass dies allen Menschen einen gleichberechtigten Zugang zu und eine aktive Teilhabe an bereits existierenden und neuen computergestützten menschlichen Tätigkeiten und assistiven Technologien ermöglichen wird;

86. betont, dass in Fällen, in denen parallel zu einer offenen Auftragsvergabe und offenen Auftragsvergabestandards mit Geldern aus öffentlichen Quellen erheblich zur Entwicklung, Bereitstellung oder Nutzung von künstlicher Intelligenz, Robotik oder damit zusammenhängenden Technologien beigetragen wird, in Betracht gezogen werden könnte, den Code, die generierten Daten – soweit es sich nicht um personenbezogene Daten handelt – und das geschulte Modell standardmäßig nach Vereinbarung mit dem Entwickler öffentlich zu machen, um Transparenz sicherzustellen, die Cybersicherheit zu erhöhen und eine Weiterverwendung zum Zweck der Förderung von Innovationen zu ermöglichen; betont, dass auf diese Weise das volle Potenzial des Binnenmarkts erschlossen werden kann und eine Marktfragmentierung verhindert wird;

87.  ist der Ansicht, dass die KI, die Robotik und damit zusammenhängende Technologien ein enormes Potenzial haben, Verbrauchern Möglichkeiten zu bieten, Zugang zu einer Reihe von Annehmlichkeiten in vielen Bereichen ihres Lebens und gleichzeitig zu besseren Produkten und Dienstleistungen zu erhalten sowie Nutzen aus einer besseren Marktüberwachung zu ziehen, sofern alle geltenden Grundsätze, Bedingungen – einschließlich Transparenz und Überprüfbarkeit – und Vorschriften weiterhin Anwendung finden;

Sicherheit und Verteidigung

88. betont, dass sich die Sicherheits- und Verteidigungspolitik der Europäischen Union und ihrer Mitgliedstaaten nach den in der Charta der Grundrechte der Europäischen Union verankerten Grundsätzen sowie den Grundsätzen der Charta der Vereinten Nationen und einem gemeinsamen Verständnis der universellen Werte der Achtung der unverletzlichen und unveräußerlichen Rechte des Menschen, der Menschenwürde, der Freiheit, der Demokratie, der Gleichheit und der Rechtsstaatlichkeit richtet; betont, dass bei allen Verteidigungsbemühungen im Unionsrahmen diese universellen Werte geachtet und gleichzeitig Frieden, Sicherheit und Fortschritt in Europa und in der Welt gefördert werden müssen;

89. begrüßt die Billigung von elf Leitprinzipien für die Entwicklung und den Einsatz autonomer Waffensysteme im Rahmen des Treffens der Hohen Vertragsparteien des Übereinkommens der Vereinten Nationen über bestimmte konventionelle Waffen im Jahr 2019; bedauert allerdings, dass keine Einigung über ein rechtsverbindliches Instrument zur Regelung letaler autonomer Waffen mit einem wirksamen Durchsetzungsmechanismus erzielt wurde; begrüßt und unterstützt die am 9. April 2019 veröffentlichten „Ethik-Leitlinien für eine vertrauenswürdige KI“ der hochrangigen Expertengruppe der Kommission für künstliche Intelligenz sowie ihren Standpunkt zu letalen autonomen Waffensystemen; fordert die Mitgliedstaaten nachdrücklich auf, nationale Strategien in Bezug auf die Definition und den Status letaler autonomer Waffen mit Blick auf eine umfassende Strategie auf Unionsebene auszuarbeiten und gemeinsam mit dem Hohen Vertreter der Union und Vizepräsidenten der Kommission und dem Rat die Diskussion über letale autonome Waffensysteme im Rahmen des Übereinkommens der Vereinten Nationen über bestimmte konventionelle Waffen und in anderen einschlägigen Foren sowie die Festlegung internationaler Normen für die ethischen und rechtlichen Parameter der Entwicklung und des Einsatzes vollständig autonomer, halbautonomer und ferngesteuerter letaler Waffensysteme zu fördern; weist in diesem Zusammenhang auf seine Entschließung vom 12. September 2018 zu autonomen Waffensystemen hin und fordert erneut die rasche Ausarbeitung und Annahme eines gemeinsamen Standpunkts zu letalen autonomen Waffensystemen sowie ein internationales Verbot der Entwicklung, der Herstellung und des Einsatzes letaler autonomer Waffensysteme, die Angriffe ohne wirksame menschliche Kontrolle und unter Außerachtlassung des Grundsatzes der interaktiven Einbindung eines Menschen („Human-in-the-Loop“) durchführen können, im Einklang mit der Erklärung der weltweit renommiertesten KI-Forscher in ihrem offenen Brief aus dem Jahr 2015; begrüßt die Einigung von Rat und Parlament, gemäß der letale autonome Waffen, „die keine wirksame menschliche Kontrolle über die Entscheidungen über die Auswahl und den Angriff bei der Durchführung von Angriffen“ ermöglichen, nicht für eine finanzielle Unterstützung durch den Europäischen Verteidigungsfonds infrage kommen; ist der Auffassung, dass ethische Aspekte anderer KI-Anwendungen im Bereich der Verteidigung wie Nachrichtengewinnung, Überwachung und Aufklärung (ISR) oder Cyberoperationen nicht übersehen werden dürfen und dass der Entwicklung und dem Einsatz von Drohnen bei militärischen Operationen besondere Aufmerksamkeit zukommen muss;

90. hebt hervor, dass aufstrebende Technologien im Verteidigungs- und Sicherheitsbereich, die nicht vom Völkerrecht abgedeckt sind, unter Berücksichtigung des Grundsatzes der Achtung der Menschlichkeit und des moralischen Kompasses der Gesellschaft beurteilt werden sollten;

91. ist der Ansicht, dass bei jedem europäischen Rahmen zur Regelung der Nutzung von KI-gestützten Systemen im Verteidigungsbereich sowohl in Kampfsituationen als auch in anderen Situationen alle geltenden Rechtsordnungen, insbesondere das humanitäre Völkerrecht und internationale Menschenrechtsnormen, zu achten sind und dass ein derartiger Rahmen mit dem Recht, den Grundsätzen und den Werten der Union im Einklang stehen muss, wobei die Unterschiede in Bezug auf die technische Infrastruktur und die Sicherheitsinfrastruktur in der gesamten Union berücksichtigt werden müssen;

92. stellt fest, dass entscheidende KI-Innovationen im Gegensatz zu Rüstungsindustriestandorten aus kleinen Mitgliedstaaten stammen könnten, weswegen durch einen im Rahmen der Gemeinsamen Sicherheits- und Verteidigungspolitik (GSVP) standardisierten Ansatz sichergestellt werden sollte, dass kleinere Mitgliedstaaten und KMU nicht verdrängt werden; betont, dass die technischen Lücken, die dazu führen könnten, dass Staaten, denen es an einschlägiger Technologie, Branchenkenntnis oder den Kapazitäten zur Implementierung von KI-Systemen in ihren Verteidigungsministerien fehlt, außen vor bleiben, mittels einer Reihe gemeinsamer KI-Kapazitäten der EU, die auf die operativen Konzepte der Mitgliedstaaten abgestimmt sind, überbrückt werden können;

93. ist der Ansicht, dass bei den derzeitigen und künftigen Sicherheits- und Verteidigungstätigkeiten innerhalb des Unionsrahmens KI, Robotik und Autonomie sowie damit zusammenhängende Technologien zum Einsatz kommen werden und dass eine zuverlässige, robuste und vertrauenswürdige KI zu einem modernen und effektiven Militär beitragen könnte, weswegen die Union bei der Erforschung und Entwicklung von KI-Systemen im Sicherheits- und Verteidigungsbereich eine führende Rolle einnehmen muss; ist der Ansicht, dass der Einsatz von KI-gestützten Anwendungen im Sicherheits- und Verteidigungsbereich eine Reihe direkter Vorteile für den Befehlshaber einer Operation bieten könnte, wie z. B. eine höhere Qualität der erhobenen Daten, ein besseres Lagebewusstsein, eine schnellere Entscheidungsfindung, ein geringeres Risiko von Kollateralschäden dank einer besseren Verkabelung, den Schutz der Streitkräfte am Boden und eine größere Zuverlässigkeit der militärischen Ausrüstung und somit eine geringere Gefahr für den Menschen und weniger Todesopfer; betont, dass die Entwicklung einer zuverlässigen KI im Bereich Verteidigung unabdingbar ist, um die strategische Autonomie Europas in Bezug auf Fähigkeiten und operative Bereiche sicherzustellen; weist darauf hin, dass KI-Systeme auch zu Schlüsselelementen bei der Abwehr neu auftretender Sicherheitsbedrohungen wie der Cyberkriegsführung und der hybriden Kriegsführung sowohl im Online- als auch im Offline-Bereich werden; hebt zugleich alle Risiken und Herausforderungen eines unregulierten Einsatzes von KI hervor; stellt fest, dass es bei KI zu Manipulationen, Fehlern und Ungenauigkeiten kommen könnte;

94. betont, dass KI-Technologien im Wesentlichen einen doppelten Verwendungszweck haben und dass der Austausch zwischen militärischen und zivilen Technologien der Entwicklung der KI in Bezug auf verteidigungsbezogene Tätigkeiten zugutekommt; betont, dass die KI in Bezug auf verteidigungsbezogene Tätigkeiten eine disruptive Querschnittstechnologie ist, deren Entwicklung Chancen für die Wettbewerbsfähigkeit und die strategische Autonomie der Union bieten kann;

95. stellt fest, dass im Kontext der hybriden und fortgeschrittenen Kriegsführung der heutigen Zeit die Menge und Schnelligkeit von Informationen in den frühen Phasen einer Krise für menschliche Analytiker überwältigend sein könnten und dass ein KI-System die Informationen so verarbeiten könnte, dass menschliche Entscheidungsträger das gesamte Informationsspektrum innerhalb eines angemessenen Zeitrahmens verfolgen und schnell reagieren können;

96. hebt hervor, wie wichtig es ist, in die Entwicklung von Humankapital für künstliche Intelligenz zu investieren und die notwendigen Kompetenzen sowie die Ausbildung in Bezug auf im Sicherheits- und Verteidigungsbereich eingesetzte KI-Technologien mit besonderem Schwerpunkt auf ethischen Fragen im Zusammenhang mit halbautonomen und autonomen operativen Systemen auf der Grundlage der Rechenschaftspflicht des Menschen in einer KI-gestützten Welt zu fördern; betont insbesondere, wie wichtig es ist, dafür zu sorgen, dass Ethiker in diesem Bereich über angemessene Kompetenzen verfügen und eine sachgerechte Ausbildung erhalten; fordert die Kommission auf, so bald wie möglich ihre im Weißbuch zur Künstlichen Intelligenz vom 19. Februar 2020 angekündigte „aktualisierte Agenda für neue Kompetenzen“ vorzulegen;

97. betont, dass die Quanteninformatik in Bezug auf Konfliktsituationen die bahnbrechendste Veränderung seit dem Aufkommen von Atomwaffen darstellen könnte, und fordert daher nachdrücklich, dass die Weiterentwicklung von Technologien im Bereich der Quanteninformatik zur Priorität für die Union und die Mitgliedstaaten wird; stellt fest, dass durch mit Quanteninformatik unterstützte Angriffshandlungen, einschließlich Angriffen auf kritische Infrastrukturen, ein Konfliktumfeld geschaffen wird, in dem sich die Zeit für die Entscheidungsfindung drastisch von Tagen und Stunden auf Minuten und Sekunden verkürzt, wodurch die Mitgliedstaaten gezwungen werden, Kapazitäten zu entwickeln, um sich selbst zu schützen, und sowohl ihre Entscheidungsträger als auch die Angehörigen ihrer Streitkräfte so auszubilden, dass sie innerhalb dieser Zeitspannen wirksam reagieren können;

98. fordert verstärkte Investitionen in die europäische KI im Verteidigungsbereich und in die ihr zugrunde liegende kritische Infrastruktur;

99. weist darauf hin, dass der Großteil der derzeitigen Militärmächte weltweit bereits erhebliche Forschungs- und Entwicklungsanstrengungen im Zusammenhang mit der militärischen Dimension der künstlichen Intelligenz unternommen hat; ist der Auffassung, dass die Union dafür sorgen muss, dass sie in dieser Hinsicht nicht zurücksteht;

100. fordert die Kommission auf, den Kapazitätsaufbau im Bereich der Cybersicherheit in ihre Industriepolitik einzubetten, um die Entwicklung und die Bereitstellung von sicheren, widerstandsfähigen und robusten KI-gestützten Systemen und Robotersystemen sicherzustellen; fordert die Kommission auf, den Einsatz von Cybersicherheitsprotokollen und ‑anwendungen auf der Grundlage der Blockchain-Technologie zu prüfen, mit denen die Widerstandsfähigkeit, Vertrauenswürdigkeit und Robustheit von KI-Infrastrukturen durch Modelle der Datenverschlüsselung ohne Zwischenstellen verbessert werden kann; bestärkt europäische Akteure darin, fortgeschrittene Funktionen zu erforschen und zu entwickeln, mit denen fehlerhafte und schädliche KI-gestützte Systeme und Robotersysteme, durch die die Sicherheit der Union und der Bürger beeinträchtigt werden könnte, leichter erkannt werden könnten;

101. betont, dass alle KI-Systeme im Verteidigungsbereich einen konkreten und genau definierten Missionsrahmen haben müssen, in dessen Rahmen Menschen weiterhin in der Lage sind, eingesetzte Systeme, die den von einem menschlichen Befehlshaber festgelegten und zugewiesenen Missionsrahmen nicht einhalten oder eine Aktion starten, die zu einer Eskalation führen kann oder unerwünscht ist, zu erkennen und abzuschalten oder zu deaktivieren; ist der Auffassung, dass KI-gestützte Systeme, Produkte und Technologien, die für militärische Zwecke bestimmt sind, mit einer „Black Box“ ausgestattet werden sollten, damit jede von der Maschine durchgeführte Datentransaktion aufgezeichnet wird;

102. betont, dass die gesamte Verantwortung und die Rechenschaftspflicht in Bezug auf die Entscheidung, KI-Systeme zu konzipieren, zu entwickeln, bereitzustellen und zu nutzen, bei den Menschen, die die Systeme bedienen, liegen müssen, da bei der Entscheidung, bei der Ausführung einer Entscheidung KI-gestützter Waffensysteme Gewalt mit möglicherweise tödlichen Folgen anzuwenden, eine wirksame menschliche Überwachung und Kontrolle über alle Waffensysteme und eine entsprechende menschliche Absicht gegeben sein müssen; betont, dass die menschliche Kontrolle auch weiterhin wirksam sein sollte, wenn es darum geht, KI-gestützten Systemen Befehle zu erteilen und sie zu kontrollieren, und zwar im Einklang mit dem Grundsatz der interaktiven Einbindung eines Menschen („Human-in-the-Loop“), dem Grundsatz der Überprüfung und Kontrolle durch einen Menschen („Human-on-the-Loop“) und dem Grundsatz der Gesamtsteuerung durch einen Menschen („Human-in-Command“) auf der Ebene der militärischen Führung; betont, dass es der militärischen Führung von Streitkräften, wenn sie tödliche oder groß angelegte destruktive Maßnahmen mithilfe von KI-gestützten Systemen ergreift, möglich sein muss, ihrer vollen Verantwortung und Rechenschaftspflicht in Bezug auf die Anwendung tödlicher Gewalt gerecht zu werden und ihr Urteilsvermögen, über das Maschinen nicht verfügen können, da es auf Unterscheidungen, Verhältnismäßigkeit und Vorsorge beruhen muss, im erforderlichen Umfang zu gebrauchen; betont, dass klare und nachvollziehbare Autorisierungs- und Rechenschaftsrahmen für den Einsatz intelligenter Waffen und anderer KI-gestützter Systeme eingeführt werden müssen, wobei auf eindeutige Benutzermerkmale wie biometrische Spezifikationen zurückgegriffen werden sollte, um dafür zu sorgen, dass der Einsatz ausschließlich durch autorisiertes Personal erfolgen kann;

Verkehr

103. betont, welches Potenzial die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien für alle autonomen Verkehrsträger des Straßen-, Schienen-, Schiffs- und Luftverkehrs sowie für die Förderung der Verkehrsverlagerung und Intermodalität birgt, da diese Technologien dazu beitragen können, die optimale Kombination von Verkehrsträgern für den Transport von Gütern und Personen zu ermitteln; betont außerdem ihr Potenzial, den Verkehr, die Logistik und Verkehrsströme effizienter zu gestalten und alle Verkehrsträger sicherer, intelligenter und umweltfreundlicher zu machen; weist darauf hin, dass ein ethischer Ansatz in Bezug auf KI auch als Frühwarnsystem angesehen werden kann, insbesondere in Bezug auf die Sicherheit und Effizienz des Verkehrs;

104. hebt hervor, dass der globale Wettbewerb zwischen Unternehmen und Wirtschaftsräumen bedeutet, dass die Union Investitionen fördern und die internationale Wettbewerbsfähigkeit von Unternehmen, die in der Verkehrsbranche tätig sind, stärken muss, indem sie ein für die Entwicklung und Anwendung von KI-Lösungen und weitere Innovationen günstiges Umfeld schafft, in dem in der Union ansässige Unternehmen weltweite Vorreiter bei der Entwicklung von KI-Technologien werden können;

105. betont, dass es für die Verkehrsbranche der Union erforderlich ist, dass der Rechtsrahmen für solche aufstrebenden Technologien und ihre Nutzung in der Verkehrsbranche aktualisiert und ein klarer ethischer Rahmen für die Verwirklichung vertrauenswürdiger KI, einschließlich der Aspekte Sicherheit, Achtung der menschlichen Autonomie, Aufsicht und Haftung, geschaffen wird, dass dadurch der Nutzen, der allen gemeinsam zugutekommt, erhöht wird und dass dies entscheidend sein wird, um Investitionen in Forschung und Innovation, die Entwicklung von Kompetenzen und die Übernahme von KI durch öffentliche Dienste, KMU, Start-ups und Unternehmen zu fördern und gleichzeitig Datenschutz sowie Interoperabilität sicherzustellen, ohne dass dadurch ein unnötiger Verwaltungsaufwand für Unternehmen und Verbraucher entsteht;

106. weist darauf hin, dass die Entwicklung und Umsetzung von KI in der Verkehrsbranche ohne eine moderne Infrastruktur, die ein wichtiger Bestandteil eines intelligenten Verkehrssystems ist, nicht möglich sein wird; betont, dass die anhaltenden Unterschiede zwischen den Entwicklungsständen in den Mitgliedstaaten die Gefahr bergen, dass den am wenigsten entwickelten Regionen und ihren Einwohnern die Vorteile vorenthalten bleiben, die die Entwicklung einer autonomen Mobilität mit sich bringt; fordert, dass die Modernisierung der Verkehrsinfrastruktur in der Union, einschließlich ihrer Integration in das 5G-Netz, mit angemessenen Mitteln gefördert wird;

107. empfiehlt die Entwicklung unionsweiter zuverlässiger KI-Normen für alle Verkehrsträger, einschließlich der Automobilindustrie‚ und für die Prüfung von KI-fähigen Fahrzeugen und damit verbundenen Produkten und Dienstleistungen;

108. stellt fest, dass KI-Systeme dazu beitragen könnten, die Zahl der Verkehrstoten erheblich zu verringern, beispielsweise durch bessere Reaktionszeiten und eine bessere Einhaltung der Vorschriften; ist jedoch der Auffassung, dass der Einsatz autonomer Fahrzeuge nicht dazu führen kann, dass es keine Unfälle mehr gibt, und betont, dass die Erklärbarkeit von KI-Entscheidungen daher immer wichtiger wird, um Mängel und unbeabsichtigte Folgen von KI-Entscheidungen zu rechtfertigen;

Beschäftigung, Arbeitnehmerrechte, digitale Kompetenzen und der Arbeitsplatz

109. stellt fest, dass der Einsatz der künstlichen Intelligenz, der Robotik und damit zusammenhängender Technologien am Arbeitsplatz zu integrativen Arbeitsmärkten beitragen und sich auf die Gesundheit und Sicherheit am Arbeitsplatz auswirken kann, jedoch auch zur Überwachung, Bewertung, Vorhersage und Steuerung der Leistung von Arbeitnehmern mit direkten und indirekten Auswirkungen auf deren berufliche Laufbahn genutzt werden kann; stellt fest, dass die KI einen positiven Einfluss auf die Arbeitsbedingungen haben und sich von der Achtung der Menschenrechte sowie der Grundrechte und ‑werte der Union leiten lassen sollte; stellt fest, dass die KI den Menschen in den Mittelpunkt stellen, das Wohlergehen der Menschen und der Gesellschaft verbessern und zu einem fairen und gerechten Wandel beitragen sollte, weswegen derartige Technologien einen positiven Einfluss auf die Arbeitsbedingungen haben und sich von der Achtung der Menschenrechte sowie der Grundrechte und ‑werte der Union leiten lassen sollten;

110. betont, dass die Kompetenzentwicklung von Arbeitnehmern und ihren Vertretern im Bereich der KI am Arbeitsplatz mittels Schulungen und Weiterbildungsmaßnahmen notwendig ist, damit sie die Implikationen von KI-Lösungen besser verstehen können; betont, dass Bewerber und Arbeitnehmer ordnungsgemäß schriftlich informiert werden sollten, wenn im Verlauf von Einstellungsverfahren und bei anderen Personalentscheidungen KI verwendet wird, und ihnen dabei mitgeteilt werden sollte, wie in diesem Fall eine Überprüfung durch einen Menschen beantragt werden kann, damit eine automatisierte Entscheidung rückgängig gemacht wird;

111. betont, dass dafür gesorgt werden muss, dass Produktivitätssteigerungen durch die Entwicklung und den Einsatz von KI und Robotik nicht nur den Eigentümern und Aktionären von Unternehmen, sondern auch den Unternehmen selbst und der Belegschaft durch eine Verbesserung der Arbeits- und Beschäftigungsbedingungen (darunter Löhne, Wirtschaftswachstum und Entwicklung) sowie der Gesellschaft insgesamt zugutekommen, insbesondere wenn derartige Steigerungen auf Kosten von Arbeitsplätzen erreicht werden; fordert die Mitgliedstaaten auf, die potenziellen Auswirkungen der KI auf den Arbeitsmarkt und Sozialversicherungssysteme sorgfältig zu untersuchen und Strategien dafür zu entwickeln, wie langfristige Stabilität durch eine Reform der Steuern und Beiträge und durch andere Maßnahmen im Falle geringerer öffentlicher Einnahmen sichergestellt werden kann;

112. betont, wie wichtig Investitionen von Unternehmen in formelle und informelle Schulungen und in lebenslanges Lernen dafür sind, einen gerechten Wandel in Richtung einer digitalen Wirtschaft zu unterstützen; betont in diesem Zusammenhang, dass Unternehmen, die KI einsetzen, die Verantwortung dafür tragen, allen betroffenen Mitarbeitern eine angemessene Umschulung und Fortbildung anzubieten, damit sie den Umgang mit digitalen Werkzeugen und die Arbeit mit Cobots und anderen neuen Technologien erlernen und sich so an die sich ändernden Bedürfnisse des Arbeitsmarktes anpassen und im Beschäftigungsverhältnis bleiben können;

113. ist der Auffassung, dass allen neuen Arbeitsformen, die sich aus dem Einsatz neuer Technologien in diesem Kontext ergeben, wie beispielsweise der Gig-Ökonomie und der Plattformarbeit besondere Aufmerksamkeit geschenkt werden sollte;  betont, dass die Auswirkungen der KI auch bei der Regelung der Bedingungen für die Telearbeit in der gesamten Union und der Sicherstellung menschenwürdiger Arbeits- und Beschäftigungsbedingungen in der digitalen Wirtschaft berücksichtigt werden müssen; fordert die Kommission auf, die Sozialpartner, KI-Entwickler, Forscher und andere Interessenträger diesbezüglich zu konsultieren;

114. betont, dass die künstliche Intelligenz, die Robotik und damit zusammenhängende Technologien in keiner Weise die Ausübung der in den Mitgliedstaaten und auf Unionsebene anerkannten Grundrechte, einschließlich des Rechts oder der Freiheit, zu streiken oder andere Maßnahmen zu ergreifen, die gemäß den nationalen Rechtsvorschriften bzw. Gepflogenheiten in den spezifischen Systemen der Arbeitsbeziehungen in den Mitgliedstaaten vorgesehen sind, oder das Recht, Tarifverträge auszuhandeln, abzuschließen und durchzusetzen oder Kollektivmaßnahmen gemäß den nationalen Rechtsvorschriften bzw. Gepflogenheiten zu ergreifen, beeinträchtigen dürfen;

115. bekräftigt die Bedeutung von Bildung und kontinuierlichem Lernen, wenn es um die Entwicklung der im digitalen Zeitalter erforderlichen Qualifikationen und die Verhinderung von digitaler Ausgrenzung geht; fordert die Mitgliedstaaten auf, in hochwertige, reaktionsfähige und inklusive Systeme der allgemeinen und beruflichen Bildung und des lebenslangen Lernens sowie in Maßnahmen zur Umschulung und Fortbildung von Arbeitnehmern in Branchen zu investieren, die potenziell stark von der KI betroffen sind; betont, dass den jetzigen und künftigen Arbeitskräften die erforderlichen Lese-, Schreib- und Rechenfähigkeiten, digitalen Kompetenzen und Kompetenzen im Bereich Mathematik, Informatik, Naturwissenschaften und Technik (MINT) sowie bereichsübergreifende Soft Skills wie kritisches Denken, Kreativität und Unternehmergeist vermittelt werden müssen; betont, dass der Inklusion benachteiligter Gruppen in diesem Zusammenhang besondere Aufmerksamkeit gewidmet werden muss;

116. weist darauf hin, dass am Arbeitsplatz verwendete künstliche Intelligenz, Robotik und damit zusammenhängende Technologien auf der Grundlage des Grundsatzes des universellen Designs für alle zugänglich sein müssen;

Bildung und Kultur

117. betont, dass Kriterien für die Entwicklung, die Bereitstellung und die Nutzung von KI unter Berücksichtigung ihrer Auswirkungen auf die Bereiche Bildung, Medien, Jugend, Forschung, Sport und Kultur- und Kreativwirtschaft ausgearbeitet werden müssen, indem Benchmarks für die ethisch verantwortungsvolle und akzeptierte Nutzung von KI-Technologien, die in diesen Bereichen angemessen eingesetzt werden können, entwickelt und entsprechende Grundsätze festgelegt werden, einschließlich klarer Haftungsregelungen für Produkte, die aus dem Einsatz von KI resultieren;

118. weist darauf hin, dass alle Kinder Anspruch auf eine hochwertige öffentliche Bildung auf allen Ebenen haben; fordert daher die Entwicklung, die Bereitstellung und den Einsatz hochwertiger KI-Systeme, mit denen hochwertige Bildungsinstrumente für alle auf allen Ebenen gefördert und bereitgestellt werden können, und betont, dass die Bereitstellung neuer KI-Systeme in Schulen nicht dazu führen sollte, dass die digitale Kluft in der Gesellschaft größer wird; nimmt den enormen potenziellen Beitrag zur Kenntnis, den die KI und die Robotik zur Bildung leisten können; stellt fest, dass personalisierte KI-Lernsysteme nicht an die Stelle von Bildungsbeziehungen, an denen Lehrkräfte beteiligt sind, treten sollten und dass traditionelle Formen der Bildung nicht vernachlässigt werden sollten, weist aber gleichzeitig darauf hin, dass eine finanzielle, technologische und pädagogische Unterstützung, einschließlich fachlicher Schulungen zu Informations- und Kommunikationstechnologien, für Lehrkräfte geleistet werden muss, die angemessene Kompetenzen erwerben wollen, um sich an technologische Veränderungen anzupassen und nicht nur das Potenzial der KI zu nutzen, sondern auch ihre Grenzen zu verstehen; fordert die Ausarbeitung einer Strategie auf Unionsebene, um dazu beizutragen, unsere Bildungssysteme umzugestalten und auf den neuesten Stand zu bringen, unsere Bildungseinrichtungen auf allen Ebenen vorzubereiten und Lehrkräften und Schülern die erforderlichen Kompetenzen und Fähigkeiten zu vermitteln;

119. betont, dass Bildungseinrichtungen anstreben sollten, für Bildungszwecke KI-Systeme einzusetzen, für die ein europäisches Zertifikat über die Einhaltung ethischer Grundsätze erteilt wurde;

120. betont, dass die Chancen, die die Digitalisierung und neue Technologien bieten, nicht zu einem allgemeinen Verlust von Arbeitsplätzen in der Kultur- und Kreativwirtschaft, zur Vernachlässigung der Erhaltung von Originalen und zu einer Schwächung des traditionellen Zugangs zum kulturellen Erbe führen dürfen, der gleichermaßen gefördert werden sollte; stellt fest, dass KI-Systeme, die in der Union entwickelt, bereitgestellt und genutzt werden, deren kulturelle Vielfalt und Mehrsprachigkeit widerspiegeln sollten;

121. nimmt das wachsende Potenzial der KI in den Bereichen Information, Medien und Online-Plattformen zur Kenntnis, darunter das Potenzial als ein Instrument zur Bekämpfung der Desinformation im Einklang mit dem Unionsrecht; betont, dass die KI, wenn sie nicht reguliert wird, auch ethisch nachteilige Auswirkungen haben könnte, indem Verzerrungen in Daten und Algorithmen, die zur Verbreitung von Desinformationen führen können, genutzt und Informationsblasen geschaffen werden; betont die Bedeutung der Transparenz und der Rechenschaftspflicht in Bezug auf Algorithmen, die bei Video-Sharing-Plattformen und Streaming-Plattformen verwendet werden, dafür, den Zugang zu kulturell und sprachlich vielfältigen Inhalten sicherzustellen;

Nationale Aufsichtsbehörden

122. nimmt den Mehrwert von spezifischen nationalen Aufsichtsbehörden in jedem Mitgliedstaat zur Kenntnis, die für die Sicherstellung, Bewertung und Überwachung der Einhaltung rechtlicher Verpflichtungen und ethischer Grundsätze bei der Entwicklung, der Bereitstellung und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, die mit einem hohen Risiko verbunden sind, zuständig sind und somit zur Einhaltung der Rechtsvorschriften und ethischer Grundsätze bei diesen Technologien beitragen;

123. vertritt die Auffassung, dass diese Behörden verpflichtet werden müssen, unter Vermeidung von Doppelarbeit mit den für die Umsetzung der branchenspezifischen Rechtsvorschriften zuständigen Behörden zusammenzuarbeiten, um Technologien, die aus ethischer Sicht mit einem hohen Risiko verbunden sind, zu ermitteln und in dem Fall, dass derartige Technologien ermittelt wurden, die Umsetzung der erforderlichen und angemessenen Maßnahmen zu überwachen;

124. weist darauf hin, dass diese Behörden nicht nur untereinander, sondern auch mit der Europäischen Kommission und den anderen einschlägigen Organen, Einrichtungen und sonstigen Stellen der Union zusammenarbeiten sollten, um für kohärente länderübergreifende Maßnahmen zu sorgen;

125. schlägt vor, dass im Rahmen dieser Zusammenarbeit gemeinsame Kriterien und ein Antragsverfahren für die Erteilung eines europäischen Zertifikats über die Einhaltung ethischer Grundsätze ausgearbeitet werden, und zwar unter anderem, nachdem eine Person, die eine nicht als risikoreich geltende Technologie entwickelt hat, bereitstellt oder nutzt und sich eine von der jeweiligen nationalen Aufsichtsbehörde vorgenommene positive Bewertung der Einhaltung der Grundsätze bescheinigen lassen möchte, einen entsprechenden Antrag gestellt hat;

126. fordert, dass diese Behörden damit beauftragt werden, den regelmäßigen Austausch mit der Zivilgesellschaft und Innovationen in der Union zu fördern, indem sie Forscher, Entwickler und andere einschlägige Akteure und Unternehmen mit geringerer digitaler Reife, insbesondere kleine und mittlere Unternehmen oder Start-ups, unterstützen, und zwar insbesondere im Hinblick auf die Sensibilisierung und die Unterstützung in Bezug auf die Entwicklung, Bereitstellung, Schulung und Personalbeschaffung mit dem Ziel, für einen effizienten Technologietransfer und den Zugang zu Technologien, Projekten, Ergebnissen und Netzwerken zu sorgen;

127. fordert, dass alle Mitgliedstaaten ihre spezifischen nationalen Aufsichtsbehörden mit ausreichenden Finanzmitteln ausstatten, und betont, dass die Kapazitäten, Fähigkeiten und Kompetenzen der nationalen Marktüberwachungsbehörden und ihr Wissen in Bezug auf die konkreten Risiken der künstlichen Intelligenz, der Robotik und damit zusammenhängender Technologien verbessert werden müssen;

Koordinierung auf Unionsebene

128. unterstreicht die Bedeutung der Koordinierung auf Unionsebene, wie sie von der Kommission und/oder allen einschlägigen Organen, Einrichtungen und sonstigen Stellen der Union, die in diesem Zusammenhang benannt werden können, durchgeführt wird, um eine Fragmentierung zu vermeiden und einen harmonisierten Ansatz in der gesamten Union zu gewährleisten; ist der Auffassung, dass sich die Koordinierung auf die Mandate und Maßnahmen der nationalen Aufsichtsbehörden in den einzelnen Mitgliedstaaten gemäß dem vorstehenden Unterabschnitt sowie auf den Austausch bewährter Verfahren zwischen diesen Behörden und auf einen Beitrag zur unionsweiten Zusammenarbeit bei Forschung und Entwicklung in diesem Bereich konzentrieren sollte; fordert die Kommission auf, die geeignetste Lösung zur Strukturierung einer solchen Koordinierung zu bewerten und zu finden; Beispiele für einschlägige bestehende Organe, Einrichtungen und sonstige Stellen der Union sind die ENISA, der Europäische Datenschutzbeauftragte und der Europäische Bürgerbeauftragte;

129. ist der Auffassung, dass eine solche Koordinierung sowie eine europäische Zertifizierung der Einhaltung ethischer Normen nicht nur der Entwicklung der Industrie der Union und der Innovation in diesem Zusammenhang zugutekäme, sondern auch das Bewusstsein unserer Bürger für die Chancen und Risiken, die mit diesen Technologien verbunden sind, stärken würde;

130. schlägt die Schaffung eines Kompetenzzentrums vor, das Hochschulen, Forschung, Industrie und einzelne Experten auf Unionsebene zusammenführt, um den Austausch von Wissen und technischem Fachwissen zu fördern und die Zusammenarbeit innerhalb der Union und darüber hinaus zu erleichtern; fordert ferner, dass dieses Kompetenzzentrum Organisationen von Interessenträgern, wie z. B. Verbraucherschutzverbände, einbezieht, um eine breite Vertretung der Verbraucher zu gewährleisten; ist der Auffassung, dass aufgrund der möglichen unverhältnismäßigen Auswirkungen algorithmischer Systeme auf Frauen und Minderheiten die Entscheidungsebenen einer solchen Struktur vielfältig sein und die Gleichstellung der Geschlechter gewährleisten sollten; betont, dass die Mitgliedstaaten im Rahmen ihrer nationalen Marktüberwachungsstrategien Risikomanagementstrategien für KI entwickeln müssen;

131.  schlägt vor, dass die Kommission und/oder alle einschlägigen Organe, Einrichtungen sonstigen Stellen der Union, die in diesem Zusammenhang benannt werden können, den nationalen Aufsichtsbehörden jede erforderliche Unterstützung in Bezug auf ihre Rolle als erste Anlaufstelle bei vermuteten Verstößen gegen die rechtlichen Verpflichtungen und ethischen Grundsätze, die im Regelungsrahmen der Union für AI festgelegt sind, einschließlich des Grundsatzes der Nichtdiskriminierung, gewähren; sie sollte ferner den nationalen Aufsichtsbehörden in den Fällen, in denen diese Konformitätsbewertungen durchführen, jede erforderliche Unterstützung gewähren, um das Recht der Bürger auf Anfechtung und Abhilfe zu unterstützen, und zwar gegebenenfalls durch Unterstützung der Konsultation anderer zuständiger Behörden in der Union, insbesondere des Netzes für die Zusammenarbeit im Verbraucherschutz und der nationalen Verbraucherschutzstellen, der Organisationen der Zivilgesellschaft und der Sozialpartner in anderen Mitgliedstaaten;

132. erkennt die wertvollen Ergebnisse der hochrangigen Sachverständigengruppe für künstliche Intelligenz an, die sich aus Vertretern der Wissenschaft, der Zivilgesellschaft und der Industrie sowie des Europäischen KI-Allianz zusammensetzt, insbesondere „Die Ethikleitlinien für vertrauenswürdige künstliche Intelligenz“, und meint, dass sie der Kommission und/oder allen einschlägigen Institutionen, Einrichtungen und sonstigen Stellen der Union, die in diesem Zusammenhang benannt werden können, Fachwissen zur Verfügung stellen könnte;

133. nimmt die Aufnahme KI-bezogener Projekten in das Europäische Programm zur industriellen Entwicklung im Verteidigungsbereich (EDIDP) zur Kenntnis; ist der Ansicht, dass der künftige Europäische Verteidigungsfonds (EDF) und die Ständige Strukturierte Zusammenarbeit (PESCO) auch Rahmen für künftige KI-bezogene Projekte bieten könnten, die dazu beitragen könnten, die Bemühungen der Union in diesem Bereich besser zu straffen und gleichzeitig das Ziel der Union, die Menschenrechte, das Völkerrecht und multilaterale Lösungen zu stärken, zu fördern; betont, dass KI-bezogene Projekte mit den umfassenderen zivilen KI-Programmen der Union synchronisiert werden sollten; stellt fest, dass im Einklang mit dem Weißbuch der Europäischen Kommission vom 19. Februar 2020 zur künstlichen Intelligenz Exzellenz- und Testzentren, die sich auf die Forschung und Entwicklung der künstlichen Intelligenz im Bereich der Sicherheit und Verteidigung konzentrieren, mit strengen Spezifikationen eingerichtet werden sollten, die die Beteiligung privater Interessenträger und Investitionen durch sie untermauern;

134. nimmt das Weißbuch der Kommission vom 19. Februar 2020 zur Künstlichen Intelligenz zur Kenntnis und bedauert, dass militärische Aspekte nicht berücksichtigt wurden; fordert die Kommission und den HV/VP auf, auch im Rahmen eines Gesamtkonzepts eine sektorale KI-Strategie für verteidigungsbezogene Tätigkeiten im Rahmen der Union vorzulegen, die sowohl die Achtung der Rechte der Bürger als auch der strategischen Interessen der Union gewährleistet und auf einem kohärenten Ansatz beruht, der von der Einführung KI-gestützter Systeme bis zu ihrer militärischen Nutzung reicht, und innerhalb der hochrangigen Sachverständigengruppe für künstliche Intelligenz eine Arbeitsgruppe für Sicherheit und Verteidigung einzurichten, die sich speziell mit Fragen der Politik und der Investitionen sowie mit ethischen Aspekten der KI befassen sollte; fordert den Rat, die Kommission und den VP/HR auf, zu diesem Zweck einen strukturierten Dialog mit dem Parlament aufzunehmen.

Europäische Zertifizierung der Einhaltung ethischer Grundsätze

135. schlägt vor, dass im Rahmen der Koordinierung auf Unionsebene gemeinsame Kriterien und ein Antragsverfahren für die Erteilung eines europäischen Zertifikats über die Einhaltung ethischer Grundsätze entwickelt werden. Dies könnte auch auf Antrag eines Entwicklers, Betreibers oder Nutzers von Technologien erfolgen, die nicht als mit hohem Risiko behaftet gelten, der anstrebt, dass die positive Konformitätsbewertung durch die jeweilige nationale Aufsichtsbehörde bescheinigt wird;

136. ist der Auffassung, dass ein solches europäisches Zertifikat über die Einhaltung ethischer Grundsätze die Ethik in der gesamten Lieferkette von Ökosystemen künstlicher Intelligenz fördern würde; schlägt daher vor, dass diese Zertifizierung im Falle von Technologien mit hohem Risiko eine zwingende Voraussetzung für die Eignung für öffentliche Beschaffungsverfahren für künstliche Intelligenz, Robotik und damit zusammenhängende Technologien sein könnte;

Internationale Zusammenarbeit

137. ist der Ansicht, dass es eine wirksame grenzüberschreitende Zusammenarbeit und ethische Normen nur dann geben kann, wenn sich alle Interessenträger dazu verpflichten, die Handlungs- und Kontrollfähigkeit des Menschen, die technische Belastbarkeit und Sicherheit, Transparenz und Rechenschaftspflicht, Vielfalt, Nichtdiskriminierung und Fairness sowie das Gemeinwohl und eine intakte Umwelt sicherzustellen, und die etablierten Grundsätze der Privatsphäre, der Datenverwaltung und des Datenschutzes (insbesondere die in der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates verankerten Grundsätze) zu achten;

138. betont, dass die rechtlichen Verpflichtungen und ethischen Grundsätze der Union im Hinblick auf die Entwicklung, den Einsatz und die Nutzung dieser Technologien Europa zu einem weltweit führenden Akteur im Bereich der künstlichen Intelligenz machen könnten und daher weltweit durch die Zusammenarbeit mit internationalen Partnern gefördert werden sollten, während gleichzeitig der kritische und ethisch fundierte Dialog mit Drittländern, die über alternative Modelle für die Regulierung, Entwicklung und den Einsatz künstlicher Intelligenz verfügen, fortgesetzt werden sollte;

139. erinnert daran, dass die Chancen und Risiken, die mit diesen Technologien verbunden sind, eine globale Dimension haben, da die von ihnen verwendete Software und die von ihnen verwendeten Daten häufig in die Union importiert und aus der Union exportiert werden, und dass daher ein kohärenter Kooperationsansatz auf internationaler Ebene erforderlich ist; fordert die Kommission auf, die Initiative zu ergreifen und zu prüfen, welche bilateralen und multilateralen Verträge und Vereinbarungen angepasst werden sollten, um einen kohärenten Ansatz zu gewährleisten und das europäische Modell der ethischen Konformität weltweit zu fördern;

140. weist auch in diesem Zusammenhang auf den vorstehend genannten Mehrwert der Koordinierung auf Unionsebene hin;

141. fordert, dass Synergien und Netzwerke zwischen den verschiedenen europäischen Forschungszentren für KI sowie anderen multilateralen Foren geschaffen werden, darunter der Europarat, die Organisation der Vereinten Nationen für Erziehung, Wissenschaft und Kultur (UNESCO), die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), die Welthandelsorganisation und die Internationale Fernmeldeunion (ITU), um ihre Bemühungen aufeinander abzustimmen und die Entwicklung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien besser zu koordinieren;

142. betont, dass die Union eine Vorreiterrolle bei der Unterstützung multilateraler Bemühungen im Rahmen der Gruppe von Regierungssachverständigen für das Übereinkommen der Vereinten Nationen über bestimmte konventionelle Waffen und anderer einschlägiger Foren spielen muss, um einen wirksamen internationalen Regelungsrahmen zu erörtern, der eine wirksame menschliche Kontrolle über autonome Waffensysteme gewährleistet, damit diese Technologien beherrscht werden können, indem in Absprache mit dem Militär, der Industrie, den Strafverfolgungsbehörden, der Wissenschaft und den Akteuren der Zivilgesellschaft klar definierte, auf Benchmarks beruhende Verfahren eingeführt und Rechtsvorschriften für ihre ethische Nutzung erlassen werden, um die damit verbundenen ethischen Aspekte zu verstehen und die inhärenten Risiken solcher Technologien einzudämmen und ihre Nutzung für böswillige Zwecke zu verhindern; 

143. erkennt die Rolle der NATO bei der Förderung der euro-atlantischen Sicherheit an und fordert Zusammenarbeit innerhalb der NATO, um gemeinsame Standards und die Interoperabilität von KI-Systemen im Verteidigungsbereich zu erreichen; betont, dass die transatlantischen Beziehungen für die Erhaltung gemeinsamer Werte und für die Bekämpfung künftiger und sich abzeichnender Bedrohungen wichtig sind;

144. betont, wie wichtig es ist, einen ethischen Verhaltenskodex als Grundlage für den Einsatz KI-gestützter waffenfähiger Systeme in militärischen Operationen, ähnlich dem bestehenden Regulierungsrahmen, mit dem der Einsatz chemischer und biologischer Waffen verboten wird, zu schaffen; ist der Ansicht, dass die Kommission die Schaffung von Standards für den Einsatz von KI-gestützten Waffensystemen in der Kriegsführung im Einklang mit dem humanitären Völkerrecht in die Wege leiten sollte und dass die Union die internationale Übernahme solcher Standards anstreben sollte; ist der Ansicht, dass die Union mit gleichgesinnten Partnern wie der G7, der G20 und der OECD in internationalen Foren Diplomatie im Bereich der KI betreiben sollte;

Schlussaspekte

145. kommt im Anschluss an die obigen Überlegungen zu Aspekten im Zusammenhang mit der ethischen Dimension der künstlichen Intelligenz, der Robotik und damit zusammenhängender Technologien zu dem Schluss, dass die rechtlichen und ethischen Dimensionen in einem wirksamen, zukunftsorientierten und umfassenden Regelungsrahmen auf Unionsebene verankert werden sollten, der von den zuständigen nationalen Behörden unterstützt und von der Kommission und/oder allen einschlägigen Organen, Einrichtungen und sonstigen Stellen der Union, die in diesem Zusammenhang benannt werden können, koordiniert und verstärkt werden sollte, regelmäßig von dem möglichen oben genannten Exzellenzzentrum unterstützt sowie innerhalb des Binnenmarkts gebührend respektiert und zertifiziert werden sollte;

146. verlangt von der Kommission, gemäß dem Verfahren nach Artikel 225 des Vertrags über die Arbeitsweise der Europäischen Union auf der Grundlage von Artikel 114 des Vertrags über die Arbeitsweise der Europäischen Union und auf der Grundlage der im Anhang aufgeführten ausführlichen Empfehlungen einen Vorschlag für eine Verordnung über ethische Grundsätze für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien vorzulegen; weist darauf hin, dass der Vorschlag die sektorspezifischen Rechtsvorschriften nicht untergraben, sondern nur ermittelte Schlupflöcher schließen sollte;

147. empfiehlt, dass die Kommission nach Konsultation aller relevanten Interessenträger erforderlichenfalls das bestehende Unionsrecht, das auf künstliche Intelligenz, Robotik und damit zusammenhängende Technologien anwendbar ist, überprüft, um die Schnelligkeit ihrer Entwicklung im Einklang mit den im Anhang aufgeführten Empfehlungen zu berücksichtigen und eine Überregulierung, auch für KMU, zu vermeiden;

148. ist der Auffassung, dass eine regelmäßige Bewertung und erforderlichenfalls eine Überprüfung des Rechtsrahmens der Union in Bezug auf künstliche Intelligenz, Robotik und damit zusammenhängende Technologien von wesentlicher Bedeutung sein wird um sicherzustellen, dass die anwendbaren Rechtsvorschriften mit dem raschen Tempo des technologischen Fortschritts Schritt halten können;

149. ist der Auffassung, dass der geforderte Gesetzgebungsvorschlag finanzielle Auswirkungen hätte, wenn sichergestellt würde, dass eine europäische Einrichtung, die mit den vorgenannten Koordinierungsfunktionen betraut wird, die erforderlichen technischen Mittel und Humanressourcen zur Erfüllung der ihr neu zugewiesenen Aufgaben erhält;

150. beauftragt seinen Präsidenten, diese Entschließung und die als Anlage beigefügten ausführlichen Empfehlungen der Kommission und dem Rat zu übermitteln.

ANLAGE ZUM ENTSCHLIESSUNGSANTRAG: AUSFÜHRLICHE EMPFEHLUNGEN ZUM INHALT DES ANGEFORDERTEN VORSCHLAGS

A. GRUNDSÄTZE UND ZIELE DES GEFORDERTEN VORSCHLAGS

I. Die wesentlichen Grundsätze und Ziele des Vorschlags bestehen darin,

˗  auf allen Ebenen der beteiligten Interessenträger und der Gesellschaft Vertrauen in künstliche Intelligenz, Robotik und damit zusammenhängende Technologien aufzubauen, insbesondere wenn diese als mit hohem Risiko behaftet gelten,

˗  die Entwicklung künstlicher Intelligenz, Robotik und damit zusammenhängender Technologien in der Union zu unterstützen, unter anderem durch Unterstützung von Unternehmen, Start-up-Unternehmen und kleinen und mittleren Unternehmen bei der Bewertung und sicheren Bewältigung aktueller und künftiger regulatorischer Anforderungen und Risiken während des Innovations- und Geschäftsentwicklungsprozesses und in der darauffolgenden Phase der Nutzung durch Gewerbetreibende und Privatpersonen, indem die Belastung und der bürokratische Aufwand minimiert werden;

˗  den Einsatz von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien in der Union zu unterstützen, indem ein angemessener und verhältnismäßiger Regelungsrahmen geschaffen wird, der unbeschadet bestehender oder künftiger sektoraler Rechtsvorschriften gelten sollte, mit dem Ziel, Rechtssicherheit und Innovation zu fördern und gleichzeitig die Grundrechte und den Verbraucherschutz zu gewährleisten;

˗  die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien in der Union zu fördern, indem sichergestellt wird, dass sie ethisch verantwortungsvoll in einer Weise entwickelt, eingesetzt und genutzt werden, die mit ethischen Grundsätzen vereinbar ist;

˗  Transparenz und einen besseren Informationsfluss unter den Bürgern und innerhalb von Organisationen zu fordern, die künstliche Intelligenz, Robotik und damit zusammenhängende Technologien entwickeln, einsetzen oder nutzen, damit sichergestellt wird, dass diese Technologien dem Unionsrecht, den Grundrechten und den Grundwerten sowie den ethischen Grundsätzen des geforderten Vorschlags für eine Verordnung entsprechen.

II. Der Vorschlag besteht aus folgenden Elementen:

˗  einer „Verordnung über ethische Grundsätze für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien“; der Koordinierungsrolle auf Unionsebene durch die Kommission und/oder alle einschlägigen Organe, Einrichtungen und sonstigen Stellen der Union, die in diesem Zusammenhang benannt werden können, und einer europäische Zertifizierung über ethische Konformität;

˗  der unterstützenden Rolle der Kommission;

˗  der Rolle der „Aufsichtsbehörde“ in jedem Mitgliedstaat um sicherzustellen, dass für künstliche Intelligenz, Robotik und damit zusammenhängende Technologien ethische Grundsätze gelten;

 

˗  der Einbeziehung und Konsultation relevanter Forschungs- und Entwicklungsprojekte und betroffener Interessenträger, einschließlich Neugründungen, kleiner und mittlerer Unternehmen, Gewerbebetriebe, Sozialpartner und anderer Vertreter der Zivilgesellschaft, sowie der Bereitstellung von Unterstützung für diese Projekte;

˗  einem Anhang mit einer erschöpfenden und kumulativen Liste von Sektoren sowie Verwendungen und Zwecken mit hohem Risiko.

III. Die Grundlage für die „Verordnung über ethische Grundsätze für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien“ bilden folgende Grundsätze:

˗  vom Menschen geschaffene und vom Menschen gesteuerte künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, bei denen der Mensch im Mittelpunkt steht;

˗  eine obligatorische Konformitätsbewertung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien mit hohem Ririko;

˗  Sicherheit, Transparenz und Rechenschaftspflicht;

˗  Schutz- und Abhilfemaßnahmen gegen Voreingenommenheit und Diskriminierung;

˗  Recht auf Abhilfe;

˗  soziale Verantwortung und Gleichstellung der Geschlechter bei künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien;

˗  ökologisch nachhaltige künstliche Intelligenz, Robotik und damit zusammenhängende Technologien;

˗  Achtung der Privatsphäre und Einschränkungen bei der Nutzung von Biometrie;

˗  verantwortungsvolle Führung im Zusammenhang mit künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von diesen Technologien genutzten oder erstellten Daten.

IV. Für die Zwecke der Koordinierung auf Unionsebene sollten die Kommission und/oder alle einschlägigen Organe, Einrichtungen und sonstigen Stellen der Union, die in diesem Zusammenhang benannt werden können, folgende Hauptaufgaben wahrnehmen:

˗  Zusammenarbeit bei der Überwachung der Umsetzung des geforderten Verordnungsvorschlags und der einschlägigen sektoralen Rechtsvorschriften der Union;

˗  Zusammenarbeit bei der Herausgabe von Leitlinien für die kohärente Anwendung des geforderten Verordnungsvorschlags, d. h. der Anwendung der Kriterien für künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, die als mit hohem Risiko behaftet anzusehen sind, und der Liste der Sektoren sowie Verwendungen und Zwecke mit hohem Risiko im Anhang zu der Verordnung;

˗  Zusammenarbeit mit der „Aufsichtsbehörde“ in jedem Mitgliedstaat bei der Entwicklung eines europäischen Zertifikats über die Einhaltung ethischer Grundsätze und rechtlicher Verpflichtungen, wie sie in dem geforderten Verordnungsvorschlag und im einschlägigen Unionsrecht festgelegt sind, sowie bei der Entwicklung eines Antragsverfahrens für jeden Entwickler, Betreiber oder Nutzer von Technologien, die nicht als mit hohem Risiko behaftet gelten, der anstrebt, dass bescheinigt wird, dass er mit dem angeforderten Verordnungsvorschlag im Einklang steht;

˗  Zusammenarbeit im Hinblick auf die Unterstützung der sektor- und grenzübergreifenden Zusammenarbeit durch regelmäßigen Austausch mit den betroffenen Interessenträgern und der Zivilgesellschaft in der EU und weltweit, insbesondere mit Unternehmen, Sozialpartnern, Forschern und zuständigen Behörden, auch im Hinblick auf die Entwicklung technischer Normen auf internationaler Ebene;

˗  Zusammenarbeit mit der „Aufsichtsbehörde“ in jedem Mitgliedstaat bei der Festlegung verbindlicher Leitlinien für die Methodik, die für die von jeder „Aufsichtsbehörde“ durchzuführende Konformitätsbewertung anzuwenden ist;

˗  Zusammenarbeit hinsichtlich der Kontakte zu der „Aufsichtsbehörde“ in jedem Mitgliedstaat und bei der Koordinierung ihres Mandats und ihrer Aufgaben;

˗  Zusammenarbeit bei der Sensibilisierung, der Bereitstellung von Informationen und dem Austausch mit Entwicklern, Betreibern und Nutzern in der gesamten Union;

˗  Zusammenarbeit bei der Schärfung des Bewusstseins, der Bereitstellung von Informationen, der Förderung der digitalen Kompetenz, der Ausbildung und der Fertigkeiten sowie beim Austausch mit Designern, Entwicklern, Betreibern, Bürgern, Nutzern und institutionellen Einrichtungen in der gesamten Union und auf internationaler Ebene;

˗  Zusammenarbeit bei der Koordinierung eines gemeinsamen Rahmens für die Steuerung der Entwicklung, des Einsatzes und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, die von der „Aufsichtsbehörde“ in jedem Mitgliedstaat umzusetzen ist;

˗  Zusammenarbeit im Hinblick darauf, durch die Förderung des Informationsaustauschs und die Unterstützung der Entwicklung eines gemeinsamen Verständnisses im Binnenmarkt als Zentrum für Fachwissen zu dienen;

˗  Zusammenarbeit bei der Einrichtung einer Arbeitsgruppe für Sicherheit und Verteidigung.

V. Darüber hinaus sollte die Kommission die folgenden Aufgaben wahrnehmen:

˗  Erstellung und anschließende Aktualisierung einer gemeinsamen Liste der in der Union ermittelten Technologien mit hohem Risiko mittels delegierter Rechtsakte in Zusammenarbeit mit der „Aufsichtsbehörde“ in jedem Mitgliedstaat;

˗  Aktualisierung der im Anhang der Verordnung vorgesehenen Liste durch delegierte Rechtsakte.

VI. Die „Aufsichtsbehörde“ in jedem Mitgliedstaat sollte die folgenden Hauptaufgaben wahrnehmen:

˗  Beitrag zur kohärenten Anwendung des im Verordnungsvorschlag festgelegten Regelungsrahmens in Zusammenarbeit mit der „Aufsichtsbehörde“ in den anderen Mitgliedstaaten sowie mit anderen Behörden, die für die Durchführung der sektorbezogenen Rechtsvorschriften zuständig sind, der Kommission und/oder allen einschlägigen Organen, Einrichtungen und sonstigen Stellen der Union, die in diesem Zusammenhang benannt werden können, namentlich hinsichtlich der Anwendung der Kriterien für die Risikobewertung, die in dem geforderten Verordnungsvorschlag vorgesehen sind, und der Liste der Sektoren sowie Verwendungen und Zwecke mit hohem Risiko, die in ihrem Anhang aufgeführt sind, sowie der nachfolgenden Überwachung der Durchführung der erforderlichen und geeigneten Maßnahmen, wenn als Ergebnis einer solchen Anwendung Technologien mit hohem Risiko ermittelt werden;

˗  Beurteilung der Frage, ob künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich Software, Algorithmen und Daten, die in der Union entwickelt, eingesetzt und verwendet werden, gemäß den Risikobewertungskriterien, die in dem geforderten Verordnungsvorschlag und in der Liste in seinem Anhang vorgesehen sind, als Technologien mit hohem Risiko anzusehen sind;

˗  Ausstellung eines europäischen Zertifikats über die Einhaltung ethischer Grundsätze und rechtlicher Verpflichtungen, wie sie in dem geforderten Verordnungsvorschlag festgelegt sind, und des einschlägigen Unionsrechts, auch als Ergebnis eines Antragsverfahrens für jeden Entwickler, Betreiber oder Nutzer von Technologien, die nicht als Technologien mit hohem Risiko gelten, der anstrebt, dass bescheinigt wird, dass er mit dem angeforderten Verordnungsvorschlag im Einklang steht, wie er von der Kommission und/oder den in diesem Zusammenhang gegebenenfalls benannten einschlägigen Organen, Einrichtungen und sonstigen Stellen der Union ausgearbeitet wurde;

˗  Bewertung und Überwachung der Frage, ob sie mit den ethischen Grundsätzen und rechtlichen Verpflichtungen, wie sie in dem geforderten Verordnungsvorschlag und den einschlägigen Rechtsvorschriften der Union festgelegt sind, in Einklang stehen;

˗  Übernahme der Verantwortung für die Festlegung und Umsetzung von Standards für die Steuerung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, unter anderem durch Kontakte zu und Aufrechterhaltung eines regelmäßigen Dialogs mit allen relevanten Interessenträgern und Vertretern der Zivilgesellschaft; zu diesem Zweck Zusammenarbeit mit der Kommission und allen einschlägigen Organen, Einrichtungen und sonstigen Stellen der Union, die in diesem Zusammenhang im Hinblick auf die Koordinierung eines gemeinsamen Rahmens auf Unionsebene benannt werden können;

˗  Sensibilisierung der Öffentlichkeit, Bereitstellung von Informationen über künstliche Intelligenz, Robotik und damit zusammenhängende Technologien und Unterstützung der Schulung von Angehörigen einschlägiger Berufe, auch im Justizwesen, wodurch Bürger und Arbeitnehmer mit den für einen gerechten Übergang erforderlichen digitalen Kenntnissen, Fähigkeiten und Werkzeugen ausgestattet werden;

˗  Funktion als erste Anlaufstelle in Fällen eines mutmaßlichen Verstoßes gegen die rechtlichen Verpflichtungen und ethischen Grundsätze, die in dem geforderten Verordnungsvorschlag dargelegt sind, und Durchführung einer Konformitätsbewertung in solchen Fällen. Im Zusammenhang mit dieser Konformitätsbewertung kann sie andere zuständige Behörden in der Union konsultieren und/oder informieren, insbesondere das Kooperationsnetz für Verbraucherschutz, nationale Verbraucherschutzverbände, Organisationen der Zivilgesellschaft und Sozialpartner.

VII. Die Schlüsselrolle der Interessenträger sollte darin bestehen, mit der Kommission und/oder allen einschlägigen Organen, Einrichtungen und sonstigen Stellen der Union, die in diesem Zusammenhang benannt werden können, sowie mit der „Aufsichtsbehörde“ in jedem Mitgliedstaat in Kontakt zu treten.

B. WORTLAUT DES GEFORDERTEN VORSCHLAGS

Vorschlag für eine

VERORDNUNG DES EUROPÄISCHEN PARLAMENTS UND DES RATES

über ethische Grundsätze für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien

gestützt auf den Vertrag über die Arbeitsweise der Europäischen Union, insbesondere auf Artikel 114,

auf Vorschlag der Europäischen Kommission,

nach Zuleitung des Entwurfs des Gesetzgebungsakts an die nationalen Parlamente,

nach Stellungnahme des Europäischen Wirtschafts- und Sozialausschusses,

gemäß dem ordentlichen Gesetzgebungsverfahren,

in Erwägung nachstehender Gründe:

(1) Die Entwicklung, der Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien verwendeten oder produzierten Software, Algorithmen und Daten, sollten auf dem Wunsch beruhen, der Gesellschaft zu dienen. Mit solchen Technologien können Chancen und Risiken verbunden sein, die durch einen umfassenden Regelungsrahmen auf Unionsebene behandelt und geregelt werden sollten, der ethischen Grundsätzen Rechnung trägt, die vom Zeitpunkt der Entwicklung und des Einsatzes solcher Technologien bis zu ihrer Nutzung einzuhalten sind.

(2) Die Einhaltung eines solchen Regelungsrahmens hinsichtlich der Entwicklung, des Einsatzes und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der Software, der Algorithmen und der Daten, die von solchen Technologien in der Union verwendet oder produziert werden, sollte ein Niveau erreichen, das in allen Mitgliedstaaten gleichwertig ist, um die Chancen solcher Technologien effizient zu nutzen und die Risiken konsequent einzudämmen sowie eine Fragmentierung der Vorschriften zu vermeiden. Es sollte dafür Sorge getragen werden, dass die Anwendung der in dieser Verordnung festgelegten Vorschriften in der gesamten Union einheitlich erfolgt.

(3) In diesem Zusammenhang stellt die derzeitige Vielfalt der in der Union zu befolgenden Vorschriften und Verfahren ein erhebliches Risiko der Fragmentierung des Binnenmarkts und für den Schutz des Wohlergehens und des Wohlstands sowohl des Einzelnen als auch der Gesellschaft sowie für die kohärente Ausschöpfung des vollen Potenzials dar, das künstliche Intelligenz, Robotik und damit zusammenhängende Technologien im Hinblick auf die Förderung von Innovation und die Sicherung dieses Wohlergehens und Wohlstands haben. Eine unterschiedliche Berücksichtigung der diesen Technologien inhärenten ethischen Dimension durch die Entwickler, Betreiber und Nutzer kann dazu führen, dass sie innerhalb der Union nicht frei entwickelt, eingesetzt oder genutzt werden, und derartige Unterschiede können ein Hindernis für gleiche Wettbewerbsbedingungen, das Streben nach technologischem Fortschritt und die Ausübung wirtschaftlicher Tätigkeiten auf Unionsebene darstellen, den Wettbewerb verzerren und die Behörden in der Erfüllung ihrer Verpflichtungen gemäß dem Unionsrecht behindern. Darüber hinaus führt das Fehlen eines gemeinsamen Regelungsrahmens, der ethischen Grundsätzen Ausdruck verleiht, für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien zu Rechtsunsicherheit für alle Beteiligten, d. h. Entwickler, Betreiber und Nutzer.

(4) Nichtsdestoweniger sollte diese Verordnung zwar zu einem kohärenten Ansatz auf Unionsebene beitragen und innerhalb der von ihr gesetzten Grenzen einen Spielraum für die Umsetzung durch die Mitgliedstaaten schaffen, auch im Hinblick darauf, wie das Mandat ihrer jeweiligen nationalen Aufsichtsbehörde im Hinblick auf das mit ihr zu erreichende Ziel, wie es hier dargelegt ist, wahrzunehmen ist.

(5) Diese Verordnung gilt unbeschadet bestehender oder künftiger sektoraler Rechtsvorschriften. Sie sollte im Hinblick auf ihr Ziel verhältnismäßig sein, um die Innovation in der Union nicht übermäßig zu behindern, und mit einem risikobasierten Ansatz im Einklang stehen.

(6) Der geographische Geltungsbereich eines solchen Rahmens sollte alle Komponenten von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien im Zuge ihrer Entwicklung, ihres Einsatzes und ihrer Nutzung in der Union umfassen, auch in Fällen, in denen ein Teil der Technologien unter Umständen außerhalb der Union angesiedelt sein oder keinen spezifischen oder einzelnen Standort haben könnte, wie z. B. im Falle von Cloud-Computing-Diensten.

(7) In der Union bedarf es eines gemeinsamen Verständnisses von Begriffen wie künstliche Intelligenz, Robotik, damit zusammenhängende Technologien und Biometrie, damit ein einheitlicher Regulierungsansatz und damit Rechtssicherheit für Bürger wie auch für Unternehmen ermöglicht wird. Sie sollten technologieneutral sein und bei Bedarf einer Überprüfung unterzogen werden.

(8) Darüber hinaus muss die Tatsache berücksichtigt werden, dass es Technologien im Zusammenhang mit künstlicher Intelligenz und Robotik gibt, die Software in die Lage versetzen, physische oder virtuelle Prozesse mit einem unterschiedlichen Grad an Autonomie[13] zu steuern. Zum Beispiel wurden für das automatisierte Fahren von Fahrzeugen sechs Stufen der Fahrautomatisierung durch die internationale SAE-Norm J3016 vorgeschlagen.

(9) Die Entwicklung, der Einsatz und die Nutzung künstlicher Intelligenz, der Robotik und damit zusammenhängender Technologien, einschließlich der Software, der Algorithmen und der Daten, die von diesen Technologien verwendet oder erzeugt werden, sollten die menschlichen Fähigkeiten ergänzen, nicht ersetzen, und sicherstellen, dass ihre Ausführung nicht gegen die besten Interessen der Bürger verstößt und dass sie mit dem Unionsrecht, den Grundrechten, wie sie in der Charta der Grundrechte der Europäischen Union („Charta“) festgelegt sind, der ständigen Rechtsprechung des Gerichtshofs der Europäischen Union und anderen in der Union geltenden europäischen und internationalen Instrumenten in Einklang steht.

(10) Von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien getroffene oder darauf gestützte Entscheidungen sollten einer maßgeblichen Überprüfung, Beurteilung, Intervention und Kontrolle durch den Menschen unterliegen. Die technische und betriebliche Komplexität solcher Technologien sollte niemals verhindern, dass ihr Betreiber oder Nutzer in Fällen, in denen die Einhaltung des Unionsrechts und der in dieser Verordnung festgelegten ethischen Grundsätze und rechtlichen Verpflichtungen gefährdet ist, in der Lage ist, zumindest eine ausfallsichere Abschaltung auszulösen, ihren Betrieb zu ändern oder anzuhalten oder zu einem früheren Zustand zurückzukehren, der sichere Funktionalitäten wiederherstellt.

(11) Künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, deren Entwicklung, Einsatz und Nutzung ein erhebliches Risiko der Verletzung oder Schädigung von Einzelpersonen oder der Gesellschaft unter Verstoß gegen die im Unionsrecht verankerten Grundrechte und Sicherheitsvorschriften mit sich bringen, sollten als Technologien mit hohem Risiko betrachtet werden. Um sie als solche zu bewerten, sollten der Sektor, in dem sie entwickelt, eingesetzt oder verwendet werden, ihr spezifischer Einsatz oder Zweck und die Schwere der zu erwartenden Verletzung oder Schädigung berücksichtigt werden. Der Schweregrad sollte auf der Grundlage des Ausmaßes der potentiellen Verletzung oder Schädigung, der Anzahl der betroffenen Personen, des Gesamtwertes des verursachten Schadens und des Schadens für die Gesellschaft als Ganzes bestimmt werden. Schwere Arten von Verletzungen und Schäden sind beispielsweise Verletzungen von Kinder-, Verbraucher- oder Arbeitnehmerrechten, die aufgrund ihres Umfangs, der Zahl der betroffenen Kinder, Verbraucher oder Arbeitnehmer oder ihrer Auswirkungen auf die Gesellschaft als Ganzes ein erhebliches Risiko der Verletzung von Grundrechten und Sicherheitsvorschriften, wie sie im Unionsrecht festgelegt sind, mit sich bringen. Diese Verordnung sollte eine erschöpfende und kumulative Liste von Sektoren sowie Verwendungen und Zwecken mit hohem Risiko enthalten.

(12) Die in dieser Verordnung festgelegten Verpflichtungen, insbesondere in Bezug auf Technologien mit hohem Risiko, sollten nur für künstliche Intelligenz, Robotik und damit zusammenhängende Technologien gelten, einschließlich Software, Algorithmen und Daten, die von solchen Technologien verwendet oder produziert werden, die nach der in dieser Verordnung vorgesehenen Risikobewertung als Technologien mit hohem Risiko gelten. Diese Verpflichtungen sind unbeschadet der allgemeinen Verpflichtung einzuhalten, dass generell künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich Software, Algorithmen und Daten, die von diesen Technologien verwendet oder erzeugt werden, in der Union in einer Weise, bei der der Mensch im Mittelpunkt steht, und auf der Grundlage der Grundsätze der menschlichen Autonomie und der menschlichen Sicherheit im Einklang mit dem Unionsrecht und unter uneingeschränkter Achtung der Grundrechte wie der Menschenwürde, des Rechts auf Freiheit und Sicherheit und des Rechts auf Unversehrtheit der Person entwickelt, eingesetzt und genutzt werden sollten.

(13) Technologien mit hohem Risiko sollten die Grundsätze der Sicherheit, Transparenz, Rechenschaftspflicht, Unvoreingenommenheit oder Nichtdiskriminierung, der sozialen Verantwortung und der Gleichstellung der Geschlechter, des Rechts auf Rechtsbehelfe, der ökologischen Nachhaltigkeit, der Privatsphäre und der verantwortungsvollen Steuerung achten, nachdem die nationale Aufsichtsbehörde eine unparteiische, objektive und externe Risikobewertung gemäß den in dieser Verordnung und in der Liste im Anhang festgelegten Kriterien vorgenommen hat. Bei dieser Bewertung sollten die Ansichten und eine etwaige Selbstbewertung des Entwicklers oder Betreibers berücksichtigt werden.

(14) Die Kommission und/oder alle einschlägigen Organe, Einrichtungen oder sonstigen Stellen der Union, die zu diesem Zweck benannt werden können, sollten unverbindliche Durchführungsleitlinien für Entwickler, Betreiber und Nutzer zur Methodik für die Einhaltung dieser Verordnung ausarbeiten. Dabei sollten sie relevante Interessenträger konsultieren.

(15) Es sollte innerhalb der Union Kohärenz bestehen, wenn es um die Risikobewertung dieser Technologien geht, insbesondere für den Fall, dass sie sowohl im Lichte dieser Verordnung als auch im Einklang mit den geltenden sektorspezifischen Rechtsvorschriften bewertet werden. Dementsprechend sollten die nationalen Aufsichtsbehörden andere Behörden, die Risikobewertungen im Einklang mit etwaigen sektorspezifischen Rechtsvorschriften durchführen, informieren, wenn diese Technologien im Anschluss an die in dieser Verordnung vorgesehene Risikobewertung als mit einem hohen Risiko behaftet eingestuft werden.

(16) Damit risikoreiche künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von diesen Technologien genutzten oder erstellten Software, Algorithmen und Daten, vertrauenswürdig sind, sollten sie auf sichere, transparente und verantwortliche Weise im Einklang mit den Sicherheitsmerkmalen Robustheit, Widerstandsfähigkeit, Sicherheit, Genauigkeit und Fehlererkennung, Erklärbarkeit, Interpretierbarkeit, Überprüfbarkeit, Transparenz und Identifizierbarkeit sowie in einer Weise entwickelt, eingesetzt und genutzt werden, die es ermöglicht, dass bei Nichtbeachtung dieser Merkmale die entsprechenden Funktionen deaktiviert oder auf einen vorherigen Status zurückgestellt werden und somit eine sichere Funktionsweise wiederhergestellt wird. Die Transparenz sollte dadurch sichergestellt werden, dass den Behörden, wenn unbedingt erforderlich, Zugang zu Technologie, Daten und Computersystemen gewährt wird, die diesen Technologien zugrunde liegen.

(17) Entwickler, Betreiber und Nutzer von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, insbesondere Hochrisikotechnologien, sind in unterschiedlichem Maß für die Einhaltung der Grundsätze von Sicherheit, Transparenz und Rechenschaftspflicht verantwortlich, und zwar je nach ihrer Beteiligung an den betreffenden Technologien, einschließlich der von diesen Technologien genutzten oder erstellten Software, Algorithmen und Daten. Entwickler sollten sicherstellen, dass die betreffenden Technologien in Übereinstimmung mit den in dieser Verordnung festgelegten Sicherheitsmerkmalen entworfen und entwickelt werden; Betreiber und Nutzer sollten die betreffenden Technologien unter umfassender Beachtung dieser Merkmale einsetzen und nutzen. Zu diesem Zweck sollten Entwickler von Hochrisikotechnologien die Risiken des Missbrauchs, mit dem im Hinblick auf die von ihnen entwickelten Technologien nach vernünftigem Ermessen zu rechnen ist, bewerten und antizipieren. Sie müssen auch sicherstellen, dass die von ihnen entwickelten Systeme so weit wie möglich und durch geeignete Mittel, wie beispielsweise Mitteilungen zum Haftungsausschluss, die Wahrscheinlichkeit von Fehlern oder Ungenauigkeiten anzeigen.

(18) Entwickler und Betreiber sollten den Nutzern gemäß der vertraglichen Vereinbarung oder der im Unionsrecht oder nationalen Recht festgelegten Verpflichtung alle späteren Aktualisierungen der betreffenden Technologien – insbesondere der Software – zur Verfügung stellen. Außerdem sollten, sofern dies aufgrund einer Risikobewertung angezeigt ist, Entwickler und Betreiber von Hochrisikotechnologien die einschlägigen Unterlagen über den Einsatz der betreffenden Technologien und die entsprechenden Sicherheitsanweisungen, einschließlich – wo dies unbedingt erforderlich ist sowie unter uneingeschränkter Achtung der Rechtsvorschriften der Union zu Datenschutz, dem Schutz der Privatsphäre, den Rechten des geistigen Eigentums und Handelsgeheimnissen – des Quellcodes, der Entwicklungsinstrumente und der vom System verwendeten Daten, den Behörden zur Verfügung zu stellen.

(19) Menschen können zu Recht erwarten, dass die von ihnen genutzte Technologie auf angemessene Weise funktioniert und ihr Vertrauen rechtfertigt. Das Vertrauen der Bürger in künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von diesen Technologien genutzten oder erstellten Software, Algorithmen und Daten, hängt vom Verständnis und Begreifen der technischen Prozesse ab. Das Maß an Erklärbarkeit solcher Prozesse sollte vom Kontext dieser technischen Prozesse und von der Schwere der Folgen von fehlerhaften oder ungenauen Ergebnissen abhängen und muss so hoch sein, dass sie angefochten werden können und Wiedergutmachung verlangt werden kann. Mit Blick auf eine etwaige Unverständlichkeit dieser Technologien sollten Überprüfbarkeit, Rückverfolgbarkeit und Transparenz Abhilfe schaffen.

(20) Das Vertrauen der Gesellschaft in künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von diesen Technologien genutzten oder erstellten Software, Algorithmen und Daten, hängt davon ab, inwieweit die Möglichkeit ihrer Bewertung, Überprüfbarkeit und Rückverfolgbarkeit in den betreffenden Technologien gegeben ist. Wenn der Umfang ihrer Beteiligung dies erfordert, sollten Entwickler sicherstellen, dass derartige Technologien so entworfen und entwickelt werden, dass eine solche Bewertung, Überprüfung und Rückverfolgbarkeit möglich ist. Entwickler, Betreiber und Nutzer sollten im Rahmen der technischen Möglichkeiten dafür Sorge tragen, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien unter vollständiger Einhaltung der Transparenzanforderungen eingesetzt und genutzt werden und dabei eine Überprüfung und Rückverfolgbarkeit möglich ist.

(21) Zur Sicherstellung der Transparenz und Rechenschaftspflicht sollten die Bürger darüber informiert werden, wenn ein System künstliche Intelligenz nutzt, wenn Systeme der künstlichen Intelligenz ein Produkt oder eine Dienstleistung für ihre Nutzer personalisieren, ob die Personalisierung ausgeschaltet oder eingeschränkt werden kann und ob eine Technologie vorliegt, die automatisierte Entscheidungen trifft. Ferner sollten Transparenzmaßnahmen, soweit dies technisch möglich ist, mit klaren und verständlichen Erläuterungen zu den genutzten Daten sowie zum Algorithmus, seinem Zweck, seinen Ergebnissen und seinen möglichen Gefahren einhergehen.

(22) Verzerrungen und Diskriminierungen durch Software, Algorithmen und Daten sind rechtswidrig und sollten dadurch beseitigt werden, dass die Prozesse, durch die diese Software, Algorithmen und Daten entworfen und eingesetzt werden, reguliert werden. Verzerrungen können sowohl von Entscheidungen, die sich auf automatisierte Systeme stützen oder von diesen getroffen werden, als auch von Datensätzen stammen, auf denen diese Entscheidungen beruhen oder mit denen das System trainiert wird.

(23) Software, Algorithmen und Daten, die von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien genutzt oder erstellt werden, sollten als verzerrt betrachtet werden, wenn sie beispielsweise auf der Grundlage einer befangenen persönlichen oder sozialen Wahrnehmung und der anschließenden Verarbeitung von Daten zu den Eigenschaften einer Person oder Personengruppe suboptimale Ergebnisse in Bezug diese Person oder Personengruppe anzeigen.

(24) Entsprechend dem Unionsrecht sollten Software, Algorithmen und Daten, die von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien genutzt oder erstellt werden, als diskriminierend angesehen werden, wenn sie Ergebnisse hervorbringen, die unverhältnismäßige negative Auswirkungen auf eine Person oder Personengruppe haben und zu einer unterschiedlichen Behandlung einer Person oder Personengruppe führen, unter anderem dadurch, dass die Person oder Personengruppe etwa aufgrund ihrer persönlichen Eigenschaften ohne objektive oder angemessene Rechtfertigung und unabhängig davon, ob die Technologien als neutral beschrieben werden, gegenüber anderen benachteiligt wird.

(25) Entsprechend dem Unionsrecht sind legitime Ziele, die nach dieser Verordnung möglicherweise eine unterschiedliche Behandlung von Personen oder Personengruppen objektiv rechtfertigen könnten, der Schutz der öffentlichen Sicherheit, die Gefahrenabwehr und der Schutz der Gesundheit, die Verhütung von Straftaten, der Schutz der Grundrechte und Grundfreiheiten, eine gerechte Vertretung sowie objektive Erfordernisse im Hinblick auf die Ausübung einer Berufstätigkeit.

(26) Künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, sollten zu nachhaltigem Fortschritt beitragen. Diese Technologien sollten den Belangen des Umweltschutzes oder des ökologischen Wandels nicht zuwiderlaufen. Sie könnten eine wichtige Funktion einnehmen, wenn es darum geht, die von den Vereinten Nationen festgelegten Ziele für nachhaltige Entwicklung zu verwirklichen, damit künftige Generationen sich positiv entfalten können. Diese Technologien können die Überwachung angemessener Fortschritte auf der Grundlage von Indikatoren für Nachhaltigkeit und sozialen Zusammenhalt sowie durch den Einsatz verantwortungsvoller Forschungs- und Innovationsinstrumente unterstützen, die die Mobilisierung von Mitteln seitens der Union und ihrer Mitgliedstaaten erfordern, damit Projekte, die diesen Zielen dienen, unterstützt werden und in sie investiert wird.

(27) Bei der Entwicklung, dem Einsatz und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, sollten dem Einzelnen oder der Gesellschaft in keiner Weise absichtlich Verletzungen oder Schäden zugefügt oder dies bewusst in Kauf genommen werden. Daher sollten insbesondere Hochrisikotechnologien auf sozial verantwortliche Weise entwickelt, eingesetzt und genutzt werden.

(28) Daher sollten Entwickler, Betreiber und Nutzer in dem Umfang, in dem sie an künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien beteiligt sind, und gemäß den auf EU- und nationaler Ebene geltenden Haftungsregelungen für alle Verletzungen oder Schäden verantwortlich gemacht werden, die dem Einzelnen und der Gesellschaft zugefügt werden.

(29) Insbesondere sollten die Entwickler, die Entscheidungen treffen, die den Verlauf oder die Art und Weise der Entwicklung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien bestimmen und steuern, sowie die Betreiber, die in einer kontrollierenden oder verwaltungsbezogenen Funktion an ihrem Einsatz beteiligt sind, indem sie Entscheidungen hinsichtlich eines solchen Einsatzes treffen und die Kontrolle über die damit verbundenen Risiken ausüben oder von einem solchen Einsatz profitieren, generell als verantwortlich dafür angesehen werden, das Auftreten solcher Verletzungen oder Schäden zu vermeiden, indem sie während des Entwicklungsprozesses angemessene Maßnahmen ergreifen bzw. während der Einsatzphase diese Maßnahmen konsequent beachten.

(30) Sozial verantwortliche künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, können als Technologien definiert werden, die dazu beitragen, Lösungen zu finden, die unterschiedliche gesellschaftliche Ziele schützen und fördern, insbesondere die Demokratie, die Gesundheit und den wirtschaftlichen Wohlstand, die Chancengleichheit, die Arbeitnehmer- und soziale Rechte, vielfältige und unabhängige Medien sowie objektive und frei verfügbare Informationen, und somit die öffentliche Debatte, eine hochwertige Bildung, die kulturelle und sprachliche Vielfalt, ein ausgewogenes Geschlechterverhältnis, digitale Kompetenz, Innovation und Kreativität ermöglichen. Als sozial verantwortlich gelten auch diejenigen Technologien, die unter gebührender Berücksichtigung ihrer letztendlichen Auswirkungen auf das körperliche und geistige Wohlbefinden der Bürger entwickelt, eingesetzt und genutzt werden und weder Hetze noch Gewalt fördern. Die genannten Ziele sollten insbesondere mithilfe von Hochrisikotechnologien erreicht werden.

(31) Künstliche Intelligenz, Robotik und damit zusammenhängende Technologien sollten auch mit Blick darauf entwickelt, eingesetzt und genutzt werden, soziale Inklusion, Demokratie, Pluralität, Solidarität, Fairness, Gleichheit und Zusammenarbeit zu fördern, und ihr diesbezügliches Potenzial sollte durch Forschungs- und Innovationsprojekte maximiert und erforscht werden. Die Union und ihre Mitgliedstaaten sollten daher ihre Ressourcen in den Bereichen Kommunikation, Verwaltung und Finanzen mobilisieren, um derartige Projekte zu unterstützen und in sie zu investieren.

(32) Projekte, die sich auf das Potenzial von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien im Hinblick auf die Frage des sozialen Wohlbefindens beziehen, sollten auf der Grundlage verantwortungsbewusster Forschungs- und Innovationsinstrumente durchgeführt werden, damit die Einhaltung ethischer Grundsätze bei diesen Projekten von Anfang an sichergestellt ist.

(33) Bei der Entwicklung, dem Einsatz und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, sollten deren Auswirkungen auf die Umwelt berücksichtigt werden. Im Einklang mit den Verpflichtungen, die im geltenden Unionsrecht festgelegt sind, sollten solche Technologien während ihres Lebenszyklus und entlang ihrer gesamten Lieferkette keine Umweltschäden verursachen und so entwickelt, eingesetzt und genutzt werden, dass die Umwelt geschont wird, ihre Auswirkungen auf die Umwelt abgemildert und behoben werden, ein Beitrag zum ökologischen Wandel geleistet wird und die Erreichung der Ziele der Klimaneutralität und der Kreislaufwirtschaft unterstützt wird.

(34) Für die Zwecke dieser Verordnung sollten Entwickler, Betreiber und Nutzer in dem Umfang, in dem sie jeweils an der Entwicklung, dem Einsatz oder der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, die als risikoreich gelten, beteiligt sind, gemäß den geltenden Umwelthaftungsregelungen für sämtliche Umweltschäden verantwortlich gemacht werden.

(35) Diese Technologien sollten auch mit Blick darauf entwickelt, eingesetzt und genutzt werden, im Einklang mit den im geltenden Unionsrecht festgelegten Verpflichtungen die Verwirklichung von Umweltzielen – wie Verringerung des Abfallaufkommens, Verminderung des CO2-Fußabdrucks, Bekämpfung des Klimawandels und Schutz der Umwelt – zu unterstützen, und ihr diesbezügliches Potenzial sollte durch Forschungs- und Innovationsprojekte maximiert und erforscht werden. Die Union und die Mitgliedstaaten sollten daher ihre Ressourcen in den Bereichen Kommunikation, Verwaltung und Finanzen mobilisieren, um derartige Projekte zu unterstützen und in sie zu investieren.

(36) Projekte, die sich auf das Potenzial von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien im Hinblick auf Umweltbelange beziehen, sollten auf der Grundlage verantwortungsvoller Forschungs- und Innovationsinstrumente durchgeführt werden, damit die Einhaltung ethischer Grundsätze bei diesen Projekten von Anfang an sichergestellt ist.

(37) Im Rahmen von in der Union entwickelter, eingesetzter und genutzter künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, sollten die Rechte der Unionsbürger auf Privatsphäre und den Schutz personenbezogener Daten uneingeschränkt gewahrt werden. Insbesondere sollten ihre Entwicklung, ihr Einsatz und ihre Nutzung im Einklang mit der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates[14] und der Richtlinie 2002/58/EG des Europäischen Parlaments und des Rates[15] erfolgen.

(38) Vor allem bei der Nutzung von Fernerkennungstechnologien – wie der Technologie zur Erkennung biometrischer Merkmale, insbesondere der Gesichtserkennung, für die automatische Identifizierung von Personen – sollten die ethischen Grenzen der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, gebührend berücksichtigt werden. Wenn diese Technologien von Behörden aus Gründen eines erheblichen öffentlichen Interesses, insbesondere zur Wahrung der Sicherheit von Einzelpersonen und zur Bewältigung nationaler Notfälle – und nicht zur Wahrung der Sicherheit von Eigentum – eingesetzt werden, sollte dieser Einsatz stets offengelegt werden, verhältnismäßig, zielgerichtet, auf bestimmte Zielvorgaben begrenzt und zeitlich beschränkt sein sowie im Einklang mit dem Unionsrecht und unter gebührender Berücksichtigung der Würde und Autonomie des Menschen und der in der Charta verankerten Grundrechte erfolgen. Die Kriterien für solche Systeme und deren Grenzen sollten gerichtlicher Kontrolle unterliegen sowie der demokratischen Kontrolle und Debatte unter Einbeziehung der Zivilgesellschaft unterzogen werden.

(39) Eine auf einschlägigen Normen basierende Steuerung erhöht die Sicherheit und fördert das Vertrauen der Bürger in die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten.

(40) Behörden sollten Folgenabschätzungen in Bezug auf die Grundrechte durchführen, bevor sie Hochrisikotechnologien einsetzen, und so Unterstützung im Hinblick auf Entscheidungen erlangen, die im öffentlichen Sektor getroffen werden und einen direkten und erheblichen Einfluss auf die Rechte und Pflichten der Bürger haben.

(41) Maßgebliche geltende Normen für die Steuerung sind beispielsweise die „Ethics Guidelines for Trustworthy AI“ (Ethikleitlinien für eine vertrauenswürdige KI) der von der Kommission eingesetzten hochrangigen Expertengruppe für künstliche Intelligenz sowie weitere technische Normen wie diejenigen, die auf europäischer Ebene vom Europäischen Komitee für Normung (CEN), vom Europäischen Komitee für elektrotechnische Normung (CENELEC) und vom Europäischen Institut für Telekommunikationsnormen (ETSI) sowie auf internationaler Ebene von der Internationalen Organisation für Normung (ISO) und vom Institute of Electrical and Electronics Engineers (IEEE) angenommen wurden.

(42) Der Austausch und die Nutzung von Daten durch mehrere Teilnehmer ist eine sensible Angelegenheit; daher sollten für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien einschlägige Vorschriften, Normen und Protokolle gelten, die den Anforderungen an Qualität, Integrität, Sicherheit, Zuverlässigkeit, Privatsphäre und Kontrolle entsprechen. Im Rahmen der Datenverwaltungsstrategie sollten die Verarbeitung und der Austausch von sowie der Zugang zu derartigen Daten sowie deren ordnungsgemäße Verwaltung, Überprüfbarkeit und Rückverfolgbarkeit im Mittelpunkt stehen und ein angemessener Schutz der Daten gefährdeter Gruppen, darunter Menschen mit Behinderungen, Patienten, Kinder, Minderheiten und Migranten, oder sonstiger von Ausgrenzung bedrohter Gruppen sichergestellt werden. Darüber hinaus sollten Entwickler, Betreiber und Nutzer in der Lage sein, sich bei der Bewertung der von ihnen verwendeten Datensätze gegebenenfalls auf wichtige Leistungsindikatoren zu stützen, um die Vertrauenswürdigkeit der von ihnen entwickelten, eingesetzten und verwendeten Technologien zu erhöhen.

(43) Die Mitgliedstaaten sollten eine unabhängige Verwaltungsbehörde als Aufsichtsbehörde benennen. Insbesondere sollte jede nationale Aufsichtsbehörde dafür zuständig sein, künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, die gemäß den in dieser Verordnung festgelegten Risikobewertungskriterien als risikoreich gelten, zu identifizieren und die Einhaltung der in dieser Verordnung festgelegten Verpflichtungen durch diese Technologien zu bewerten und zu überwachen.

(44) Jede nationale Aufsichtsbehörde sollte ferner die Verantwortung für die verantwortungsvolle Steuerung dieser Technologien tragen, wobei die Koordinierung von der Kommission und/oder anderen einschlägigen Organen, Einrichtungen und sonstigen Stellen der Union, die zu diesem Zweck benannt werden können, wahrgenommen werden sollte. Sie haben daher eine wichtige Funktion, wenn es darum geht, das Vertrauen und die Sicherheit der Unionsbürger zu fördern sowie eine demokratische, pluralistische und gerechte Gesellschaft zu ermöglichen.

(45) Für die Zwecke der Bewertung von Technologien, die gemäß dieser Verordnung als risikoreich gelten, und deren Überwachung dahingehend, ob die Vorschriften dieser Verordnung eingehalten werden, sollten die nationalen Aufsichtsbehörden gegebenenfalls mit den Behörden zusammenarbeiten, die für die Bewertung und Überwachung dieser Technologien sowie für die Durchsetzung der Einhaltung der sektorspezifischen Rechtsvorschriften durch diese Technologien zuständig sind.

(46) Die nationalen Aufsichtsbehörden sollten untereinander sowie mit der Kommission und anderen einschlägigen Organen, Einrichtungen und sonstigen Stellen der Union substanziell und regelmäßig zusammenarbeiten, um für ein kohärentes grenzüberschreitendes Vorgehen zu sorgen und eine kohärente Entwicklung, einen kohärenten Einsatz und eine kohärente Nutzung dieser Technologien innerhalb der Union im Einklang mit den in dieser Verordnung festgelegten ethischen Grundsätzen und rechtlichen Verpflichtungen zu ermöglichen.

(47) Im Rahmen dieser Zusammenarbeit und im Hinblick auf die Verwirklichung einer umfassenden Harmonisierung auf Unionsebene sollten die nationalen Aufsichtsbehörden die Kommission bei der Erstellung einer gemeinsamen und erschöpfenden Liste risikoreicher künstlicher Intelligenz, Robotik und verwandter Technologien im Einklang mit den in dieser Verordnung und ihrem Anhang festgelegten Kriterien unterstützen. Darüber hinaus sollte ein Erteilungsverfahren im Hinblick auf die Ausstellung eines europäischen Zertifikats über die Einhaltung ethischer Grundsätze entwickelt werden, einschließlich eines freiwilligen Antragsverfahrens für Entwickler, Betreiber oder Nutzer von als nicht risikoreich geltenden Technologien, die anstreben, dass ihnen bescheinigt wird, dass sie die Anforderungen dieser Verordnung erfüllen.

(48) Die nationalen Aufsichtsbehörden sollten eine möglichst große Zahl von Interessenträgern wie Industrie, Unternehmen, Sozialpartner, Forscher, Verbraucher und Organisationen der Zivilgesellschaft zusammenführen und ein pluralistisches Forum für Reflexion und Meinungsaustausch bieten, damit verständliche und präzise Schlussfolgerungen gezogen werden, die als Richtschnur dafür dienen, wie die Steuerung geregelt wird.

(49) Die nationalen Aufsichtsbehörden sollten eine möglichst große Zahl von Interessenträgern wie Industrie, Unternehmen, Sozialpartner, Forscher, Verbraucher und Organisationen der Zivilgesellschaft zusammenführen und ein pluralistisches Forum für Reflexion und Meinungsaustausch bieten, um die Kooperation mit und die Zusammenarbeit zwischen den Interessenträgern, insbesondere aus Wissenschaft, Forschung, Industrie und Zivilgesellschaft sowie einzelnen Experten, zu erleichtern, damit verständliche und präzise Schlussfolgerungen gezogen werden, die als Richtschnur dafür dienen, wie die Steuerung geregelt wird.

(50) Darüber hinaus sollten diese nationalen Aufsichtsbehörden Entwicklern, Betreibern und Nutzern, insbesondere kleinen und mittleren Unternehmen oder Start-ups, professionelle administrative Beratung und Unterstützung bieten, wenn diese im Hinblick auf die Einhaltung der in dieser Verordnung festgelegten ethischen Grundsätze und rechtlichen Verpflichtungen vor Herausforderungen stehen.

(51) Die Kommission und/oder die einschlägigen Organe, Einrichtungen oder sonstigen Stellen der Union, die zu diesem Zweck benannt werden können, sollten verbindliche Leitlinien für die Methodik festlegen, die von den nationalen Aufsichtsbehörden bei der Durchführung ihrer Konformitätsbewertung anzuwenden ist.

(52) Durch die Meldung von Missständen werden Behörden auf potenzielle und tatsächliche Verstöße gegen das Unionsrecht aufmerksam gemacht, damit Verletzungen, Schäden oder Beeinträchtigungen, die andernfalls auftreten würden, verhindert werden können. Darüber hinaus verbessern Meldeverfahren den Informationsfluss innerhalb von Unternehmen und Organisationen und mindern so das Risiko, dass mangelhafte oder fehlerhafte Produkte oder Dienstleistungen entwickelt werden. Unternehmen und Organisationen, die künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich von diesen Technologien genutzter oder erstellter Daten, entwickeln, betreiben oder nutzen, sollten Meldekanäle einrichten, und Personen, die Verstöße melden, sollten vor Repressalien geschützt werden.

(53) Bei der raschen Entwicklung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, sowie des technischen maschinellen Lernens, technischer Denkprozesse und anderer Technologien, die dieser Entwicklung zugrunde liegen, ist keine Vorhersehbarkeit gegeben. Daher ist es sowohl angemessen als auch notwendig, einen Überprüfungsmechanismus einzurichten, gemäß dem die Kommission zusätzlich zu ihrer Berichterstattung über die Anwendung der Verordnung regelmäßig einen Bericht über die mögliche Änderung des Anwendungsbereichs dieser Verordnung vorlegen muss.

(54) Da das Ziel dieser Verordnung, nämlich die Schaffung eines gemeinsamen Regelungsrahmens im Hinblick auf die ethischen Grundsätze und rechtlichen Verpflichtungen im Zusammenhang mit der Entwicklung, dem Einsatz und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien in der Union, auf Ebene der Mitgliedstaaten nicht ausreichend verwirklicht werden kann, sondern wegen seines Umfangs und seiner Wirkungen auf Unionsebene besser zu verwirklichen ist, kann die Union im Einklang mit dem in Artikel 5 des Vertrags über die Europäische Union verankerten Subsidiaritätsprinzip tätig werden. Entsprechend dem in demselben Artikel genannten Grundsatz der Verhältnismäßigkeit geht diese Verordnung nicht über das für die Verwirklichung dieses Ziels erforderliche Maß hinaus.

(55) Die Koordinierung auf Unionsebene im Sinne dieser Verordnung würde am besten durch die Kommission und/oder die einschlägigen Organe, Einrichtungen und sonstigen Stellen der Union, die in diesem Zusammenhang benannt werden können, erreicht, da so eine Fragmentierung vermieden und eine kohärente Anwendung dieser Verordnung sichergestellt würde. Die Kommission sollte daher beauftragt werden, eine geeignete Lösung für die Strukturierung einer solchen Koordinierung auf Unionsebene zu finden, um die Mandate und Maßnahmen der nationalen Aufsichtsbehörden in den einzelnen Mitgliedstaaten zu koordinieren, insbesondere im Hinblick auf die Risikobewertung von künstlicher Intelligenz, Robotik und verwandten Technologien, die Schaffung eines gemeinsamen Rahmens für die Steuerung der Entwicklung, des Einsatzes und der Nutzung dieser Technologien, die Ausarbeitung und Ausstellung einer Bescheinigung über die Einhaltung der in dieser Verordnung festgelegten ethischen Grundsätze und rechtlichen Verpflichtungen, die Unterstützung eines regelmäßigen Austauschs mit den betroffenen Interessenträgern und der Zivilgesellschaft und die Schaffung eines Kompetenzzentrums, das Hochschulen, Forschung, Industrie und einzelne Sachverständige auf Unionsebene zusammenführt, um den Austausch von Wissen und Know-how zu intensivieren, sowie die Förderung des Ansatzes der Union durch internationale Zusammenarbeit und die Sicherstellung einer weltweit kohärenten Antwort auf die mit diesen Technologien verbundenen Chancen und Risiken —

 

HABEN FOLGENDE VERORDNUNG ERLASSEN:

 

Kapitel I

Allgemeine Bestimmungen

Artikel 1

Zweck

 

Zweck dieser Verordnung ist es, einen umfassenden und zukunftsfähigen Regelungsrahmen im Hinblick auf die ethischen Grundsätze und rechtlichen Verpflichtungen im Zusammenhang mit der Entwicklung, dem Einsatz und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien in der Union zu schaffen.

Artikel 2

Anwendungsbereich

 

Diese Verordnung gilt für in der Union entwickelte, eingesetzte oder genutzte künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten.

Artikel 3

Geografischer Anwendungsbereich

Diese Verordnung gilt für künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, wenn ein Teil davon in der Union entwickelt, eingesetzt oder genutzt wird, unabhängig davon, ob sich die Software, Algorithmen oder Daten, die von solchen Technologien genutzt oder erstellt werden, außerhalb der Union befinden oder keinen festen geografischen Standort haben.

Artikel 4

Begriffsbestimmungen

Für die Zwecke dieser Verordnung bezeichnet der Ausdruck

a) „künstliche Intelligenz“ ein softwaregestütztes oder in Hardware-Geräte eingebettetes System, das intelligentes Verhalten zeigt, indem es unter anderem sammelt, verarbeitet, analysiert und seine Umgebung interpretiert und mit einem gewissen Maß an Autonomie Maßnahmen ergreift, um bestimmte Ziele zu erreichen;[16]

b) „Autonomie“ ein System der künstlichen Intelligenz, das durch Interpretation bestimmter Eingaben und durch Verwendung einer Reihe vorab festgelegter Anweisungen funktioniert, ohne auf solche Anweisungen beschränkt zu sein, auch wenn das Verhalten des Systems durch das ihm vorgegebene Ziel und andere relevante Vorgaben seines Entwicklers eingeschränkt wird bzw. auf die Erfüllung des Ziels ausgerichtet ist;

c) „Robotik“ Technologien, die es automatisch gesteuerten, umprogrammierbaren Mehrzweckmaschinen[17] ermöglichen, in der physischen Welt Aufgaben zu erfüllen, die traditionell von Menschen ausgeführt oder initiiert werden, auch durch den Einsatz künstlicher Intelligenz oder damit zusammenhängender Technologien;

d) „damit zusammenhängende Technologien“ Technologien, die es Software ermöglichen, einen physischen oder virtuellen Prozess teilweise oder vollständig autonom zu steuern, Technologien, die in der Lage sind, biometrische, genetische oder andere Daten zu erkennen, sowie Technologien, die Charakteristika des Menschen nachahmen oder auf andere Weise nutzen;

e) „Hochrisiko-“ oder „mit hohem Risiko“ oder „risikoreich“ ein mit der Entwicklung, dem Einsatz und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien verbundenes, erhebliches Risiko, dass unter Verletzung der im Unionsrecht verankerten Grundrechte und Sicherheitsvorschriften Einzelpersonen oder der Gesellschaft Verletzungen oder Schäden zugefügt werden, und zwar unter Berücksichtigung der spezifischen Nutzung oder des spezifischen Zwecks von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, des Sektors, in dem sie entwickelt, eingesetzt oder genutzt werden, und der Schwere der Verletzungen oder Schäden, die zu erwarten sind;

f) „Entwicklung“ die Erstellung und Gestaltung von Algorithmen, das Entwerfen und die Gestaltung von Software oder die Sammlung, Speicherung und Verwaltung von Daten zum Zwecke der Schaffung oder des Trainierens von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien oder zum Zwecke der Schaffung einer neuen Anwendung für bestehende künstliche Intelligenz, Robotik und damit zusammenhängende Technologien;

g) „Entwickler“ eine natürliche oder juristische Person, die Entscheidungen trifft, die den Verlauf oder die Art und Weise der Entwicklung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien bestimmen und steuern;

h) „Einsatz“ den Betrieb und die Verwaltung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien sowie deren Inverkehrbringen oder anderweitige Bereitstellung für die Nutzer;

i) „Betreiber“ eine natürliche oder juristische Person, die an dem konkreten Einsatz von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien beteiligt ist und dabei eine Kontroll- oder Verwaltungsfunktion ausübt, indem sie Entscheidungen trifft, die Kontrolle über das Risiko ausübt und einen Nutzen aus diesem Einsatz zieht;

j) „Nutzung“ eine Handlung im Zusammenhang mit künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, bei der es sich nicht um die Entwicklung oder den Einsatz handelt;

k) „Nutzer“ eine natürliche oder juristische Person, die künstliche Intelligenz, Robotik und damit zusammenhängende Technologien zu anderen Zwecken als zur Entwicklung oder zum Einsatz nutzt;

l) „Verzerrung“ die befangene persönliche oder soziale Wahrnehmung einer Person oder Personengruppe auf der Grundlage ihrer persönlichen Eigenschaften;

m) „Diskriminierung“ die unterschiedliche Behandlung einer Person oder Personengruppe, die sich auf einen Grund stützt, der keine objektive oder angemessene Rechtfertigung hat, und daher nach dem Unionsrecht untersagt ist;

n) „Verletzung oder Schaden“ eine körperliche oder psychische Verletzung, materiellen oder immateriellen Schaden wie finanziellen oder wirtschaftlichen Verlust, den Verlust von Arbeitsplatz oder Bildungsmöglichkeit, eine unzulässige Einschränkung der Wahlfreiheit oder des Rechts auf freie Meinungsäußerung oder den Verlust der Privatsphäre sowie eine Verletzung des Unionsrechts, durch die einer Person Schaden zugefügt wird, und zwar auch, wenn dies durch Hetze, Verzerrung, Diskriminierung oder Stigmatisierung verursacht wurde;

o) „verantwortungsvolle Steuerung“ die Art und Weise, in der auf der Grundlage von formalen Regeln, Verfahren und Werten sichergestellt wird, dass die angemessenen und sinnvollen Normen und Verhaltensprotokolle von Entwicklern, Betreibern und Nutzern angenommen und eingehalten werden, was ihnen ermöglicht, ethische Fragen angemessen zu behandeln, sobald oder bevor sie auftreten.

Artikel 5

Ethische Grundsätze im Hinblick auf künstliche Intelligenz, Robotik und damit zusammenhängende Technologien

(1) Künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, werden in der Union im Einklang mit dem Unionsrecht sowie unter umfassender Achtung der Würde, Autonomie und Sicherheit des Menschen und anderer in der Charta verankerter Grundrechte entwickelt, eingesetzt und genutzt.

(2) Die bei der Entwicklung, dem Einsatz und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien durchgeführte Verarbeitung personenbezogener Daten, einschließlich personenbezogener Daten, die aus nicht personenbezogenen Daten und biometrischen Daten gewonnen wurden, erfolgt im Einklang mit der Verordnung (EU) 2016/679 und der Richtlinie 2002/58/EG.

(3) Die Union und ihre Mitgliedstaaten fördern Forschungsprojekte, mit denen auf künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien basierende Lösungen zur Förderung der sozialen Inklusion, der Demokratie, der Pluralität, der Solidarität, der Fairness, der Gleichheit und der Zusammenarbeit bereitgestellt werden sollen.

Kapitel II

Verpflichtungen im Zusammenhang mit Hochrisikotechnologien

Artikel 6

Verpflichtungen im Zusammenhang mit Hochrisikotechnologien

(1) Die Bestimmungen in diesem Kapitel gelten nur für in der Union entwickelte, eingesetzte oder genutzte künstliche Intelligenz, Robotik und damit zusammenhängende Technologien – einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten –, die als risikoreich angesehen werden.

 

(2) Künstliche Intelligenz, Robotik und damit zusammenhängende Technologien mit hohem Risiko, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, werden so entwickelt, eingesetzt und genutzt, dass die in dieser Verordnung festgelegten ethischen Grundsätze nicht verletzt werden.

Artikel 7

Auf den Menschen ausgerichtete und vom Menschen geschaffene künstliche Intelligenz

(1) Technologien der künstlichen Intelligenz mit hohem Risiko, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, werden so entwickelt, eingesetzt und genutzt, dass jederzeit die uneingeschränkte menschliche Aufsicht sichergestellt ist.

(2) Die Technologien gemäß Absatz 1 werden so entwickelt, eingesetzt und genutzt, dass bei Bedarf die uneingeschränkte Kontrolle durch den Menschen wiedererlangt werden kann, unter anderem indem diese Technologien modifiziert oder deaktiviert werden.

Artikel 8

Sicherheit, Transparenz und Rechenschaftspflicht

1. Bei der Entwicklung, dem Einsatz und der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, mit hohem Risiko wird sichergestellt, dass sie

a) auf widerstandsfähige Weise entwickelt, eingesetzt und genutzt werden, sodass für ein angemessenes Sicherheitsniveau gesorgt ist, indem ein Mindestmaß an Cybersicherheit eingehalten wird, das in einem angemessenen Verhältnis zum festgestellten Risiko steht, und verhindert wird, dass technische Schwachstellen für böswillige oder rechtswidrige Zwecke ausgenutzt werden;

b) auf sichere Weise entwickelt, eingesetzt und genutzt werden, sodass Sicherheitsvorkehrungen vorhanden sind, die eine Rückfallstrategie und Maßnahmen für den Fall eines Sicherheitsrisikos umfassen;

c) so entwickelt, eingesetzt und genutzt werden, dass die Zuverlässigkeit der Leistung, die vom Nutzer hinsichtlich der Erreichung der Ziele und der Durchführung der Aktivitäten, für die sie konzipiert wurden, nach vernünftigem Ermessen erwartet wird, unter anderem dadurch sichergestellt wird, dass alle Operationen reproduzierbar sind;

d) so entwickelt, eingesetzt und genutzt werden, dass die Ziele und Tätigkeiten der jeweiligen Technologien genau umgesetzt werden; wenn sich gelegentliche Ungenauigkeiten nicht vermeiden lassen, muss das System, soweit möglich, den Betreibern und Nutzern die Wahrscheinlichkeit von Fehlern und Ungenauigkeiten durch geeignete Mittel anzeigen;

e) auf leicht erklärbare Weise entwickelt, eingesetzt und genutzt werden, sodass eine Überprüfung der technischen Prozesse der Technologien erfolgen kann;

f) so entwickelt, eingesetzt und genutzt werden, dass Nutzern mitgeteilt wird, dass sie gerade mit Systemen künstlicher Intelligenz interagieren, und den Entwicklern, Betreibern und Nutzern künstlicher Intelligenz ihre Fähigkeiten, ihre Genauigkeit und ihre Grenzen ordnungsgemäß und umfassend offengelegt werden;

g) im Einklang mit Artikel 6 so entwickelt, eingesetzt und genutzt werden, dass es möglich ist, im Falle der Nichteinhaltung der in den Buchstaben a bis g genannten Sicherheitsmerkmale die betreffenden Funktionen vorübergehend außer Betrieb zu setzen und auf einen vorherigen Status zurückzustellen, mit dem wieder eine sichere Funktionsweise hergestellt wird. 

2. Im Einklang mit Artikel 6 Absatz 1 werden die in Absatz 1 genannten Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, auf transparente und nachvollziehbare Weise entwickelt, eingesetzt und genutzt, sodass ihre Elemente, Prozesse und Phasen nach den höchstmöglichen, anwendbaren Standards dokumentiert werden und die in Artikel 14 genannten nationalen Aufsichtsbehörden die Einhaltung der in dieser Verordnung festgelegten Verpflichtungen durch diese Technologien bewerten können. Der Entwickler, Betreiber oder Nutzer dieser Technologien ist insbesondere für die Einhaltung der in Absatz 1 festgelegten Sicherheitsmerkmale verantwortlich und muss in der Lage sein, deren Einhaltung nachzuweisen.

3. Der Entwickler, Betreiber oder Nutzer der in Absatz 1 genannten Technologien stellt sicher, dass die Maßnahmen zur Sicherstellung der Einhaltung der in Absatz 1 festgelegten Sicherheitsmerkmale von den in Artikel 14 genannten nationalen Aufsichtsbehörden und gegebenenfalls anderen nationalen oder europäischen sektorspezifischen Aufsichtsorganen überprüft werden können.

Artikel 9

Nichtverzerrung und Nichtdiskriminierung

 

1. Software, Algorithmen oder Daten, die von in der Union entwickelter, eingesetzter oder genutzter künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien mit hohem Risiko genutzt oder erstellt werden, sind verzerrungsfrei und dürfen unbeschadet des Absatzes 3 nicht diskriminieren, etwa aus Gründen der Rasse, des Geschlechts, der sexuellen Ausrichtung, einer Schwangerschaft, einer Behinderung, körperlicher oder genetischer Merkmale, des Alters, der Zugehörigkeit zu einer nationalen Minderheit, der ethnischen Zugehörigkeit oder sozialen Herkunft, der Sprache, der Religion oder der Weltanschauung, der politischen Ansichten oder der bürgerschaftlichen Beteiligung, der Staatsangehörigkeit, des zivilrechtlichen oder wirtschaftlichen Status, des Bildungsstands oder des Strafregisters.

 

2. Abweichend von den Absätzen 1 und 2 und unbeschadet der Rechtsvorschriften der Union über rechtswidrige Diskriminierung ist eine unterschiedliche Behandlung von Personen oder Personengruppen nur dann gerechtfertigt, wenn ein objektives, vernünftiges und legitimes Ziel besteht, das sowohl verhältnismäßig als auch erforderlich ist, da es keine Alternative gibt, die einen geringeren Eingriff in den Grundsatz der Gleichbehandlung bewirken würde.

Artikel 10

Soziale Verantwortung und Gleichstellung der Geschlechter

In der Union entwickelte, eingesetzte und genutzte risikoreiche künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von diesen Technologien genutzten oder erstellten Software, Algorithmen und Daten, werden auf eine Weise entwickelt, eingesetzt und genutzt, die mit den einschlägigen Rechtsvorschriften, Grundsätzen und Werten der Union im Einklang steht, mit der nicht in Wahlen eingegriffen oder zur Verbreitung von Desinformation beigetragen wird, mit der die Arbeitnehmerrechte geachtet werden, eine hochwertige Bildung und digitale Kompetenzen gefördert werden, das Geschlechtergefälle nicht durch die Verhinderung von Chancengleichheit für alle verstärkt wird und die Rechte des geistigen Eigentums und diesbezügliche Beschränkungen oder Ausnahmen nicht missachtet werden.

Artikel 11

Ökologische Nachhaltigkeit

Risikoreiche künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, werden von den in Artikel 14 genannten nationalen Aufsichtsbehörden und gegebenenfalls anderen nationalen oder europäischen sektorspezifischen Aufsichtsorganen in Bezug auf ihre ökologische Nachhaltigkeit bewertet, damit sichergestellt wird, dass Maßnahmen ergriffen werden, um ihre allgemeinen Auswirkungen auf die natürlichen Ressourcen, den Energieverbrauch, die Abfallproduktion, den CO2-Fußabdruck, den Klimanotstand und die Umweltzerstörung zu mindern und Abhilfe zu schaffen, um die Einhaltung des anwendbaren Unionsrechts oder nationalen Rechts und sonstiger eingegangener internationaler Umweltverpflichtungen der Union sicherzustellen.

Artikel 12

Achtung der Privatsphäre und Schutz personenbezogener Daten

Die Verwendung und Erfassung biometrischer Daten zum Zwecke der Fernidentifizierung im öffentlichen Bereich durch biometrische Erkennung oder Gesichtserkennung birgt besondere Risiken für die Grundrechte und wird von den Behörden der Mitgliedstaaten nur zu Zwecken wesentlichen öffentlichen Interesses eingesetzt oder genutzt. Diese Behörden stellen sicher, dass der Einsatz und die Nutzung gegenüber der Öffentlichkeit offengelegt wird, verhältnismäßig, zielgerichtet, auf bestimmte Ziele und Orte begrenzt und zeitlich beschränkt ist und im Einklang mit dem Unionsrecht und dem nationalen Recht, insbesondere der Verordnung (EU) 2016/679 und der Richtlinie 2002/58/EG, und unter gebührender Berücksichtigung der Menschenwürde, der Autonomie und der Grundrechte, die in der Charta festgelegt sind, insbesondere der Rechte auf Achtung der Privatsphäre und Schutz personenbezogener Daten, erfolgt.

 

Artikel 13

Anspruch auf Rechtsbehelfe

 Jede natürliche oder juristische Person hat im Fall von Verletzungen oder Schäden, die durch die Entwicklung, den Einsatz und die Nutzung von risikoreicher künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien verwendeten oder erstellten Software, Algorithmen und Daten unter Verstoß gegen das Unionsrecht und die in dieser Verordnung festgelegten Verpflichtungen verursacht wurden, Anspruch auf Rechtsbehelfe.

Artikel 14

Risikobewertung

1. Für die Zwecke dieser Verordnung gelten künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von solchen Technologien verwendeten oder erstellten Software, Algorithmen und Daten, als Technologien mit hohem Risiko, wenn eine Risikobewertung auf Grundlage objektiver Kriterien, wie ihrer spezifischen Nutzung oder ihres spezifischen Zwecks, des Bereichs, in dem sie entwickelt, eingesetzt oder genutzt werden, und der Schwere möglicher verursachter Verletzungen oder Schäden, ergab, dass ihre Entwicklung, ihr Einsatz oder ihre Nutzung ein erhebliches Risiko bergen in Bezug auf die Verursachung von Verletzungen oder Schäden, die Einzelpersonen oder der Gesellschaft unter Verletzung der Grundrechte und der im Unionsrecht festgelegten Sicherheitsvorschriften voraussichtlich entstehen können.

2. Unbeschadet geltender sektorspezifischer Rechtsvorschriften wird die Risikobewertung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien verwendeten oder erstellten Software, Algorithmen und Daten, im Einklang mit den objektiven Kriterien, die in Absatz 1 dieses Artikels festgelegt und in der erschöpfenden und kumulativen Liste im Anhang dieser Verordnung aufgeführt sind, von den in Artikel 14 genannten nationalen Aufsichtsbehörden unter Koordinierung der Kommission und/oder sonstiger einschlägiger Organe, Einrichtungen und sonstigen Stellen der Union durchgeführt, die im Rahmen ihrer Zusammenarbeit zu diesem Zweck benannt werden können.

3. In Zusammenarbeit mit den in Absatz 2 genannten nationalen Aufsichtsbehörden erstellt die Kommission mittels delegierter Rechtsakte im Einklang mit Artikel 15a eine gemeinsame Liste der in der Union ermittelten Technologien mit hohem Risiko und aktualisiert diese anschließend.

4. Mittels delegierter Rechtsakte und im Einklang mit Artikel 15a wird die im Anhang der vorliegenden Verordnung enthaltene Liste von der Kommission zudem regelmäßig aktualisiert.

Artikel 15

Konformitätsbewertung

1. Künstliche Intelligenz, Robotik und damit zusammenhängende Technologien mit hohem Risiko unterliegen einer Bewertung der Konformität mit den in den Artikeln 6 bis 12 dieser Verordnung festgelegten Verpflichtungen und einer anschließenden Überwachung, die beide von den in Artikel 17 genannten nationalen Aufsichtsbehörden unter Koordinierung der Kommission und/oder sonstiger einschlägiger Organe, Einrichtungen und sonstigen Stellen der Union, die zu diesem Zweck benannt werden können, durchgeführt werden.

 

2. Software, Algorithmen und Daten, die von Technologien mit hohem Risiko, die gemäß Absatz 1 als mit den in dieser Verordnung festgelegten Verpflichtungen konform bewertet wurden, genutzt oder erstellt werden, werden ebenfalls als mit diesen Verpflichtungen konform erachtet, es sei denn, die nationale Aufsichtsbehörde beschließt, auf eigene Initiative oder auf Antrag des Entwicklers, des Betreibers oder des Nutzers eine Bewertung durchzuführen.

 

3. Unbeschadet sektorspezifischer Rechtsvorschriften arbeiten die Kommission und/oder sonstige einschlägige Organe, Einrichtungen und sonstige Stellen der Union, die speziell zu diesem Zweck benannt werden können, bis zum Zeitpunkt des Inkrafttretens der vorliegenden Verordnung verbindliche Leitlinien zu der von den nationalen Aufsichtsbehörden anzuwendenden Methodik für die in Artikel 1 genannte Konformitätsbewertung aus.

 

Artikel 16

Europäische Zertifizierung der Einhaltung ethischer Grundsätze

1. Bei einem positiven Ergebnis der im Einklang mit Artikel 7a durchgeführten Konformitätsbewertung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von diesen Technologien genutzten oder erstellten Software, Algorithmen und Daten, mit hohem Risiko stellt die jeweilige nationale Aufsichtsbehörde ein europäisches Zertifikat über die Einhaltung ethischer Grundsätze aus.

 

2. Entwickler, Betreiber oder Nutzer von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien verwendeten oder erstellten Software, Algorithmen und Daten, die nicht als Technologien mit hohem Risiko gelten und daher nicht den in den Artikeln 6 bis 12 festgelegten Anforderungen sowie der Risikobewertung und Konformitätsbewertung gemäß den Artikeln 13 und 14 unterliegen, können ebenfalls eine Zertifizierung der Konformität mit den in der vorliegenden Verordnung festgelegten Verpflichtungen oder mit einem Teil dieser Verpflichtungen anstreben, wenn die nationale Aufsichtsbehörde beschließt, dass dies durch die Art der betreffenden Technologie gerechtfertigt ist. Ein Zertifikat wird nur ausgestellt, wenn von der zuständigen nationalen Aufsichtsbehörde eine Konformitätsbewertung durchgeführt wurde und diese Bewertung positiv war.

 

3. Zum Zweck der Ausstellung des in Absatz 2 genannten Zertifikats wird von der Kommission und/oder sonstigen einschlägigen Organen, Einrichtungen und sonstigen Stellen der Union, die zu diesem Zweck benannt werden können, ein Antragsverfahren entwickelt.

 

Kapitel III:

Institutionelle Aufsicht

Artikel 17

Steuerungsnormen und Leitlinien für die Umsetzung

1. Künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, die in der Union entwickelt, eingesetzt oder genutzt werden, entsprechen den einschlägigen im Einklang mit dem Unionsrecht festgelegten Normen für die Steuerung, den Grundsätzen und Werten der nationalen Aufsichtsbehörden gemäß Artikel 17 im Einklang mit dem Unionsrecht und den Grundsätzen und Werten im Rahmen der Koordinierung durch die Kommission und/oder sonstige einschlägige Organe, Einrichtungen und sonstige Stellen der Union, die zu diesem Zweck und unter Konsultation mit einschlägigen Interessenträgern benannt werden können.

 

2. Die in Absatz 1 genannten Normen umfassen unverbindliche Durchführungsleitlinien zur Methodik für die Einhaltung dieser Verordnung durch Entwickler, Betreiber und Nutzer und werden bis zum Zeitpunkt des Inkrafttretens dieser Verordnung veröffentlicht.

 

3. Daten, die von in der Union entwickelter, eingesetzter oder genutzter künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien genutzt oder erstellt werden, werden von den Entwicklern, Betreibern und Nutzern im Einklang mit den einschlägigen Vorschriften und Normen auf nationaler Ebene, der Union, sonstiger europäischer Organisationen und auf internationaler Ebene sowie den einschlägigen Industrie- und Geschäftsprotokollen verwaltet. Insbesondere führen die Entwickler und Betreiber, soweit möglich, Qualitätsprüfungen der externen Datenquellen durch, die von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien genutzt werden, und richten Aufsichtsmechanismen in Bezug auf die Erhebung, Speicherung, Verarbeitung und Nutzung dieser Daten ein.

 

3. Unbeschadet der Rechte auf Übertragbarkeit und der Rechte von Personen, die durch die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien Daten erstellt haben, entsprechen die Erhebung, die Speicherung, die Verarbeitung sowie der Austausch von und der Zugang zu Daten, die von in der Union entwickelter, eingesetzter oder genutzter künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien genutzt oder erstellt werden, den einschlägigen Vorschriften und Normen auf nationaler Ebene, der Union, sonstiger europäischer Organisationen und auf internationaler Ebene sowie den einschlägigen Industrie- und Geschäftsprotokollen. Die Entwickler und Betreiber stellen insbesondere sicher, dass diese Protokolle während der Entwicklung und des Einsatzes von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien angewandt werden, indem sie die Anforderungen bezüglich der Verarbeitung der von diesen Technologien genutzten oder erstellten Daten und bezüglich der Gewährung des Zugangs zu diesen Daten sowie den Zweck, Umfang und die Adressaten der Verarbeitung und der Gewährung des Zugangs zu diesen Daten klar definieren, wobei all dies jederzeit überprüfbar und nachvollziehbar sein muss.

Artikel 18

Aufsichtsbehörden

1. Jeder Mitgliedstaat benennt eine unabhängige Behörde, die unbeschadet sektorbezogener Rechtsvorschriften für die Überwachung der Anwendung dieser Verordnung („Aufsichtsbehörde“) sowie für die Durchführung der Risiko- und Konformitätsbewertungen und der Zertifizierung gemäß den Artikeln 13, 14 und 15 zuständig ist. 

 

2. Jede nationale Aufsichtsbehörde trägt zur einheitlichen Anwendung dieser Verordnung in der gesamten Union bei. Zu diesem Zweck arbeiten die Aufsichtsbehörden der Mitgliedstaaten sowohl untereinander als auch mit der Kommission und/oder mit anderen einschlägigen Organen, Einrichtungen, Ämtern und Agenturen der Union, die zu diesem Zweck benannt werden können, zusammen.

 

3. Jede nationale Aufsichtsbehörde dient als erste Anlaufstelle bei mutmaßlichen Verstößen gegen die in dieser Verordnung festgelegten ethischen Grundsätze und rechtlichen Verpflichtungen, einschließlich diskriminierender Behandlung oder Verletzung anderer Rechte infolge der Entwicklung, des Betriebs oder der Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien. In solchen Fällen führt die betreffende nationale Aufsichtsbehörde eine Konformitätsbewertung durch, um das Recht der Bürger auf Anfechtung und Rechtsbehelfe zu stärken.

 

4. Jede nationale Aufsichtsbehörde ist dafür zuständig, die Anwendung der in Artikel 13 genannten einschlägigen nationalen, europäischen und internationalen Steuerungsnormen und ‑standards auf künstliche Intelligenz, Robotik und damit zusammenhängende Technologien zu überwachen, unter anderem indem sie Kontakte zu einer größtmöglichen Zahl von relevanten Akteuren pflegt. Zu diesem Zweck stellen die Aufsichtsbehörden in jedem Mitgliedstaat ein Forum für den regelmäßigen Austausch mit und zwischen den Beteiligten aus den Bereichen Wissenschaft, Forschung, Industrie und Zivilgesellschaft zur Verfügung.

 

5. Jede nationale Aufsichtsbehörde bietet fachliche und administrative Beratung und Unterstützung bei der allgemeinen Umsetzung des auf künstliche Intelligenz, Robotik und damit zusammenhängende Technologien anwendbaren Unionsrechts und der in dieser Verordnung festgelegten ethischen Grundsätze, insbesondere für einschlägige Forschungs- und Entwicklungseinrichtungen sowie für kleine und mittlere Unternehmen oder Start-ups.

 

6. Jeder Mitgliedstaat teilt der Kommission bis spätestens zum [ABl.: einzusetzendes Datum: ein Jahr nach Inkrafttreten] die Rechtsvorschriften, die er aufgrund dieses Artikels erlässt, sowie unverzüglich alle folgenden Änderungen dieser Vorschriften mit.

 

7. Die Mitgliedstaaten treffen alle erforderlichen Maßnahmen, um die Umsetzung der in dieser Verordnung festgelegten ethischen Grundsätze und rechtlichen Verpflichtungen sicherzustellen. Die Mitgliedstaaten unterstützen die einschlägigen Akteure und die Zivilgesellschaft sowohl auf Unionsebene als auch auf nationaler Ebene in ihren Bemühungen, eine rechtzeitige, ethische und fundierte Antwort auf die neuen Chancen und Herausforderungen zu geben, insbesondere auf solche, die einen grenzübergreifenden Charakter aufweisen und sich aus technologischen Entwicklungen im Bereich von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien ergeben.

 

Artikel 19

Meldung von Verstößen und Schutz von Personen, die Verstöße melden

 

Für die Meldung von Verstößen gegen diese Verordnung und den Schutz von Personen, die solche Verstöße melden, gilt die Richtlinie (EU) 2019/1937 des Europäischen Parlaments und des Rates[18].

 

Artikel 20

Koordinierung auf Unionsebene

1. Die Kommission und/oder alle einschlägigen Organe, Einrichtungen, Ämter und Agenturen der Union, die in diesem Zusammenhang benannt werden können, haben folgende Aufgaben wahrzunehmen:

 

– Sicherstellung der in Artikel 13 genannten kohärenten Risikobewertung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, die von den in Artikel 17 genannten nationalen Aufsichtsbehörden auf der Grundlage der gemeinsamen objektiven Kriterien gemäß Artikel 7 Absatz 1 und der Liste von Bereichen sowie Verwendungen und Zwecken mit hohem Risiko im Anhang dieser Verordnung durchzuführen ist;

 

– Kenntnisnahme der Konformitätsbewertung und der anschließenden Überwachung der in Artikel 14 genannten risikoreichen künstlichen Intelligenz, Robotik und damit zusammenhängenden Technologien durch die in Artikel 17 genannten nationalen Aufsichtsbehörden;

 

– Entwicklung des Antragsverfahrens für das in Artikel 15 genannte Zertifikat, das von den in Artikel 17 genannten nationalen Aufsichtsbehörden ausgestellt wird;

 

– unbeschadet der sektoralen Rechtsvorschriften Ausarbeitung der in Artikel 14 Absatz 3 genannten verbindlichen Leitlinien für die von den in Artikel 17 genannten nationalen Aufsichtsbehörden zu verwendende Methodik;

 

– Koordinierung der Festlegung der in Artikel 16 genannten einschlägigen Steuerungsnormen durch die in Artikel 17 genannten nationalen Aufsichtsbehörden, einschließlich unverbindlicher Durchführungsleitlinien für Entwickler, Betreiber und Nutzer zur Methodik zur Einhaltung dieser Verordnung;

 

– Zusammenarbeit mit den in Artikel 17 genannten nationalen Aufsichtsbehörden hinsichtlich ihres Beitrags zur einheitlichen Anwendung dieser Verordnung in der gesamten Union gemäß Artikel 17 Absatz 2;

 

– Fungieren als europäisches Fachzentrum, das den Austausch von Informationen zu künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien fördert, die Entwicklung eines gemeinsamen Verständnisses im Binnenmarkt unterstützt, den in Artikel 17 genannten nationalen Aufsichtsbehörden zusätzliche Leitlinien, Stellungnahmen und Fachwissen zur Verfügung stellt, die Umsetzung der einschlägigen Rechtsvorschriften der Union überwacht, Normen für bewährte Verfahren ermittelt und gegebenenfalls Empfehlungen für Regulierungsmaßnahmen ausspricht; dabei sollte sie mit der größtmöglichen Anzahl einschlägiger Akteure in Verbindung stehen und sicherstellen, dass die Zusammensetzung ihrer Entscheidungsebenen vielfältig ist und die Gleichstellung der Geschlechter gewahrt wird;

 

– Einrichtung einer Arbeitsgruppe für Sicherheit und Verteidigung, deren Aufgabe es ist, politische Fragen und Investitionsfragen zu prüfen, die speziell die ethische Nutzung von künstlicher Intelligenz, Robotik und damit verbundenen Technologien im Bereich Sicherheit und Verteidigung betreffen.

 

Artikel 21

Ausübung der Befugnisübertragung

1. Die Befugnis zum Erlass delegierter Rechtsakte wird der Kommission unter den in diesem Artikel festgelegten Bedingungen übertragen.

 

2. Die Befugnis zum Erlass delegierter Rechtsakte gemäß Artikel 7 Absätze 3 und 4 wird der Kommission für einen Zeitraum von fünf Jahren ab dem (Datum des Inkrafttretens dieser Verordnung) übertragen.

 

3. Die Befugnisübertragung gemäß Artikel 7 Absätze 3 und 4 kann vom Europäischen Parlament oder vom Rat jederzeit widerrufen werden. Der Beschluss über den Widerruf beendet die Übertragung der in diesem Beschluss angegebenen Befugnis. Er wird am Tag nach seiner Veröffentlichung im Amtsblatt der Europäischen Union oder zu einem in dem Beschluss angegebenen späteren Zeitpunkt wirksam. Die Gültigkeit von delegierten Rechtsakten, die bereits in Kraft sind, wird von dem Beschluss über den Widerruf nicht berührt.

 

4. Vor dem Erlass eines delegierten Rechtsakts konsultiert die Kommission im Einklang mit den in der Interinstitutionellen Vereinbarung vom 13. April 2016 über bessere Rechtsetzung enthaltenen Grundsätzen die von den einzelnen Mitgliedstaaten benannten Sachverständigen.

 

5. Sobald die Kommission einen delegierten Rechtsakt erlässt, übermittelt sie ihn gleichzeitig dem Europäischen Parlament und dem Rat.

 

6. Ein delegierter Rechtsakt, der gemäß Artikel 7 Absätze 3 und 4 erlassen wurde, tritt nur in Kraft, wenn weder das Europäische Parlament noch der Rat innerhalb einer Frist von drei Monaten nach Übermittlung dieses Rechtsakts an das Europäisches Parlament und den Rat Einwände erhoben haben oder wenn vor Ablauf dieser Frist das Europäische Parlament und der Rat beide der Kommission mitgeteilt haben, dass sie keine Einwände erheben werden. Auf Initiative des Europäischen Parlaments oder des Rates wird diese Frist um drei Monate verlängert.

 

Artikel 22

Änderung der Richtlinie (EU) 2019/1937

 

Die Richtlinie (EU) 2019/1937 wird wie folgt geändert:

 

(1) In Artikel 2 Absatz 1 wird folgende Ziffer angefügt:

 

„xi) Entwicklung, Betrieb und Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien.“

 

(2) In Teil I des Anhangs wird folgender Buchstabe angefügt:

 

„K. Artikel 2 Absatz 1 Buchstabe a Ziffer xi — Entwicklung, Betrieb und Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien.

 

„xxi) Verordnung [XXX] des Europäischen Parlaments und des Rates über ethische Grundsätze für die Entwicklung, den Betrieb und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien‘.“

Artikel 23

Überprüfung

Die Kommission überprüft fortlaufend die Entwicklung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, und unterbreitet dem Europäischen Parlament, dem Rat und dem Europäischen Wirtschafts- und Sozialausschuss bis zum [ABl.: einzusetzendes Datum drei Jahre nach Inkrafttreten] und anschließend alle drei Jahre einen Bericht über die Anwendung dieser Verordnung, einschließlich einer Bewertung der möglichen Änderung des Anwendungsbereichs dieser Verordnung.

Artikel 24

Inkrafttreten

1. Diese Verordnung tritt am zwanzigsten Tag nach ihrer Veröffentlichung im Amtsblatt der Europäischen Union in Kraft. Sie gilt ab dem XX.

2. Diese Verordnung ist in allen ihren Teilen verbindlich und gilt gemäß dem Vertrag über die Europäische Union unmittelbar in jedem Mitgliedstaat.

Diese Verordnung ist in allen ihren Teilen verbindlich und gilt unmittelbar in jedem Mitgliedstaat.

 

ANHANG

 

Erschöpfende und kumulative Liste von Bereichen sowie Verwendungen und Zwecken mit hohem Risiko, die das Risiko der Verletzung von Grundrechten und Sicherheitsvorschriften in sich bergen.

 

Bereiche mit hohem Risiko

• Beschäftigung • Bildung • Gesundheitswesen • Verkehr • Energie • Öffentlicher Sektor (Asyl, Migration, Grenzkontrollen, Justiz und Sozialleistungen) • Verteidigung und Sicherheit • Finanzen, Banken, Versicherungen

Verwendungen oder Zwecke mit hohem Risiko

• Personaleinstellung • Leistungsbeurteilung und Benotung von Schülern und Studenten • Zuweisung öffentlicher Gelder • Vergabe von Krediten • Handel, Vermittlung, Besteuerung usw. • Medizinische Behandlungen und Verfahren • Wahlprozesse und politische Kampagnen • Entscheidungen des öffentlichen Sektors, die erhebliche und unmittelbare Auswirkungen auf die Rechte und Pflichten natürlicher oder juristischer Personen haben • Autonomes Fahren • Verkehrsmanagement • Autonome militärische Systeme • Energieerzeugung und ‑versorgung • Abfallbewirtschaftung • Emissionsbegrenzung

 

BEGRÜNDUNG

 

In dem Film „Blade Runner“ aus dem Jahr 1982 hört man den folgenden Dialog zwischen Rachael – einer „Replikantin“, die für eine Firma arbeitet, die Replikanten, also intelligente, humanoide Roboter, herstellt – und Deckard, einem Kopfgeldjäger, der seinen Lebensunterhalt damit verdient, außer Kontrolle geratene Replikanten aus dem Verkehr zu ziehen:

 

– „It seems you feel our work is not a benefit to the public.“ (Es scheint mir, dass Sie der Meinung sind, unsere Arbeit sei nicht zum Nutzen der Öffentlichkeit.)

 

Darauf antwortet Deckard:

 

– „Replicants are like any other machine – they‘re either a benefit or a hazard. If they‘re a benefit, it‘s not my problem.“ (Replikanten sind wie jede andere Maschine: Sie können ein Nutzen oder eine Gefahr sein. Wenn sie ein Nutzen sind, ist das nicht mein Problem.)

 

Vorteile und Risiken

Die massive Einführung künstlicher Intelligenz in alle Apparate, mit denen wir im Rahmen der öffentlichen Ordnung, am Arbeitsplatz und im sozialen Leben interagieren, wird einen technologischen Sprung auslösen (bzw. löst diesen bereits aus), der nur mit den Auswirkungen der industriellen Revolution vergleichbar ist. Das Leben wird nie mehr so sein, wie wir es kennen. Es wird ganz erhebliche Veränderungen auf dem Arbeitsmarkt, im Umgang mit den Behörden, in unseren zwischenmenschlichen Beziehungen und sogar in unserem häuslichen Leben geben. Denken Sie daran, was das „Internet der Dinge“ bei unseren Haushaltsgeräten bewirkt. Ein technologischer Sprung dieser Größenordnung stellt uns vor das Dilemma, das der Blade Runner in seiner Antwort ausführt: Alle Technologien haben Vorteile und Risiken. Wenn wir über künstliche Intelligenz und das Potenzial sprechen, das diese mit sich bringt, dann sprechen wir über Vorteile und/oder Risiken von bislang ungekanntem Ausmaß.

 

Die Rolle der Europäischen Union bei der Schaffung eines rechtlichen Rahmens

 

Aber wenn öffentliche Verwaltungen diesem Phänomen gegenüberstehen, können sie im Unterschied zu Deckard nicht an dessen professionellem Zynismus festhalten. Für das Europäische Parlament ist die Förderung des Potenzials dieser Technologien für das Wohlergehen und die Wettbewerbsfähigkeit Europas ebenso wichtig wie die Kontrolle der diesen Technologien innewohnenden Risiken und die Abschätzung der Folgen jeglicher bei der Anwendung auftretenden Risiken. Deshalb sollten wir eine Vorreiterrolle bei der rechtlichen Festlegung einer ethischen Schwelle spielen, die einerseits die europäischen Bürgerinnen und Bürger vor den möglichen negativen Auswirkungen dieser technologischen Entwicklung schützt und andererseits weltweit einen Mehrwert in Form von Vertrauen in die europäische künstliche Intelligenz schafft. Dabei geht es um eine ethische Schwelle, die mit den in der Charta der Grundrechte der Europäischen Union zum Ausdruck kommenden europäischen Grundsätzen und Werten sowie unserem Zivilisationsprojekt übereinstimmt. Eine solche Regelung sollte auf einem humanistischen Konzept technologischer Entwicklung, bei dem der Mensch im Mittelpunkt steht, gründen. Sie sollte nicht nur für die in Europa entwickelte künstliche Intelligenz gelten, sondern darüber hinaus regulatorische Anforderungen an diejenigen stellen, die in der Europäischen Union tätig sein wollen.

 

Die Rahmenbedingungen für die entsprechenden Rechte und Pflichten müssen für alle Mitgliedstaaten der Europäischen Union gleichsam gelten. Die Einführung einzelstaatlicher Regelungen ohne gemeinsamen Bezugspunkt könnte den Zusammenbruch des Binnenmarkts bedeuten und unsere gemeinsamen Bemühungen um eine weltweite technologische Führungsrolle erschweren. Die Schaffung einer mit der Überwachung der Ausarbeitung einer solchen Regelung beauftragten Europäischen Agentur kann letztlich zur Harmonisierung der einzelstaatlichen rechtlichen und technischen Rahmenbedingungen beitragen.

 

Eine flexible und zukunftsorientierte Regelung

 

Angesichts der Stimmen, die eine Selbstregulierung des Sektors verlangen, kann der Dialog zu Beginn auch verdeutlichen, wie wichtig es ist, die Öffentlichkeit einzubeziehen und sicherzustellen, dass die Zielsetzungen mehr als nur die wirtschaftliche Rentabilität umfassen. Weitere Ziele, denen die öffentlichen Institutionen Europas gerecht werden müssen, sollten die Vermeidung von Diskriminierung (egal, worin diese wurzelt) bei der Entscheidungsfindung sowie die Nutzung des Veränderungspotenzials dieser Technologien für eine gerechtere und ökologisch nachhaltigere Gesellschaft zum Gegenstand haben. Dabei sollte der Verringerung geschlechtsspezifischer Differenzen besondere Beachtung geschenkt werden. Für diese letzten Punkte sind im Text ausdrücklich bestimmte Zuständigkeiten der europäischen Behörden vorgesehen.

 

Mit dieser Verordnung werden auch strenge Anforderungen auf der Grundlage eines einfachen Regelwerks angestrebt. Komplizierte Regulierungssysteme und/oder bürokratische Anforderungen an die Beteiligten sind zu vermeiden. Außerdem sollte der gesetzliche Rahmen flexibel genug sein, um an die Fortschritte in einer sich extrem schnell verändernden Realität angepasst werden zu können, und er sollte gleichzeitig die Entwicklung konkreter, branchenspezifischer Regelungen ermöglichen.

 

Ein umfassender Ansatz für die Einrichtung nationaler Aufsichtsbehörden

 

Mit dieser Verordnung wird bezweckt, die Überwachung auf alle Stadien einer hochkomplexen Technologie auszuweiten. Die Bestimmungen dieses Regelwerks beziehen sich auf die Entwicklung, Anwendung und die Weiterentwicklung der Technologie auf der Grundlage von maschinellem und mehrschichtigem Lernen (Machine Learning und Deep Learning). Im Zusammenhang mit Hochrisiko-Technologien wird den Maßnahmen zur Risikoeindämmung besondere Bedeutung beigemessen, d. h. wenn eine hohe Wahrscheinlichkeit besteht, dass diese Technologien negative externe Effekte haben und/oder wenn es sich um sensible, besonders schutzbedürftige Bereiche handelt, die in dieser Verordnung festgelegt sind. Geregelt wird ein für die Rechte der Einzelnen so sensibles Thema wie die Techniken zur Fernerkennung, wobei zahlreiche Schutzvorkehrungen für deren Einsatz getroffen werden. Darüber hinaus gibt es sehr strenge sachbezogene und zeitliche Rahmenbedingungen, die von den staatlichen Behörden bei größeren Notfällen ausnahmsweise angewendet werden können.

 

Ein weiteres Ziel dieser Verordnung ist, dass die Bürgerinnen und Bürger, insbesondere die am stärksten betroffenen Personen oder Gruppen, an der Gestaltung, Entwicklung, Kontrolle und Überwachung dieses Rechtsrahmens beteiligt werden. Der Text sieht vor, dass alle nationalen Aufsichtsbehörden (die gemäß dieser Verordnung eingerichtet werden sollen) damit beauftragt werden, regelmäßig die erforderliche Unterstützung der Zivilgesellschaft einzuholen. Außerdem werden strenge Verpflichtungen zu Transparenz und Rechenschaft für Entwickler, Betreiber und Nutzer künstlicher Intelligenz festgelegt. Dazu gehören auch Verpflichtungen zu zivilem Verhalten und Maßnahmen zum Schutz der Nutzer, die diese Technologien in gutem Glauben verwenden.

 

Verständlichkeit, Transparenz, Rechenschaftspflicht, Verantwortung und Steuerung

 

Wir sind noch weit von einem Algorithmus entfernt, der die Psychohistorik, von der Isaac Asimov in seinem Foundation-Zyklus sprach, zum Leben erweckt. Daher scheint das Konzept des freien Willens, das der menschlichen Existenz innewohnt, derzeit nicht bedroht zu sein. Nicht einmal, wenn es darum geht, die Entstehung großer historischer Strömungen vorwegzunehmen. Die demokratischen Kräfte werden dafür sorgen, dass die großen und kleinen Entscheidungen, die mit Hilfe der künstlichen Intelligenz getroffen werden, nicht das Resultat undurchschaubarer und unzugänglicher mathematischer Formeln sind. Verständlichkeit, Transparenz, Rechenschaftspflicht und Verantwortung werden unverzichtbare Merkmale der in der Europäischen Union entwickelten und angewandten künstlichen Intelligenz sein.

 

Schließlich strebt die Europäische Union an, ein Raum zu sein, in dem das erforderliche Gleichgewicht zwischen der Wahrung der Bürgerrechte und der Stärkung der technologischen Entwicklung besteht. Unsere Regulierung und deren Umsetzung durch die Aufsichtsbehörde(n) muss ein Vorbild für die übrige Welt und ein erster Schritt zur Sicherstellung einer angemessenen Steuerung dieses Phänomens auf globaler Ebene sein.

STELLUNGNAHME DES AUSSCHUSSES FÜR AUSWÄRTIGE ANGELEGENHEITEN (24.6.2020)

für den Rechtsausschuss

mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien

(2020/2012(INL))

Verfasser der Stellungnahme (*): Urmas Paet

(*) Assoziierte Ausschüsse – Artikel 57 der Geschäftsordnung

(Initiative gemäß Artikel 47 der Geschäftsordnung)

 

 

VORSCHLÄGE

Der Ausschuss für auswärtige Angelegenheiten ersucht den federführenden Rechtsausschuss,

– folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

1. betont, dass sich die Sicherheits- und Verteidigungspolitik der Europäischen Union und ihrer Mitgliedstaaten nach den in der Charta der Grundrechte der Europäischen Union verankerten Grundsätzen sowie den Grundsätzen der Charta der Vereinten Nationen und einem gemeinsamen Verständnis der universellen Werte der Achtung der unverletzlichen und unveräußerlichen Rechte des Menschen, der Menschenwürde, der Freiheit, der Demokratie, der Gleichheit und der Rechtsstaatlichkeit richtet; betont, dass bei allen Verteidigungsbemühungen im Rahmen der Union diese universellen Werte geachtet und gleichzeitig Frieden, Sicherheit und Fortschritt in Europa und in der Welt gefördert werden müssen; ist der Auffassung, dass die Nutzung von KI auf gemeinsamen ethischen Grundsätzen beruhen sollte, nach denen die Nutzung verantwortungsbewusst, gerecht, nachvollziehbar, zuverlässig und steuerbar sein sollte;

2. begrüßt die Billigung von elf Leitprinzipien für die Entwicklung und den Einsatz autonomer Waffensysteme durch die Sitzung der Hohen Vertragsparteien des Übereinkommens der Vereinten Nationen über bestimmte konventionelle Waffen im Jahr 2019; bedauert allerdings, dass man sich nicht auf ein rechtsverbindliches Instrument zur Regelung letaler autonomer Waffensysteme (LAWS) mit einem wirksamen Durchsetzungsmechanismus einigen konnte; begrüßt und unterstützt die am 9. April 2019 herausgegebenen „Ethikrichtlinien für eine vertrauenswürdige künstliche Intelligenz“ der Hochrangigen Expertengruppe der Kommission für künstliche Intelligenz sowie ihre Stellungnahme zu letalen autonomen Waffensystemen (LAWS); fordert die Mitgliedstaaten nachdrücklich auf, nationale Strategien für die Definition und den Status letaler autonomer Waffen (LAWS) im Hinblick auf eine umfassende Strategie auf Unionsebene zu entwickeln und gemeinsam mit dem Hohen Vertreter/Vizepräsidenten der Kommission („HV/VP“) und dem Rat die Diskussion über LAWS im Rahmen des Übereinkommens der Vereinten Nationen über bestimmte konventionelle Waffen und in anderen einschlägigen Foren sowie die Festlegung internationaler Normen für die ethischen und rechtlichen Parameter der Entwicklung und des Einsatzes vollständig autonomer, halbautonomer und fernbetriebener letaler Waffensysteme zu fördern; erinnert in diesem Zusammenhang an seine Entschließung vom 12. September 2018 zu letalen autonomen Waffensystemen und fordert erneut die dringende Ausarbeitung und Annahme eines gemeinsamen Standpunkts zu letalen autonomen Waffensystemen, ein internationales Verbot der Entwicklung, Herstellung und des Einsatzes letaler autonomer Waffensysteme, die Angriffe ohne wirksame menschliche Kontrolle und unter Außerachtlassung des Grundsatzes der Beteiligung des Menschen („human-in-the-loop principle“) durchführen können, im Einklang mit der Erklärung der weltweit renommiertesten KI-Forscher in ihrem offenen Brief aus dem Jahr 2015; begrüßt die Einigung von Rat und Parlament, dass tödliche autonome Waffen, „die keine wirksame menschliche Kontrolle über die Entscheidungen über die Auswahl und den Angriff bei der Durchführung von Angriffen auf Menschen ermöglichen“ nicht für eine finanzielle Unterstützung durch den Europäischen Verteidigungsfonds infrage kommen; ist der Auffassung, dass ethische Aspekte anderer KI-Anwendungen im Bereich der Verteidigung, wie Nachrichtengewinnung, Überwachung und Aufklärung (ISR) oder Cyberoperationen, nicht übersehen werden dürfen und dass der Entwicklung und dem Einsatz von Drohnen bei militärischen Operationen besondere Aufmerksamkeit zukommen sollte;

3. empfiehlt, dass bei einem europäischen Rahmen zur Regelung der Nutzung von im Verteidigungsbereich eingesetzten Systemen, die sich auf künstliche Intelligenz (KI) stützen, sowohl in Kampf- als auch in Nichtkampfsituationen alle geltenden Rechtsordnungen, insbesondere humanitäres Völkerrecht und internationale Menschenrechtsnormen, zu achten sind und dass der europäische Rahmen mit dem Recht, den Grundsätzen und den Werten der Union im Einklang stehen muss; betont, dass die Union eine globale Rolle spielen sollte, wenn es darum geht, den Weg zu einem glaubwürdigen und verbindlichen KI-Regulierungsrahmen zu ebnen, der auf demokratischen Werten und einem Ansatz beruht, bei dem der Mensch im Mittelpunkt steht; fordert die Union und ihre Mitgliedstaaten auf, gemeinsame Mechanismen zur schnellen und gründlichen Bewertung der inhärenten KI-Risiken und -Chancen im Zusammenhang mit der Anwendung des Unionsrechts auf der Grundlage bewährter Verfahren weiter fortgeschrittener Mitgliedstaaten zu entwickeln und erforderlichenfalls eine notwendige Anpassung und Durchsetzung vorzusehen, wobei die Unterschiede in Bezug auf die technischen und Sicherheitsinfrastrukturen in der Union zu berücksichtigen sind;

4. erkennt an, dass kritische KI-Innovationen im Gegensatz zu Rüstungsindustriestandorten aus kleinen Mitgliedstaaten stammen könnten, weswegen durch einen im Rahmen der Gemeinsamen Sicherheits- und Verteidigungspolitik (GSVP) standardisierten Ansatz sichergestellt werden muss, dass kleinere Mitgliedstaaten und KMU nicht verdrängt werden; betont, dass die technischen Lücken, die möglicherweise dazu führen, dass Staaten, denen es an einschlägiger Technologie, Branchenkenntnis oder den Kapazitäten zur Implementierung von KI-Systemen in ihren Verteidigungsministerien fehlt, außen vor bleiben, mittels einer Reihe gemeinsamer europäischer KI-gestützter Fähigkeiten, die auf die Betriebskonzepte der Mitgliedstaaten abgestimmt sind, überbrückt werden können;

5. betont, dass der geografische Anwendungsbereich eines solchen Rahmens alle Komponenten von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien umfassen sollte, die in der Union entwickelt, eingesetzt oder genutzt werden, auch in Fällen, in denen ein Teil der Technologien unter Umständen außerhalb der Union angesiedelt sein oder keinen festen Standort haben könnte;

6. hebt hervor, dass neu entwickelte Technologien, die nicht vom Völkerrecht abgedeckt sind, an dem Prinzip der Achtung der Menschlichkeit und dem moralischen Kompass der Gesellschaft gemessen werden sollten; betont, dass die Nutzung und die Ethik von KI-Systemen im Verteidigungsbereich ständig unter dem Gesichtspunkt der Menschenrechte und insbesondere der Sicherheit, Gesundheit, Freiheit, Privatsphäre, Unversehrtheit und Würde des Menschen beurteilt und ständig überwacht werden muss, was insbesondere unter dem Gesichtspunkt ihrer Vor- und Nachteile sowie ihrer Auswirkungen auf den Schutz der universellen Menschenrechte gilt; ist der Ansicht, dass technologische Vorteile im Bereich der KI-gestützten Systeme im Verteidigungsbereich mit einer umfassenden Diskussion über die Nutzung von KI und ihre Auswirkungen auf Gesellschaften und Gemeinschaften und den potenziellen wirtschaftlichen und gesellschaftlichen Nutzen einhergehen müssen und dass die mit der Nutzung der KI verbundenen Risiken in geeigneter Weise kommuniziert werden müssen;

7. ist der Überzeugung, dass bei den derzeitigen und künftigen Sicherheits- und Verteidigungstätigkeiten innerhalb des Unionsrahmens KI, Robotik und Autonomie sowie damit zusammenhängende Technologien zum Einsatz kommen werden und dass eine zuverlässige, robuste und vertrauenswürdige KI zu einem modernen und effektiven Militär beitragen könnte; die Union muss deshalb eine führende Rolle bei der Erforschung und Entwicklung von KI-Systemen im Verteidigungsbereich übernehmen; ist der Ansicht, dass der Einsatz von KI-gestützten Anwendungen im Sicherheits- und Verteidigungsbereich eine Reihe direkter Vorteile für den Befehlshaber der Operation bietet, wie z. B. eine höhere Qualität der erhobenen Daten, ein besseres Lagebewusstsein, eine schnellere Entscheidungsfindung, ein geringeres Risiko von Kollateralschäden dank besserer Verkabelung, Schutz der Streitkräfte am Boden und eine größere Zuverlässigkeit militärischer Ausrüstung und somit eine geringere Gefahr für den Menschen und weniger Todesopfer; betont, dass die Entwicklung einer zuverlässigen KI im Bereich Verteidigung unabdingbar ist, um die strategische Autonomie Europas in Bezug auf Fähigkeiten und operative Bereiche sicherzustellen; erinnert daran, dass KI-Systeme auch zu Schlüsselelementen bei der Abwehr neu auftretender Sicherheitsbedrohungen, wie Cyber- und hybrider Kriegsführung, sowohl im Online- als auch im Offline-Bereich werden; hebt zugleich alle Risiken und Herausforderungen eines unregulierten Einsatzes von KI hervor; stellt fest, dass es bei KI die Möglichkeit von Manipulation, Fehlern und Störungen geben könnte;

8. fordert, dass Synergien und Netzwerke zwischen den verschiedenen europäischen Forschungszentren für KI sowie anderen multilateralen Foren geschaffen werden, darunter der Europarat, die Organisation der Vereinten Nationen für Erziehung, Wissenschaft und Kultur (UNESCO), die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), die Welthandelsorganisation und die Internationale Fernmeldeunion (ITU), um ihre Bemühungen aufeinander abzustimmen und die Entwicklung der KI-Technologie besser zu koordinieren;

9. betont, dass KI-Technologien im Wesentlichen einen doppelten Verwendungszweck haben und dass die Entwicklung der KI in Verteidigungstätigkeiten vom Austausch zwischen militärischen und zivilen Technologien profitiert; betont, dass die KI in Bezug auf Verteidigungstätigkeiten eine transversale disruptive Technologie ist, deren Entwicklung Chancen für die Wettbewerbsfähigkeit und die strategische Autonomie der Union bieten kann;

10. betont, dass die Union auf der Grundlage der Mitteilung der Kommission vom 8. April 2019 mit dem Titel „Schaffung von Vertrauen in eine auf den Menschen ausgerichtete künstliche Intelligenz“, wobei die Technologie die Menschenrechte uneingeschränkt achtet und der Mensch die Entscheidungsgewalt über automatisierte Entscheidungssysteme behält, während die menschliche Autonomie und Entscheidungsfindung ergänzt und unterstützt werden, über einen robusten KI-Regelungsrahmen verfügen muss, der sich auf Sicherheit und Verteidigung konzentriert und mit dem zugleich ein Weg des Verantwortungsbewusstseins und der Transparenz, des Schutzes unserer Bürger und ihrer Daten sowie der Verteidigung unserer Werte beschritten wird, und dass ihre Politik auf die Erhaltung des Friedens, die Verhütung von Konflikten und die Stärkung der internationalen Sicherheit abzielt, während die Chancen genutzt werden, die diese Technologien bieten, und ist sich der Tatsache bewusst, dass KI-gestützte Systeme ein Schlüsselelement bei künftigen Entwicklungen und Fähigkeiten im Verteidigungsbereich sein werden;

11. fordert die Mitgliedstaaten und die Kommission auf, dafür zu sorgen, dass die in Verteidigungssystemen verwendeten Algorithmen unter Wahrung der erforderlichen Vertraulichkeit dem Grundsatz der Transparenz unterliegen, einschließlich einer klaren Haftungsregelung betreffend die Ergebnisse des Einsatzes der KI; betont, dass solche Algorithmen ständig an die Fortschritte bei den KI-Technologien angepasst werden müssen;

12. betont, dass die Union eine Vorreiterrolle bei der Unterstützung multilateraler Bemühungen im Rahmen der Gruppe von Regierungssachverständigen für das Übereinkommen der Vereinten Nationen über bestimmte konventionelle Waffen und anderer einschlägiger Foren spielen muss, um einen wirksamen internationalen Regelungsrahmen zu erörtern, der eine wirksame menschliche Kontrolle über autonome Waffensysteme gewährleistet, damit diese Technologien beherrscht werden können, indem in Absprache mit dem Militär, der Industrie, den Strafverfolgungsbehörden, der Wissenschaft und den Akteuren der Zivilgesellschaft klar definierte, auf Benchmarks beruhende Verfahren eingeführt und Rechtsvorschriften für ihre ethische Nutzung erlassen werden, um die damit verbundenen ethischen Aspekte zu verstehen und die inhärenten Risiken solcher Technologien einzudämmen und ihre Nutzung für böswillige Zwecke zu verhindern; dazu gehören insbesondere unerwünschte Schäden für Personen, seien sie materieller oder immaterieller Art, wie z. B. eine Verletzung von Grundrechten oder körperliche Schäden; die Union muss in Zusammenarbeit mit den Mitgliedstaaten geeignete Haftungsregelungen für KI-Innovationen und andere immersive Technologien im Bereich der Sicherheit und Verteidigung festlegen und so eine Rechtsgrundlage für Mechanismen der Rechenschaftspflicht und Rückverfolgbarkeit schaffen; betont, dass die Rechtsvorschriften und normativen Rahmen der Union nicht durch künftige technologische Fortschritte, Weiterentwicklungen der KI und neue Methoden der Kriegsführung überholt werden dürfen und daher durch wirksame Überwachungssysteme unterstützt werden müssen, die ständig anzupassen sind, um rechtliche Schlupflöcher oder Grauzonen zu verhindern; betont, dass durch weitere KI-Forschung und -Entwicklung sichergestellt werden sollte, dass KI-gestützte Systeme besser in der Lage sind, einzigartige Zusammenhänge zu verstehen;

13. befürwortet das Schlüsselprinzip der eingebauten Ethik („ethics-by-design“ principle), durch das ethische Grundsätze schon zu Beginn der Konzeption in KI-Produkte und -Dienstleistungen eingebettet werden;

14. erinnert daran, dass der Großteil der derzeitigen Militärmächte weltweit bereits erhebliche Forschungs- und Entwicklungsanstrengungen im Zusammenhang mit der militärischen Dimension von KI unternommen hat; ist der Auffassung, dass die Union dafür sorgen muss, dass sie in dieser Hinsicht nicht zurückfällt; betont, dass die Union für jede Anwendung von KI-Systemen im Verteidigungsbereich technische und organisatorische Standards im Einklang mit dem Grundsatz der „eingebauten Sicherheit“ festlegen sollte, die eine spezifische menschliche Aufsicht ermöglichen, um die Widerstandsfähigkeit dieser Systeme gegen Schwachstellen sicherzustellen, die durch externe Angriffe, Cyberangriffe und digitale Einflussnahme auf die Daten, das Modell oder die zugrunde liegende Infrastruktur, sowohl Software als auch Hardware, ausgenutzt werden können, sowie die Einhaltung der höchstmöglichen Zuverlässigkeitsstandards und die aktive Überwachung und Aufsicht in Bezug auf die Erhebung, Speicherung und Nutzung von Betriebsdaten während des gesamten Lebenszyklus eines Systems zu gewährleisten; betont die Bedeutung von Transparenz und Rechenschaftspflicht in Bezug auf KI-Algorithmen; weist auf den wichtigen Unterschied zwischen transparenten Algorithmen und der transparenten Nutzung von Algorithmen hin; betont, dass KI-Systeme und -Anwendungen zum Extrahieren und Synthetisieren von Daten sowie zum Extrapolieren der entsprechenden Ergebnisse, um Entscheidungen in Verteidigungs- und Sicherheitsfragen zu treffen, einen spezifischen Anwendungsbereich haben und den Bestimmungen des geltenden Regulierungsrahmens für die Sammlung und Verarbeitung von Daten entsprechen müssen; betont, dass KI-Anwendungen, die für die Verarbeitung von Daten für nachrichtendienstliche Zwecke bei Verteidigungstätigkeiten konzipiert sind, den Datenverarbeitungsstandards entsprechen sollten, um das Risiko einer unbeabsichtigten Überwachung oder Verletzung individueller Rechte zu vermeiden; ist der Überzeugung, dass die Union bei risikoreichen Anwendungen KI-gestützter Technologien, z. B. Gesichtserkennung, für die es auf Unionsebene keinen endgültigen Regulierungsrahmen gibt, sicherstellen muss, dass ihre Entwicklung und ihr Einsatz rechtmäßig und verhältnismäßig sind und dass die Rechte des Einzelnen geachtet werden; betont, dass die zuständigen nationalen Strafverfolgungsbehörden bei der Entwicklung und Einführung KI-gestützter Systeme und Technologien zur Aufrechterhaltung der öffentlichen Ordnung die einschlägigen Rechtsvorschriften einhalten müssen, um die unverhältnismäßigen Risiken einer vorhersagenden Polizeiarbeit zu mindern; erkennt an, dass der primäre Garant für die euro-atlantische Sicherheit die NATO ist, und fordert eine verstärkte Zusammenarbeit im Rahmen des NATO-Bündnisses, um gemeinsame Standards aufzustellen und für Interoperabilität von KI-Systemen im Verteidigungsbereich zu sorgen; betont, dass die transatlantischen Beziehungen von entscheidender Bedeutung sind, wenn es darum geht, gemeinsame Werte zu bewahren und künftigen und neuen Bedrohungen zu begegnen;

15. betont die Notwendigkeit, klare Vorschriften und Anforderungen in den Bereichen Zuverlässigkeit, Sicherheit und Gefahrenabwehr mit ordnungsgemäßen Zertifizierungen für KI-Systeme im Sicherheits- und Verteidigungsbereich zu erlassen, Transparenzkriterien in den verschiedenen Phasen, d. h. Entwurf, Herstellung und Betrieb, einzuführen und während des gesamten Lebenszyklus eine ständige Überwachung, regelmäßige Prüfungen und Überprüfungen durchzuführen; unterstreicht die Notwendigkeit, die Einhaltung geltender Normen und erteilter Zertifizierungen zu gewährleisten, wenn die KI – z. B. durch maschinelles Lernen – die Funktionalität und das Verhalten von Systemen, in die sie integriert ist, modifiziert, damit eine vollständige Rückverfolgbarkeit, Erklärbarkeit und Rechenschaftspflicht hinsichtlich Entscheidungen, die unter Einbeziehung von KI getroffen wurden, gewährleistet sind und bei potenziell tödlichen Systemen eine wirksame menschliche Kontrolle sichergestellt ist;

16. fordert die Kommission auf, den Kapazitätsaufbau im Bereich der Cybersicherheit in ihre Industriepolitik einzubetten, um die Entwicklung und den Einsatz von sicheren, widerstandsfähigen und robusten KI-gestützten Systemen und Robotersystemen sicherzustellen; fordert die Kommission auf, den Einsatz von Cybersicherheitsprotokollen und -anwendungen auf der Grundlage der Blockchain-Technologie zu prüfen, mit denen die Widerstandsfähigkeit, Vertrauenswürdigkeit und Robustheit von KI-Infrastrukturen durch Modelle der Datenverschlüsselung ohne Zwischenstellen verbessert werden kann; ermutigt die europäischen Interessenträger, fortschrittliche Funktionen zu erforschen und zu konzipieren, mit denen korrupte und böswillige KI-gestützte Systeme und Robotersysteme, die die Sicherheit der Union und der Bürger untergraben könnten, besser zu erkennen;

17. betont, dass alle KI-Systeme im Verteidigungsbereich einen konkreten und genau definierten Missionsrahmen haben müssen, bei dem Menschen die Fähigkeit behalten, eingesetzte Systeme zu erkennen und abzuschalten oder zu deaktivieren, wenn sie den von einem menschlichen Befehlshaber festgelegten und zugewiesenen Missionsrahmen verlassen oder eine Aktion starten, die zu einer Eskalation führen kann oder unerwünscht ist; ist der Auffassung, dass KI-gestützte Systeme, Produkte und Technologien, die für militärische Zwecke bestimmt sind, mit einer „Black Box“ ausgestattet werden sollten, um jede von der Maschine durchgeführte Datentransaktion aufzuzeichnen;

18. betont, dass die gesamte Verantwortung und Rechenschaftspflicht für die Entscheidung, KI-Systeme zu konzipieren, zu entwickeln, einzusetzen und zu nutzen, bei den Menschen, die die Systeme bedienen, liegen muss, da bei der Entscheidung, Gewalt bei der Ausführung einer Entscheidung KI-gestützter Waffensysteme, die möglicherweise tödliche Folgen hat, anzuwenden, eine wirksame menschliche Überwachung und Kontrolle über alle Waffensysteme und eine entsprechende menschliche Absicht gegeben sein müssen; betont, dass die menschliche Kontrolle auch weiterhin wirksam sein sollte, wenn es darum geht, KI-gestützte Systeme zu beherrschen und zu kontrollieren, und zwar im Einklang mit dem Grundsatz der Beteiligung des Menschen („human-in-the-loop principle“) und dem Grundsatz der Gesamtsteuerung durch einen Menschen („human-in-command principle“) auf der Ebene der militärischen Führung; betont, dass die militärische Führung von Streitkräften bei KI-gestützten Systemen in der Lage sein muss, ihrer vollen Verantwortung und Rechenschaftspflicht für die Anwendung tödlicher Gewalt gerecht zu werden, und über das erforderliche Maß an Ermessensspielraum verfügen muss – der Maschinen nicht eingeräumt werden kann, da er auf Unterscheidung, Verhältnismäßigkeit und Vorsorge beruht –, wenn sie tödliche oder groß angelegte destruktive Maßnahmen mithilfe solcher Systeme ergreifen; betont, dass klare und nachvollziehbare Autorisierungs- und Verantwortlichkeitsrahmen für den Einsatz von intelligenten Waffen und anderen KI-gestützten Systemen geschaffen werden müssen, bei denen auf eindeutige Benutzermerkmale wie biometrische Spezifikationen zurückgegriffen wird, um dafür zu sorgen, dass der Einsatz ausschließlich durch autorisiertes Personal erfolgt;

19. fordert die Kommission auf, mit den zuständigen nationalen Behörden der Mitgliedstaaten und anderen Interessenträgern, die an der Entwicklung und Einführung von KI-gestützten Systemen, Produkten und Technologien beteiligt sind, zusammenzuarbeiten, um einen sicheren, geschützten und widerstandsfähigen Rahmen zu schaffen, in dem der Quellcode der KI-gestützten Systeme geteilt, überwacht und überprüft wird, um mögliche Abweichungen von den geltenden Grundsätzen und dem ethischen Rahmen, der der KI-Technologie im Sicherheits- und Verteidigungsbereich zugrunde liegt, zu reduzieren; empfiehlt der Kommission, dass die Union die Rechte des geistigen Eigentums für die von der Union finanzierten Forschungsarbeiten zu KI-gestützten Systemen, Produkten und Technologien im Sicherheits- und Verteidigungsbereich behalten muss;

20. betont, dass die Union ein besseres Verständnis der militärischen Auswirkungen, Vorteile und Möglichkeiten sowie Schwächen der KI, der Robotik und der autonomen Funktionen und Merkmale, einschließlich des Potenzials der europäischen Verteidigungsindustrie, fördern muss, indem sie in Abstimmung mit Militärangehörigen arbeitet; ist der Auffassung, dass die Union den Erwerb der erforderlichen Fähigkeiten und Kenntnisse bezüglich Technologieentwicklungsprozesse und operativer Methoden in der gesamten Lieferkette und während des gesamten Lebenszyklus KI-gestützter militärischer Fähigkeiten fördern muss; betont, dass es dringend notwendig ist, dass Europa auf dem Gebiet der KI-gestützten Systeme, einschließlich der zugrunde liegenden kritischen Infrastruktur, größere strategische und technologische Unabhängigkeit erreicht;

21. ist der Auffassung, dass es einer verstärkten Zusammenarbeit zwischen den Mitgliedstaaten und der Kommission bedarf, um für kohärente grenzüberschreitende Vorschriften in der Union zu sorgen, um die Zusammenarbeit zwischen den europäischen Industrien zu fördern und die Entwicklung und den Einsatz von KI-gestützten Technologien im Einklang mit den vorgeschriebenen Sicherheitsstandards und dem ethischen Rahmen für die Entwicklung und den Einsatz von KI-Technologie zu ermöglichen;

22. erkennt an, dass im Kontext der hybriden und fortgeschrittenen Kriegsführung der heutigen Zeit die Menge und Schnelligkeit von Informationen in den frühen Phasen einer Krise für menschliche Analytiker überwältigend sein könnten und dass ein KI-System die Informationen so verarbeiten könnte, dass menschliche Entscheidungsträger das gesamte Informationsspektrum innerhalb eines angemessenen Zeitrahmens verfolgen können, um schnell zu reagieren;

23. hebt hervor, wie wichtig es ist, in die Entwicklung von Humankapital für künstliche Intelligenz zu investieren und die notwendigen Fähigkeiten sowie die Ausbildung im Zusammenhang mit im Sicherheits- und Verteidigungsbereich eingesetzten KI-Technologien mit besonderem Schwerpunkt auf ethischen Fragen im Zusammenhang mit (halb-)autonomen operativen Systemen auf der Grundlage menschlicher Verantwortlichkeit in einer KI-gestützten Welt zu fördern; betont insbesondere, wie wichtig es ist, dafür zu sorgen, dass Ethiker in diesem Bereich über angemessene Fähigkeiten verfügen und eine sachgerechte Ausbildung erhalten; fordert die Kommission auf, so bald wie möglich ihre im Weißbuch zur Künstlichen Intelligenz vom 19. Februar 2020 angekündigte „aktualisierte Agenda für neue Kompetenzen“ vorzulegen;

24. betont, dass die Quanteninformatik in Bezug auf Konfliktsituationen die revolutionärste Veränderung seit dem Aufkommen von Atomwaffen darstellen könnte, und fordert daher nachdrücklich, dass die Weiterentwicklung von Technologien im Bereich der Quanteninformatik zur Priorität für die Union und die Mitgliedstaaten wird; erkennt an, dass durch Quanteninformatik unterstützte Angriffshandlungen, einschließlich Angriffe auf kritische Infrastrukturen, ein Konfliktumfeld geschaffen wird, in dem sich die Zeit zur Entscheidungsfindung drastisch von Tagen und Stunden auf Minuten und Sekunden verkürzt, wodurch die Mitgliedstaaten gezwungen werden, Kapazitäten zu entwickeln, um sich selbst zu schützen und sowohl ihre Entscheidungsträger als auch ihre Militärangehörigen so auszubilden, dass sie innerhalb dieser Zeitspannen wirksam reagieren können;

25. betont, dass die derzeitige Fragmentierung innerhalb der Union bei nationalen Rechtsvorschriften in Bezug auf KI sowie Forschung, Innovation und Fachwissen im Bereich von KI überwunden werden muss, da sie die Funktionsweise des Binnenmarkts und das Ziel gefährdet, dafür zu sorgen, dass es eine zuverlässige und sichere Entwicklung von KI in Europa gibt; begrüßt in diesem Zusammenhang die Aufnahme KI-bezogener Projekte in das Europäische Programm zur industriellen Entwicklung im Verteidigungsbereich (EDIDP); ist der Auffassung, dass der künftige Europäische Verteidigungsfonds und die Ständige Strukturierte Zusammenarbeit (SSZ) ebenfalls gut geeignete Rahmen für künftige KI-bezogene Projekte bieten, die dazu beitragen würden, die Bemühungen der Union in diesem Bereich stärker zu straffen und zugleich die Unionsziele der Stärkung der Menschenrechte, des Völkerrechts sowie multilateraler Lösungen zu fördern; betont, dass KI-bezogene Projekte mit den umfassenderen zivilen KI-Programmen der Union synchronisiert werden sollten; weist darauf hin, dass im Einklang mit dem Weißbuch der Kommission zur Künstlichen Intelligenz Exzellenz- und Testzentren, die sich auf die Erforschung und Entwicklung von künstlicher Intelligenz im Sicherheits- und Verteidigungsbereich konzentrieren, mit strengen Spezifikationen eingerichtet werden sollten, die der Beteiligung und den Investitionen privater Akteure zugrunde liegen;

26. betont, dass die Union nach strategischer Widerstandsfähigkeit streben muss, damit sie in Krisenzeiten nie wieder unvorbereitet ist, und hebt hervor, dass dies insbesondere von entscheidender Bedeutung ist, soweit es um künstliche Intelligenz und ihre Anwendung im Verteidigungs- und Sicherheitsbereich geht; betont, dass die Lieferketten für KI-Systeme im Verteidigungs- und Sicherheitsbereich, die zu technologischen Abhängigkeiten führen können, neu kalibriert und dass solche Abhängigkeiten allmählich abgebaut werden sollten; fordert verstärkte Investitionen in die europäische KI im Verteidigungsbereich und in die ihr zugrunde liegende kritische Infrastruktur;

27. betont, dass die Entwicklung einer KI, die die Grundrechte achtet und das öffentliche Interesse unterstützt, die strategische Zusammenführung und den strategischen Austausch von Daten in der Union zwischen privaten und öffentlichen Einrichtungen sowie die Stärkung eines KI-Ökosystems der Union erfordert, das öffentliche, private und zivilgesellschaftliche Interessenträger umfasst; fordert die Kommission auf, den Dialog, eine engere Zusammenarbeit und Synergien zwischen den Mitgliedstaaten, Forschern, Akademikern, Akteuren der Zivilgesellschaft und dem Privatsektor, insbesondere führenden Gesellschaften und Unternehmen, sowie dem Militär zu fördern, um integrative politische Entscheidungsprozesse in Bezug auf verteidigungsbezogene KI-Regelungen zu entwickeln, das Potenzial der KI voll auszuschöpfen und gleichzeitig ein besseres Verständnis der Risiken und Vorteile zu fördern sowie für größtmögliche operative Sicherheit zu sorgen;

28. hebt hervor, dass KI-Technologien vor dem Hintergrund des weit verbreiteten Desinformationskriegs, der insbesondere von außereuropäischen Akteuren angeheizt wird, ethisch nachteilige Auswirkungen haben könnten, indem eine Voreingenommenheit bei Daten und Algorithmen ausgenutzt wird oder indem absichtlich „Trainingsdaten“ von einem Drittland abgeändert werden, und dass sie auch anderen Formen gefährlicher Manipulationen in nicht absehbarer Weise und mit unkalkulierbaren Folgen ausgesetzt sein könnten; daher besteht für die Union zunehmend die Notwendigkeit, weiterhin in Forschung, Analyse, Innovation und den grenz- und sektorübergreifenden Wissenstransfer zu investieren, um KI-Technologien zu entwickeln, die eindeutig frei von jeder Form des Profilings, der Voreingenommenheit und der Diskriminierung sind und wirksam zur Bekämpfung von Falschmeldungen und Desinformation beitragen können, wobei gleichzeitig der Datenschutz und der europäische Rechtsrahmen zu achten sind;

29. betont, wie wichtig es ist, einen ethischen Verhaltenskodex als Grundlage für den Einsatz KI-gestützter waffenfähiger Systeme in militärischen Operationen, ähnlich dem bestehenden Regulierungsrahmen, mit dem der Einsatz chemischer und biologischer Waffen verboten wird, zu schaffen; ist der Ansicht, dass die Kommission die Schaffung von Standards für den Einsatz von KI-gestützten Waffensystemen in der Kriegsführung im Einklang mit dem humanitären Völkerrecht in die Wege leiten sollte und dass die Union die internationale Übernahme solcher Standards anstreben sollte; ist der Ansicht, dass die Union mit gleichgesinnten Partnern wie der G7, der G20 und der OECD in internationalen Foren Diplomatie im Bereich der KI betreiben sollte;

30. nimmt das Weißbuch der Kommission zur Künstlichen Intelligenz vom 19. Februar 2020 zur Kenntnis und bedauert, dass militärische Aspekte darin nicht berücksichtigt wurden; fordert die Kommission und den HV/VP auf, auch im Rahmen eines Gesamtkonzepts eine sektorale KI-Strategie für verteidigungsbezogene Tätigkeiten im Rahmen der Union vorzulegen, die sowohl die Achtung der Rechte der Bürger als auch der strategischen Interessen der Union gewährleistet und auf einem kohärenten Ansatz beruht, der von der Einführung KI-gestützter Systeme bis zu ihrer militärischen Nutzung reicht, und innerhalb der hochrangigen Expertengruppe für künstliche Intelligenz eine Arbeitsgruppe für Sicherheit und Verteidigung einzurichten, die sich speziell mit Fragen der Politik und der Investitionen sowie mit ethischen Aspekten der KI befassen sollte; fordert den Rat, die Kommission und den VP/HR auf, zu diesem Zweck einen strukturierten Dialog mit dem Parlament aufzunehmen.

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme	22.6.2020
Ergebnis der Schlussabstimmung	+: –: 0:	60 7 2
Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder	Alviina Alametsä, Maria Arena, Petras Auštrevičius, Traian Băsescu, Lars Patrick Berg, Anna Bonfrisco, Reinhard Bütikofer, Fabio Massimo Castaldo, Susanna Ceccardi, Włodzimierz Cimoszewicz, Katalin Cseh, Tanja Fajon, Anna Fotyga, Michael Gahler, Kinga Gál, Sunčana Glavak, Raphaël Glucksmann, Klemen Grošelj, Bernard Guetta, Márton Gyöngyösi, Sandra Kalniete, Karol Karski, Dietmar Köster, Stelios Kouloglou, Andrius Kubilius, Ilhan Kyuchyuk, David Lega, Miriam Lexmann, Nathalie Loiseau, Antonio López-Istúriz White, Claudiu Manda, Lukas Mandl, Thierry Mariani, David McAllister, Vangelis Meimarakis, Sven Mikser, Francisco José Millán Mon, Javier Nart, Gheorghe-Vlad Nistor, Urmas Paet, Kostas Papadakis, Tonino Picula, Manu Pineda, Kati Piri, Giuliano Pisapia, Diana Riba i Giner, María Soraya Rodríguez Ramos, Nacho Sánchez Amor, Isabel Santos, Jacek Saryusz-Wolski, Andreas Schieder, Radosław Sikorski, Sergei Stanishev, Tineke Strik, Hermann Tertsch, Hilde Vautmans, Harald Vilimsky, Idoia Villanueva Ruiz, Thomas Waitz, Witold Jan Waszczykowski, Charlie Weimers, Isabel Wiseler-Lima, Željana Zovko
Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter	Katarina Barley, Nicolas Bay, Arnaud Danjean, Katrin Langensiepen, Hannah Neumann, Mick Wallace

 

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

60	+
EPP	Traian Băsescu, Arnaud Danjean, Michael Gahler, Kinga Gál, Sunčana Glavak, Sandra Kalniete, Andrius Kubilius, David Lega, Miriam Lexmann, Antonio López-Istúriz White, Lukas Mandl, David McAllister, Vangelis Meimarakis, Francisco José Millán Mon, Gheorghe-Vlad Nistor, Radosław Sikorski, Isabel Wiseler-Lima, Željana Zovko
S&D	Maria Arena, Katarina Barley, Włodzimierz Cimoszewicz, Tanja Fajon, Raphaël Glucksmann, Dietmar Köster, Claudiu Manda, Sven Mikser, Tonino Picula, Kati Piri, Giuliano Pisapia, Nacho Sánchez Amor, Isabel Santos, Andreas Schieder, Sergei Stanishev
RENEW	Petras Auštrevičius, Katalin Cseh, Klemen Grošelj, Bernard Guetta, Ilhan Kyuchyuk, Nathalie Loiseau, Javier Nart, Urmas Paet, María Soraya Rodríguez Ramos, Hilde Vautmans
ID	Anna Bonfrisco, Susanna Ceccardi
VERTS	Alviina Alametsä, Reinhard Bütikofer, Katrin Langensiepen, Hannah Neumann, Diana Riba i Giner, Tineke Strik, Thomas Waitz
ECR	Anna Fotyga, Karol Karski, Jacek Saryusz-Wolski, Hermann Tertsch, Witold Jan Waszczykowski, Charlie Weimers
NI	Fabio Massimo Castaldo, Márton Gyöngyösi

 

7	-
GUE	Stelios Kouloglou, Manu Pineda, Idoia Villanueva Ruiz, Mick Wallace
ID	Nicolas Bay, Thierry Mariani
NI	Kostas Papadakis

 

2	0
ID	Lars Patrick Berg, Harald Vilimsky

 

Erläuterungen:

+ : dafür

- : dagegen

0 : Enthaltungen

 

 

 

STELLUNGNAHME DES AUSSCHUSSES FÜR BINNENMARKT UND VERBRAUCHERSCHUTZ (8.7.2020)

für den Rechtsausschuss

mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien

(2020/2012(INL))

Verfasserin der Stellungnahme (*): Alexandra Geese

(Initiative gemäß Artikel 47 der Geschäftsordnung)

(*) Assoziierter Ausschuss – Artikel 57 der Geschäftsordnung

 

VORSCHLÄGE

Der Ausschuss für Binnenmarkt und Verbraucherschutz ersucht den federführenden Rechtsausschuss,

– folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

 

A. in der Erwägung, dass ethische Leitlinien wie die von der Hochrangigen Expertengruppe für künstliche Intelligenz angenommenen Grundsätze ein guter Anfang sind, jedoch nicht ausreichen, um für ein faires Handeln der Unternehmen und einen wirksamen Schutz der Verbraucher zu sorgen;

 

Geltungsbereich

1. betont, wie wichtig es ist, dass es einen Rechtsrahmen der EU für ethische Aspekte von künstlicher Intelligenz (KI), Robotik und damit zusammenhängenden Technologien gibt, der dann gilt, wenn Verbraucher in der Union Nutzer eines algorithmischen Systems sind, einem solchen unterliegen, Ziel eines solchen sind oder an ein algorithmisches System weitergeleitet werden, wobei es keine Rolle spielt, wo die Unternehmen, die das System entwickeln, verkaufen oder nutzen, niedergelassen sind; ist ferner der Auffassung, dass im Interesse der Rechtssicherheit die festgelegten Vorschriften für alle Entwickler und die gesamte Wertschöpfungskette, also für die Entwicklung, die Einführung und die Nutzung der entsprechenden Technologien und ihrer Komponenten, gelten sollten und dass damit ein hoher Verbraucherschutz sichergestellt werden sollte; weist erneut darauf hin, wie wichtig die in den Verträgen genannten Werte der Union sind, wenn es um die Bedeutung des Schutzes personenbezogener Daten und die ausdrückliche Einwilligung in Kenntnis der Sachlage geht, und schlägt vor, dass bei diesen Vorschriften den aus der Umsetzung der Verordnung (EU) Nr. 2016/679[19] (Datenschutz-Grundverordnung) gezogenen Lehren Rechnung getragen wird, die als weltweiter Maßstab gilt; ist der Ansicht, dass mit Blick auf die Durchsetzung eines künftigen Rechtsrahmens der EU ein in der Union niedergelassener rechtlicher Vertreter von Bedeutung ist, an den Anfragen gerichtet werden könnten, um etwa für einen Rechtsschutz für die Verbraucher zu sorgen;

 

2. stellt fest, dass der Rechtsrahmen der EU für algorithmische Systeme gelten sollte, einschließlich der Bereiche KI, Internet der Dinge, maschinelles Lernen, regelbasierte Systeme, automatisierte und unterstützte Entscheidungsprozesse und Robotik; weist ferner darauf hin, dass standardisierte Symbole entwickelt werden könnten, mit deren Hilfe den Verbrauchern die entsprechenden Systeme erläutert werden können, wenn sich diese Systeme durch Komplexität auszeichnen oder Entscheidungen treffen können, die das Leben der Verbraucher erheblich beeinflussen;

 

3. betont, dass der Rechtsrahmen der EU auf einem Konzept beruhen sollte, bei dem der Mensch im Mittelpunkt steht, und zur Entwicklung von Systemen führen sollte, bei denen die ethischen Werten der EU bereits von Beginn an integriert sind; ist der Auffassung, dass ein Rechtsrahmen der EU, dessen Schwerpunkt auf den in den Verträgen verankerten europäischen Werten liegt, einen Mehrwert darstellen würde, durch den Europa einen einzigartigen Wettbewerbsvorteil erhalten würde und mit dem ein wichtiger Beitrag zum Wohlergehen und zum Wohlstand der Bürger und Unternehmen in der Union geleistet und der Binnenmarkt angekurbelt würde; betont, dass ein ethischer Rahmen für KI auch einen Zusatznutzen bietet, was die Förderung von Innovation auf dem Binnenmarkt betrifft;

 

4. weist darauf hin, dass mit dem Beschluss Nr. 768/2008/EG[20] ein Rechtsrahmen eingeführt wurde, der eine Auflistung einheitlicher Anforderungen für Hersteller, Importeure und Händler enthält, mit dem die Anwendung von Normen gefordert wird und verschiedene Kontrollniveaus vorgesehen werden, die sich danach richten, wie gefährlich die entsprechenden Produkte sind; ist der Ansicht, dass dieser Rechtsrahmen auch für Produkte mit integrierter KI gelten sollte;

 

5. betont, dass bei allen künftigen Vorschriften mit Blick auf die Entwicklung und Einführung sicherer und vertrauenswürdiger Systeme ein differenziertes risikobasiertes Konzept mit eindeutigen Kriterien und Indikatoren und einer anschließenden unparteiischen rechtlichen Bewertung verfolgt werden sollte, bei der potenzielle Schäden und Rechtsverletzungen, die Einzelnen und der Gesellschaft als Ganzes entstehen, betrachtet werden, wobei dem spezifischen Verwendungskontext des algorithmischen Systems Rechnung zu tragen ist; hebt hervor, dass die rechtlichen Pflichten und Zertifizierungsanforderungen schrittweise mit dem ermittelten Risikoniveau ansteigen sollten; betont, dass in der niedrigsten Risikokategorie keine zusätzlichen rechtlichen Pflichten bestehen sollten; stellt fest, dass algorithmische Systeme, die einer Person schaden oder potenziell ihre Rechte verletzen oder sich auf ihren Zugang zu öffentlichen Leistungen auswirken können, nicht in die Kategorie mit dem niedrigsten Risiko eingestuft werden dürfen; stellt fest, dass das risikobasierte Konzept klaren und transparenten Regeln folgen sollte, die hinreichende Rechtssicherheit bieten und zugleich zukunftssicher sind; fordert eine einheitliche Einführung des Systems der Risikoeinstufung und der damit verbundenen rechtlichen Pflichten, um für gleiche Wettbewerbsbedingungen bei den Mitgliedstaaten zu sorgen und eine Fragmentierung des Binnenmarkts zu verhindern; betont, dass die Risikobewertung der einzelnen Systeme regelmäßig überprüft werden muss;

 

6. weist erneut darauf hin, dass die Kommission den bestehenden Rechtsrahmen der EU und seine Anwendung, darunter des Besitzstands im Bereich des Verbraucherrechts, die Produkthaftungs- und die Produktsicherheitsvorschriften sowie die Rechtsvorschriften zur Marktüberwachung, prüfen sollte, um Rechtslücken sowie bestehende rechtliche Pflichten zu ermitteln; ist der Ansicht, dass dies notwendig ist, um zu ermitteln, ob mit dem bestehenden Rechtsrahmen der EU auf das Aufkommen von KI, Robotik und damit zusammenhängenden Technologien reagiert und ein hohes Verbraucherschutzniveau sichergestellt werden kann;

 

Datenverwaltung

7. betont, wie wichtig ein Ethik- und Rechtsrahmen der EU ist, der insbesondere Bestimmungen enthält‚ nach denen für das Trainieren algorithmischer Systeme hochwertige Daten, die einen Bezug zu ihrem Nutzungszweck aufweisen, benötigt werden; hebt in diesem Zusammenhang hervor, dass dafür zu sorgen ist, dass die verwendeten Trainingsdaten repräsentativ sind und sofern möglich Datensätze sowie Normen für Daten und Aggregation frei von Verzerrungen sind, um die Leistung algorithmischer Systeme zu verbessern und das Vertrauen und die Akzeptanz der Verbraucher zu stärken; betont, dass diese Datensätze durch die zuständigen Behörden geprüft werden können sollten, wann immer eine entsprechende Aufforderung ergeht, um sicherzustellen, dass sie den dargelegten Grundsätzen genügen;

 

Verbraucherschutz: Transparenz und Erklärbarkeit von Algorithmen

8. hebt hervor, dass das Vertrauen der Verbraucher für die Entwicklung und Umsetzung von KI, Robotik und damit zusammenhängenden Technologien, die inhärente Risiken bergen können, wenn sie auf undurchsichtigen Algorithmen und verzerrten Datensätzen beruhen, von wesentlicher Bedeutung ist; ist der Ansicht, dass die Verbraucher das Recht haben sollten, in verständlicher Form, rechtzeitig sowie in standardisierter, korrekter und barrierefreier Weise angemessen darüber informiert zu werden, dass algorithmische Systeme zur Anwendung kommen, auf welche Logik sie beruhen, welche Ergebnisse und Auswirkungen sie für die Verbraucher mit sich bringen können, wie entscheidungsbefugte Personen erreicht werden können, wie sich die Entscheidungen des Systems überprüfen lassen und wie sie wirksam angefochten und korrigiert werden können; weist darauf hin, dass sich Menschen stets über automatisierte Entscheidungen hinwegsetzen können müssen; ist der Ansicht, dass die Verbraucher auch dadurch geschützt werden sollten, dass sie berechtigt sind, ein KI-System – möglichst durch Personalisierung – auszuschalten oder einzuschränken; betont, wie wichtig die Verhältnismäßigkeit bei der Entwicklung eines Transparenzrahmens ist, um unnötige Belastungen für Start-up-Unternehmen und kleine und mittlere Unternehmen (KMU), die in Bereichen mit geringem Risiko tätig sind, zu vermeiden;

 

9. betont, dass die Herausforderungen, die durch algorithmische Systeme entstehen, wirksam angegangen werden müssen und dafür gesorgt werden muss, dass die Verbraucher in ihren Rechten gestärkt und angemessen geschützt werden; betont, dass über die herkömmlichen Grundsätze von Information und Offenlegung, auf denen der Besitzstand im Bereich des Verbraucherschutzes beruht, hinausgegangen werden muss, da stärkere Verbraucherrechte und klare Einschränkungen bei der Entwicklung und Nutzung algorithmischer Systeme erforderlich sein werden, um sicherzustellen, dass die Technologie dazu beiträgt, das Leben der Verbraucher zu verbessern, und sich so entwickelt, dass die Grundrechte und die Verbraucherrechte sowie die europäischen Werte gewahrt werden;

 

10. ist der Auffassung, dass ein werteorientierter Konzeptionsansatz dringend erforderlich ist, um die Bedingungen für eine breite gesellschaftliche Akzeptanz von KI bei den Verbrauchern zu schaffen; ist der Ansicht, dass ethische Werte wie Fairness, Genauigkeit, Vertraulichkeit und Transparenz die Grundlage von KI sein sollten, was in diesem Zusammenhang bedeutet, dass ein System so funktioniert, dass es keine in ungerechter Weise verzerrte Ergebnisse erzeugt;

 

11. weist darauf hin, dass unbedingt sichergestellt werden muss, dass den Verbrauchern wirksame Rechtsbehelfe zur Verfügung stehen, und fordert die Mitgliedstaaten auf, dafür zu sorgen, dass es zugängliche, erschwingliche, unabhängige und wirksame Verfahren gibt, um eine unparteiische Überprüfung aller mutmaßlichen Verletzung von Verbraucherrechten durch den Einsatz algorithmischer Systeme unabhängig davon sicherzustellen, ob diese auf öffentliche oder private Akteure zurückgehen; fordert nachdrücklich, dass Streitbeilegungsverfahren und kollektive Rechtschutzverfahren im Einklang mit der Richtlinie des Europäischen Parlaments und des Rates über Verbandsklagen zum Schutz der Kollektivinteressen der Verbraucher und zur Aufhebung der Richtlinie 2009/22/EG[21] zur Verfügung gestellt werden, um die Einführung oder laufende Nutzung eines Systems anzufechten, das das Risiko einer Verletzungen der Verbraucherrechte birgt, oder um gegen eine Verletzung von Rechten vorzugehen; fordert die Kommission auf, dafür zu sorgen, dass nationale und europäische Verbraucherorganisationen über ausreichende Mittel verfügen, um die Verbraucher bei der Wahrnehmung ihres Anspruchs auf einen Rechtsbehelf in den Fällen zu unterstützen, in denen die Verbraucherrechte durch Entscheidungen verletzt werden, die auf KI-Anwendungen zurückgehen;

 

12. betont, dass in Fällen, in denen parallel zu einer offenen Auftragsvergabe und offenen Auftragsvergabestandards mit Geldern aus öffentlichen Quellen erheblich zur Entwicklung oder Umsetzung eines algorithmischen Systems beigetragen wird, der Code, die generierten Daten – soweit es sich nicht um personenbezogene Daten handelt – und das geschulte Modell standardmäßig nach Vereinbarung mit dem Entwickler öffentlich sein könnten, um Transparenz sicherzustellen, die Cybersicherheit zu verbessern und eine entsprechende Weiterverwendung zum Zweck der Förderung von Innovationen zu ermöglichen; betont, dass auf diese Weise das volle Potenzial des Binnenmarkts erschlossen werden kann und eine Marktfragmentierung verhindert wird;

 

Binnenmarkt: Information und Sensibilisierung der Verbraucher

13. betont, wie wichtig es ist, dafür zu sorgen, dass die Interessen aller Verbraucher, darunter auch Verbraucher, die ausgegrenzt werden oder sich in einer schwierigen Situation befinden, etwa Menschen mit Behinderungen, angemessen berücksichtigt und in einem künftigen Rechtsrahmen der EU vertreten werden; stellt fest, dass der Zugang zu Daten für die Zwecke der Analyse der Auswirkungen algorithmischer Systeme – wenn möglich über Schnittstellen zur Programmierung von Anwendungen – auf die Verbraucher auf geeignete Parteien, insbesondere unabhängige Forscher, Medien und Organisationen der Zivilgesellschaft, ausgeweitet werden könnte, wobei die Rechtsvorschriften der Union zum Datenschutz und zum Schutz der Privatsphäre sowie zum Schutz des Geschäftsgeheimnisses uneingeschränkt einzuhalten sind; weist darauf hin, wie wichtig es ist, die Verbraucher zu schulen, damit sie im Umgang mit algorithmischen Systemen besser informiert und kompetenter sind und um sie vor potenziellen Risiken zu schützen und ihre Rechte zu wahren; ist der Ansicht, dass – sofern alle geltenden Grundsätze, Bedingungen, einschließlich Transparenz und Überprüfbarkeit, und Vorschriften weiterhin Anwendung finden – KI, das Internet der Dinge und andere aufkommende Technologien ein enormes Potenzial haben, wenn es darum geht, den Verbrauchern einen Zugang zu verschiedenen Annehmlichkeiten zu bieten, die ihr tägliches Leben in vielerlei Hinsicht erleichtern, und wenn es um bessere Produkte und Dienstleistungen geht, wobei sie den Verbrauchern zugleich durch die Förderung einer besseren Marktüberwachung zugutekommen;

 

14. erachtet es als sehr wichtig, im Bereich der digitalen Kompetenzen allgemein ein hohes Niveau zu erreichen, hochqualifizierte Fachkräfte in diesem Bereich zu auszubilden und die gegenseitige Anerkennung entsprechender Qualifikationen in der gesamten Union sicherzustellen; hebt hervor, dass gemischte Teams aus Entwicklern und Ingenieuren mit wichtigen gesellschaftlichen Akteuren zusammenarbeiten müssen, um zu verhindern, dass unbeabsichtigt geschlechtsspezifische und kulturelle Verzerrungen in KI-gestützte Algorithmen, Systeme und Anwendungen gelangen; unterstützt die Ausarbeitung von Lehrplänen und Aktivitäten zur Schärfung des Bewusstseins der Öffentlichkeit für die gesellschaftlichen, rechtlichen und ethischen Aspekte der KI;

 

15. fordert die Kommission auf, die Entwicklung von KI, Robotik und damit zusammenhängenden Technologien, bei denen der Mensch im Mittelpunkt steht und mit denen umwelt- und klimabezogene Herausforderungen angegangen und ein gleichberechtigter Zugang zu grundlegenden Rechten sowie deren Wahrnehmung sichergestellt werden, mithilfe von Steueranreizen, Anreizen im Rahmen des Beschaffungswesens und sonstigen Anreizen zu fördern und finanziell zu unterstützen;

 

16. betont, dass KI und algorithmische Systeme mit den Rechtvorschriften im Einklang stehen und robust, verlässlich und sicher konzipiert sein sollten; fordert die Kommission auf, sicherzustellen, dass das Regulierungskonzept der Union für algorithmische Systeme geeignete Maßnahmen enthält, damit derartige Systeme einer unabhängigen Kontrolle und Überwachung unterworfen werden können;

 

Marktüberwachung

17. fordert die Einrichtung eines europäischen Fachzentrums, das die Kapazitäten der Union stärkt und so weit wie möglich auf bestehenden Strukturen aufbaut, um den Austausch von Informationen im Zusammenhang mit algorithmischen Systemen zwischen den Behörden der Mitgliedstaaten zu unterstützen und die Entwicklung eines gemeinsamen Verständnisses im Binnenmarkt zu fördern, indem es den Behörden der Mitgliedstaaten Leitlinien, Stellungnahmen und Fachwissen zur Verfügung stellt, die Umsetzung der einschlägigen Rechtsvorschriften der Union überwacht, sich mit etwaigen Verbraucherschutzfragen befasst, Normen für bewährte Verfahren ermittelt und gegebenenfalls Empfehlungen für Regulierungsmaßnahmen abgibt; fordert ferner, dass diese Einrichtung angemessen von Interessenverbänden, etwa Verbraucherschutzorganisationen, beraten wird, um für eine breite Vertretung der Verbraucher zu sorgen; ist der Auffassung, dass die Entscheidungsebenen einer entsprechenden Einrichtung vielfältig sein und eine ausgewogene Geschlechterverteilung aufweisen sollten, da sich algorithmische Systeme unverhältnismäßig auf Frauen und Minderheiten auswirken; betont, dass die Mitgliedstaaten im Rahmen ihrer nationalen Marktüberwachungsstrategien Risikomanagementstrategien für KI entwickeln müssen;

 

18. fordert die Kommission auf, Maßnahmen für die Rückverfolgbarkeit von Daten vorzuschlagen, wobei sowohl die Rechtmäßigkeit des Datenerwerbs als auch der Schutz von Verbraucher- und Grundrechten zu berücksichtigen ist; betont, dass in der Zwischenzeit die Datensätze, Algorithmen und Verfahren, die bei der Entwicklung und Einführung algorithmischer Systeme verwendet werden, einschließlich der Datensammlung und -kennzeichnung, im Einklang mit der Industrienorm dokumentiert werden sollten; stellt fest, dass es von wesentlicher Bedeutung ist, dass die Unterlagen für die Risikobewertung, die Software-Dokumentation, die Algorithmen und die von künstlicher Intelligenz, Robotik oder damit zusammenhängenden Technologien verwendeten oder erzeugten Datensätze für die Marktüberwachungsbehörden zugänglich sind und erläutert werden können, wobei das Unionsrecht einzuhalten ist und Geschäftsgeheimnisse zu wahren sind; weist ferner darauf hin, dass diese Unterlagen von denjenigen aufbewahrt werden sollten, die an den verschiedenen Phasen der Entwicklung algorithmischer Systeme beteiligt sind; ist der Auffassung, dass den Marktüberwachungsbehörden diesbezüglich zusätzliche Vorrechte eingeräumt werden sollten; ist der Auffassung, dass möglicherweise eine Prüfung der derzeitigen Marktüberwachungsvorschriften erforderlich ist, um dafür zu sorgen, dass diese nicht veralten, sondern den Entwicklung im Bereich der KI, der Robotik und der damit zusammenhängenden Technologien in ethischer Weise Rechnung tragen;

 

19. fordert, dass jeder Mitgliedstaat eine nationale Behörde benennt, die für die Überwachung der Anwendung der Bestimmungen im Zusammenhang mit algorithmischen Systemen zuständig ist, und dieser ausreichende Mittel zu Verfügung stellt; betont, dass die Kapazitäten, Fähigkeiten und Kompetenzen der nationalen Marktüberwachungsbehörden im Bereich der KI gestärkt werden müssen und diese besser über die spezifischen Risiken der KI informiert sein müssen;

 

20. fordert eine enge Abstimmung zwischen den Behörden der Mitgliedstaaten und die Einrichtung eines europäischen Marktüberwachungsausschusses für algorithmische Systeme, der sich aus nationalen Behörden zusammensetzt, um für eine wirksame Aufsicht und gleiche Wettbewerbsbedingungen in Europa zu sorgen und eine Fragmentierung des Binnenmarkts zu verhindern;

 

21. nimmt die wertvollen Beiträge der hochrangigen Expertengruppe für künstliche Intelligenz, insbesondere die Ethikleitlinien für vertrauenswürdige künstliche Intelligenz, zur Kenntnis; schlägt vor, dass diese Gruppe, die aus Vertreter von Hochschulen, der Zivilgesellschaft und der Industrie besteht, und die Europäische KI-Allianz dem europäischen Überwachungsausschuss für algorithmische Systeme mit Fachwissen zur Seite stehen;

 

22. weist darauf hin, dass die Systeme – insbesondere im Bereich der Beziehungen zwischen Unternehmen und Verbrauchern – auf die Nutzer ausgerichtet und so konzipiert sein sollten, dass alle Menschen ungeachtet ihres Alters, ihres Geschlechts, ihrer Fähigkeiten oder ihrer Eigenschaften die KI-Produkte oder -Dienste nutzen können; weist darauf hin, dass die Barrierefreiheit dieser Technologie für Menschen mit Behinderungen von besonderer Bedeutung ist; stellt fest, dass in Bezug auf KI-Systeme kein pauschales Konzept verfolgt werden sollte, sondern die Grundsätze der universellen Gestaltung berücksichtig werden sollten, die sich an ein möglichst breites Spektrum von Nutzern richten und den einschlägigen Normen im Bereich der Barrierefreiheit folgen; betont, dass dies allen Menschen einen gleichberechtigten Zugang zu und eine aktive Teilhabe an bereits existierenden und neuen computergestützten menschlichen Tätigkeiten und unterstützenden Technologien ermöglichen wird;

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme	7.7.2020
Ergebnis der Schlussabstimmung	+: –: 0:	39 1 4
Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder	Alex Agius Saliba, Andrus Ansip, Alessandra Basso, Brando Benifei, Adam Bielan, Hynek Blaško, Biljana Borzan, Vlad-Marius Botoş, Markus Buchheit, Dita Charanzová, Deirdre Clune, David Cormand, Petra De Sutter, Carlo Fidanza, Evelyne Gebhardt, Alexandra Geese, Sandro Gozi, Maria Grapini, Svenja Hahn, Virginie Joron, Eugen Jurzyca, Arba Kokalari, Marcel Kolaja, Kateřina Konečná, Andrey Kovatchev, Jean-Lin Lacapelle, Maria-Manuel Leitão-Marques, Adriana Maldonado López, Antonius Manders, Beata Mazurek, Leszek Miller, Kris Peeters, Anne-Sophie Pelletier, Christel Schaldemose, Andreas Schwab, Tomislav Sokol, Ivan Štefanec, Kim Van Sparrentak, Marion Walsmann, Marco Zullo
Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter	Pascal Arimont, Maria da Graça Carvalho, Edina Tóth, Stéphanie Yon-Courtin

 

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

39

+

EPP S&D RENEW GREENS/EFA ECR EUL/NGL NI

Pascal Arimont, Maria da Graça Carvalho, Deirdre Clune, Arba Kokalari, Andrey Kovatchev, Antonius Manders, Kris Peeters, Andreas Schwab, Tomislav Sokol, Ivan Štefanec, Edina Tóth, Marion Walsmann Alex Agius Saliba, Brando Benifei, Biljana Borzan, Evelyne Gebhardt, Maria Grapini, MariaManuel LeitãoMarques, Adriana Maldonado López, Leszek Miller, Christel Schaldemose Andrus Ansip, VladMarius Botoş, Dita Charanzová, Sandro Gozi, Svenja Hahn, Stéphanie YonCourtin David Cormand, Petra De Sutter, Alexandra Geese, Marcel Kolaja, Kimvan Sparrentak Adam Bielan, Carlo Fidanza, Eugen Jurzyca, Beata Mazurek Kateřina Konečná, AnneSophie Pelletier Marco Zullo

 

1	-
ID	Hynek Blaško

 

4	0
ID	Alessandra Basso, Markus Buchheit, Virginie Joron, JeanLin Lacapelle

 

Erklärung der benutzten Zeichen:

+ : dafür

- : dagegen

0 : Enthaltung

 

 

 

 

 

STELLUNGNAHME DES AUSSCHUSSES FÜR VERKEHR UND TOURISMUS (16.7.2020)

für den Rechtsausschuss

mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien

(2020/2012(INL))

Verfasser der Stellungnahme: Valter Flego

(*) Assoziierter Ausschuss – Artikel 57 der Geschäftsordnung

 

(Initiative gemäß Artikel 47 der Geschäftsordnung)

 

 

VORSCHLÄGE

Der Ausschuss für Verkehr und Tourismus ersucht den federführenden Rechtsausschuss, folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

A. in der Erwägung, dass künstliche Intelligenz (KI) eine Art von Technologie ist, die für den Verkehrssektor von strategischer Bedeutung ist und den Bürgern und der Gesellschaft zugutekommen dürfte, indem sie die Lebensqualität verbessert, das Sicherheitsniveau aller Verkehrsträger erhöht und neue Beschäftigungsmöglichkeiten und nachhaltigere Geschäftsmodelle schafft; in der Erwägung, dass KI das Potenzial hat, die Gesellschaft in erheblichem Maße zu verändern, insbesondere wenn sie weit verbreitet und zugänglich ist;

B. in der Erwägung, dass das volle Potenzial der KI im Verkehrssektor nur dann genutzt werden kann, wenn sich die Benutzer des möglichen Nutzens und der möglichen Herausforderungen, die diese Technologie mit sich bringt, bewusst sind; in der Erwägung, dass dieses Thema in der allgemeinen und beruflichen Bildung angesprochen werden muss, auch im Zusammenhang mit der Förderung der digitalen Inklusion, und dass Aufklärungskampagnen auf Unionsebene durchgeführt werden müssen, bei denen sämtliche Aspekte der KI-Entwicklung korrekt dargestellt werden;

C. in der Erwägung, dass ein europäischer Ansatz für KI, Robotik und damit zusammenhängende Technologien ethischen Grundsätzen gerecht werden muss, um sicherzustellen, dass KI, Robotik und damit zusammenhängende Technologien auf den Menschen ausgerichtet sind und das menschliche Wohlergehen, Sicherheit, das Wohlergehen der Gesellschaft und die Umwelt verbessert werden, dass auf die einschlägigen ethischen Dilemmas eingegangen wird und dass die Grundrechte, Grundwerte und Grundprinzipien der Union sowie die Rechtsvorschriften zum Schutz der Privatsphäre und zum Datenschutz uneingeschränkt geachtet werden; in der Erwägung, dass bei diesem Ansatz auch auf Probleme im Zusammenhang mit der Qualität der in algorithmischen Systemen verwendeten Datensätze sowie den Algorithmen selbst und Daten- und Aggregationsstandards eingegangen werden muss;

D. in der Erwägung, dass vertrauenswürdige KI auf vier ethischen Grundsätzen beruhen muss: Achtung der menschlichen Autonomie, Vorbeugung von Schäden, Fairness und Erklärbarkeit; in der Erwägung, dass die Einhaltung dieser ethischen Grundsätze die Annahme spezifischer Vorschriften für den Verkehrssektor der EU erforderlich macht;

E. in der Erwägung, dass menschliches Versagen immer noch bei etwa 95 % aller Straßenverkehrsunfälle in der Union eine Rolle spielt; in der Erwägung, dass die Union sich das Ziel gesetzt hatte, die Zahl der Verkehrstoten pro Jahr in der EU bis 2020 gegenüber 2010 um 50 % zu senken, aber angesichts stagnierender Fortschritte ihre Bemühungen mit dem „EU-Politikrahmen für die Straßenverkehrssicherheit im Zeitraum 2021 bis 2030 – Nächste Schritte auf dem Weg zur ‚Vision Null Straßenverkehrstote‘“ erneuert hat; in der Erwägung, dass KI, Automatisierung und andere neue Technologien in diesem Zusammenhang ein großes Potenzial bergen und entscheidend dafür sind, die Straßenverkehrssicherheit zu erhöhen, indem sie die Möglichkeiten menschlichen Versagens reduzieren;

F. in der Erwägung, dass KI, Automatisierung und andere neue Technologien auch zur Verringerung der Verkehrsüberlastung und der Emissionen von Treibhausgasen und Luftschadstoffen beitragen können;

G. in der Erwägung, dass die Herstellung von ethisch verantwortlicher, auf den Menschen ausgerichteter und technologisch robuster KI, Robotik und damit zusammenhängenden Technologien im Verkehrssektor Unionsunternehmen, einschließlich KMU, eine Geschäftsmöglichkeit bietet, um in diesem Bereich eine weltweite Führungsposition zu erlangen;

H. in der Erwägung, dass solche neuen Geschäftsmöglichkeiten dazu beitragen können, dass sich die Unionsindustrie nach der derzeitigen Gesundheits- und Wirtschaftskrise erholt und dass KI-Technologie im Verkehrssektor intensiver genutzt wird; in der Erwägung, dass diese Geschäftsmöglichkeiten zur Schaffung neuer Arbeitsplätze führen, da die Verbreitung von KI und damit zusammenhängenden Technologien das Potenzial birgt, das Produktivitätsniveau von Unternehmen zu erhöhen und zu Effizienzsteigerungen beizutragen; in der Erwägung, dass Innovationsprogramme in diesem Bereich regionalen Clustern zum Erfolg verhelfen können;

I. in der Erwägung, dass ein europäischer Ansatz für die Entwicklung von KI, Robotik und damit zusammenhängenden Technologien im Verkehrswesen das Potenzial birgt, die globale Wettbewerbsfähigkeit und die strategische Autonomie der Unionswirtschaft zu erhöhen;

J. in der Erwägung, dass KI-Systeme für intelligente Verkehrssysteme in Sektoren wie dem öffentlichen Verkehr verwendet werden können, um der Bildung von Staus vorzubeugen, die Routensuche zu optimieren, Menschen mit Behinderungen mehr Unabhängigkeit zu ermöglichen und die Energieeffizienz zu erhöhen und dadurch die Bemühungen um eine Verringerung der CO2-Emissionen zu verbessern und die Auswirkungen auf die Umwelt zu reduzieren;

1. betont, welches Potenzial die Nutzung von KI, Robotik und damit zusammenhängenden Technologien für alle autonomen Verkehrsträger des Straßen-, Schienen-, Wasser- und Luftverkehrs sowie für die Förderung der Verkehrsverlagerung und Intermodalität birgt, da diese Technologien dazu beitragen können, die optimale Kombination von Verkehrsträgern für den Transport von Gütern und Personen zu ermitteln; betont weiterhin ihr Potenzial, Verkehr, Logistik und Verkehrsströme effizienter zu gestalten und alle Verkehrsträger sicherer, intelligenter und umweltfreundlicher zu machen; weist darauf hin, dass ein ethischer Ansatz in Bezug auf KI auch als Frühwarnsystem angesehen werden kann, insbesondere in Bezug auf die Sicherheit und Effizienz des Verkehrs;

2. hebt hervor, dass der globale Wettbewerb zwischen Unternehmen und Wirtschaftsräumen bedeutet, dass die EU Investitionen fördern und die internationale Wettbewerbsfähigkeit der Unternehmen, die im Verkehrssektor tätig sind, stärken muss, indem sie ein für die Entwicklung und Anwendung von KI-Lösungen und weiteren Innovationen günstiges Umfeld schafft, in dem in der Union ansässige Unternehmen weltweite Vorreiter bei der Entwicklung von KI-Technologien werden können;

3. betont, dass es für den Verkehrssektor der EU erforderlich ist, dass der Rechtsrahmen für solche aufkommenden Technologien und ihre Nutzung im Verkehrssektor aktualisiert und ein klarer ethischer Rahmen für die Verwirklichung vertrauenswürdiger KI, einschließlich der Aspekte Sicherheit, Achtung der menschlichen Autonomie, Aufsicht und Haftung, geschaffen wird, dass der Nutzen, der allen gemeinsam zugutekommt, dadurch erhöht wird und dass dies entscheidend sein wird, um Investitionen in Forschung und Innovation, die Entwicklung von Kompetenzen und die Übernahme von KI durch öffentliche Dienste, KMU, Start-ups und Unternehmen zu fördern und gleichzeitig Datenschutz sowie Interoperabilität sicherzustellen, ohne dass dadurch ein unnötiger Verwaltungsaufwand für Unternehmen und Verbraucher entsteht; betont, dass unbedingt dafür gesorgt werden muss, dass jede Aktualisierung des Rechtsrahmens für diese aufkommenden Technologien stets auf einem tatsächlichen Bedarf beruht und mit dem Grundsatz der besseren Rechtsetzung im Einklang steht, und

a) fordert die Kommission auf, einen klaren Rahmen ethischer Grundsätze für die Entwicklung, den Einsatz und die Nutzung von KI, Robotik und damit zusammenhängenden Technologien im Verkehrssektor zu schaffen; weist darauf hin, dass KI, Robotik und damit zusammenhängende Technologien im Verkehrssektor im Einklang mit diesen ethischen Grundsätzen entwickelt, eingesetzt und verwendet werden müssen;

b) empfiehlt, Leitlinien für eine harmonisierte Risikoeinstufung von KI-fähigen Technologien bei allen Verkehrsträgern auszuarbeiten, die sich auf die dem Menschen und der KI zugewiesenen Funktionen von Fahrzeugen erstrecken, und die Verantwortlichkeiten und Anforderungen in Bezug auf Sicherheit klarzustellen;

c) fordert die Kommission auf, die Nutzung der bestehenden europäischen Marktüberwachungsstruktur für algorithmische Systeme, einschließlich der damit verbundenen Datenschutzbestimmungen, zu prüfen und den Behörden der Mitgliedstaaten Orientierungshilfen, Stellungnahmen und Fachwissen zur Verfügung zu stellen, unter anderem auch zur Interoperabilität;

d) fordert die Kommission auf, im Einklang mit den Einschätzungen der hochrangigen Expertengruppe ein KI-Risikoeinstufungssystem für intelligente Verkehrssysteme einzurichten, um besser auf die sich abzeichnenden Bedürfnisse des Verkehrssektors reagieren zu können;

e) fordert die Kommission auf, der Situation von KMU besondere Aufmerksamkeit zu widmen und die künftigen Rechtsvorschriften so zu gestalten, dass die Chancen für diese Unternehmen, KI-Technologien zu entwickeln und einzusetzen, verbessert werden;

f) ist der Ansicht, dass den Endnutzern ausführliche Informationen zum Betrieb von Transportsystemen und KI-basierten Fahrzeugen zur Verfügung gestellt werden müssen;

4. betont, dass der europäische Ansatz für KI-Technologien das Vertrauen der Menschen sichern, dem öffentlichen Interesse dienen und die gemeinsame soziale Verantwortung stärken sollte; erachtet die Entwicklung vertrauenswürdiger, ethisch verantwortlicher und technisch robuster KI als wichtige Voraussetzung für eine nachhaltige und intelligente Mobilität, die sicher und zugänglich ist; fordert die Kommission in diesem Zusammenhang auf, die Verbreitung von KI im Verkehrssektor weiter zu fördern und unverzüglich und in enger Zusammenarbeit mit allen Interessenträgern des Verkehrssektors entsprechende Änderungen der Rechtsvorschriften der Union vorzuschlagen, um sicherzustellen, dass die Grundrechte der Union gewahrt werden;

5. betont, dass die Entwicklung und Verbreitung von KI sichere und zugängliche Transportdienstleistungen ermöglicht;

6. empfiehlt die Entwicklung unionsweiter vertrauenswürdiger KI-Normen für alle Verkehrsträger, auch für die Automobilindustrie‚ in Bezug auf Sicherheit, Interoperabilität, technische Robustheit, Reparierbarkeit und Recycelbarkeit entsprechender Hardware, auch um auf Bedenken in Verbindung mit Ressourceneffizienz, Privatsphäre, Datenschutz und Transparenz einzugehen, sowie in Bezug auf die Prüfung von KI-fähigen Fahrzeugen und damit verbundenen Produkten und Dienstleistungen;

7. fordert die Kommission auf, bei der Gestaltung, Umsetzung und Durchsetzung vertrauenswürdiger Normen für KI in der Union eng mit den Mitgliedstaaten zusammenzuarbeiten; stellt fest, dass die EU über das Potenzial verfügt, bei der Förderung eines sozial verantwortlichen und nachhaltigen Ansatzes für KI-Technologie und ihre Nutzung eine weltweit führende Rolle einzunehmen;

8. fordert die Kommission auf, die Möglichkeit zu prüfen, eine oder mehrere der bestehenden einschlägigen Agenturen, Organe oder Einrichtungen auf Unionsebene mit Überwachungs-, Durchsetzungs- und Sanktionsmechanismen zu betrauen und zu prüfen, wie die bestehenden Überwachungs- und Kontrollinstrumente im Verkehrssektor ausgestattet und eingesetzt werden können, um eine Aufsicht auf Unionsebene zu gewährleisten und die Kommission in die Lage zu versetzen, Maßnahmen zu ergreifen‚ wenn ein im Verkehr verwendetes KI-System im Widerspruch zu den Grundrechten oder dem europäischen ethischen und sicherheitspolitischen Rahmen steht;

9. fordert die Kommission auf, die Entwicklung vertrauenswürdiger KI-Systeme weiter zu unterstützen, um den Verkehr effizienter, zugänglicher, erschwinglicher und inklusiver zu gestalten, auch für Personen mit eingeschränkter Mobilität, insbesondere Menschen mit Behinderungen, und dabei die Richtlinie (EU) 2019/882 des Europäischen Parlaments und des Rates[22] sowie die Rechtsvorschriften der Union über Fahr- und Fluggastgastrechte zu berücksichtigen;

10. macht auf den großen Mehrwert aufmerksam, den autonome Fahrzeuge Personen mit eingeschränkter Mobilität bieten, da es ihnen diese Fahrzeuge ermöglichen, effektiver am individuellen Straßenverkehr teilzunehmen, und dadurch ihren Alltag erleichtern;

11. betont die Bedeutung von Zugänglichkeit, insbesondere bei der Gestaltung von MaaS-Systemen (Mobility as a Service).

12. unterstreicht die zentrale Bedeutung der Datenwissenschaft, um diskriminierungsfreie KI-Systeme zu entwerfen und die Verwendung beschädigter Daten zu verhindern; empfiehlt darüber hinaus, Verfahren für die Datenverarbeitung anzuwenden, die mit der DSGVO und den Grundsätzen der Vertraulichkeit und Nichtdiskriminierung im Einklang stehen;

13. stellt fest, dass KI-Systeme dazu beitragen könnten, die Zahl der Verkehrstoten erheblich zu verringern, beispielsweise durch bessere Reaktionszeiten und eine bessere Einhaltung der Vorschriften; ist jedoch der Auffassung, dass der Einsatz autonomer Fahrzeuge nicht dazu führen kann, dass es keine Unfälle mehr gibt, und betont, dass die Erklärbarkeit von KI-Entscheidungen daher immer wichtiger wird, um Mängel und unbeabsichtigte Folgen von KI-Entscheidungen zu rechtfertigen;

14. ist der Ansicht, dass es immer möglich sein muss, den Endnutzern und anderen Interessenträgern die Entscheidungen von KI sowie sämtliche einschlägigen Daten, die diesen Entscheidungen zugrunde liegen, auf verständliche Weise zu erläutern;

15. weist darauf hin, dass die Entwicklung und Umsetzung von KI im Verkehrssektor ohne eine moderne Infrastruktur, die ein wichtiger Bestandteil eines intelligenten Verkehrssystems ist, nicht möglich sein wird; betont, dass die anhaltenden Unterschiede zwischen den Entwicklungsständen der Mitgliedstaaten die Gefahr bergen, dass den am wenigsten entwickelten Regionen und ihren Einwohnern die Vorteile vorenthalten bleiben, die die Entwicklung autonomer Mobilität mit sich bringt; fordert eine Bewertung der Herausforderungen für die Zukunft des Arbeitsmarktes aufgrund der Entwicklung von KI-Technologien im Verkehrssektor und eine angemessene Finanzierung der Modernisierung der Infrastruktur in der Union, einschließlich ihrer Integration in das 5G-Netz;

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme	14.7.2020
Ergebnis der Schlussabstimmung	+: –: 0:	49 0 0
Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder	Magdalena Adamowicz, Andris Ameriks, José Ramón Bauzá Díaz, Izaskun Bilbao Barandica, Marco Campomenosi, Ciarán Cuffe, Jakop G. Dalunde, Johan Danielsson, Andor Deli, Karima Delli, Anna Deparnay-Grunenberg, Ismail Ertug, Gheorghe Falcă, Giuseppe Ferrandino, Mario Furore, Søren Gade, Isabel García Muñoz, Jens Gieseke, Elsi Katainen, Kateřina Konečná, Elena Kountoura, Julie Lechanteux, Bogusław Liberadzki, Benoît Lutgen, Elżbieta Katarzyna Łukacijewska, Marian-Jean Marinescu, Tilly Metz, Giuseppe Milazzo, Cláudia Monteiro de Aguiar, Caroline Nagtegaal, Jan-Christoph Oetjen, Philippe Olivier, Rovana Plumb, Dominique Riquet, Dorien Rookmaker, Massimiliano Salini, Barbara Thaler, Elissavet Vozemberg-Vrionidi, Lucia Vuolo, Roberts Zīle, Kosma Złotowski
Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter	Leila Chaibi, Angel Dzhambazki, Markus Ferber, Carlo Fidanza, Maria Grapini, Roman Haider, Alessandra Moretti

 

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

49	+
ECR Group	Angel Dzhambazki, Carlo Fidanza, Roberts Zīle, Kosma Złotowski
GUE/NGL Group	Leila Chaibi, Kateřina Konečná, Elena Kountoura
ID Group	Marco Campomenosi, Roman Haider, Julie Lechanteux, Philippe Olivier, Lucia Vuolo
NI	Dorien Rookmaker, Mario Furore,
PPE Group	Magdalena Adamowicz, Andor Deli, Gheorghe Falcă, Markus Ferber, Jens Gieseke, Benoît Lutgen, Marian-Jean Marinescu, Giuseppe Milazzo, Cláudia Monteiro de Aguiar, Massimiliano Salini, Barbara Thaler, Elissavet Vozemberg-Vrionidi, Elżbieta Katarzyna Łukacijewska
Renew Group	José Ramón Bauzá Díaz, Izaskun Bilbao Barandica, Søren Gade, Elsi Katainen, Caroline Nagtegaal, Jan-Christoph Oetjen, Dominique Riquet
S&D Group	Andris Ameriks, Johan Danielsson, Ismail Ertug, Giuseppe Ferrandino, Isabel García Muñoz, Maria Grapini, Bogusław Liberadzki, Alessandra Moretti, Rovana Plumb, István Ujhelyi
Verts/ALE Group	Ciarán Cuffe, Jakop G. Dalunde, Karima Delli, Anna Deparnay-Grunenberg, Tilly Metz

 

0	-

 

0	0

 

Erklärung der benutzten Zeichen:

+ : dafür

- : dagegen

0 : Enthaltung

 

 

 

 

 

 

STELLUNGNAHME DES AUSSCHUSSES FÜR BÜRGERLICHE FREIHEITEN, JUSTIZ UND INNERES (22.9.2020)

für den Rechtsausschuss

mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien

(2020/2012(INL))

Verfasserin der Stellungnahme: Assita Kanko

(*) Assoziierter Ausschuss – Artikel 57 der Geschäftsordnung

 

 

(Initiative gemäß Artikel 47 der Geschäftsordnung)

 

VORSCHLÄGE

Der Ausschuss für bürgerliche Freiheiten, Justiz und Inneres ersucht den federführenden Rechtsausschuss, folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

– unter Hinweis auf Artikel 2 und 3 des Vertrags über die Europäische Union (EUV),

– unter Hinweis auf die Artikel 10, 19, 21 und 167 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV),

– unter Hinweis auf das in den Artikeln 20 und 227 AEUV und Artikel 44 der Charta der Grundrechte der Europäischen Union verankerte Petitionsrecht,

– unter Hinweis auf Artikel 21 und 22 der Charta der Grundrechte der Europäischen Union,

– unter Hinweis auf die Präambel zum EUV,

– unter Hinweis auf das Rahmenübereinkommen des Europarats zum Schutz nationaler Minderheiten, das Protokoll Nr. 12 zur Konvention zum Schutz der Menschenrechte und Grundfreiheiten und die Europäische Charta der Regional- oder Minderheitensprachen,

– unter Hinweis auf die Richtlinie 2000/43/EG des Rates vom 29. Juni 2000 zur Anwendung des Gleichbehandlungsgrundsatzes ohne Unterschied der Rasse oder der ethnischen Herkunft[23] (Richtlinie zur Gleichbehandlung ohne Unterschied der Rasse),

– unter Hinweis auf die Richtlinie 2000/78/EG des Rates vom 27. November 2000 zur Festlegung eines allgemeinen Rahmens für die Verwirklichung der Gleichbehandlung in Beschäftigung und Beruf[24] (Richtlinie zur Gleichbehandlung in Beschäftigung und Beruf),

– unter Hinweis auf die Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung – DSGVO)[25] und auf die Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates[26],

– unter Hinweis auf die Mitteilung der Kommission an das Europäische Parlament, den Rat, den Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen vom 11. Dezember 2019 zum europäischen Grünen Deal,

– unter Hinweis auf seine Entschließung vom 16. Februar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik[27],

– unter Hinweis auf die Empfehlung des OECD-Rates zur künstlichen Intelligenz, die am 22. Mai 2019 angenommen wurde,

A. in der Erwägung, dass die Entwicklung und Gestaltung der so genannten künstlichen Intelligenz, der Robotik und damit zusammenhängender Technologien von Menschen ausgeführt werden, deren Entscheidungen das Potenzial der Technologie bestimmen, zum Nutzen der Gesellschaft eingesetzt zu werden;

B. in der Erwägung, dass Rechenschaftspflicht für Algorithmen die Umsetzung technischer und operationeller Maßnahmen bedeuten sollte, für Transparenz, klar zugewiesene Haftungsketten und Nichtdiskriminierung bei automatisierter Entscheidungsfindung oder bei der Berechnung von Wahrscheinlichkeiten individuellen Verhaltens zu sorgen; in der Erwägung, dass Transparenz dazu führen sollte, dass der Einzelne über aussagekräftige Informationen über die befolgte Logik, die Bedeutsamkeit und die beabsichtigten Folgen verfügt; in der Erwägung, dass dies die Informationen über die Daten, die für die Schulung der künstlichen Intelligenz verwendet werden, umfassen und dem Einzelnen ermöglichen sollte, die ihn betreffenden Entscheidungen nachzuvollziehen und zu kontrollieren;

C.  in der Erwägung, dass ernsthafte Befürchtungen bestehen, dass der derzeitige EU-Rechtsrahmen, einschließlich des Besitzstandes im Bereich des Verbraucherrechts, der Produktsicherheit sowie der Marktaufsichts- und Antidiskriminierungsvorschriften nicht immer geeignet ist, die von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien ausgehenden Risiken wirksam in Angriff zu nehmen;

D. in der Erwägung, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien schwerwiegende Auswirkungen auf die materiellen und immateriellen Güter von Personen, Gruppen und der Gesellschaft als Ganzes haben können, und dass diese individuellen und kollektiven Schäden in gesetzgeberischen Gegenmaßnahmen berücksichtigt werden müssen;

E. in der Erwägung, dass Lenkungsfragen beim Einsatz der KI im öffentlichen Sektor hinsichtlich ihrer Auswirkungen auf die Demokratie, insbesondere auf die demokratische Legitimität, Rechenschaftspflicht, sinnvolles öffentliches Engagement und Kontrolle, gebührend berücksichtigt werden müssen;

F. in der Erwägung, dass Datenanalysen und KI sich immer stärker auf die Informationen auswirken, die den Bürgern zugänglich gemacht werden; in der Erwägung, dass eine missbräuchliche Verwendung derartiger Technologien die Grundrechte auf Information sowie die Freiheit und Pluralität der Medien gefährden könnte;

G. in der Erwägung, dass ethische Leitlinien wie die von der Hochrangigen Expertengruppe für künstliche Intelligenz angenommenen Grundsätze ein guter Anfang sind, jedoch nicht ausreichen, um sicherzustellen, dass Unternehmen gerecht agieren, und für einen wirksamen Schutz von Menschen zu sorgen;

1. betont, dass die Chancen und Möglichkeiten von künstlicher Intelligenz nur von den Bürgern, dem öffentlichen und dem privaten Sektor, den akademischen Kreisen und der Wissenschaft in vollem Umfang genutzt und wahrgenommen werden können, wenn das Vertrauen der Öffentlichkeit in diese Technologien dadurch sichergestellt wird, dass eine konsequente Durchsetzung der Grundrechte, die Einhaltung des derzeitigen Datenschutzrechts der EU und Rechtssicherheit für alle beteiligten Akteure sichergestellt werden; betont, dass die Verarbeitung personenbezogener Daten nur gemäß einer der in Artikel 6 der Verordnung (EU) Nr. 2016/679 festgelegten Rechtsgrundlagen möglich ist; hält es für ausschlaggebend, dass Transparenz und eine gute Information der betroffenen Personenkreise wesentlich für den Aufbau von Vertrauen in der Öffentlichkeit und den Schutz der Rechte des Einzelnen sind;

2. betont, dass die Einhaltung der geltenden Datenschutzgesetze zusammen mit strengen wissenschaftlichen, ethischen und rechtlichen Normen und Methoden für die demokratische Kontrolle der KI der Schlüssel zur Schaffung von Vertrauen in und Verlässlichkeit von KI-Lösungen ist; betont, dass die Informationen, die sich mithilfe von KI ergeben, keinen unparteiischen Überblick über den jeweiligen Gegenstand verschaffen und nur so verlässlich sind, wie dies die zugrunde liegenden Daten erlauben; betont, dass durch prädiktive Analysen, die auf KI gestützt sind, nur eine statistische Wahrscheinlichkeit ermittelt und deshalb nicht immer eine individuelle Verhaltensweise zutreffend vorhergesagt werden kann; betont deshalb, dass strenge wissenschaftliche, ethische und rechtliche Standards für die Verwaltung der Datenerhebung und die Beurteilung der Ergebnisse solcher KI-Analysen unverzichtbar sind;

3. ist der Auffassung, dass jeder Rahmen ethischer Grundsätze für die Entwicklung, den Einsatz und die Nutzung der KI, der Robotik und damit zusammenhängender Technologien die EU-Charta der Grundrechte uneingeschränkt achten und dadurch die Menschenwürde, die Autonomie und die Selbstbestimmung des Einzelnen achten, Schaden abwenden, Fairness, Inklusion und Transparenz fördern, Vorurteile und Diskriminierung, auch von Minderheitengruppen, beseitigen und die Grundsätze der Begrenzung der negativen externen Effekte der eingesetzten Technologie, der Erklärbarkeit der Technologien und die Garantie, dass die Technologien dazu da sind, den Menschen zu dienen und sie nicht zu ersetzen oder für sie zu entscheiden, achten und einhalten sollte, mit dem letztendlichen Ziel, das Wohlergehen aller Menschen zu steigern;

4. weist auf die Asymmetrie zwischen denjenigen hin, die KI-Technologien einsetzen, und denjenigen, die mit ihnen interagieren und ihnen unterworfen sind; betont in diesem Zusammenhang, dass das Vertrauen der Bürger in KI nur mittels eines Rechtsrahmens der maßgeschneiderten Ethik mit entsprechenden Vorgaben entstehen kann, mit dem sichergestellt wird, dass bei jeglicher eingesetzter KI die Charta der Grundrechte der Europäischen Union, das EU-Recht und die Verträge uneingeschränkt geachtet und eingehalten werden; ist der Ansicht, dass dies im Einklang mit dem Vorsorgeprinzip stehen sollte, von dem sich die EU-Rechtsvorschriften leiten lassen und das im Mittelpunkt eines jeden Rahmens für KI stehen sollte; fordert in diesem Zusammenhang ein klares und stimmiges Lenkungsmodell, das es Unternehmen und Innovatoren ermöglicht, künstliche Intelligenz, Robotik und damit zusammenhängende Technologien weiterzuentwickeln;

5. fordert die Europäische Union und die Mitgliedstaaten auf, das öffentliche Bewusstsein für die Risiken und Chancen des Einsatzes von KI als ethische Vorgabe zu fördern;

6. ist der Auffassung, dass der derzeitige EU-Rechtsrahmen, insbesondere in Bezug auf den Schutz der Privatsphäre und personenbezogener Daten, in vollem Umfang für KI, die Robotik und damit zusammenhängende Technologien gelten und regelmäßig überprüft, kontrolliert und erforderlichenfalls aktualisiert werden muss, damit die von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien ausgehenden Risiken wirksam eingedämmt werden; ist ferner der Auffassung, dass es in dieser Hinsicht von Vorteil wäre, wenn der Rechtsrahmen durch solide ethische Leitprinzipien ergänzt würde; weist darauf hin, dass in den Fällen, in denen es verfrüht wäre, Rechtsakte zu verabschieden, auf einen Rahmen mit nicht zwingenden Rechtsvorschriften (Soft Law) zurückgegriffen werden sollte;

7. erwartet, dass die Kommission als Folgemaßnahme zum Weißbuch zur künstlichen Intelligenz einen soliden ethischen Rahmen in den anstehenden Legislativvorschlag integriert, der unter anderem die Aspekte Sicherheit, Haftung und Grundrechte umfasst und die Möglichkeiten der KI-Technologien maximiert und die Risiken minimiert; erwartet, dass der bevorstehende Gesetzesvorschlag politische Lösungen für die wichtigsten erkannten Risiken der künstlichen Intelligenz enthalten wird, unter anderem hinsichtlich der ethisch unbedenklichen Erfassung und Nutzung von Massendaten und der Frage der Transparenz und Voreingenommenheit von Algorithmen; fordert die Kommission auf, Kriterien und Indikatoren zur Kennzeichnung von KI-Technologie zu entwickeln, um Transparenz, Erklärbarkeit und Rechenschaftspflicht zu fördern und Anreize für zusätzliche von Entwicklern zu treffende Vorsichtsmaßnahmen zu schaffen; betont daher, dass systematisch und unverzüglich die Einbeziehung dieser nicht technischen Fächer, die sich mit dem gesellschaftlichen Kontext beschäftigen, in die Lehre und Forschung von KI vorangetrieben werden muss;

8. erinnert daran, dass KI je nachdem, wie sie entwickelt, verwendet und angewandt wird, das Potenzial hat, Verzerrungen zu schaffen und zu verstärken, auch durch inhärente Verzerrungen in den zugrunde liegenden Datensätzen, und daher verschiedene Formen der automatischen Diskriminierung, einschließlich indirekter Diskriminierung, zu bewirken, die bestimmte Gruppen von Menschen mit ähnlichen Merkmalen betreffen; fordert die Kommission und die Mitgliedstaaten auf, alle möglichen Maßnahmen zu ergreifen, um solche Verzerrungen zu vermeiden und den vollen Schutz der Grundrechte zu gewährleisten;

9. stellt fest, dass der Bereich der KI, der Robotik und damit zusammenhängender Technologien auffallend homogen ist und es ihm an Vielfalt mangelt; erkennt an, dass dafür gesorgt werden muss, dass sich in den Teams, die diese Systeme entwerfen, entwickeln, testen, warten, einsetzen und beschaffen, die Vielfalt ihrer Nutzung und der Gesellschaft im Allgemeinen widerspiegelt, damit sichergestellt wird, dass nicht unwissentlich diskriminierende Einstellungen in diese Technologien „eingebaut“ werden;

10. ist der Ansicht, dass es eine wirksame grenzüberschreitende Zusammenarbeit und ethische Normen nur dann geben kann, wenn alle Beteiligten danach trachten, die Handlungs- und Kontrollfähigkeit des Menschen, die technische Belastbarkeit und Sicherheit, Transparenz und Rechenschaftspflicht, Vielfalt, Nichtdiskriminierung und Fairness sowie das Gemeinwohl und eine intakte Umwelt sicherzustellen, und die etablierten Grundsätze der Privatsphäre, der Datenverwaltung und des Datenschutzes (insbesondere die in der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates (DSGVO) verankerten Grundsätze) zu achten;

11. fordert einen risikobasierten und zukunftsorientierten Ansatz zur Regulierung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, einschließlich technologieneutraler Standards für alle Branchen und gegebenenfalls mit branchenspezifischen Standards; ist der festen Überzeugung, dass ein in der ganzen EU umsetzbarer ethischer Rahmen für jeden gelten sollte, der beabsichtigt, KI-Anwendungen in der EU zu entwickeln oder zu betreiben, damit es nicht zu einer Zersplitterung kommt; fordert die Europäische Union auf, eine intensive und transparente Zusammenarbeit und den Wissensaustausch zwischen dem öffentlichen und dem privaten Sektor zu fördern, damit sich bewährte Verfahren herausbilden und risikoreiche KI-Anwendungen ermittelt werden;

12. spricht sich für eine digitale Verantwortung von Unternehmen auf freiwilliger Basis aus; ist der Ansicht, dass die EU Unternehmen unterstützen sollte, die von sich aus digitale Technologien und KI in ihren Unternehmen auf ethische Weise einsetzen; ist der Ansicht, dass die EU Unternehmen dazu anregen sollte, proaktiv zu werden, indem sie eine Plattform schafft, auf der sich Unternehmen über ihre Erfahrungen mit ethischer Digitalisierung austauschen können, und die Maßnahmen und Strategien der teilnehmenden Unternehmen koordiniert;

13. betont, dass der Schutz von Netzwerken, die aus einem Verbund von KI und Robotertechnik bestehen, wichtig ist und dass wirksame Maßnahmen ergriffen werden müssen, damit Verstöße gegen die Sicherheitsbestimmungen, Datenlecks, die Verfälschung von Daten, Cyberangriffe und der Missbrauch persönlicher Daten verhindert werden, weshalb es notwendig sein wird, dass die zuständigen Agenturen, Einrichtungen und Institutionen sowohl auf europäischer als auch auf nationaler Ebene mit den Endnutzern dieser Technologien zusammenarbeiten; fordert die Kommission und die Mitgliedstaaten auf, dafür zu sorgen, dass die europäischen Werte und die Achtung der Grundrechte bei der Entwicklung und dem Einsatz der KI-Technologie jederzeit eingehalten werden, damit die Sicherheit und Widerstandsfähigkeit der digitalen Infrastruktur der EU sichergestellt wird;

14. verweist in diesem Zusammenhang auf die Bestimmungen der Verordnung (EU) 2019/881 des Europäischen Parlaments und des Rates über die ENISA und den Rechtsakt zur Cybersicherheit, insbesondere die Rolle der ENISA bei der Förderung von Sensibilisierungs- und Aufklärungskampagnen, die sich an Endnutzer richten, unter anderem zu potenziellen Cyberbedrohungen und kriminellen Aktivitäten im Internet, sowie bei der Förderung wesentlicher Datenschutzmaßnahmen; erkennt den Mehrwert dieser EU-Agentur in diesem Zusammenhang an;

15. betont, dass die böswillige Nutzung von KI eine Gefahr für die Werte unserer Demokratien und die Grundrechte der Bürger der Europäischen Union darstellen kann; fordert die Kommission auf, einen Rahmen vorzuschlagen, mit dem diejenigen bestraft werden, die mithilfe dieser Technologie die Wahrnehmung der Realität durch Desinformationskampagnen verzerren oder Cyberangriffe auslösen, um die digitale Cybersicherheit zu verletzen;

16. stellt fest, dass KI, Robotik und damit zusammenhängende Technologien im Bereich der Strafverfolgung und der Grenzkontrolle die öffentliche Sicherheit erhöhen könnten, aber auch eine umfassende und strenge öffentliche Kontrolle und ein höchstmögliches Maß an Transparenz sowohl hinsichtlich der Risikobewertung einzelner Anwendungen als auch hinsichtlich eines allgemeinen Überblicks über den Einsatz von KI, Robotik und damit zusammenhängenden Technologien im Bereich der Strafverfolgung und der Grenzkontrolle notwendig machen; ist der Auffassung, dass diese Technologien erhebliche ethische Risiken bergen, die angemessen angegangen werden müssen, wenn man die möglichen negativen Auswirkungen auf den Einzelnen, insbesondere auf sein Recht auf Privatsphäre, Datenschutz und Nichtdiskriminierung, berücksichtigt; betont, dass ihr Missbrauch zu einer direkten Bedrohung für die Demokratie werden kann und dass bei ihrem Einsatz und ihrer Verwendung die Grundsätze der Verhältnismäßigkeit und Notwendigkeit, die Charta der Grundrechte sowie das einschlägige Sekundärrecht der EU wie die EU-Datenschutzvorschriften eingehalten werden müssen; betont, dass Urteile niemals von künstlicher Intelligenz anstelle von Menschen gefällt werden sollten; ist der Auffassung, dass Entscheidungen, wie z.B. über eine Kaution oder Bewährungsstrafe bzw. über das Recht, vor Gericht gehört zu werden, oder Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen und eine Rechtswirkung gegenüber Einzelpersonen erzeugen oder diese erheblich beeinträchtigen, stets von einem Menschen eingehend geprüft und genehmigt werden müssen;

17. warnt davor, dass aufgrund der einschneidenden Wirkungen der Entscheidungen und Maßnahmen von Strafverfolgungsbehörden – auch mittels Datenverarbeitung und künstlicher Intelligenz – auf das Leben und die Rechte der Bürger höchste Vorsicht geboten ist, damit unrechtmäßige Diskriminierung und die gezielte Verfolgung bestimmter Personen oder Personengruppen nach Kategorien wie Rasse, Hautfarbe, ethnische oder soziale Herkunft, genetische Merkmale, Sprache, Religion oder Weltanschauung, politische oder sonstige Überzeugungen, Eigentumsverhältnisse, Geburt, Behinderung, Alter, Geschlecht, Ausdruck der Geschlechtlichkeit oder Geschlechtsidentität, sexuelle Orientierung, Aufenthaltsstatus, Gesundheit oder Zugehörigkeit zu einer nationalen Minderheit bzw. nach etwaigen anderen bestimmten Wesensmerkmalen verhindert wird, die häufig Gegenstand einer Erstellung von Profilen auf der Grundlage der ethnischen Zugehörigkeit oder einer intensiveren Polizeiarbeit der Strafverfolgungsbehörden ist; fordert eine angemessene Ausbildung der mit der Sammlung von Daten und Nutzung der aus der KI gewonnenen Erkenntnisse betrauten Personen;

18. weist darauf hin, dass ein Gegengewicht zu der sich aus diesen Technologien ergebenden Möglichkeit, personenbezogene und nicht personenbezogene Daten zu nutzen, um Personen zu kategorisieren und gezielt anzusprechen (sogenanntes Mikrotargeting), Schwachstellen einer Person zu ermitteln oder präzises vorhersagbares Wissen auszunutzen, gesetzt werden muss, und zwar durch wirksam durchgesetzte Grundsätze des Datenschutzes und des Schutzes der Privatsphäre wie die Datenminimierung, das Recht, gegen die Erstellung von Profilen Einspruch zu erheben und seine Daten zu kontrollieren, das Recht auf Erläuterung einer auf einer automatisierten Verarbeitung beruhenden Entscheidung, den Grundsatz des eingebauten Schutzes der Privatsphäre sowie die Grundsätze der Verhältnismäßigkeit, der Notwendigkeit und der Beschränkung auf der Grundlage eines genau festgelegten Zwecks; weist darauf hin, dass zwar bestimmte Modelle der vorausschauenden Polizeiarbeit („predictive policing“) einen besseren Schutz der Privatsphäre gewährleisten als andere, z. B. wenn Wahrscheinlichkeitsprognosen über Orte oder Ereignisse erstellt werden, nicht aber über einzelne Personen, dass sich jedoch gezeigt hat, dass sich durch Systeme der vorausschauenden Polizeiarbeit aufgrund der bestehenden Verzerrungen – etwa in Form des „racial profiling“ oder der Erstellung von Profilen aufgrund eines Migrationshintergrunds oder des beruflichen Hintergrunds, selbst wenn dies nicht dem tatsächlichen Kriminalitätsniveau entspricht – das Problem übermäßiger Polizeieinsätze noch verschärft hat;

19. betont, dass Bürger das Recht haben, in die von ihnen genutzten und die von anderen Menschen genutzten Technologien zu vertrauen; betont, dass KI und Robotik nicht davor gefeit sind, Fehler zu begehen, und betont daher die Bedeutung des Rechts auf eine Erklärung, wenn Personen einer Entscheidungsfindung mittels Algorithmen unterworfen werden, sowie, dass Algorithmen transparent sein müssen, da Transparenz hinsichtlich der zugrunde liegenden Logik eines Algorithmus für die Betroffenen von großer Bedeutung ist, damit ihre Grundrechte umfassend geschützt werden; hält es für notwendig, dass die Gesetzgeber über die komplexe Frage der Haftung nachdenken und dass bei allen KI-Anwendungen stets eine natürliche oder juristische Person haften sollte;

20. betont, dass es sich bei KI, Robotik und damit zusammenhängenden Technologien um globale Technologien handelt und dass entsprechende Normen weltweit angenommen werden müssen, damit ihre künftige Entwicklung den europäischen Werten und Ethiknormen entspricht; fordert die Kommission auf, sich in internationalen Foren mit gleichgesinnten Partnern, etwa den Vereinigten Staaten, den G7, den G20 und der OECD, im Rahmen einer KI-Diplomatik für die Festlegung gemeinsamer ethischer Normen und Leitlinien für die Entwicklung von KI, Robotik und damit zusammenhängenden Technologien einzusetzen;

21 betont, dass ein klarer Rahmen für die Nutzung von KI durch soziale Plattformen und Anforderungen hinsichtlich der Transparenz der verwendeten Algorithmen und deren Kalibrierung eingeführt werden müssen, so dass nicht übermäßig viele Inhalte entfernt werden und jegliche Form der Filterung oder Zensur im Internet verhindert wird;

22 stellt fest, dass KI genutzt werden kann, um Gesichtsmerkmale und audiovisuelle Eigenschaften zu manipulieren, was in der Regel als Deepfakes bezeichnet wird; weist darauf hin, dass diese Technik eingesetzt werden kann, um Wahlen zu manipulieren, Desinformation zu verbreiten und andere nicht erwünschte Handlungen auszuführen; fordert die Kommission daher auf, ihren Ethikrahmen dafür zu nutzen, dass für sämtliches Deepfakes-Material und andere realistisch wirkende künstliche Videos angegeben werden muss, dass es sich nicht um ein Original handelt, und bei der Nutzung für Wahlen strenge Beschränkungen vorzuschreiben;

23. schlägt vor, ein Kompetenzzentrum zu schaffen, in dem Wissenschaft, Forschung, Industrie und einzelne Sachverständige auf EU-Ebene zusammenkommen, und zwar entweder als integraler Bestandteil einer entsprechenden Agentur oder in Verbindung mit ihr, um den Austausch von Wissen und technischem Kenntnissen zu fördern und die Zusammenarbeit in der gesamten EU und darüber hinaus zu erleichtern;

24. weist darauf hin, wie wichtig die sprachliche und kulturelle Vielfalt sind; fordert die Kommission daher auf, mithilfe ihres Ethikrahmens zu verhindern, dass KI-Algorithmen diese Vielfalt verringern, sodass weiterhin eine breite Vielfalt an Inhalten angeboten wird, in denen nicht eine einzige Sprache bzw. ein einziges Kulturmodell dominieren, und jegliche algorithmenbasierte Versuche zu verurteilen, mit denen diese Vielfalt eingeschränkt wird und lediglich Inhalte angeboten werden, die bestimmten bereits bestehenden Mustern entsprechen oder als Echokammer fungieren und somit ein vielfältigeres Angebot unterbinden;

25. empfiehlt, dass die Kommission nachweist, dass sie ihren koordinierten Plan für die KI eindeutig überprüft, bewertet und angepasst hat, um die schwerwiegenden Auswirkungen der KI auf die Grundrechte anzugehen, und dass sie darlegt, wie derartige Risiken im Rahmen des legislativen Ansatzes der EU und bei der Umsetzung der nationalen Strategien der Mitgliedstaaten eingedämmt werden sollen;

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme	22.9.2020
Ergebnis der Schlussabstimmung	+: –: 0:	55 5 7
Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder	Magdalena Adamowicz, Malik Azmani, Katarina Barley, Pernando Barrena Arza, Pietro Bartolo, Nicolas Bay, Vladimír Bilčík, Vasile Blaga, Ioan-Rareş Bogdan, Patrick Breyer, Saskia Bricmont, Joachim Stanisław Brudziński, Jorge Buxadé Villalba, Damien Carême, Anna Júlia Donáth, Lena Düpont, Cornelia Ernst, Laura Ferrara, Nicolaus Fest, Jean-Paul Garraud, Maria Grapini, Sylvie Guillaume, Andrzej Halicki, Balázs Hidvéghi, Evin Incir, Sophia in ‘t Veld, Patryk Jaki, Lívia Járóka, Marina Kaljurand, Assita Kanko, Fabienne Keller, Peter Kofod, Moritz Körner, Alice Kuhnke, Jeroen Lenaers, Juan Fernando López Aguilar, Nuno Melo, Roberta Metsola, Nadine Morano, Javier Moreno Sánchez, Maite Pagazaurtundúa, Nicola Procaccini, Paulo Rangel, Diana Riba i Giner, Ralf Seekatz, Michal Šimečka, Birgit Sippel, Sylwia Spurek, Tineke Strik, Ramona Strugariu, Annalisa Tardino, Tomas Tobé, Dragoş Tudorache, Milan Uhrík, Tom Vandendriessche, Bettina Vollath, Jadwiga Wiśniewska, Elena Yoncheva
Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter	Delara Burkhardt, Gwendoline Delbos-Corfield, Kostas Papadakis, Kris Peeters, Anne-Sophie Pelletier, Sira Rego, Rob Rooken, Paul Tang, Tomáš Zdechovský
Zum Zeitpunkt der Schlussabstimmung anwesende Stellv. (Art. 209 Abs. 7)	Isabel Benjumea Benjumea

 

 

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

55	+
EPP	Magdalena Adamowicz, Isabel Benjumea Benjumea, Vladimír Bilčík, Vasile Blaga, Ioan-Rareş Bogdan, Lena Düpont, Andrzej Halicki, Balázs Hidvéghi, Lívia Járóka, Jeroen Lenaers, Nuno Melo, Roberta Metsola, Nadine Morano, Kris Peeters, Paulo Rangel, Ralf Seekatz, Tomas Tobé, Tomáš Zdechovský
S&D	Katarina Barley, Pietro Bartolo, Delara Burkhardt, Maria Grapini, Sylvie Guillaume, Evin Incir, Marina Kaljurand, Juan Fernando López Aguilar, Javier Moreno Sánchez, Birgit Sippel, Sylwia Spurek, Paul Tang, Bettina Vollath, Elena Yoncheva
RENEW	Malik Azmani, Anna Júlia Donáth, Sophia In 'T Veld, Fabienne Keller, Moritz Körner, Maite Pagazaurtundúa, Michal Šimečka, Ramona Strugariu, Dragoş Tudorache
ID	Peter Kofod
GREENS/EFA	Patrick Breyer, Saskia Bricmont, Damien Carême, Gwendoline Delbos-Corfield, Alice Kuhnke, Diana Riba I Giner, Tineke Strik
ECR	Joachim Stanisław Brudziński, Jorge Buxadé Villalba, Assita Kanko, Nicola Procaccini, Jadwiga Wiśniewska
NI	Laura Ferrara

 

5	-
EUL/NGL	Pernando Barrena Arza, Cornelia Ernst, Anne-Sophie Pelletier, Sira Rego
NI	Kostas Papadakis

 

7	0
ID	Nicolas Bay, Nicolaus Fest, Jean-Paul Garraud, Annalisa Tardino, Tom Vandendriessche
ECR	Rob Rooken
NI	Milan Uhrík

 

Erklärung der benutzten Zeichen:

+ : dafür

- : dagegen

0 : Enthaltung

 

 

 

 

STELLUNGNAHME DES AUSSCHUSSES FÜR BESCHÄFTIGUNG UND SOZIALE ANGELEGENHEITEN (7.9.2020)

für den Rechtsausschuss

mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien

(2020/2012(INL))

Verfasserin der Stellungnahme: Lina Gálvez Muñoz

(Initiative gemäß Artikel 47 der Geschäftsordnung)

 

 

VORSCHLÄGE

Der Ausschuss für Beschäftigung und soziale Angelegenheiten ersucht den federführenden Rechtsausschuss, folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

A. in der Erwägung, dass im Alltag und am Arbeitsplatz immer mehr auf künstliche Intelligenz, Robotik und damit zusammenhängende Technologien (KI) zurückgegriffen wird, was beträchtliche gesellschaftliche und wirtschaftliche Umwälzungen mit sich bringt; in der Erwägung, dass KI den Bürgern und der Gesellschaft zugutekommen sollte, indem durch sie die Lebensqualität verbessert wird, neue Beschäftigungsmöglichkeiten geschaffen werden und die Wettbewerbsfähigkeit der EU gesteigert wird; in der Erwägung, dass KI ein wesentlicher Bestandteil der digitalen Wirtschaft ist und das Potenzial besitzt, den Wohlstand zu fördern und den Wandel hin zu einer nachhaltigen Wirtschaft zu ermöglichen, sofern sie nutzbringend eingesetzt wird;

B. in der Erwägung, dass unter KI Systeme mit einem intelligenten Verhalten zu verstehen sind, die ihre Umgebung analysieren und mit einem gewissen Grad an Autonomie handeln, um bestimmte Ziele zu erreichen; in der Erwägung, dass KI-basierte Systeme rein softwaregestützt in einer virtuellen Umgebung arbeiten können (z. B. Sprachassistenten, Bildanalysesoftware, Suchmaschinen, Sprach- und Gesichtserkennungssysteme), aber auch in Hardware eingebettet sein können (z. B. fortgeschrittene Roboter, autonome Pkw, Drohnen oder Anwendungen des Internets der Dinge);[28]

C. in der Erwägung, dass KI eine strategische Priorität darstellt, deren volles Potenzial nur dann ausgeschöpft werden kann, wenn sich die Nutzer der möglichen Nutzen und Herausforderungen bewusst sind, die diese Technologie mit sich bringt; in der Erwägung, dass sowohl Unternehmen als auch Arbeitnehmer und ihre Vertreter oftmals weder mit den KI-Anwendungen noch mit den ihnen zugrundeliegenden Funktionen und Daten vertraut sind; in der Erwägung, dass es Fälle gibt, in denen KI-Anwendungen gegen bestehende Vorschriften wie den Datenschutz verstoßen;

D. in der Erwägung, dass KI für die Wirtschaft und Gesellschaft von Nutzen sein und Chancen sowohl für Unternehmen als auch für Arbeitnehmer bieten kann, gleichzeitig aber mit einer Reihe von ethischen, rechtlichen und beschäftigungspolitischen Herausforderungen verbunden ist; in der Erwägung, dass der Einsatz von KI am Arbeitsplatz zu integrativen Arbeitsmärkten beitragen und sich auf Gesundheit und Sicherheit am Arbeitsplatz auswirken kann, jedoch auch zur Überwachung, Bewertung, Vorhersage und Steuerung der Leistung von Arbeitnehmern genutzt werden kann, mit direkten und indirekten Auswirkungen auf deren berufliche Laufbahn; in der Erwägung, dass KI einen positiven Einfluss auf die Arbeitsbedingungen haben und sich von der Achtung der Menschenrechte sowie der Grundrechte und -werte der EU leiten lassen sollte; in der Erwägung, dass KI den Menschen in den Mittelpunkt stellen, das Wohlergehen der Menschen und das Gemeinwohl verbessern und zu einem fairen und gerechten Wandel beitragen sollte;

E. in der Erwägung, dass sich KI merklich auf den Arbeitsmarkt auswirkt[29]; in der Erwägung, dass KI potenziell Arbeitnehmer ersetzen kann, die repetitive Tätigkeiten ausführen, und man mit ihr kooperative Mensch-Maschine-Arbeitssysteme ermöglichen, die Wettbewerbsfähigkeit und den Wohlstand steigern und neue Beschäftigungsmöglichkeiten für qualifizierte Arbeitnehmer schaffen kann; in der Erwägung, dass sich die Beschäftigungslage rasant entwickelt, da schätzungsweise 65 % der heutigen Kinder voraussichtlich in völlig neuartigen Berufen arbeiten werden, und dass ein Bedarf an Umschulung und Fortbildung der Arbeitnehmer besteht, insbesondere im Hinblick auf digitale Fertigkeiten, damit niemand zurückgelassen wird und ein ausreichendes Angebot an Fachkräften vorhanden ist[30];

F. in der Erwägung, dass nach Angaben des Europäischen Zentrums für die Förderung der Berufsbildung (Cedefop) rund 43 % der erwachsenen Arbeitnehmer in der EU bereits mit neuen Technologien am Arbeitsplatz konfrontiert sind; in der Erwägung, dass rund sieben von zehn Arbeitnehmern in der EU zumindest gewisse digitale Kompetenzen benötigen, um ihre Arbeit verrichten zu können;[31] in der Erwägung, dass im Durchschnitt etwa ein Viertel der EU-Bürger über keine oder geringe digitale Kompetenzen verfügt; in der Erwägung, dass die digitale Kluft auch spezifische Aspekte im Zusammenhang mit Geschlecht, Alter, Geografie, und Zugänglichkeit umfasst, die angegangen werden müssen; in der Erwägung, dass 42 % der Arbeitnehmer in Unternehmen, die in ihren Geschäftsprozessen KI anwenden, glauben, dass solche Aktivitäten ethische Fragen aufwerfen, die geklärt werden müssen; in der Erwägung, dass 28 % der Arbeitgeber der Ansicht sind, dass sich die Anwendung von KI aufgrund fehlender ethischer Regeln in diesem Bereich nicht in vollem Umfang entwickelt konnte;[32]

G. in der Erwägung, dass die Bedeutung digitaler Lösungen, unter anderem im Bereich Telearbeit, mit all ihren technischen und gesellschaftlichen Implikationen durch die COVID-19-Pandemie verdeutlicht wurde, in der Erwägung, dass es auf EU-Ebene keine gemeinsamen Bestimmungen über die Anwendung von KI am Arbeitsplatz gibt, was zu Marktverzerrungen und Wettbewerbsnachteilen führen könnte; in der Erwägung, dass es für KI einem angemessenen Regulierungsrahmen geben sollte;

H. in der Erwägung, dass die OECD Empfehlungen zu KI ausgearbeitet hat[33];

I. in der Erwägung, dass der Rat der Europäischen Union in Bezug auf KI die Förderung eines ethischen und auf den Menschen ausgerichteten Ansatzes unterstützt[34];

J. in der Erwägung, dass die Sozialpartner auf EU-Ebene eine Rahmenvereinbarung über die Digitalisierung abgeschlossen haben, die unter anderem ein Kapitel über künstliche Intelligenz und die Sicherstellung des Grundsatz der Kontrolle durch den Menschen enthält[35];

K. in der Erwägung, dass einige Mitgliedstaaten bereits spezielle Gremien zur Überwachung und Bewertung des Einflusses von KI am Arbeitsplatz eingerichtet haben;

L. in der Erwägung, dass die Bemühungen zur Bekämpfung von geschlechtsspezifischen Verzerrungen und Ungleichheiten im digitalen Sektor unzureichend sind; in der Erwägung, dass das Geschlechtergefälle in allen Bereichen der digitalen Technologie und insbesondere in Bezug auf KI fortbesteht, wodurch sich in absehbarer Zukunft eine männlich geprägte Entwicklung im digitalen Sektor verfestigen wird;

1. betont, dass die Chancen und Herausforderungen, die sich durch KI-Anwendungen in privaten Unternehmen und staatlichen Betrieben sowie in der öffentlichen Verwaltung in Bezug auf Arbeitsplätze und Arbeitnehmer (einschließlich der Vereinbarkeit von Beruf und Privatleben, der Arbeitsorganisation und der Arbeitsabläufe) ergeben, gründlich analysiert werden müssen; hält es im Rahmen dieser Analyse für unerlässlich, dass der soziale Dialog nicht umgangen, sondern dass die Arbeitnehmer und ihre Vertreter konsultiert werden und mit Beginn des Entscheidungsprozesses ausreichende Informationen erhalten; betont, dass der Einsatz von KI transparent sein muss und dass beim Einsatz von KI-Systemen am Arbeitsplatz die Privatsphäre und Würde der Arbeitnehmer geachtet werden müssen;

2. weist darauf hin, dass der Entwicklung, dem Einsatz und der Implementierung von KI-Systemen eine umfassende Risikobewertung vorausgehen sollte, in der ihre Auswirkungen auf die Grundrechte und die Arbeitsbedingungen, auch im Hinblick auf die Gesundheit und Sicherheit am Arbeitsplatz, sowie ihre gesellschaftlichen Folgen bewertet werden; merkt an, dass dabei auch Risiken im Zusammenhang mit menschlichen Entscheidungen und sozialer Diskriminierung sowie die für den Arbeitsmarkt entstehenden Risiken geprüft werden sollten;

3. weist darauf hin, dass KI-Lösungen das Potenzial besitzen, die Arbeitsbedingungen und die Lebensqualität zu verbessern, insbesondere im Hinblick auf eine bessere Vereinbarkeit von Beruf und Privatleben und eine bessere Zugänglichkeit für Arbeitnehmer mit Behinderungen sowie auf die Prognose von Entwicklungen auf dem Arbeitsmarkt und die Unterstützung der Personalverwaltung bei der Verhinderung von menschlichen Vorurteilen, wobei sie auch Bedenken in Bezug auf den Schutz der Privatsphäre und die Gesundheit und Sicherheit am Arbeitsplatz aufwerfen können, wie das Recht auf Nichterreichbarkeit, und zu unverhältnismäßiger und rechtswidriger Überwachung von Arbeitnehmern führen können, die gegen deren Würde und Recht auf Privatsphäre verstoßen, sowie zu diskriminierender Behandlung unter anderem bei Einstellungsverfahren aufgrund voreingenommener Algorithmen, unter anderem wegen des Geschlechts, der Rasse, der ethnischen Zugehörigkeit oder der Zugehörigkeit zu einer schutzbedürftigen Gruppe[36]; ist darüber hinaus besorgt, dass KI die Freiheit und Autonomie von Menschen untergraben und psychischen Gesundheitsbeschwerden von Arbeitnehmern wie dem Burn-out-Syndrom, durch Technologie ausgelösten Stress, psychischer Überlastung und Erschöpfung Vorschub leisten kann; betont, dass KI-Lösungen am Arbeitsplatz transparent und fair sein müssen und keine negativen Auswirkungen auf die Arbeitnehmer haben dürfen;

4. betont, dass die zuständigen Behörden Zugang zu allen Informationen über die für das Training verwendeten Daten, statistischen Modelle und theoretischen Grundsätze im Zusammenhang mit KI-Lösungen sowie über die empirische Gültigkeit ihrer Ergebnisse haben sollten;

5. ist der Ansicht, dass KI dazu beitragen kann, die Fähigkeiten und Kompetenzen von Menschen mit Behinderungen besser zu nutzen, und dass die Anwendung der KI am Arbeitsplatz zu integrativen Arbeitsmärkten und höheren Beschäftigungsquoten für Menschen mit Behinderungen beitragen kann;

6. betont, dass neue technologische Möglichkeiten, wie KI, und das Primat der Arbeitseffizienz nicht zu Ungleichheiten bei technologisch verbesserten Kapazitäten und einer entmenschlichten digitalen Zukunft führen dürfen; betont, dass die Ethik der Innovation einem humanistischen Ansatz folgen muss;

7. ist der Ansicht, dass Nutzer (einschließlich der Arbeitnehmer) und Verbraucher darüber unterrichtet werden sollten, wenn in einem System KI zur Anwendung kommt, und zwar insbesondere bei personalisierten Produkten und Dienstleistungen, und dass sie sinnvolle Informationen über alle ethischen Aspekte von für sie relevanten KI-Anwendungen in leicht verständlicher und zugänglicher Form erhalten sollten, damit sie sachkundige Entscheidungen treffen können; betont, wie wichtig es ist, zu verstehen, wie Algorithmen Daten verarbeiten und bewerten und wie dies begrenzt oder gestoppt werden kann; weist nachdrücklich auf die Notwendigkeit der Kompetenzentwicklung von Arbeitnehmern und ihren Vertretern im Bereich von KI am Arbeitsplatz mittels Schulungen und Weiterbildungsmaßnahmen hin, damit sie die Implikationen von KI-Lösungen besser verstehen können;

8. betont, dass Bewerber und Arbeitnehmer schriftlich ordnungsgemäß informiert werden müssen, wenn KI im Verlauf von Einstellungsverfahren und bei anderen Personalentscheidungen verwendet wird, und wie in diesem Fall eine Überprüfung durch einen Menschen beantragt werden kann, damit eine automatisierte Entscheidung rückgängig gemacht wird;

9. betont, dass dafür gesorgt werden muss, dass Produktivitätsgewinne durch die Entwicklung und den Einsatz von KI und Robotik nicht nur den Eigentümern und Aktionären von Unternehmen, sondern auch den Unternehmen selbst und den Arbeitnehmern durch eine Verbesserung der Arbeits- und Beschäftigungsbedingungen (wie Löhne, Wirtschaftswachstum und -entwicklung) sowie der Gesellschaft insgesamt zugutekommen, insbesondere wenn diese Gewinne auf Kosten von Arbeitsplätzen erreicht werden; fordert die Mitgliedstaaten auf, die potenziellen Auswirkungen von KI auf den Arbeitsmarkt und die Sozialversicherungssysteme eingehend zu untersuchen und Strategien zu entwickeln, wie langfristige Stabilität durch eine Reform der Steuern und Sozialbeiträge und durch andere Maßnahmen im Falle geringerer öffentlicher Einnahmen sichergestellt werden kann;

10. betont, wie wichtig Investitionen von Unternehmen in formale und informelle Weiterbildung und in lebenslanges Lernen sind, damit ein gerechter Wandel in Richtung einer digitalen Wirtschaft unterstützt wird; betont in diesem Zusammenhang, dass Unternehmen, die KI einsetzen, die Verantwortung dafür tragen, allen betroffenen Mitarbeitern eine angemessene Umschulung und Fortbildung anzubieten, damit sie den Umgang mit digitalen Werkzeugen und die Arbeit mit Co-Bots und anderen neuen Technologien erlernen und sich so an die sich ändernden Bedürfnisse des Arbeitsmarktes anpassen und im Beschäftigungsverhältnis bleiben können;

11. fordert die Anwendung des Vorsorgeprinzips im Hinblick auf neue Technologien auf der Grundlage von KI; betont den Grundsatz, wonach der Mensch Maschinen und die KI immer unter Kontrolle haben muss, und dass KI-Entscheidungen rechenschaftspflichtig, anfechtbar und gegebenenfalls umkehrbar sein müssen; betont, dass die Schutz- und Sicherheitsstandards für KI eingehalten werden müssen, und wie wichtig regelmäßige Überprüfungen und Kontrollen in dieser Hinsicht sind, um fehlerhafte KI-Ergebnisse zu verhindern; weist darauf hin, dass die Vorschriften über die Anwendung von KI sowohl im Hinblick auf Arbeitsunfälle als auch auf Schäden, die Dritten zugefügt werden, klar definiert werden müssen;

12. betont, dass KI den Menschen in den Mittelpunkt stellen sowie transparent, sicher und unbedenklich sein muss und nicht gegen die Grundrechte und geltenden Gesetze und Vorschriften einschließlich der Datenschutz-Grundverordnung (DSGVO) verstoßen darf, und zwar während des gesamten Lebenszyklus des Systems, insbesondere wenn es am Arbeitsplatz eingesetzt wird; fordert die Entwicklung eines zuverlässigen Zertifizierungssystems, das auf Testverfahren beruht und sich am Vorsorgeprinzip orientiert, damit Unternehmen nachweisen können, dass ihre KI-Produkte den Grundrechten und den EU-Normen entsprechen;

13. erinnert daran, dass der Besitzstand der Europäischen Union im Bereich Beschäftigung und Soziales uneingeschränkt auf KI Anwendung findet, und fordert die Kommission und die Mitgliedstaaten auf, für eine ordnungsgemäße Durchsetzung zu sorgen und alle potenziellen Gesetzeslücken zu schließen; stellt fest, dass die EU weltweit eine führende Rolle einnehmen kann, wenn es darum geht, eine sozial verantwortliche Nutzung von KI zu fördern;

14. betont, wie wichtig ein gemeinsamer europäischer Ansatzes in Bezug auf die ethischen Aspekte der KI ist; betont, dass jeder diesbezügliche Rechtsrahmen angemessen sein und auf einer umfassenden Folgenabschätzung beruhen muss, damit künftige Innovationen und die Schaffung von Arbeitsplätzen nicht behindert werden; fordert in diesem Zusammenhang einen EU-Rechtsrahmen für die ethischen Aspekte von KI, der verhältnismäßig ist und bei dem der Schwerpunkt auf der Arbeitswelt einschließlich der Rechte der Arbeitnehmer und Arbeitsbedingungen liegt; ist der Auffassung, dass allen neuen Arbeitsformen besondere Aufmerksamkeit geschenkt werden sollte, die sich aus der Einführung neuer entsprechender Technologien ergeben, wie beispielsweise der Gig-Ökonomie und Tätigkeit von Online-Plattformen; ist der Meinung, dass ein Rechtsrahmen zur Regelung der Arbeitsbedingungen der Telearbeit in der gesamten EU für menschenwürdige Arbeits- und Beschäftigungsbedingungen in der digitalen Wirtschaft sorgen sowie die Folgen der KI berücksichtigen muss; fordert die Kommission auf, die Sozialpartner, KI-Entwickler und Forschern sowie andere Interessenträger diesbezüglich zu konsultieren;

15. betont, dass KI und mit ihr zusammenhängende Rechtsvorschriften in keiner Weise die Ausübung der in den Mitgliedstaaten und auf EU-Ebene anerkannten Grundrechte, einschließlich des Rechts oder der Freiheit zu streiken oder andere Maßnahmen zu ergreifen, die gemäß den nationalen Rechtsvorschriften bzw. Gepflogenheiten in den spezifischen Systemen der Arbeitsbeziehungen in den Mitgliedstaaten vorgesehen sind, noch das Recht, Tarifverträge auszuhandeln, abzuschließen und durchzusetzen oder Kollektivmaßnahmen gemäß den nationalen Rechtsvorschriften bzw. Gepflogenheiten zu ergreifen, beeinträchtigen dürfen;

16. betont, dass den am Arbeitsplatz mithilfe von KI gesammelten Daten, insbesondere, wenn diese für Personalentscheidungen verwendet werden, besondere Aufmerksamkeit geschenkt werden muss; fordert die Sozialpartner auf Unternehmensebene auf, die Einführung der KI gemeinsam zu analysieren und zu überwachen; fordert die Kommission und die Sozialpartner auf, zu prüfen, ob im Zusammenhang mit KI besondere Bestimmungen zum Datenschutz am Arbeitsplatz erforderlich sind; betont, dass die Arbeitnehmer Eigentümer ihrer Daten sind, auch nach dem Ende eines Arbeitsverhältnisses;

17. ist der Auffassung, dass im Rahmen der europäischen Kompetenzagenda die Herausforderungen der Anpassung und des Erwerbs von Qualifikationen und Kenntnissen im Hinblick auf den ökologischen und digitalen Wandel, einschließlich der ethischen Aspekte von KI, angegangen werden müssen; betont, dass die ethischen Aspekte von KI und die Entwicklung von Kompetenzen im Bereich ethischer Fragen zu einem festen Bestandteil der Lehrpläne für die Aus- und Weiterbildung von Entwicklern und Menschen, die mit KI arbeiten, gemacht werden müssen; betont, dass Entwickler, Programmierer, Entscheidungsträger und Unternehmen, die KI einsetzen, sich ihrer ethischen Verantwortung bewusst sein müssen; hält es ebenfalls für wichtig, dafür zu sorgen, dass die Endnutzer und Verbraucher umfassend informiert werden und dass diesbezüglich ein regelmäßiger Austausch zwischen allen relevanten Akteuren stattfindet;

18. bekräftigt die Bedeutung von Bildung und kontinuierlichem Lernen, wenn es um die Entwicklung der im digitalen Zeitalter erforderlichen Qualifikationen und die Verhinderung von digitaler Ausgrenzung geht; fordert die Mitgliedstaaten auf, in qualitativ hochwertige, reaktionsfähige und integrative Systeme der allgemeinen und beruflichen Bildung und des lebenslangen Lernens sowie in Maßnahmen zur Umschulung und Fortbildung von Arbeitnehmern in Branchen zu investieren, die potenziell stark von KI betroffen sind; betont, dass den jetzigen und künftigen Arbeitskräfte die erforderlichen Lese-, Schreib-, Rechen- und digitalen Fähigkeiten sowie Kompetenzen in Mathematik, Informatik, Naturwissenschaften und Technik (MINT) und bereichsübergreifende Soft Skills wie kritisches Denken, Kreativität und Unternehmergeist vermittelt werden müssen; betont, dass der Eingliederung benachteiligter Gruppen in diesem Zusammenhang besondere Aufmerksamkeit gewidmet werden muss;

19. betont, dass bei KI das Geschlechtergefälle und Geschlechterstereotype nicht dadurch verstärken dürfen, dass analoge Voreingenommenheit und Vorurteile durch Algorithmen in digitale Voreingenommenheit und Vorurteile umgewandelt werden;

20. betont, dass Menschen mit unterschiedlichem Hintergrund, darunter Frauen, junge Menschen, Menschen mit dunkler Hautfarbe und Menschen mit Behinderungen, in die Entwicklung, den Einsatz und die Nutzung der KI einbezogen werden müssen; weist darauf hin, dass KI-gestützte Technologien am Arbeitsplatz für alle zugänglich sein müssen, und zwar auf der Grundlage des Prinzips „Design für Alle“;

21. weist darauf hin, dass der Zugang zu KI-Lösungen eng mit dem Zugang zum Hochgeschwindigkeits-Internet verbunden ist und daher die Breitbandabdeckung eine Priorität sein sollte, um Diskriminierung und ungleichen Zugang zu diesen Technologien zu verhindern;

22. stellt fest, dass die Chancen von KI-Lösungen auf großen Datenmengen beruhen, wobei eine kritische Masse an Daten erforderlich ist, um Algorithmen zu trainieren und Ergebnisse zu verfeinern; begrüßt in diesem Zusammenhang die von der Kommission vorgeschlagene Schaffung eines gemeinsamen Datenraums in der EU zur Stärkung des Datenaustauschs und zur Unterstützung der Forschung unter voller Beachtung der EU-Datenschutzvorschriften;

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme	7.9.2020
Ergebnis der Schlussabstimmung	+: –: 0:	46 6 1
Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder	Atidzhe Alieva-Veli, Abir Al-Sahlani, Marc Angel, Dominique Bilde, Gabriele Bischoff, Vilija Blinkevičiūtė, Andrea Bocskor, Milan Brglez, Sylvie Brunet, David Casa, Leila Chaibi, Margarita de la Pisa Carrión, Özlem Demirel, Klára Dobrev, Jarosław Duda, Estrella Durá Ferrandis, Lucia Ďuriš Nicholsonová, Rosa Estaràs Ferragut, Nicolaus Fest, Loucas Fourlas, Cindy Franssen, Heléne Fritzon, Elisabetta Gualmini, France Jamet, Agnes Jongerius, Radan Kanev, Ádám Kósa, Stelios Kympouropoulos, Katrin Langensiepen, Miriam Lexmann, Elena Lizzi, Radka Maxová, Kira Marie Peter-Hansen, Dragoș Pîslaru, Manuel Pizarro, Dennis Radtke, Elżbieta Rafalska, Guido Reil, Daniela Rondinelli, Mounir Satouri, Monica Semedo, Beata Szydło, Eugen Tomac, Romana Tomc, Yana Toom, Marie-Pierre Vedrenne, Nikolaj Villumsen, Marianne Vind, Maria Walsh, Stefania Zambelli, Tomáš Zdechovský
Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter	Lina Gálvez Muñoz, Eugenia Rodríguez Palop

 

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

46	+
ECR	Lucia Ďuriš Nicholsonová, Elżbieta Rafalska, Beata Szydło, Margarita de la Pisa Carrión
GUE/NGL	Leila Chaibi, Özlem Demirel, Eugenia Rodríguez Palop, Nikolaj Villumsen
NI	Daniela Rondinelli
PPE	Andrea Bocskor, David Casa, Jarosław Duda, Rosa Estaràs Ferragut, Loucas Fourlas, Cindy Franssen, Radan Kanev, Ádám Kósa, Stelios Kympouropoulos, Miriam Lexmann, Dennis Radtke, Eugen Tomac, Romana Tomc, Maria Walsh, Tomáš Zdechovský
Renew	Abir Al-Sahlani, Atidzhe Alieva-Veli, Sylvie Brunet, Dragoș Pîslaru, Monica Semedo, Yana Toom, Marie-Pierre Vedrenne
S&D	Marc Angel, Gabriele Bischoff, Vilija Blinkevičiūtė, Milan Brglez, Klára Dobrev, Estrella Durá Ferrandis, Heléne Fritzon, Lina Gálvez Muñoz, Elisabetta Gualmini, Agnes Jongerius, Manuel Pizarro, Marianne Vind
Verts/ALE	Katrin Langensiepen, Kira Marie Peter-Hansen, Mounir Satouri

 

6	-
ID	Dominique Bilde, Nicolaus Fest, France Jamet, Elena Lizzi, Guido Reil, Stefania Zambelli

 

1	0
Renew	Radka Maxová

 

Erklärung der benutzten Zeichen:

+ : dafür

- : dagegen

0 : Enthaltung

 

 

 

 

STELLUNGNAHME DES AUSSCHUSSES FÜR UMWELTFRAGEN, ÖFFENTLICHE GESUNDHEIT UND LEBENSMITTELSICHERHEIT (16.9.2020)

für den Rechtsausschuss

mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien

(2020/2012(INL))

Verfasser der Stellungnahme: Adam Jarubas

(Initiative gemäß Artikel 47 der Geschäftsordnung)

 

 

VORSCHLÄGE

Der Ausschuss für Umweltfragen, öffentliche Gesundheit und Lebensmittelsicherheit ersucht den federführenden Rechtsausschuss,

– folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

A. in der Erwägung, dass sich die Union auf die in Artikel 2 des Vertrags über die Europäische Union genannten Werte und auf die Achtung des in Artikel 191 Absatz 2 des Vertrags über die Arbeitsweise der Europäischen Union genannten Vorsorgeprinzips gründet;

B. in der Erwägung, dass gemäß Artikel 16 AEUV jede Person das Recht auf Schutz ihrer personenbezogenen Daten hat; in der Erwägung, dass sich Artikel 22 der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates[37] auf die Situation bezieht, in der Daten nur im Wege der automatisierten Verarbeitung verwendet werden, und das Recht der betroffenen Person anerkennt, keiner ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden;

C. in der Erwägung, dass das Rennen um die weltweite Führungsrolle auf dem Gebiet der künstlichen Intelligenz (KI), die für die Festlegung der ethischen Werte und Standards für die Gestaltung der Branche weltweit entscheidend sein wird, beschleunigt wird und dass die Union der übrigen Welt mit einem angemessenen Regelungsrahmen als Vorbild dienen sollte, um ferner einen möglichen Wettlauf nach unten mit Blick auf nationale Rechtsvorschriften zu verhindern;

D. in der Erwägung, dass ethische Werte und Normen bei diesem weltweiten Wettbewerb nicht unberücksichtigt bleiben dürfen;

E.  in der Erwägung, dass sich durch die raschen Fortschritte in Forschung und Innovation einige wichtige ethische, rechtliche und soziale Fragen stellen, die das Verhältnis zwischen Wissenschaft und Gesellschaft beeinflussen; in der Erwägung, dass gemäß den Bestimmungen der europäischen Forschungsprogramme bei diesen Forschungs- und Innovationstätigkeiten die ethischen Grundsätze und einschlägigen Rechtsvorschriften der Mitgliedstaaten und der Union sowie internationale Vorschriften zu beachten sind, einschließlich der Charta der Grundrechte der Europäischen Union und der Europäischen Konvention zum Schutz der Menschenrechte und Grundfreiheiten;

F. in der Erwägung, dass die Integration von Big Data und KI-Technologien in öffentliche Gesundheitssysteme und andere Branchen mit angemessenen Regeln, Normen und Rechtsvorschriften einhergehen muss, mit denen die Grundrechte des Einzelnen geschützt und diese neuen ethischen Herausforderungen bewältigt werden;

G. in der Erwägung, dass derzeit in der Union im Vergleich zu anderen Teilen der Welt eine wahrnehmbare Lücke in Bezug auf Patente und Investitionen besteht;

H. in der Erwägung, dass KI- und andere sich abzeichnende digitale Lösungen der Gesellschaft unter anderem in den Bereichen des Übergangs zu einer grünen Wirtschaft, des Umweltschutzes und des Schutzes der biologischen Vielfalt, der Steigerung der Effizienz der Landwirtschaft, der Abfallbewirtschaftung, der Kreislaufwirtschaft, der Eindämmung des Klimawandels und der Anpassung an den Klimawandel, der Ökologisierung verschiedener industrieller Verfahren, des Energie- und Verkehrsmanagements und der Energieeffizienz, der Wasser- und Luftqualität (beispielsweise durch intelligente Netze und Elektromobilität), des Risikomanagements und der Erdbeobachtung (ein Gebiet, auf dem das Programm Copernicus der Union zu den führenden zählt) zugutekommen können;

I. in der Erwägung, dass die künstliche Intelligenz auf nahezu alle Bereiche der Medizin angewandt werden kann: auf die biomedizinische Forschung, wie das durch die KI entdeckte Antibiotikum Halicin oder KI-Beiträge zur Krebsvorsorge zeigen, auf frühere und präzisere Diagnosen und neue Therapien mit Methoden wie der prädiktiven oder der genomischen Medizin, die medizinische Ausbildung, die Unterstützung der Pflegenden, die Unterstützung in der Altenpflege, die Überwachung des Zustands von Patienten, die effiziente Entwicklung von Arzneimitteln, die gezieltere Behandlung, die klinische Entscheidungsfindung, die personalisierte Medizin, die psychiatrische Diagnose und Therapie, die Revolutionierung robotergesteuerter Prothesen und Unterstützungssysteme, die Telemedizin, die Telechirurgie und die Verbesserung des Gesamtwirkungsgrads und der Interoperabilität der Gesundheitssysteme;

J.  in der Erwägung, dass der digitale Fortschritt eine angemessene Schulung und Vorbereitung des medizinischen Personals und des Verwaltungspersonals erfordert, um eine digitale Kluft zu vermeiden, wobei unseren alternden Gesellschaften und den möglichen Herausforderungen für die Gesundheitssysteme Rechnung getragen werden muss;

K. in der Erwägung, dass erhebliche ethische Bedenken im Zusammenhang mit autonomen Maschinen bestehen;

L. in der Erwägung, dass die digitale Gesundheit die Pflege nicht entmenschlichen und die Beziehung zwischen Arzt und Patient nicht schwächen sollte, sondern die Ärzte bei der Diagnose und/oder Behandlung von Patienten wirksamer unterstützen sollte;

M. in der Erwägung, dass die KI-Technologien den digitalen Wandel der Industrie beschleunigen und eine wesentliche Rolle für den Erfolg der digitalen Wirtschaft in einer zunehmend vernetzten Welt spielen;

N. in der Erwägung, dass im derzeitigen Rechtsrahmen der Union und ihren Ethikleitlinien bereits eine Auseinandersetzung mit einigen ethischen Herausforderungen im Zusammenhang mit KI-Anwendungen, die im Weißbuch der Kommission über künstliche Intelligenz genannt werden, stattgefunden hat, z. B. bestehende Risikobewertungsverfahren für KI-basierte Gesundheitslösungen im Binnenmarkt; in der Erwägung, dass andere Bereiche hinter den ethischen Herausforderungen zurückbleiben, die es zu ermitteln und abzumildern gilt, da die KI die Präferenzen, Sicherheit und Privatsphäre von Patienten stark gefährden kann; in der Erwägung, dass die Grenzen zwischen der Rolle der medizinischen und pflegerischen Fachkräfte und der Rolle der Maschinen bei der Patientenversorgung abgesteckt werden müssen, auch der Grundsatz der kontrollierten Roboterautonomie, und dass Schulungen für Beschäftigte im Gesundheitswesen und Patienten durchgeführt werden müssen;

O. in der Erwägung, dass die Datenschutzvorschriften der EU angepasst werden sollten, um der zunehmenden Komplexität und Vernetzung von in der Pflege oder der Medizin eingesetzten Robotern Rechnung zu tragen, die möglicherweise hochsensible personenbezogene Daten und Gesundheitsdaten verwalten müssen, und dass sie mit dem eingebauten Datenschutz gemäß der Verordnung (EU) 2016/679 über den Datenschutz in Einklang gebracht werden sollten;

P. in der Erwägung, dass Lösungen, mit denen die Notwendigkeit betont wird, die wissenschaftliche Forschung zur Grundlage von Entwicklungsstrategien zu erheben, indem Speicher für medizinische (z. B. neurologische und kardiologische) Daten geschaffen werden, und dass der Austausch von Daten, die aus dieser Forschung hervorgehen, erhebliche gesellschaftliche Vorteile hinsichtlich der öffentlichen Sicherheit und Gesundheit mit sich bringen können;

Q. in der Erwägung, dass KI-Lösungen der Gesellschaft im Bereich der Lebensmittelsicherheit zugutekommen können, unter anderem durch die Verringerung des Einsatzes von Pestiziden, die Unterstützung der Präzisionslandwirtschaft oder allgemein der Landwirtschaft 2.0, bei der die Union mit Blick auf KI-gestützte Anwendungen eine führende Rolle einnimmt (etwa für automatisierten Maschinenanpassungen für die Wettervorhersage und die Erkennung von Krankheiten), wodurch eine wirksamere Produktion mit höheren Umweltstandards und einer besseren Nutzung der Ressourcen, insbesondere in Gebieten, in denen die Wasserressourcen knapp sind und der Klimawandel schwerwiegende Auswirkungen hat, kombiniert werden kann, wie dies im Einklang mit den Prioritäten des Grünen Deals erfolgen sollte;

R. in der Erwägung, dass der Anwendungsbereich dieses Rechtsrahmens angemessen und verhältnismäßig sein und gründlich geprüft werden sollte; in der Erwägung, dass sich der Anwendungsbereich auf ein breites Spektrum von Technologien und deren Komponenten, einschließlich der von ihnen genutzten oder erstellten Algorithmen, Software und Daten, erstrecken sollte; in der Erwägung, dass ein zielgerichteter Ansatz, der auf dem Konzept des hohen Risikos beruht, erforderlich ist, um zu vermeiden, dass künftige Innovationen bei der Erzielung von Vorteilen aus KI-Anwendungen, z. B. im Gesundheitswesen, im Umweltschutz und bei der Lebensmittelqualität für die Bürger, behindert werden;

S. in der Erwägung, dass es von grundlegender Bedeutung ist, einen wirksamen Weg zu ermitteln, um vertrauenswürdige digitale Technologien zu gewährleisten, damit deren Vorteile genutzt werden können, während zugleich die Grundrechte zu schützen sind und die Entwicklung informeller, offener, toleranter und gerechter Gesellschaften zu fördern ist; in der Erwägung, dass dies besonders bei Systemen der hybriden Intelligenz, bei denen menschliche und künstliche Intelligenz kombiniert werden, wichtig ist;

T. in der Erwägung, dass Maschinen im Bereich der Robotik die Grenzen zwischen menschlichen Subjekten und technologischen Objekten verwischen; in der Erwägung, dass diese Geräte nicht nur gesellschaftliche Auswirkungen haben, die aus einem ethischen Blickwinkel untersucht werden müssen, sondern sogar die ethischen Rahmen, auf deren Grundlage sie untersucht werden sollen, infrage stellen; in der Erwägung, dass – wie es im Bericht der Weltkommission für Ethik in Wissenschaft und Technologie (COMEST) heißt – besonderes Augenmerk auf den Einsatz von medizinischen Robotern, Krankenpflegerobotern, Altenpflegerobotern und Begleitrobotern gelegt werden sollte;

U. in der Erwägung, dass der Einsatz von sozialen Robotern und Begleitrobotern im Bereich der Gesundheitsversorgung und insbesondere in der Altenpflege rasch zunimmt; in der Erwägung, dass Altenpflegeroboter und Begleitroboter funktionale und emotionale Aufgaben übernehmen können; in der Erwägung, dass derartige Roboter dazu beitragen können, die Einsamkeit älterer Menschen zu verringern, Verhaltensweisen im Zusammenhang mit Demenz vorzubeugen, die kognitiven Aktivitäten von Patienten mit neurodegenerativen Erkrankungen anzuregen oder bestimmte Aufgaben des täglichen Lebens auszuführen, die älteren Menschen Schwierigkeiten bereiten; in der Erwägung, dass Begleitroboter auch falsche, illusorische und unerwiderte Gefühle hervorrufen können, indem sie ältere Menschen täuschen und infantilisieren;

V. in der Erwägung, dass Begleitroboter mehr und mehr auch für sexuelle Zwecke genutzt werden können; in der Erwägung, dass aus ethischer Sicht die Nutzung von Sexualrobotern, die aussehen wie Kinder oder zum Missbrauch programmiert sind, besonders besorgniserregend ist;

Ein rechtlicher und ethischer Rahmen für KI:

1. betont, dass die Union alle erforderlichen Maßnahmen ergreifen muss, um die wirksame Anwendung ihrer ethischen Werte, wie sie im Besitzstand festgelegt sind, auf alle Bereiche der KI innerhalb ihres Hoheitsgebiets sicherzustellen und ihre Standards weltweit zu fördern; betont in diesem Zusammenhang, dass die technologischen Entwicklungen im Bereich KI immer dem Wohl des Menschen dienen müssen;

2. unterstreicht, dass die Union alle notwendigen Maßnahmen treffen muss, um das Vertrauen der Gesellschaft in die Entwicklung und Anwendung von KI, Robotik und damit zusammenhängenden Technologien zu erhöhen; weist auf die erheblichen Auswirkungen hin, die diese Technologien auf die Bürgerinnen und Bürger haben können; fordert die Kommission auf, die Ethikleitlinien für vertrauenswürdige KI zu befolgen und angemessene Maßnahmen vorzuschlagen, damit diese Technologien nicht zu ungerecht verzerrten Ergebnissen für die Bürger führen;

3. betont, dass ein auf dem Recht basierendes, von Vertrauen geprägtes KI-Ökosystem der Union, sei es im Hinblick auf Anwendungen im Bereich des Umweltschutzes, der Gesundheit oder der Lebensmittelsicherheit, das durch den Ethikrahmen der Union für KI erweitert wird, die Rechtssicherheit und Voraussagbarkeit stärken, die Beteiligung der Interessenträger fördern, das Volumen der anvertrauten Daten und die Marktakzeptanz erhöhen, Größenvorteile ermöglichen und ein Ökosystem für Exzellenz in diesen Bereichen unterstützen wird; ist der Ansicht, dass dies die internationale Wettbewerbsfähigkeit des KI-Sektors der Union und das Potenzial der Förderung von Werten und Normen der Union stärken wird;

4. weist darauf hin, dass ein gemeinsamer, rechtlich gut verankerter durchsetzbarer Ethikrahmen der Union für KI angesichts der Tatsache, dass mit Rechtsvorschriften besser auf die derzeitigen genau ermittelten Herausforderungen reagiert werden kann und angesichts der raschen Entwicklung der KI, die zu Unsicherheit in Bezug auf die Zukunft führt, für alle Interessenträger ein von Vertrauen geprägtes Ökosystem im Sinne des Weißbuchs der Kommission ausbauen wird, insbesondere im Bereich des Umweltschutzes, des Schutzes der öffentlichen Gesundheit, der Schaffung einer gesünderen Umwelt, der Optimierung der Gesundheitsressourcen oder der Anwendungen im Bereich der Lebensmittelsicherheit, und so das Ökosystem für Exzellenz im Bereich der Rechtssicherheit und Voraussagbarkeit unterstützt und wirksam auf die Herausforderungen reagiert werden kann, die unter anderem in Gerichtssälen, Managementsitzungen oder wissenschaftlichen Laboren noch nicht definiert wurden;

5. stellt fest, dass für die Definition von KI weitere Arbeiten erforderlich sind; unterstreicht daher die Bedeutung eines auf den Menschen ausgerichteten Ansatzes und regelmäßiger Überprüfungen von Fortschritten bei der KI und dem Ethikrahmen, um eine proaktive Regulierung zu fördern und deren Anwendbarkeit über einen längeren Zeitraum und unter Berücksichtigung neuer Entwicklungen sicherzustellen; hebt hervor, dass es viele Risikoniveaus gibt, die im Laufe der Zeit durch den Fortschritt der KI-Technologien entstehen; betont, dass ein verhältnismäßiger Rechtsrahmen erforderlich ist, dessen Entwicklung im Einklang mit der Geschwindigkeit des technologischen Fortschritts erfolgen sollte; weist darauf hin, dass das Programm Copernicus als bewährtes Verfahren für die Entwicklung hochwertiger großer Datensätze als Input für KI-Modelle dienen kann;

6. unterstreicht, wie wichtig es ist, einen Regulierungsrahmen einzurichten, in dem festgelegt wird, welche ethischen Grundsätze bei der Konzeption, Entwicklung, Umsetzung und Funktionsweise dieser Technologie berücksichtigt werden müssen – angefangen beim Zugang zu Daten bis hin zu einer strengen Kontrolle der Ergebnisse;

7. hebt hervor, dass ein ausgewogener Ansatz für die Regulierung gefunden werden muss, mit dem in erster Linie sichergestellt wird, dass unsere Werte nicht gefährdet sind, und unnötiger Verwaltungsaufwand, insbesondere für KMU und Start-up-Unternehmen, vermieden wird; betont in diesem Zusammenhang, dass die weltweite Konkurrenz auf dem Gebiet der KI nicht immer denselben ethischen Grundsätzen folgt wie die Union; unterstreicht, dass KI und damit im Zusammenhang stehende Technologien nicht allein einer vereinfachten Selbstregulierung überlassen werden sollten; hält es für wesentlich, dass ein verhältnismäßiger und unterstützender Rechtsrahmen der Union erforderlich ist; weist darauf hin, dass viele Drittstaaten ihre eigenen Ethikrahmen ausarbeiten und dass es zahlreiche Vorschläge auf weltweiter Ebene gibt; ist sich bewusst, dass die Hauptschwierigkeit bei ethischen Grundsätzen eher in der Anwendung dieser Grundsätze als in ihrer Existenz liegen kann;

8. befürwortet, dass die sieben Anforderungen für KI, die in den Ethikleitlinien für vertrauenswürdige künstliche Intelligenz der hochrangigen Expertengruppe für künstliche Intelligenz genannt wurden, solide Bausteine für einen gemeinsamen Ethikrahmen der Union für KI mit einer angemessenen rechtlichen Verankerung bilden, unter anderem in Bezug auf die ethischen Aspekte KI-gestützter Anwendungen in den Bereichen Umwelt, Gesundheit und Lebensmittelsicherheit; fordert eine Verbesserung des Besitzstandes in Bezug auf Transparenz, Rückverfolgbarkeit und Aufsicht durch den Menschen, die von 350 Organisationen in ihren Rückmeldungen zu den Leitlinien als die Bereiche genannt wurden, in denen Verbesserungsbedarf besteht; fordert zudem die Schaffung eines Ethikrahmens der Union für KI im Geiste der Aufgeschlossenheit gegenüber den Arbeiten anderer internationaler Partner, die die Werte der Union teilen, insbesondere die Vereinten Nationen, der Europarat mit seinen „Leitlinien zur künstlichen Intelligenz und zum Datenschutz“ aus dem Jahr 2019[38], der europäischen Ethik-Charta über den Einsatz künstlicher Intelligenz in Justizsystemen und der Arbeit seines Zentrums für Rechtsforschung, der Ad-hoc-Ausschuss für künstliche Intelligenz (CAHAI), die Grundsätze zu KI[39], die die OECD-Mitglieder im Mai 2019 unterzeichnet haben, die Ministererklärung der G20 von 2019 zu Handel und digitaler Wirtschaft, deren Anhang die Grundsätze zur KI enthält, und die Globale Initiative des IEEE zur Ethik autonomer und intelligenter Systeme[40];

9.  spricht sich nachdrücklich dafür aus, dass die Kommission einen gemeinsamen Ethikrahmen der Union für KI schafft, um den Unzulänglichkeiten zu begegnen, die auf die Fragmentierung des KI-Binnenmarktes zurückgehen, unter anderem in Bezug auf die Forschung, Innovation und das Know-how im Hinblick auf Anwendungen in den Bereichen Umwelt, öffentliche Gesundheit, Gesundheitsversorgung und Lebensmittelsicherheit, und verhindert, dass in den Mitgliedstaaten in Bezug auf die KI, die in der Union und außerhalb entwickelt wurde, mit zweierlei Maß gemessen wird, unter anderem in Bereichen wie der Verwaltung von Verbraucherdaten, dem Schutz und der Privatsphäre in intelligenten Netzen, der Abfallbewirtschaftung, dem gleichberechtigten Zugang zu Dienstleistungen und Technologien, den Standards für die Beziehung zwischen Arzt und Patient, den Rechtsvorschriften zu Datenschutz und Privatsphäre, einschließlich ihres Zusammenspiels mit Forschungstätigkeiten und Arzneimittelentwicklung, der zivilrechtlichen Haftung in der KI-gestützten öffentlichen Gesundheitsversorgung und der zivilrechtlichen Haftung in Bezug auf autonome Fahrzeuge und Maschinen; stellt fest, dass die Rechtsvorschriften der Mitgliedstaaten auf nationaler Ebene keine einheitlichen Haftungsregeln beinhalten, die für Schäden oder Verletzungen gelten, die sich aus der Anwendung neuer digitaler und verhaltensbasierter Technologien ergeben könnten; fordert eine angemessene rechtliche Verankerung und Positionierung des Ethikrahmens der Union für KI;

10. weist in diesem Zusammenhang darauf hin, dass das Europäische Parlament die Kommission in seiner Entschließung vom 16. Februar 2017 zu zivilrechtlichen Regelungen im Bereich Robotik[41] aufgefordert hat, die Einrichtung einer europäischen Agentur für Künstliche Intelligenz zu erwägen, damit unter anderem ein harmonisierter Ansatz in der gesamten Union sichergestellt wird, gemeinsame Kriterien und ein Antragsverfahren für die Erteilung eines europäischen Zertifikats über die Einhaltung ethischer Grundsätze entwickelt und die neuen Chancen und Herausforderungen angegangen werden, insbesondere solche, die einen grenzübergreifenden Charakter aufweisen und sich aus laufenden technologischen Entwicklungen ergeben; fordert die Kommission auf, darüber nachzudenken, ob bestehende Organe und Einrichtungen der EU für diese Aufgaben ausreichend sind oder ob eine neue Einrichtung für künstliche Intelligenz geschaffen werden muss;

11. ist der Auffassung, dass für alle KI-Anwendungen, die in der Union und außerhalb der Union entwickelt werden, in der Union das gleiche Schutzniveau wie im Falle aller anderen Technologien gelten muss, einschließlich wirksamer Rechtsbehelfe für Parteien, die von KI-Systemen negativ betroffen sind, und dass sich gleichzeitig die technologische Innovation weiterentwickeln muss; ist ferner der Ansicht, dass dieser Risikobereich der KI beispielsweise für das Gesundheitswesen, den Transport mit autonomen Fahrzeugen und die Lebensmittelsicherheit von entscheidender Bedeutung ist; fordert eine klare Verteilung von Pflichten, Rechten und Haftungen unter den Wirtschaftsakteuren, die an der Bereitstellung von KI-Anwendungen beteiligt sind, um jede Verpflichtung dem/den Akteur(en) zuzuordnen, der/die am besten in der Lage ist/sind, potenzielle Risiken zu beheben, unabhängig davon, ob es sich dabei um den Entwickler, den Anwender, den Hersteller, den Betreiber oder Importeur, den Dienstleister oder den professionellen oder privaten Nutzer handelt, und fordert in diesem Zusammenhang eine angemessene Überarbeitung der einschlägigen EU-Rechtsvorschriften, z. B. der Produkthaftungsrichtlinie, und die Harmonisierung der nationalen Rechtsvorschriften; unterstützt den im Weißbuch zum Ausdruck gebrachten Standpunkt der Kommission, dass aufgrund der Komplexität der Systeme der künstlichen Intelligenz die Sicherstellung eines wirksamen Schutz- und Rechtsschutzniveaus möglicherweise eine Anpassung der Beweislast erfordert, die in den nationalen Vorschriften über die Haftung für Schäden, die durch den Betrieb von Anwendungen der künstlichen Intelligenz verursacht wurden, vorgesehen ist; ist der Auffassung, dass Klarheit hinsichtlich der rechtlichen Haftung im Bereich der KI die Durchsetzung der im Besitzstand der Union verankerten ethischen Werte, die Rechtssicherheit und Voraussagbarkeit sowie die gesellschaftliche Akzeptanz stärken wird, was die Entwicklung eines KI-Ökosystems für Exzellenz der Union durch die Bündelung von Investoren und die Erhöhung der Marktakzeptanz fördern wird;

12. hebt hervor, dass sich viele der Vorschläge von Ländern, die nicht Mitglieder der Union sind, und von internationalen Organisationen um gemeinsame Prinzipien oder Konzepte für KI drehen, zu denen folgende gehören: menschenzentrierter Ansatz, Vertrauenswürdigkeit, Achtung der Autonomie des Menschen, Schadensverhütung, Gleichheit und Grundsatz „Niemand wird zurückgelassen“ sowie Erklärbarkeit; ist der Ansicht, dass ein internationaler Ethikrahmen auf der Grundlage dieser Grundsätze äußerst wünschenswert wäre; ist besorgt, dass Fortschritte und Innovationen im Bereich der KI zu sozialer Ungleichheit führen könnten, wenn keine Maßnahmen ergriffen werden; fordert daher die Kommission und die Mitgliedstaaten auf, die notwendigen Maßnahmen zu ergreifen, um beim Übergang zu einem digitalen Europa niemanden zurückzulassen und für einen fairen, erschwinglichen und gleichberechtigten Zugang zu diesen Innovationen zu sorgen, insbesondere in Bereichen wie dem Gesundheitswesen;

13. empfiehlt, den risikobasierten Ansatz durch eine algorithmische Folgenabschätzung zu ergänzen, bei der Informationen z. B. aus der Analyse der Auswirkungen von Rechtsvorschriften, dem Verfahren der Risikobewertung der DSGVO und der Folgenabschätzung im Bereich der Menschenrechte herangezogen und die Ergebnisse öffentlich zugänglich gemacht werden;

14. begrüßt, dass mit der Methode eines risikobasierten Ansatzes, wie er im Weißbuch der Kommission vom 19. Februar 2020[42] festgelegt ist, die Gesundheitsversorgung, der Verkehr und die Energie standardmäßig als Bereiche mit hohem Risiko anerkannt werden, und eine Liste von Anforderungen für die KI eingeführt wird, die über die geltenden Unionsvorschriften in diesen Bereichen hinausgehen, sofern die Art der Nutzung der KI nicht mit einem erheblichen Risiko verbunden ist; betont, dass mit dem Ethikrahmen der Union für KI insbesondere auf die oben genannten Bereiche mit hohem Risiko eingegangen werden sollte;

15. fordert klare, objektive und transparente Verfahren auf Unionsebene zur Erstellung eines öffentlichen Verzeichnisses von KI-Anwendungen mit hohem Risiko und einen Mechanismus zur regelmäßigen Überprüfung und Aktualisierung; fordert, dass in Erwägung gezogen wird, die Beweislast bei solchen Verfahren für alle KI-Anwendungen in allen Bereichen derjenigen Stelle aufzuerlegen, die das KI-System entwickeln oder einsetzen will, damit das Verzeichnis für Innovationen offen bleibt und verhindert wird, dass KI-Anwendungen möglicherweise nicht als mit hohem Risiko verbunden eingestuft werden;

16. ist der Auffassung, dass bei der Entwicklung, dem Einsatz und der Nutzung künstlicher Intelligenz, Robotik und damit zusammenhängender Technologien mit hohem Risiko, einschließlich der Software, der Algorithmen und der Daten, die von diesen Technologien verwendet oder produziert werden, die Gefahr von Verzerrungen und Diskriminierung besteht; weist darauf hin, dass bei diesen Technologien unter allen Umständen die Würde des Menschen geachtet und die Gleichbehandlung aller sichergestellt werden muss; ist der Ansicht, dass solchen möglichen Verzerrungen dadurch begegnet werden könnte, dass Regeln für die Datenverarbeitung festgelegt und geeignete Schutzmaßnahmen gegen Verzerrung und Diskriminierung aus sozialen, wirtschaftlichen oder ethnischen Gründen, aufgrund der Rasse, der Sexualität, des Geschlechts, einer Behinderung oder sonstigen Gründen getroffen werden; warnt vor einem möglichen Missbrauch von Anwendungen der KI-Diagnostik und fordert KI-Kompetenzen und motivierende Schutzmaßnahmen;

17. begrüßt die Initiative der freiwilligen Kennzeichnung von KI ohne hohes Risiko;

18. empfiehlt, dass die Einbindung aller einschlägigen Akteure im Bereich der KI-Ethik gefördert wird; weist darauf hin, dass durch die Zusammenführung von Privatwirtschaft, Verbraucherverbänden und akademischen Kreisen die Ausarbeitung eines Ethik-Kodexes möglich wäre, der mit den technologischen, gesellschaftlichen und politischen Entwicklungen Schritt hält;

19. weist darauf hin, dass Roboter, um Entscheidungen zu treffen, Algorithmen einsetzen, die Werte und ethische Grundsätze abbilden, und dass ihre Einführung bedeutende ethische Auswirkungen in den Bereichen der Gesundheitsversorgung oder auf die sozialen Beziehungen hat; ist besonders besorgt über den Einsatz von Begleitrobotern für pädophile Zwecke und für sexuellen Missbrauch; ist der Ansicht, dass bei der Entwicklung von Technologien der Robotik ethische Überlegungen berücksichtigt werden sollten; fordert, dass im Prozess der Entwicklung dieser Maschinen die Ethik Raum erhält, indem ein Ansatz auf der Grundlage von Werten für die Gestaltung zugrunde gelegt wird, insbesondere bei Pflegerobotern für ältere Menschen und bei Begleitrobotern; unterstreicht, dass dieser Ansatz auch angepasst werden sollte, um dem Wohlergehen von Tieren Rechnung zu tragen;

20. betont, dass neben klaren rechtlichen Anforderungen an die Rechenschaftspflicht und Haftung auch die algorithmische Transparenz sichergestellt werden muss, damit rückverfolgt werden kann, wann „etwas fehlgelaufen“ ist, und Fachleute rechtzeitig eingreifen können; hält algorithmische Transparenz für äußerst wichtig, um Situationen zu vermeiden, in denen die medizinische Entscheidungsfindung in einer „Black-Box“-Umgebung stattfindet; unterstreicht, dass Black-Box-Algorithmen, die nicht erklärbare Entscheidungen treffen, in allen Bereichen abzulehnen sind, die Folgen eines algorithmischen Versagens in einem Umfeld, in dem sich KI-gestützte Entscheidungsfindung auf Entscheidungen über Leben und Tod auswirkt, jedoch schwerwiegend sein könnten; fordert die Kommission und die Mitgliedstaaten auf, einen Dialog mit den wichtigsten Interessenträgern aus den Bereichen Medizin, IT, Mathematik, Physik, Gesundheitsdatentechnologie, klinische Psychologie, Biotechnologie und Pharmazeutik einzuleiten, um dialogfördernde Plattformen einzurichten und die Folgen für die Beziehungen zwischen Arzt und Patient und der Entmenschlichung der medizinischen Versorgung zu bewerten;

21. fordert Leitinitiativen der Union zur Förderung von interpretierbaren Algorithmen, eXplainable AI (xAI), symbolischem Schlussfolgern, White-Box-Testtechniken, indem gezeigt wird, dass diese Technologien mit tiefen neuronalen Netzen kombiniert werden können, und indem ihre rechtlichen, ethischen und oft auch wirtschaftlichen Vorteile aufgezeigt werden, sowie zur Förderung von Verfahren zur Bestimmung von Risiken im Zusammenhang mit verschiedenen technologischen Optionen, bei denen unter anderem die Erfahrung des britischen Information Commissioner's Office (ICO) und die Leitlinien des Alan Turing Institute „Explainable decisions made with AI“ genutzt werden, die zeigen, dass selbst hochkomplexe neuronale KI-Systeme ausreichend interpretiert werden können;

22. fordert, dass Transparenz, Verantwortlichkeit, Überprüfbarkeit, Voraussagbarkeit und Rechenschaftspflicht sichergestellt werden, da Bürger, Patienten und Nutzer bei der Interaktion mit einem System, bei dem künstliche Intelligenz eingesetzt wird, durch klare und verständliche Erklärungen der verwendeten Daten, der Funktionsweise des Algorithmus, seines Zwecks, seiner Ergebnisse und seiner potenziellen Gefahren informiert werden sollten; betont, dass Transparenz und Erklärbarkeit wesentliche Bedeutung dabei haben, das Vertrauen in diese Technologien sicherzustellen; ist der Ansicht, dass die Erklärung durch Überprüfbarkeit und Rückverfolgbarkeit ergänzt werden sollte, da die Wahrung dieser Grundsätze eine Garantie für die Rechenschaftspflicht ist; weist darauf hin, dass KI-Anwendungen Menschen bei begrenzten speziellen Aufgaben überlegen sein können, während sie bei der Überblicksanalyse versagen; fordert Kontrolle durch den Menschen, fachliche Verantwortung und Voraussagbarkeit des Systems mit der Fähigkeit, das KI-System außer Kraft zu setzen;

23. ist der Auffassung, dass jede natürliche oder juristische Person die Möglichkeit haben sollte, Rechtsmittel gegen eine Entscheidung zu ihrem Nachteil einzulegen, die mit einer KI-Anwendung, Robotik oder einer damit zusammenhängenden Technologie von hohem Risiko getroffen wurde, und dass jede mit KI getroffene Entscheidung einer strengen Überprüfung durch den Menschen und einem ordnungsgemäßen Verfahren unterliegen sollte; schlägt vor, beim Einsatz von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien mit hohem Risiko im Rahmen von Entscheidungen der öffentlichen Hand Schutzmaßnahmen einzuführen, einschließlich einer regelmäßigen Bewertung und möglichen Überprüfung des Rechtsrahmens, um mit der technologischen Entwicklung Schritt zu halten, und schlägt die Festlegung verbindlicher Leitlinien für die Vorgehensweise bei der Konformitätsbewertung, die von den nationalen Aufsichtsbehörden zu befolgen sind, sowie nicht verbindlicher Leitlinien für die Entwickler, Betreiber und Nutzer vor;

24. begrüßt eine europäische Datenstrategie, in der künftige Herausforderungen der Union in diesem für den Fortschritt der KI entscheidenden Bereich behandelt werden, und in der europäische Möglichkeiten für Wettbewerbsvorteile in der neuen Datenwirtschaft untersucht werden, insbesondere im wachsenden Sektor dezentralisierter, nicht personenbezogener Daten aus Industrie, Wirtschaft und öffentlichem Sektor und von Geräten am Rande des Netzes, die im Jahr 2025 voraussichtlich 80 % von 175 Zettabytes ausmachen und die derzeitigen Verhältnisse umkehren werden;

25. fordert, dass eine ausreichende Finanzierung für die Transformation der KI in der Union sichergestellt wird; unterstützt die im Weißbuch der Kommission dargelegten Bestrebungen, in den nächsten zehn Jahren öffentliche und private Investitionen in Höhe von 200 Mrd. EUR für die KI anzuziehen; begrüßt die Aufmerksamkeit, die den Mängeln von KI-Ökosystemen in den weniger entwickelten Regionen und den Bedürfnissen von KMU und Start-up-Unternehmen zuteilwird; fordert die Kommission auf, Defizite der öffentlichen Infrastruktur zu ermitteln, die Finanzierung von KI in den Bereichen der Eindämmung des Klimawandels und der Anpassung an den Klimawandel, erneuerbare Energien und Gesundheit zu erleichtern und einen geografisch ausgewogenen Zugang zu allen Finanzierungen von KI, auch für KMU und Start-up-Unternehmen, zu fördern; betont, dass die neuen Zielsetzungen der Union ihren Einsatz für die bestehenden Prioritäten der Union wie etwa die GAP, die Kohäsionspolitik, den Grünen Deal und das Aufbauinstrument „Next Generation EU“ des Plans für die Erholung nach der COVID-19-Pandemie nicht mindern dürfen;

26 fordert die Kommission auf, die Entwicklung künstlicher Intelligenz, Robotik und damit zusammenhängender Technologien, bei denen der Mensch im Mittelpunkt steht und mit denen Herausforderungen im Zusammenhang mit der Umwelt und dem Klima angegangen und ein gleichberechtigter Zugang zu grundlegenden Rechten sowie deren Wahrnehmung sichergestellt werden, mithilfe von Steuerregelungen, der umweltorientierten Auftragsvergabe und sonstigen Anreizen zu fördern und finanziell zu unterstützen;

CO2-Fußabdruck von KI:

27. weist darauf hin, dass die Kommission in dem am 19. Februar 2020 veröffentlichten Digitalpaket erklärte, dass die IKT heute zwischen 5 % und 9 % des weltweiten Stromverbrauchs und 2 % der CO2-Emissionen ausmachen und dass das Volumen der übertragenen und gespeicherten Daten in den kommenden Jahren weiterhin exponentiell wachsen wird und Lösungen dafür gefunden werden müssen; stellt ferner fest, dass in der Studie der Gemeinsamen Forschungsstelle mit dem Titel „Artificial Intelligence/A European Perspective” (Künstliche Intelligenz – die europäische Perspektive) geschätzt wird, dass 3 % bis 4 % des gesamten Stromverbrauchs der Union auf Datenzentren und Datenübermittlung entfallen könnten;

28. begrüßt, dass mit der europäischen Digitalstrategie Maßnahmen für den grünen Wandel in der Digitalbranche vorgeschlagen werden;

29. betont, dass Technologien wie tiefes Lernen und KI trotz des derzeit großen CO2-Fußabdrucks ihrerseits zur Verringerung des derzeitigen CO2-Fußabdrucks der IKT-Branche und zur Entwicklung von KI, Robotik, automatisierten Entscheidungen und maschinellem Lernen beitragen können; hebt hervor, dass diese und weitere angemessen regulierte und damit zusammenhängende Technologien entscheidende Voraussetzungen für die Verwirklichung der Ziele des Grünen Deals, der Ziele der Vereinten Nationen für nachhaltige Entwicklung und des Übereinkommens von Paris in vielen unterschiedlichen Bereichen sein und die Auswirkungen von Umweltschutzmaßnahmen, beispielsweise im Bereich Abfallreduzierung und Umweltschädigung, verstärken sollten;

30. fordert die Kommission auf, eine Studie über die Auswirkungen des CO2-Fußabdrucks der KI-Technologie sowie über die positiven und negativen Auswirkungen des Übergangs zur Nutzung der KI-Technologie durch die Verbraucher durchzuführen;

31. stellt fest, dass angesichts der zunehmenden Entwicklung von KI-Anwendungen, die Rechen-, Speicher- und Energieressourcen benötigen, die Umweltauswirkungen von KI-Systemen über ihren gesamten Lebenszyklus betrachtet werden sollten;

Auswirkungen von KI auf das Gesundheitswesen und Patientenrechte

32. erkennt die bedeutende Rolle an, die KI im Bereich Gesundheit spielen kann, und betont, dass das Ziel von Anwendungen der künstlichen Intelligenz im Gesundheitswesen immer darin bestehen sollte, die Möglichkeiten, die sie bieten – wie die Verbesserung der Gesundheit des einzelnen Patienten sowie der Leistung der öffentlichen Gesundheitssysteme der Mitgliedstaaten – zu maximieren, ohne die ethischen Standards zu lockern und ohne die Privatsphäre oder Sicherheit der Bürger zu gefährden;

33. begrüßt die im Weißbuch zum Ausdruck gebrachte Zusage der Kommission, Sicherheits- und Haftungsfragen zu untersuchen, die kennzeichnend für die Gesundheitsfürsorge sind, z. B. KI-Systeme, die fachspezifische medizinische Informationen für Ärzte bereitstellen, Systeme, die medizinische Informationen direkt für Patienten bereitstellen, oder Systeme, die selbst medizinische Aufgaben direkt am Patienten ausführen; fordert eine entsprechende Prüfung der übrigen genannten Bereiche, die standardmäßig Bereiche mit hohem Risiko sind;

34. ist der Ansicht, dass in Bereichen wie der Gesundheit letztlich eine natürliche oder juristische Person haften muss; betont, dass rückverfolgbare und öffentlich zugängliche Trainingsdaten für Algorithmen wichtig sind;

35. fordert die Kommission auf, einen offenen und transparenten sektoralen Dialog in die Wege zu leiten, dessen Schwerpunkt auf der Gesundheitsversorgung liegt, um anschließend einen Aktionsplan vorzulegen, mit dem die Entwicklung, Erprobung und Einführung von KI im Bereich von Forschungstätigkeiten und Innovationen sowie ihre breite Anwendung auf Dienstleistungen im Bereich des öffentlichen Gesundheitswesens erleichtert werden soll;

36. warnt vor Versuchen, Maschinen irgendeine Form von „Persönlichkeit“ zuzuschreiben, die die Aufhebung der menschlichen Verantwortlichkeit für Behandlungsfehler zur Folge hätte;

37. unterstützt nachdrücklich die von der Kommission vorgeschlagene Schaffung eines europäischen Raums für Gesundheitsdaten[43], mit dem der Austausch von Gesundheitsdaten gefördert und Forschung unter vollständiger Wahrung des Datenschutzes, einschließlich der Verarbeitung von Daten mit KI-Technologie, unterstützt und die Verwendung und Wiederverwendung von Gesundheitsdaten verstärkt und ausgeweitet wird; fordert den Ausbau des grenzüberschreitenden Austauschs von Gesundheitsdaten, ihre Verknüpfung und Nutzung durch sichere, zusammengeschlossene Archive, bestimmte Arten von Gesundheitsinformationen, wie z. B. europäische Patientenakten, Genominformationen und digitale medizinische Bilddaten, um unionsweite interoperable Register oder Datenbanken in Bereichen wie Forschung, Wissenschaft und Gesundheitswesen zu fördern;

38. betont, dass Patienten wissen sollten, wann und wie sie mit einer menschlichen Fachkraft interagieren und wann nicht; unterstreicht, dass Patienten die Freiheit haben sollten, über diese Interaktion zu entscheiden, und dass ihnen eine gleichwertige Alternative angeboten werden sollte;

39. ist der Ansicht, dass mobile Anwendungen insbesondere im Gesundheitswesen bei der Überwachung von Krankheiten helfen können, und dass es hilfreich ist, wenn Roboter eingesetzt werden, um die Arbeit der Ärzte und des Pflegepersonals zu unterstützen, damit die Diagnose und Behandlung verbessert werden und sichergestellt wird, dass die medizinische Praxis und die Versorgung der Patienten nicht entmenschlicht werden;

40. fordert die unionsweit standardisierte Interoperabilität von Anwendungen der elektronischen Gesundheitsdienste und die Schaffung eines gemeinsamen europäischen Datenzugangs für Verschreibungen, Diagnosen und ärztlichen Gutachten, der für alle Unionsbürger und in allen Mitgliedstaaten einfach zugänglich ist;

41. bekräftigt, dass die Chancen und Risiken, die mit diesen Technologien verbunden sind, eine globale Dimension haben, die ein einheitliches, harmonisiertes Vorgehen auf internationaler Ebene erfordert; fordert die Kommission auf, im bilateralen und multilateralen Rahmen tätig zu werden und sicherzustellen, dass die ethischen Normen eingehalten werden;

42. betont den Nutzen von KI für die Prävention, Behandlung und Kontrolle von Krankheiten, der dadurch veranschaulicht wird, dass die KI die COVID-19-Epidemie vor der WHO vorausgesagt hat; fordert die Kommission nachdrücklich auf, das ECDC angemessen mit dem Rechtsrahmen und den Ressourcen auszustatten, die für eine unabhängige Erhebung in Echtzeit von anonymisierten Gesundheitsdaten weltweit in Abstimmung mit den Mitgliedstaaten erforderlich sind, um unter anderem Probleme anzugehen, die durch die COVID-19-Pandemie zutage gefördert wurden;

43. weist darauf hin, dass der Einsatz von Technologien zur Verfolgung und Rückverfolgung von Kontakten durch Behörden während der COVID-19-Pandemie und anderer potenzieller gesundheitlicher Notfälle mit dem Datenschutz in Konflikt geraten könnte; weist in diesem Zusammenhang auf die Mitteilung der Kommission mit dem Titel „Leitlinien zum Datenschutz bei Mobil-Apps zur Unterstützung der Bekämpfung der COVID-19-Pandemie“ vom 17. April 2020[44] und die Notwendigkeit von Verhältnismäßigkeit, zeitlicher Begrenzung, Anpassung an europäische Werte und Achtung der Menschenwürde und der Grundrechte hin;

44. ist der Ansicht, dass mit KI und Robotik erhebliche Verbesserungen bei der Kontrolle von Medizinprodukten erreicht und die tägliche Arbeit von Angehörigen der Gesundheitsberufe erleichtert werden kann; ist der Ansicht, dass für kritische Medizinprodukte ein Back-up-System vorhanden sein muss, um die Funktionsfähigkeit des Geräts in jeder möglichen Störungssituation zu überwachen und zu sichern, und dass mögliche Cyber-Bedrohungen bei der Kontrolle dieser Geräte berücksichtigt und verringert werden müssen; betont, dass Cyber-Bedrohungen nicht nur von Hackern und externen Bedrohungen, sondern auch von menschlichen Fehlern oder Systemfehlern ausgehen können und dass angemessene Sicherungssysteme bestehen und einsatzbereit sein müssen; ist ferner der Auffassung, dass die Union einen Fahrplan für die Entwicklung von Sicherungssystemen für die künstliche Intelligenz erstellen sollte, um die möglichen Probleme fehlerhafter KI-Systemkontrollen anzugehen;

45. macht darauf aufmerksam, dass die Sicherheitsnormen, die in der Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates[45] enthalten sind, möglicherweise nicht ausreichend sind, um den Herausforderungen zu begegnen, die mit KI-Systemen einhergehen; fordert die Kommission auf, die Herausforderungen in diesem Bereich zu überwachen und bei Bedarf Änderungen vorzuschlagen;

46. betont, dass sichergestellt werden muss, dass mit KI betriebene medizinische Geräte die Sicherheits- und Leistungsanforderungen der Verordnung (EU) 2017/745 erfüllen; fordert die Kommission und die Mitgliedstaaten auf, dafür zu sorgen, dass die Verordnung (EU) 2017/745 im Hinblick auf diese Technologien umgesetzt wird; ist der Ansicht, dass neue Leitlinien und Spezifikationen für die Bewertung der Sicherheit und Wirksamkeit von Software sowie auf KI und Deep-Learning basierenden Geräten während des gesamten Nutzungszyklus erforderlich sind;

47. fordert, dass deutlichere rechtliche Zuständigkeiten und eine ausreichende Finanzierung für die EMA und die für Arzneimittel zuständigen nationalen Behörden sichergestellt werden, um Innovation und Aspekte der öffentlichen Gesundheit im Zusammenhang mit der KI im Lebenszyklus von Arzneimitteln zu unterstützen, insbesondere um Gesundheitsdaten aus der Praxis zu sammeln und zu analysieren, die zusätzliche Erkenntnisse über Arzneimittel zur Unterstützung von Forschung und Entwicklung und zur Optimierung der sicheren und wirksamen Verwendung bestehender Arzneimittel im Interesse der Patienten und der europäischen Gesundheitssysteme erbringen können;

48. betont nachdrücklich, dass es Versicherungsunternehmen und sonstigen Dienstleistern nicht erlaubt sein sollte, die Daten elektronischer Gesundheitsanwendungen zur Diskriminierung bei der Preisgestaltung zu verwenden, da dies dem grundlegenden Recht auf Zugang zur bestmöglichen Gesundheitsversorgung entgegensteht;

KI und Datenschutz:

49.  begrüßt die kürzlich veröffentlichte Überprüfung[46] der Verordnung (EU) 2016/679 durch die Kommission und stellt fest, dass die Rechtsvorschriften der Mitgliedstaaten bei der Umsetzung der Ausnahmen von dem generellen Verbot der Verarbeitung besonderer Kategorien personenbezogener Daten unterschiedliche Ansätze verfolgen, was den Umfang von Spezifikationen und Garantien anbelangt, darunter auch für Gesundheits- und Forschungszwecke; weist daher darauf hin, dass die Verantwortung für die Entscheidungsfindung beim Menschen verbleiben sollte, insbesondere in Bereichen mit hohen Risiken wie der Gesundheit;

50. begrüßt die Absicht der Kommission, die Anwendung der Verordnung (EU) 2016/679 auf neue Technologien, einschließlich möglicher künftiger Initiativen im Bereich der künstlichen Intelligenz und im Rahmen der Datenstrategie, zu überwachen, und unterstützt die Forderung der Kommission, dass der Europäische Datenschutzausschuss, Leitlinien für die Anwendung der Verordnung (EU) 2016/679 auf die Bereiche wissenschaftliche Forschung, KI, Blockchain und andere mögliche technologische Entwicklungen herausgibt;

51. fordert, die Rolle von Bürgern und Patienten im Hinblick auf ihre personenbezogenen Daten zur Gewährleistung der vollständigen Durchsetzung und einer einheitlichen Auslegung des Rechtsrahmens der Union für den Datenschutz und die Privatsphäre zu stärken, insbesondere für KI-gestützte Anwendungen in der Gesundheitsversorgung und sonstige damit verbundene sensible Daten, damit das in Artikel 17 der Verordnung (EU) 2016/679 vorgesehene „Recht auf Vergessenwerden“ uneingeschränkt geachtet und das in Artikel 22 der Verordnung (EU) 2016/679 vorgesehene „Recht auf Erläuterung“ und höhere Anforderungen in Bezug auf die Auslegung für KI mit hohem Risiko gestärkt wird;

52. betont, dass der Ethikrahmen für KI das Recht auf Erläuterung einer auf automatisierter Verarbeitung beruhenden Entscheidung für Personen beinhalten sollte, die solchen Entscheidungen unterworfen sind;

53. fordert, dass ein angemessenes Gleichgewicht zwischen Privatsphäre und Datenschutz und dem Nutzen der Daten hergestellt wird; ist der Auffassung, dass es für den wissenschaftlichen Fortschritt wichtig ist, Gesundheitsdaten hinreichend gründlich und ausführlich austauschen und verarbeiten zu können; fordert, dass die Datenanonymisierung sichergestellt und gleichzeitig eine übermäßige Datenminimierung vermieden wird; fordert interoperable, geeignete Datenbanken, Register und Archive auf Ebene der Union, um die Nutzung von Gesundheitsdaten in den Bereichen Gesundheit, Umwelt und Lebensmittelsicherheit zu erleichtern;

54. hebt hervor, dass sichergestellt werden muss, dass Gesundheitsdaten und Daten gefährdeter Gruppen geschützt werden, und weist darauf hin, dass die in Artikel 7 der Verordnung (EU) 2016/679 festgelegten Bedingungen erfüllt sein müssen, insoweit KI-Anwendungen Gesundheitsdaten auf der Grundlage der Einwilligung der betroffenen Person verarbeiten;

55. betont, dass die erzeugten Daten keinesfalls zu irgendeiner Art von Diskriminierung beitragen sollten; fordert, dass sichergestellt wird, dass die Erhebung und Zugänglichkeit der Daten stets im Einklang mit dem Rechtsrahmen der Union stehen;

56. weist darauf hin, dass das Risiko betrügerischer Veränderungen von Daten und Datenmanipulation sowie möglicher Datenhacks oder Datendiebstähle im Gesundheitswesen besonders schwerwiegend sein und dazu benutzt werden kann, Einzelpersonen zu schädigen, zu diskreditieren oder von ihnen zu profitieren; hebt hervor, dass für einschlägige Netzwerke die höchsten Cybersicherheitsstandards festgelegt werden sollten;

Auswirkungen von KI auf das Arbeitsumfeld und das soziale Umfeld:

57. betont, dass der ethische Rahmen der OECD den Veränderungen auf dem Arbeitsmarkt Rechnung trägt; betont, dass mit der Automatisierung in Verbindung mit künstlicher Intelligenz die Produktivität und damit die Produktion steigen wird; weist darauf hin, dass ebenso wie bei früheren technologischen Umwälzungen bestimmte Arbeitsplätze ersetzt werden; betont, dass die Exposition von Menschen gegenüber schädlichen und gefährlichen Bedingungen mit dem zunehmenden Einsatz von Robotik und KI abnehmen wird, und dass dies auch dazu beitragen dürfte, mehr hochwertige Arbeitsplätze zu schaffen und die Produktivität zu steigern; weist auf die Arbeiten der OECD hin, in denen betont wird, dass die Automatisierung der Gesellschaft die Möglichkeit geben kann, die Arbeitszeit zu verkürzen und so die Lebensbedingungen und die Gesundheit der Arbeitnehmer zu verbessern;

58. weist nachdrücklich auf die Empfehlungen der OECD hin, aus denen hervorgeht, dass die Behörden eng mit den betreffenden Akteuren zusammenarbeiten sollten, um den verantwortungsbewussten Einsatz von KI bei der Arbeit zu fördern, die Sicherheit der Arbeitnehmer und die Qualität der Arbeitsplätze zu verbessern und dafür zu sorgen, dass sich die Vorteile der KI gerecht und breit verteilen; betont in diesem Zusammenhang, dass vielfältige Teams von Entwicklern und Ingenieuren, die Seite an Seite mit maßgeblichen Akteuren zusammenarbeiten, dazu beitragen können, dass geschlechtsspezifische und kulturelle Verzerrungen vermieden werden, und dass sichergestellt ist, dass KI-gestützte Algorithmen, Systeme und Anwendungen das körperliche und psychische Wohlbefinden von Arbeitnehmern achten;

59. betont, dass die Entwicklung von KI-Anwendungen die Kosten senken und das Volumen der verfügbaren Dienste, z. B. Gesundheitsdienste, öffentlicher Verkehr, Landwirtschaft 2.0, erhöhen könnte, wodurch sie für ein breiteres Spektrum der Gesellschaft erschwinglicher würden; betont, dass KI-Anwendungen auch zum Anstieg der Arbeitslosigkeit, zum Druck auf die Sozialfürsorgesysteme und zur Zunahme der Armut führen können; betont in Übereinstimmung mit den in Artikel 3 des Vertrags über die Europäische Union verankerten Werten die Notwendigkeit, den Wandel durch KI in der Union an sozioökonomische Kapazitäten, angemessene soziale Abfederung, Bildung und die Schaffung alternativer Arbeitsplätze anzupassen; fordert, dass die Einrichtung eines Fonds der Union für die Anpassung an die künstliche Intelligenz in Erwägung gezogen wird, der auf den Erfahrungen des Europäischen Fonds für die Anpassung an die Globalisierung (EGF) oder des derzeit entwickelten Fonds für einen gerechten Übergang aufbaut;

60. betont zudem, wie wichtig der soziale Dialog für die Bewältigung eines gerechten und inklusiven Übergangs der Arbeitnehmer zu neuen Arbeitswelten, die von KI betroffen sind, ist und dass Unternehmen in die Schulung und Umschulung ihrer Arbeitskräfte zu investieren müssen;

61. fordert die Mitgliedstaaten auf, die Bildung für Fachkräfte in den Bereichen Umweltschutz, Gesundheit und Lebensmittelsicherheit an die Entwicklungen der KI anzupassen und das Bewusstsein für die Risiken und ethischen Herausforderungen im Zusammenhang mit KI zu schärfen;

62. begrüßt die im Weißbuch vorgeschlagenen Anforderungen für KI-Trainingsdaten mit hohem Risiko, die auch die Sicherheit betreffen – ausreichend umfangreiche Daten, die alle Szenarien abdecken, die für die Vermeidung gefährlicher Situationen wie Diskriminierung relevant sind – ausreichend repräsentative Daten, damit das soziale Umfeld, auf das sie angewandt werden, angemessen berücksichtigt wird;

63. betont, dass der öffentliche Sektor sich auf die Lösung sozialer Probleme konzentrieren sollte, anstatt die KI um ihrer selbst willen zu fördern; fordert die Verbesserung der Vorschriften und Leitlinien der Union für das öffentliche Beschaffungswesen, einschließlich des umweltorientierten öffentlichen Beschaffungswesens der Europäischen Union, damit bei den entsprechenden Bewertungsverfahren für Ausschreibungen berücksichtigt wird, ob bei einer bestimmten Frage die Anwendung eines KI-Systems erforderlich ist, und ein alternativer Lieferpfad in Fällen gewählt werden kann, in denen sich aus Bewertung ergibt, dass das soziale Problem mit einer Lösung ohne KI besser angegangen werden kann.

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme	10.9.2020
Ergebnis der Schlussabstimmung	+: –: 0:	77 2 2
Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder	Nikos Androulakis, Bartosz Arłukowicz, Margrete Auken, Simona Baldassarre, Marek Paweł Balt, Traian Băsescu, Aurelia Beigneux, Monika Beňová, Sergio Berlato, Alexander Bernhuber, Malin Björk, Simona Bonafè, Delara Burkhardt, Pascal Canfin, Sara Cerdas, Mohammed Chahim, Tudor Ciuhodaru, Nathalie Colin-Oesterlé, Miriam Dalli, Esther de Lange, Christian Doleschal, Marco Dreosto, Bas Eickhout, Eleonora Evi, Agnès Evren, Fredrick Federley, Pietro Fiocchi, Andreas Glück, Catherine Griset, Jytte Guteland, Teuvo Hakkarainen, Martin Hojsík, Pär Holmgren, Jan Huitema, Yannick Jadot, Adam Jarubas, Petros Kokkalis, Athanasios Konstantinou, Ewa Kopacz, Joanna Kopcińska, Ryszard Antoni Legutko, Peter Liese, Sylvia Limmer, Javi López, César Luena, Fulvio Martusciello, Liudas Mažylis, Joëlle Mélin, Tilly Metz, Silvia Modig, Dolors Montserrat, Alessandra Moretti, Dan-Ștefan Motreanu, Ville Niinistö, Ljudmila Novak, Jutta Paulus, Stanislav Polčák, Jessica Polfjärd, Luisa Regimenti, Frédérique Ries, María Soraya Rodríguez Ramos, Sándor Rónai, Rob Rooken, Silvia Sardone, Christine Schneider, Günther Sidl, Ivan Vilibor Sinčić, Linea Søgaard-Lidell, Nicolae Ştefănuță, Nils Torvalds, Edina Tóth, Véronique Trillet-Lenoir, Alexandr Vondra, Mick Wallace, Pernille Weiss, Michal Wiezik, Tiemo Wölken, Anna Zalewska
Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter	Michael Bloss, Manuel Bompard, Christel Schaldemose

 

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

77	+
#PPE#	Bartosz Arłukowicz, Alexander Bernhuber, Traian Băsescu, Nathalie Colin-Oesterlé, Christian Doleschal, Agnès Evren, Adam Jarubas, Ewa Kopacz, Peter Liese, Fulvio Martusciello, Liudas Mažylis, Dolors Montserrat, Dan-Ștefan Motreanu, Ljudmila Novak, Jessica Polfjärd, Stanislav Polčák, Christine Schneider, Edina Tóth, Pernille Weiss, Michal Wiezik, Esther de Lange
S&D	Nikos Androulakis, Marek Paweł Balt, Monika Beňová, Simona Bonafè, Delara Burkhardt, Sara Cerdas, Mohammed Chahim, Tudor Ciuhodaru, Miriam Dalli, Jytte Guteland, César Luena, Javi López, Alessandra Moretti, Sándor Rónai, Christel Schaldemose, Günther Sidl, Tiemo Wölken
Renew	Pascal Canfin, Fredrick Federley, Andreas Glück, Martin Hojsík, Jan Huitema, Frédérique Ries, María Soraya Rodríguez Ramos, Linea Søgaard-Lidell, Nils Torvalds, Véronique Trillet-Lenoir, Nicolae Ştefănuță
ID	Simona Baldassarre, Aurelia Beigneux, Marco Dreosto, Catherine Griset, Joëlle Mélin, Luisa Regimenti, Silvia Sardone
Verts/ALE	Margrete Auken, Michael Bloss, Bas Eickhout, Pär Holmgren, Yannick Jadot, Tilly Metz, Ville Niinistö, Jutta Paulus
ECR	Sergio Berlato, Pietro Fiocchi, Joanna Kopcińska, Ryszard Antoni Legutko, Alexandr Vondra, Anna Zalewska
GUE/NGL	Malin Björk, Manuel Bompard, Petros Kokkalis, Silvia Modig, Mick Wallace
NI	Eleonora Evi, Athanasios Konstantinou

 

2	-
ID	Sylvia Limmer
ECR	Rob Rooken

 

2	0
ID	Teuvo Hakkarainen
NI	Ivan Vilibor Sinčić

 

Erklärung der benutzten Zeichen:

+ : dafür

- : dagegen

0 : Enthaltung

 

 

 

 

 

 

STELLUNGNAHME DES AUSSCHUSSES FÜR KULTUR UND BILDUNG (3.9.2020)

für den Rechtsausschuss

mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien

(2020/2012(INL))

Verfasser der Stellungnahme: Łukasz Kohut

(Initiative gemäß Artikel 47 der Geschäftsordnung)

 

 

VORSCHLÄGE

Der Ausschuss für Kultur und Bildung ersucht den federführenden Rechtsausschuss,

– folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

1. weist darauf hin, dass die Entwicklung, der Einsatz und die Nutzung künstlicher Intelligenz (KI) in den Bereichen Kultur- und Kreativwirtschaft, Bildung sowie Medien, Jugend und Informationspolitik nicht nur das Potenzial hat, sondern auch ein breites Spektrum ethischer Fragen, die geklärt werden müssen, aufwirft und auch weiterhin aufwerfen wird; betont, dass die Union den Weg zu einer ethischen KI weisen sollte, die in den europäischen Werten verankert ist und den Schutz der Menschenwürde und der Grundrechte in einem demokratischeren, gerechteren und nachhaltigeren Europa sicherstellt; fordert die Organe der EU auf, langfristige Überlegungen zu den Auswirkungen von KI auf unsere demokratische Debatte, unsere Gesellschaften und das Wesen des Menschen anzustellen, um den Weg für eine KI-Technologie bereiten zu können, die unsere Freiheit achtet und weder Innovationen behindert noch die Meinungsfreiheit einschränkt;

2. ist der festen Überzeugung, dass untersucht werden muss, wie Menschenrechtsrahmen und -verpflichtungen Maßnahmen und politische Strategien im Zusammenhang mit neuen und aufkommenden digitalen Technologien als Leitbild dienen können, damit sich die KI-Technologien am Menschen orientieren und die Vorteile allen zugänglich sind; erachtet es als notwendig, sicherzustellen, dass die Entwicklung, der Einsatz und die Nutzung der KI frei von jeder Form des Profilings, der Voreingenommenheit und der Diskriminierung sind und dass sich alle wesentlichen Elemente der Gesellschaft in ihnen wiederfinden; nimmt zur Kenntnis, dass KI und Automatisierung eine Wirkung auf die globalisierte Wirtschaft haben könnte, indem sie bestehende Ungleichheiten vertieft;

3. betont, dass maßgeschneiderte Kriterien für die Entwicklung, den Einsatz und die Nutzung der KI in den Bereichen Bildung, Medien, Jugend, Forschung sowie in der Kultur- und Kreativwirtschaft ausgearbeitet werden müssen, indem Benchmarks für die ethisch verantwortungsvolle und akzeptierte Nutzung von KI-Technologien in diesen Bereichen entwickelt werden und entsprechende Grundsätze festgelegt werden, einschließlich klarer Haftungsregelungen für Produkte, die aus dem Einsatz von KI hervorgehen; betont, dass solche Kriterien flexibel sein und ständig an die Fortschritte bei den KI-Technologien angepasst werden müssen, um auf verantwortungsvolle Weise auch dazu beizutragen, dass das Potenzial der KI voll ausgeschöpft wird; hebt insbesondere hervor, dass Bedenken aufgrund der Erfassung von personenbezogenen Daten der Nutzer und des Datenschutzes sowie Fragen der Haftung in Fällen, in denen automatisierte Prozesse zu unerwünschten Ergebnissen führen, Rechnung getragen werden muss; erinnert daran, dass es, um diesen Kriterien eine solide Grundlage zu geben, notwendig ist, die Einhaltung der Grundsätze der Konformität eines Systems mit seinen Spezifikationen, der Transparenz, des guten Glaubens und der Gerechtigkeit zu verlangen, und zwar in Absprache mit den zuständigen Ethikausschüssen, die dazu beitragen sollen, die Grundlagen im Einklang mit den kulturellen Werten und den Bestimmungen des Rechtsrahmens der Europäischen Union zu schaffen; stellt fest, dass KI-Systeme softwarebasiert sind und auf der Grundlage einer Analyse ihrer Umgebung intelligentes Verhalten zeigen; betont, dass diese Analyse auf statistischen Modellen gründet, die zwangsläufig fehlerhaft sind; weist mit Nachdruck darauf hin, dass Systeme und Methoden vorhanden sein müssen, die die Prüfung des Algorithmus, die Erklärbarkeit des Algorithmus und den Zugang zu Abhilfemaßnahmen ermöglichen; hält es entschieden für notwendig, sicherzustellen, dass die Grundsätze der Transparenz, der Verantwortlichkeit und der Nichtdiskriminierung gewahrt werden; weist erneut auf die Ethik-Leitlinien für eine vertrauenswürdige KI aus dem Jahr 2019 und die sieben Kernanforderungen an die Vertrauenswürdigkeit der KI hin;

4. weist darauf hin, dass alle Kinder auf allen Ebenen Anspruch auf hochwertige öffentliche Bildung haben; fordert daher die Entwicklung, die Bereitstellung und den Einsatz von hochwertigen KI-Systemen, mit denen auf allen Ebenen für alle hochwertige pädagogische Instrumente bereitgestellt werden können; betont, dass die Bereitstellung neuer KI-Systeme in Schulen nicht dazu führen sollte, dass die digitale Kluft in der Gesellschaft größer wird;

5. stellt fest, dass in Schulen und Universitäten zunehmend personalisierte KI-Lernsysteme eingeführt werden, wodurch sich die Rolle der Lehrkräfte im Lernprozess allmählich ändert; betont, dass diese Verlagerung sorgfältig bewertet sowie in den Lehrplänen entsprechend berücksichtigt werden sollte und am Menschen orientierte Werte herangezogen werden sollten; nimmt das enorme Potenzial zur Kenntnis, das KI und Robotik für die Bildung bieten; stellt fest, dass personalisierte Lernsysteme der KI nicht an die Stelle von Bildungsbeziehungen treten sollten, an denen Lehrkräfte beteiligt sind, und dass traditionelle Formen der Bildung nicht vernachlässigt werden sollten, weist aber gleichzeitig darauf hin, dass finanzielle, technologische und pädagogische Unterstützung, einschließlich einer spezialisierten Ausbildung in der Informations- und Kommunikationstechnologie, für Lehrkräfte bereitgestellt werden muss, die angemessene Fähigkeiten erwerben wollen, um sich an technologische Veränderungen anzupassen und nicht nur das Potenzial der KI zu nutzen, sondern auch ihre Grenzen zu verstehen;

6. betont, dass geeignete Schutzvorkehrungen getroffen werden müssen, wenn bei Verfahren zur Auswahl möglicher Schüler oder Studenten maschinelles Lernen zum Einsatz kommt, und dass dazu auch gehört, Bewerber über diese Verfahren und über ihre diesbezüglichen Rechte zu unterrichten; weist darauf hin, dass die jeweiligen Algorithmen anhand umfangreicher Datensätze trainiert werden müssen, um zu verhindern, dass bestimmte Gruppen von den Algorithmen auf unfaire Weise benachteiligt werden; ist der Ansicht, dass entsprechende Entscheidungen, die mithilfe automatisierter Prozesse getroffen werden, erklärbar sein müssen, soweit erforderlich auch gegenüber den abgelehnten Schülern oder Studenten;

7. fordert die Ausarbeitung einer Strategie im Bereich KI, Robotik und Technologie auf Unionsebene, um dazu beizutragen, unsere Bildungssysteme umzugestalten und auf den neuesten Stand zu bringen, unsere Bildungseinrichtungen auf allen Ebenen vorzubereiten sowie Lehrkräfte und Schüler mit den erforderlichen Fertigkeiten und Kenntnissen auszustatten; ist der Ansicht, dass ein Rahmen für ethische Fragen in der Bildung notwendig ist; empfiehlt, die Zivilgesellschaft, Universitäten, Gewerkschaften und Arbeitgeberverbände an der Ausarbeitung eines solchen Rahmens zu beteiligen; stellt fest, dass sich in KI-Systemen, die in der Union entwickelt, bereitgestellt und genutzt werden, deren kulturelle Vielfalt und Mehrsprachigkeit wiederfinden muss; hebt hervor, dass Technologieentwicklern und Bezugsberechtigten aus Gruppen benachteiligter und Menschen mit Behinderung besondere Unterstützung zuteil werden sollte;

8. ist der Ansicht, dass insbesondere die Rechte von Minderjährigen gewahrt und geschützt werden müssen, da Bildung für ihre Zukunft von besonderer Bedeutung ist, insbesondere was die Wahrung des Rechts auf Privatsphäre und die Förderung des Zugangs zu hochwertiger Bildung angeht, um Chancengleichheit in jedem Fall zu gewährleisten; betont, dass von Bildungseinrichtungen für Bildungszwecke ausschließlich KI-Systeme eingesetzt werden sollten, die geprüft und als ethisch, vorteilhaft und im Einklang mit den Menschenrechtsgrundsätzen zertifiziert wurden; fordert die Kommission und die Mitgliedstaaten auf, die Zusammenarbeit zwischen dem öffentlichen und privaten Sektor sowie der Wissenschaft zu fördern, um den Wissensaustausch und offene Quellen zu stärken,

9. weist darauf hin, dass die Begriffe Kunst, kulturelle und kreative Werke sowie die Rolle von Menschen als Schöpfer und Künstler klargestellt werden müssen; betont, dass die Chancen, die die Digitalisierung und die neuen Technologien bieten, nicht zu einem generellen Verlust von Arbeitsplätzen in der Kultur- und Kreativwirtschaft, zur Vernachlässigung der Erhaltung von Originalen und zu einer Schwächung der Bedeutung des traditionellen Zugangs zum kulturellen Erbe führen dürfen, der gleichermaßen gefördert werden sollte;

10. erkennt das wachsende Potenzial der KI in den Bereichen Information, Medien und Online-Plattformen an, auch als ein mächtiges Instrument zur Bekämpfung der Desinformation; ist jedoch besorgt darüber, dass die KI möglicherweise dazu missbraucht werden könnte, die öffentliche Meinung online zu manipulieren; betont, dass KI-Technologien, wenn sie nicht reguliert werden, ethisch nachteilige Auswirkungen haben könnten, indem Verzerrungen in Daten und Algorithmen, die zur Verbreitung von Desinformation führen können, ausgenutzt, Informationsblasen geschaffen und in KI-Algorithmen enthaltene Verzerrungen ausgenutzt werden; erinnert daran, dass eine angemessene Bildung eine notwendige Voraussetzung ist, um die Rechte der Bürger in Bezug auf die Informations- und Meinungsfreiheit und das Recht auf freie Meinungsäußerung zu schützen, und fordert eine ethische Nutzung von KI-Technologien im Medienbereich; warnt vor den Risiken technologiegestützter Zensur; weist darauf hin, dass ein ethischer Rahmen für den Schutz der freien Meinungsäußerung erforderlich ist;

11. vertritt die Auffassung, dass der Einsatz bestimmter Arten von KI wie Systemen zur Erkennung von Gesichtern, Emotionen und Verhaltensmustern schädliche Auswirkungen, insbesondere auf die Rolle der Medien und Journalisten als Überwachungsinstanzen der Demokratie und somit auf die demokratischen Prozesse haben könnte; hebt daher hervor, dass der Einsatz dieser Systeme im öffentlichen Raum eingeschränkt oder erforderlichenfalls untersagt werden sollte; betont die Notwendigkeit, den Kampf gegen gefälschte Nachrichten fortzusetzen, einschließlich Techniken wie „Deepfakes“, gegen Zensur und automatische Überwachung;

12. betont, dass in der allgemeinen Öffentlichkeit durch formale und nicht formale Bildung ein Bewusstsein für und Verständnis über die Rolle und Auswirkungen der KI geschaffen werden müssen, auch im Studium der Kulturwissenschaft, insbesondere im Hinblick auf die Verwendung von Algorithmen und deren Auswirkungen, unter anderem auf Arbeitsplätze und Privatsphäre, und ein Verständnis dafür vermitteln sollte, welche Rolle IT-Systeme im Zusammenhang mit der Auswahl, der Auslegung, der Speicherung und der Darstellung von Daten spielen; setzt sich für die Einrichtung von Instrumenten zur digitalen Kompetenz auf allen Bildungsebenen ein und fordert daher die Mitgliedstaaten und die EU-Institutionen auf, in Informations- und Medienkompetenz, Bildung und Ausbildung zu investieren; ist der Ansicht, dass Informations- und Medienkompetenz für alle Bürgerinnen und Bürger, einschließlich der schutzbedürftigen sozialen Gruppen, von entscheidender Bedeutung ist, um neue Entwicklungen kritisch beurteilen und verstehen zu können, einschließlich eines Verständnisses der Funktionsweise der KI und der ihr innewohnenden Vorurteile, und somit neue Formen des kritischen Denkens zu entwickeln; empfiehlt, dass die Kommission KI-, robotik- und technologiebezogene Formate der Ausbildung und kontinuierlichen Weiterbildung entwickelt;

13. weist auf den wichtigen Unterschied zwischen transparenten Algorithmen und der transparenten Nutzung von Algorithmen hin; betont die Bedeutung von Transparenz und Rechenschaftspflicht bei den Algorithmen, die sowohl von Video-Sharing-Plattformen (VSP) als auch von Streaming-Plattformen verwendet werden, um den Zugang zu kulturell und sprachlich vielfältigen Inhalten zu gewährleisten und eine Privilegierung zu vermeiden; ist der Ansicht, dass jeder Nutzer angemessen informiert werden sollte, wenn ein Algorithmus zur Empfehlung von Inhalten verwendet wird, und dass er in der Lage sein sollte, diese nach seinen Entscheidungen zu optimieren, und dass solche Algorithmen die Auswahl eines Nutzers nicht einschränken dürfen; ist der Ansicht, dass jeder Nutzer auch in der Lage sein sollte, die Empfehlung von Inhalten durch KI zu deaktivieren; betont, dass solche Algorithmen so gestaltet sein sollten, dass sie die kulturelle Vielfalt unserer Gesellschaften widerspiegeln, eine echte kulturelle Offenheit und die kreative Freiheit gewährleisten; fordert, dass die von der KI erfassten Nutzerdaten, wie kulturelle Präferenzen und Leistungen in der Ausbildung, nicht ohne Wissen des Eigentümers übertragen oder verwendet werden dürfen;

14. stellt fest, dass man im Sport technologischen Innovationen seit jeher offen gegenübersteht; vertritt gleichwohl die Auffassung, dass der Einsatz von KI-Technologien, der sich in sportlichen Wettbewerben rasch ausbreitet, zunehmend Fragen des fairen Wettbewerbs im Sport aufwirft, da sich die Mannschaften mit den größten finanziellen Mitteln die beste Technologie anschaffen können, wodurch sie möglicherweise einen unfairen Vorteil haben; betont, dass diese Entwicklungen genau beobachtet werden müssen, und dass in diesem Bereich ein Regelungsrahmen erforderlich ist, auf dessen Grundlage bei der Entwicklung und dem Einsatz von KI-Technologien ethische und am Menschen orientierte Kriterien angewandt werden; fordert hinsichtlich der im Sport verwendeten Algorithmen und Technologien vollständige Transparenz, um einen fairen Wettbewerb sicherzustellen;

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme	31.8.2020
Ergebnis der Schlussabstimmung	+: –: 0:	28 0 2
Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder	Isabella Adinolfi, Christine Anderson, Ilana Cicurel, Gilbert Collard, Gianantonio Da Re, Laurence Farreng, Tomasz Frankowski, Romeo Franz, Hannes Heide, Irena Joveva, Petra Kammerevert, Niyazi Kizilyürek, Predrag Fred Matić, Dace Melbārde, Victor Negrescu, Peter Pollák, Marcos Ros Sempere, Andrey Slabakov, Massimiliano Smeriglio, Michaela Šojdrová, Sabine Verheyen, Salima Yenbou, Milan Zver
Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter	Isabel Benjumea Benjumea, Christian Ehler, Ibán García Del Blanco, Bernard Guetta, Marcel Kolaja, Elżbieta Kruk, Martina Michels

 

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

 

28	+
PPE	Isabel Benjumea Benjumea, Christian Ehler, Tomasz Frankowski, Peter Pollák, Michaela Šojdrová, Sabine Verheyen, Milan Zver
S&D	Ibán García del Blanco, Hannes Heide, Petra Kammerevert, Predrag Fred Matić, Victor Negrescu, Marcos Ros Sempere, Massimiliano Smeriglio
RENEW	Ilana Cicurel, Laurence Farreng, Bernard Guetta, Irena Joveva
ID	Gilbert Collard
VERTS/ALE	Romeo Franz, Marcel Kolaja, Salima Yenbou
ECR	Elżbieta Kruk, Dace Melbārde, Andrey Slabakov
GUE/NGL	Niyazi Kizilyürek, Martina Michels
NI	Isabella Adinolfi

 

0	-
-	-

 

2	0
ID	Christine Anderson, Gianantonio Da Re

 

Erläuterungen:

+ : dafür

- : dagegen

0 : Enthaltung

 

 

 

 

 

 

 

ANGABEN ZUR ANNAHME IM FEDERFÜHRENDEN AUSSCHUSS

Datum der Annahme	1.10.2020
Ergebnis der Schlussabstimmung	+: –: 0:	20 0 4
Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder	Manon Aubry, Gunnar Beck, Geoffroy Didier, Angel Dzhambazki, Ibán García Del Blanco, Jean-Paul Garraud, Esteban González Pons, Mislav Kolakušić, Gilles Lebreton, Karen Melchior, Jiří Pospíšil, Franco Roberti, Marcos Ros Sempere, Liesje Schreinemacher, Stéphane Séjourné, Raffaele Stancanelli, József Szájer, Marie Toussaint, Adrián Vázquez Lázara, Axel Voss, Tiemo Wölken, Javier Zarzalejos
Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter	Patrick Breyer, Evelyne Gebhardt

 

NAMENTLICHE SCHLUSSABSTIMMUNG IM FEDERFÜHRENDEN AUSSCHUSS

20	+
EPP	Geoffroy Didier, Esteban González Pons, Jiří Pospíšil, József Szájer, Axel Voss, Javier Zarzalejos
S&D	Ibán García Del Blanco, Evelyne Gebhardt, Franco Roberti, Marcos Ros Sempere, Tiemo Wölken
RENEW	Karen Melchior, Liesje Schreinemacher, Stéphane Séjourné, Adrián Vázquez Lázara
VERTS/ALE	Patrick Breyer, Marie Toussaint
ECR	Angel Dzhambazki, Raffaele Stancanelli
NI	Mislav Kolakušić

 

0	-

 

4	0
ID	Gunnar Beck, Jean Paul Garraud, Gilles Lebreton
GUE/NGL	Manon Aubry

 

Erklärung der benutzten Zeichen:

+ : dafür

- : dagegen

0 : Enthaltung

 

 

 

 

 

 

 

 

 

• [1] ABl. L 252 vom 8.10.2018, S. 1.
• [2] ABl. L 180 vom 19.7.2000, S. 22.
• [3] ABl. L 303 vom 2.12.2000, S. 16.
• [4] ABl. L 119 vom 4.5.2016, S. 1.
• [5] ABl. L 119 vom 4.5.2016, S. 89.
• [6] ABl. L 123 vom 12.5.2016, S. 1.
• [7] ABl. C 252 vom 18.7.2018, S. 239.
• [8] ABl. C 307 vom 30.8.2018, S. 163.
• [9] ABl. C 433 vom 23.12.2019, S. 86.
• [10] Angenommene Texte, P8_TA(2018)0332.
• [11] Angenommene Texte, P8_TA(2019)0081.
• [12] Mitteilung der Kommission an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen mit dem Titel „Eine europäische Datenstrategie“ (COM(2020)0066).
• [13] Für das autonome Fahren von Fahrzeugen wurden mit dem Standard J3016 von SAE International, der letztmals im Jahr 2018 auf J3016_201806 aktualisiert wurde, sechs Stufen der Fahrzeugautomatisierung vorgeschlagen. https://www.sae.org/standards/content/j3016_201806/
• [14] Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung) (ABl. L 119 vom 4.5.2016, S. 1).
• [15] Richtlinie 2002/58/EG des Europäischen Parlaments und des Rates vom 12. Juli 2002 über die Verarbeitung personenbezogener Daten und den Schutz der Privatsphäre in der elektronischen Kommunikation (Datenschutzrichtlinie für elektronische Kommunikation) (ABl. L 201 vom 31.7.2002, S. 37).
• [16] Begriffsbestimmung in Anlehnung an die Mitteilung COM(2018)0237 der Kommission vom 25.4.2018, S. 1.
• [17] Aus der Definition für Industrieroboter in ISO 8373.
• [18]  Richtlinie (EU) 2019/1937 des Europäischen Parlaments und des Rates vom 23. Oktober 2019 zum Schutz von Personen, die Verstöße gegen das Unionsrecht melden (ABl. L 305 vom 26.11.2019, S. 17).
• [19] Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung) (ABl. L 119 vom 4.5.2016, S. 1).
• [20] Beschluss Nr. 768/2008/EG des Europäischen Parlaments und des Rates vom 9. Juli 2008 über einen gemeinsamen Rechtsrahmen für die Vermarktung von Produkten und Aufhebung des Beschlusses 93/465/EWG des Rates (ABl. L 218 vom 13.8.2008, S. 82).
• [21] COD (2018)0089, in Veröffentlichung.
• [22] Richtlinie (EU) 2019/882 des Europäischen Parlaments und des Rates vom 17. April 2019 über die Barrierefreiheitsanforderungen für Produkte und Dienstleistungen (ABl. L 151 vom 7.6.2019, S. 70).
• [23] ABl. L 180 vom 19.7.2000, S. 22.
• [24] ABl. L 303 vom 2.12.2000, S. 16.
• [25] ABl. L 119 vom 4.5.2016, S. 1.
• [26] ABl. L 119 vom 4.5.2016, S. 89.
• [27] ABl. C 252 vom 18.7.2018, S. 239.
• [28] Mitteilung der Kommission mit dem Titel „Künstliche Intelligenz für Europa“ (COM(2018)0237).
• [29] STOA, „The ethics of artificial intelligence: issues and initiatives“ (Ethische Aspekte der künstlichen Intelligenz: Fragen und Initiativen), März 2020
• [30] Europäisches Parlament „Encouraging STEM Studies for the labour market“ (Förderung von MINT-Fächern für den Arbeitsmarkt), März 2015
• [31] Cedefop: „Erhebung zum Thema europäische Fertigkeiten und Arbeitsplätze“
• [32] Capgemini Research Institute, „Why addressing ethical questions in AI will benefit organizations“ (Warum bei KI die Auseinandersetzung mit ethischen Fragen für Organisationen von Nutzen sein wird), Juli 2019.
• [33] OECD, „Empfehlung des Rates zur künstlichen Intelligenz“, 2019, https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449.
• [34] Rat der Europäischen Union, „Schlussfolgerungen des Rates zur Gestaltung der digitalen Zukunft Europas“, Juni 2020
• [35] Rahmenvereinbarung der europäischen Sozialpartner über die Digitalisierung, Juni 2020.
• [36] Europäisches Parlament: „Education and employment of women in science, technology and the digital economy, including AI and its influence on gender equality“ (Bildung und Beschäftigung von Frauen in Wissenschaft, Technologie und digitaler Wirtschaft, einschließlich KI, und der Einfluss auf die Geschlechtergleichstellung), April 2020
• [37] Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung) (ABl. L 119 vom 4.5.2016, S. 1).
• [38] 1https://rm.coe.int/guidelines-on-artificial-intelligence-and-data-protection/168091f9d8
• [39] 2https://legalinstruments.oecd.org/api/print?ids=648⟨=en
• [40] 3https://ethicsinaction.ieee.org
• [41] ABl. C 252 vom 18.7.2018, S. 239.
• [42] Weißbuch der Kommission mit dem Titel „Zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen“ (COM(2020)0065).
• [43] Mitteilung der Kommission an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen mit dem Titel „Eine europäische Datenstrategie“ (COM(2020)0066).
• [45] Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom 5. April 2017 über Medizinprodukte, zur Änderung der Richtlinie 2001/83/EG, der Verordnung (EG) Nr. 178/2002 und der Verordnung (EG) Nr. 1223/2009 und zur Aufhebung der Richtlinien 90/385/EWG und 93/42/EWG des Rates (ABl. L 117 vom 5.5.2017, S. 1).
• [46] Mitteilung der Kommission an das Europäische Parlament und den Rat mit dem Titel „Datenschutz als Grundpfeiler der Teilhabe der Bürgerinnen und Bürger und des Ansatzes der EU für den digitalen Wandel – zwei Jahre Anwendung der Datenschutz-Grundverordnung“ (COM(2020)0264).