Pełne sprawozdanie z obrad

Wtorek, 18 maja 2021 r. - Bruksela

23. Sztuczna inteligencja w sektorze edukacji i kultury oraz w sektorze audiowizualnym (debata)

  Presidente. – L'ordine del giorno reca la relazione di Sabine Verheyen, a nome della commissione per la cultura e l'istruzione, sull' intelligenza artificiale nell'istruzione, nella cultura e nel settore audiovisivo (2020/2017(INI)) (A9-0127/2021).

  Sabine Verheyen, Berichterstatterin. – Herr Präsident, sehr geehrte Frau Kommissarin, liebe Kolleginnen und Kollegen! Auch zu dieser späten Stunde erlaube ich mir zunächst einmal, meinen Schattenberichterstattern, dem Sekretariat, den Mitarbeitern für die gute Zusammenarbeit und Kooperation und Zuarbeit zu danken. Durch diese Kooperation wurde, denke ich, ein guter umfassender Bericht möglich.

Wir haben einen Bericht verfasst zum Thema Künstliche Intelligenz in den Bereichen Bildung, Kultur und audiovisuelle Medien. In diesem Bericht fordern wir einen klaren ethischen Rahmen für den Einsatz von KI-Technologie in den Medien, um sicherzustellen, dass die Menschen Zugang zu kulturellen und sprachlich vielfältigen Inhalten haben.

Ein solcher Rahmen sollte auch den Missbrauch von Künstlicher Intelligenz zur Verbreitung von Fake News und Desinformation adressieren. Wir brauchen klare Regeln für KI-Technologien, sodass sie Antidiskriminierung, Geschlechtergerechtigkeit, Pluralismus sowie kulturelle und sprachliche Vielfalt schützen. Die Verwendung von Daten, die bereits bestehende Ungleichheit oder Diskriminierung widerspiegeln, sollte beim Training von Künstlicher Intelligenz ausgeschlossen werden. Stattdessen soll ein inklusiver und ethischer Rahmen zur Verwendung von Datensätzen entwickelt werden, die während des Deep Learning Process Anwendung finden.

Es gibt keinen Zweifel daran, dass Künstliche-Intelligenz-Technologien uns in Zukunft in allen Lebensbereichen begegnen und sicherlich auch bereichern werden. Wir müssen aber den Menschen in den Mittelpunkt der Nutzung aller Technologie stellen, und gerade im Bildungsbereich muss Künstliche-Intelligenz-Technologie auf den Menschen ausgerichtet sein, der die letzte Entscheidung trifft und die Verantwortung in seinen Händen hält.

Dennoch halte ich es für falsch, den Bildungsbereich in der Diskussion um Künstliche Intelligenz generell als Hochrisikosektor zu klassifizieren. Gerade im Bildungssektor gibt es alle erdenklichen Möglichkeiten, wie KI genutzt werden kann. Einige bergen höhere Risiken, andere weitaus geringere. Hier bedarf es aber einer klaren Risikoeinschätzung und keiner Pauschalisierung eines gesamten Sektors, um Regulierung und Sicherheitsmaßnahmen je nach wirklichem aktuellen Risiko abstufen zu können.

Auch ich möchte an dieser Stelle an die Bedeutung der Stärkung digitaler Kompetenzen auf Unionsebene als Voraussetzung für den Einsatz von Künstlicher Intelligenz in der Bildung erinnern und an die Notwendigkeit, vor allem auch die Lehrkräfte zu schulen, damit sie sich an die Realitäten der KI-gestützten Bildung anpassen können und Risiken durch falsche Nutzung der Technologie vermindert werden. Lehrerinnen und Lehrer müssen jederzeit in der Lage sein, von der KI getroffene Entscheidungen zu korrigieren, wie etwa bei der Bewertung von Schülerinnen und Schülern. Niemals dürfen Lehrer durch KI-Technologien ersetzt werden, und ganz besonders nicht in der frühkindlichen Bildung.

Für den Kultur- und Kreativsektor fordern wir eine kohärente Vision der Nutzung von Künstlicher Intelligenz auf europäischer Ebene und in den Mitgliedstaaten. Algorithmusbasierte Inhaltsempfehlungen, insbesondere bei Video- und Musikstreaming-Diensten, sollten die kulturelle und sprachliche Vielfalt in der Europäischen Union nicht negativ beeinflussen können. Dazu sollen spezifische Indikatoren entwickelt werden, um die Vielfalt zu bewerten und sicherzustellen, dass europäische Werke gefördert werden. So wollen wir filter bubbles reduzieren und mehr Transparenz für die Konsumenten ermöglichen, die so Algorithmusentscheidungen auch besser nachvollziehen können.

Wir haben Jahrzehnte lang dafür gekämpft, unsere Werte der Inklusion, der Antidiskriminierung, der Mehrsprachigkeit und der kulturellen Vielfalt zu etablieren, die unsere Bürger als einen wesentlichen Teil europäischer Identität sehen. Diese Werte müssen sich auch in der Onlinewelt widerspiegeln, in der Algorithmen und Künstliche-Intelligenz-Anwendungen immer mehr zum Einsatz kommen. Größtmögliche Transparenz und die Entwicklung von qualitativ hochwertigen und inklusiven Datensystemen für den Einsatz von Deep Learning sind von entscheidender Bedeutung ebenso wie ein klarer ethischer Rahmen, um den Zugang zu kulturell und sprachlich vielfältigen Inhalten zu gewährleisten.

Künstliche Intelligenz ist eine Technologie, die zahlreiche unserer Lebensbereiche beeinflusst und den digitalen Wandel maßgeblich vorantreibt. Eines steht dabei in meinen Augen fest: Letztlich muss die Technologie dem Menschen dienen. Der Mensch steht im Mittelpunkt und hat die Verantwortung sowie die Kontrolle und die letzte Entscheidung.

  Ondřej Kovařík, rapporteur for the opinion of the Committee on Civil Liberties, Justice and Home Affairs. – Mr President, on behalf of the Committee on Civil Liberties, Justice and Home Affairs (LIBE), let me present the main elements from our opinion.

Primarily, we insist that any use of artificial intelligence in the education, culture and audiovisual sectors must fully respect fundamental rights and freedoms as set down in the Treaties. AI can enhance the education process if it’s used wisely, contributing to digital skills which will be so important in the future. About 40% of children today will work in jobs that do not exist yet.

I therefore welcome the Commission’s intention to update the digital education action plan in this regard. We highlight the need for safeguards in the use of AI for children, who are more vulnerable and therefore deserve particular attention and protection. There must always be the possibility for human intervention to ensure that no bias is found in the systems and there are equal opportunities for all.

Let me conclude my remarks by calling for an open regulatory framework for artificial intelligence where benefits in the education, audiovisual and cultural sectors are maximised and risks minimised.

  Mariya Gabriel, membre de la Commission. – Monsieur le Président, Mesdames et Messieurs les Députés au Parlement européen, permettez-moi tout d’abord de remercier la rapporteure Sabine Verheyen, présidente de la commission de la culture et de l’éducation, et l’ensemble de cette commission pour ce rapport et pour avoir souligné l’importance de l’intelligence artificielle dans l’éducation, la culture et le secteur audiovisuel.

Le Parlement européen et la Commission européenne reconnaissent pleinement l’importance stratégique de l’intelligence artificielle et des autres technologies émergentes pour l’Union. L’intelligence artificielle transforme déjà nos vies et elle continuera d’avoir un impact croissant sur la façon dont nous apprenons, dont nous travaillons et dont nous profitons de notre temps libre.

Toutefois, ce changement ne va pas sans risque. Les technologies de l’intelligence artificielle sont de plus en plus utilisées pour diffuser des fake news, déformer la réalité, détourner des données ou même marginaliser des groupes de personnes. Il est donc temps d’exploiter les possibilités et de relever les défis.

L’heure est à l’adaptation et c’est précisément là que l’éducation entre en jeu. L’éducation peut contribuer et ajouter un pont entre les avancées technologiques et la formation nécessaire pour les utiliser de manière sûre, efficace et éthique. Le plan d’action pour l’éducation numérique exploite les possibilités offertes par les technologies telles que l’intelligence artificielle, la réalité virtuelle ou encore la robotique. L’objectif est d’étendre les pratiques réussies et de mieux comprendre les implications en matière d’éthique, de vie privée et de sécurité. Il proposera des mesures de financements et de soutien ciblées et servira de catalyseur pour promouvoir une approche stratégique de l’éducation numérique dans l’Union.

Grâce à ce plan, nous renforçons les compétences numériques et élaborons des lignes directrices qui aideront nos États membres à soutenir les éducateurs, les apprenants, les chercheurs et les futurs innovateurs, et ainsi à contribuer au développement d’un écosystème d’éducation numérique performant.

Par exemple, nous allons préparer des lignes directrices éthiques sur l’intelligence artificielle et l’utilisation des données dans l’enseignement et l’apprentissage. Je voudrais vous dire qu’en ce moment même, l’appel à des experts qui vont former ce groupe a été lancé depuis le 23 avril. L’idée est qu’ils commencent leur travail le mois prochain, c’est-à-dire au mois de juin, et d’avoir d’ici la fin de cette année un premier rapport.

Des lignes directrices similaires sur la culture numérique et la désinformation seront également élaborées, afin de lutter contre la diffusion des fake news et la désinformation en ligne. La sensibilisation est tout aussi importante, c’est pourquoi après la publication des lignes directrices, la Commission soutiendra des activités de sensibilisation destinées aux éducateurs et aux étudiants. Dans le même temps, nous mettons à jour le cadre des compétences numériques du plan d’action, en ajoutant l’intelligence artificielle et les compétences liées aux données. Ce cadre permet de définir les compétences requises pour des citoyens qui soient numériquement compétents au XXIe siècle.

Enfin, nous soutenons également la recherche et l’innovation en matière d’intelligence artificielle dans l’éducation. Nous avons commencé à explorer l’utilisation de l’intelligence artificielle et de l’analyse de l’apprentissage dans l’éducation pour soutenir le système éducatif, afin de répondre aux besoins et aux tendances en matière de compétences. Deux services d’intelligence artificielle en ligne sont en cours de développement en ce moment même.

Cependant, comme souligné dans votre rapport, l’impact des technologies numériques, telles que l’intelligence artificielle, va bien au-delà du secteur de l’éducation et de la formation. Elles ont également un impact sur les secteurs culturels et créatifs, ainsi que sur le secteur du patrimoine. Un exemple évident est la question du contrôle des services de streaming en ligne par l’intelligence artificielle, qui est mentionnée dans votre rapport et qui a suscité beaucoup d’intérêt lors d’une récente conférence en ligne intitulée «Diversité et compétitivité du secteur européen de la musique», que mes services ont organisée avec des experts des États membres et des représentants du secteur. Le streaming va fondamentalement changer la façon dont la musique atteint les consommateurs. Il peut créer des occasions de renforcer la diversité, mais il peut aussi favoriser certains artistes, certaines langues ou certains genres au détriment d’autres. Il est donc essentiel de garantir une plus grande transparence dans l’utilisation des algorithmes par les services de streaming, et une compensation financière équitable pour les créateurs et les titulaires de droits.

Dans le même temps, les technologies numériques, telles que l’intelligence artificielle, offrent de nouvelles possibilités pour rendre le patrimoine culturel plus accessible à tous les publics, et aussi pour préserver le contenu culturel. La crise a également fait apparaître plus clairement que jamais la nécessité de renforcer le lien entre la numérisation, le patrimoine et l’éducation car les possibilités numériques rendent l’apprentissage du patrimoine plus accessible. Un bel exemple est la plateforme Europeana, qui a pu toucher près de 50 000 écoliers avec des cours en ligne et de nouvelles plateformes pendant la pandémie.

Nous explorons également la relation entre les technologies numériques et le patrimoine culturel, par l’intermédiaire du groupe d’experts de la Commission sur le patrimoine culturel, qui se réunit en avril, pour informer les représentants des États membres des possibilités offertes par l’application de l’intelligence artificielle au patrimoine culturel.

En ce qui concerne la recherche et l’innovation, le nouveau projet du programme «Horizon Europe» comprend un nouveau cluster culture entièrement dédié, qui va soutenir à ce moment-là la culture et la société inclusive et qui aidera les domaines de la culture et du patrimoine culturel à bénéficier de projets portant sur l’impact économique et social des applications technologiques et des services numériques liés à l’évolution du secteur.

Enfin et dernier point, la technologie a également un potentiel pour promouvoir le concept de tourisme culturel durable. Le groupe de travail composé d’experts européens sur le tourisme culturel durable, dans le cadre de la méthode ouverte de coordination et dans le contexte de précédents plans de travail pour la culture, a publié un rapport qui comprend la première définition du tourisme culturel durable, ainsi que des recommandations et des lignes directrices à l’intention des décideurs politiques. Je pense que c’est d’abord à nous de voir comment tous ces éléments-là peuvent véritablement servir les recommandations qui sont dans le rapport, pour lesquelles je vous remercie encore une fois du fond de cœur.

  Kim Van Sparrentak, rapporteur for the opinion of the Committee on the Internal Market and Consumer Protection. – Mr President, this week in the Netherlands secondary schools have started their final exams, which is an important moment in their lives and for their future. Last year, in the UK, not exams but artificial intelligence determined A-level exam results, which resulted in arbitrary and discriminatory results. Kids who went to an expensive private school were systematically marked up and kids from state schools were systematically given a lower grade than expected.

We need to protect pupils and students against situations where a computer or algorithm decides their future without human oversight. But we also have to protect them from companies harvesting their personal data through educational software. In the Netherlands, 70% of all primary schools are now Google schools, which is increasingly raising privacy concerns. For crucial digital infrastructure, like our education systems, we must not be dependent on a small number of large companies. We need public investment in education technology, clear public procurement rules and always human oversight on all decisions about the future of pupils and students.

  Ангел Джамбазки, докладчик по становището на комисията по правни въпроси. – Господин Председател, госпожо комисар Габриел, изкуственият интелект и неговото приложение стават все по разпространени в най-различни сфери на нашия живот като отбраната например. Станахме свидетели на изцяло преминаване на дейности от ежедневието ни неприсъствено, онлайн. Същото се случи в сферата на образованието, което показа един съществен проблем, за чието разрешаване трябва да се работи. 42% от населението на Европейския съюз нямат базови цифрови умения. Смятам, че учителите не могат и не трябва да бъдат заменени от машини и програми, в обозримо бъдеще поне, но трябва да се заложат средства за тяхната квалификация, за работа с изкуствен интелект, интерактивно преподаване. Изкуственият интелект играе роля и в разпространението на фалшивите новини. Важно е да съумеем да противодействаме и да го използваме за борба с дезинформацията. Не смятам, че трябва да бъде без надзор и без хора, тъй като неведнъж използването на алгоритми от големите социални мрежи и онлайн платформи води до сваляне, блокиране на съдържание, което си е чиста цензура. И това е сериозна част, за която благодаря и поздравявам докладчика. Обаче има и една много несериозна част, и признавам, впечатлен съм, дори в този доклад, когато става дума за изкуствен интелект, успяхте да вкарате любимите си теми като джендър-пропаганда, ЛГБТ и полове, равенства и т.н. Дори клетите роботи в бъдещето ще трябва да се съобразяват с тази пропаганда, което прави тяхното бъдеще доста тъжно, ми се струва, но какво да правим това е варианта, в който живеем.

  Maria da Graça Carvalho, relatora de parecer da Comissão dos Direitos da Mulher e da Igualdade dos Géneros. – Senhor Presidente, Senhora Comissária, Caras e Caros Colegas, felicito a relatora, a Senhora Sabine Verheyen, pelo seu trabalho neste relatório, esperando que possamos aplicar com eficácia todo o potencial da inteligência artificial na educação, cultura e audiovisual.

Como relatora do parecer da Comissão FEMM, considero ser essencial que a União Europeia, ao regular a inteligência artificial, considere os aspetos éticos, nomeadamente na perspetiva de género. É também fundamental desenvolver estratégias para aumentar a participação das mulheres nas áreas do digital e, em particular, na inteligência artificial, nomeadamente através do sistema de educação.

Os setores audiovisual e cultural podem igualmente combater preconceitos que associam as novas tecnologias ao género masculino, por exemplo através da apresentação de bons exemplos no feminino, tanto na informação como na ficção.

Precisamos de todos, homens e mulheres, para termos sucesso nesta transformação que temos pela frente e temos que ser bem-sucedidos.

  Miriam Lexmann, za skupinu PPE. – Pán predsedajúci, ľudská dôstojnosť a dobrá ľudstva musia byť vždy v centre vývoja i užívania jedinečnej technológie umelej inteligencie.

Už dnes totiž zasahuje takmer do všetkých oblastí nášho života. Dokáže nám pomôcť v mnohých situáciách, a poskytuje úplne nové možnosti. Okrem toho, že nám umožňuje prispôsobiť učenie na mieru, čo má obrovský význam pre budúcnosť vzdelávacích systémov, vie ovplyvniť aj to, aké informácie sa k nám prostredníctvom sociálnych sietí dostanú, a tak mení naše myslenie a rozhodovanie.

A tu je ten bod, keď musíme obzvlášť dbať na rozvoj kritického myslenia a digitálnej a mediálnej gramotnosti. Umelá inteligencia musí byť vždy založená na jasných požiadavkách transparentnosti. Užívatelia musia vždy byť oboznámení, že prichádzajú do kontaktu s umelou inteligenciou, a chápať základné rysy jej fungovania.

Členské štáty by preto mali predovšetkým dbať na kvalitu vzdelávania, a to nielen toho na školách, ale celkom vzdelávania v spoločnosti všetkých vekových kategórií. Kľúčové je etický rozmer umelej inteligencie. Musíme zabezpečiť, aby nespôsobovala pokrivenie vnímania reality. šírenie dezinformácií, či manipuláciu za účelom dosiahnutia zisku, ale práve naopak, aby jej cieľom bola služba človeku a jeho dobru.

  Ibán García Del Blanco, en nombre del Grupo S&D. – Señor presidente, la inteligencia artificial, sobre todo cuando se relaciona con libertades o derechos fundamentales, tiene que alcanzar las mayores cotas de cumplimiento con los estándares éticos.

La educación es un caso claro: debe ser considerada, dentro de esa división que ha establecido la propia Comisión, como sector de alto riesgo y, por lo tanto, controlarse desde la génesis hasta el desarrollo de las tecnologías que se puedan utilizar para mejorar en el ámbito de la educación, para mejorar la experiencia, pero nunca para sustituir la relación que tiene que tener también la educación, las personas que se educan, con los educadores, con los seres humanos: no hay que sustituir nunca esa posibilidad por la utilización de tecnología.

De la misma forma, hablando del sector de la cultura y del audiovisual, la implicación que tiene la utilización de estas técnicas, el cambio sobre ese ecosistema, puede ser tan grande que procede que hagamos una segunda lectura más concreta en este sector, y eso es lo que mandata de alguna forma también este informe, y se trata de un aspecto que quiero resaltar.

Y en último lugar tenemos la alfabetización digital: no se trata solo de tener habilidades digitales, se trata de entender profundamente lo que implica este fenómeno, y, por tanto, también quiero resaltar esa necesidad que tenemos de introducir en la educación esa comprensión del cambio del que estamos simplemente ya observando su máxima dimensión.

  Laurence Farreng, au nom du groupe Renew. – Monsieur le Président, Madame la Commissaire, merci tout d'abord à la rapporteure, Mme Verheyen, pour ce rapport très important. L'intelligence artificielle représente une chance immense pour les acteurs de l'éducation, de la culture et de l'audiovisuel européens. Qu'il s'agisse de dispositifs d'apprentissage, notamment linguistique, plus interactifs ou de valorisation de notre patrimoine, l'intelligence artificielle ouvre beaucoup de possibilités pour notre performance et notre compétitivité. Il est donc primordial, comme nous le demandons dans ce groupe pour ce rapport, de permettre à tous un accès équitable et juste à cette technologie numérique.

Cependant, celle-ci nous oblige également à relever plusieurs défis: d'abord, le renforcement des compétences numériques des Européens et la formation adéquate du personnel enseignant; ensuite, la structuration d'une filière recherche de pointe compétitive et attractive pour les chercheurs d'Europe; enfin, l'élaboration d'une intelligence artificielle éthique dès la conception et emblématique de nos valeurs européennes, telles que la diversité culturelle, l'égalité des genres ou la liberté d'expression et d'information. L'Europe a donc tout son rôle à jouer pour relever ces défis, grâce à ses programmes «Horizon Europe», «Europe numérique» et «Europe créative».

Toutefois, l'intelligence artificielle a aussi son côté obscur: les deep fakes, qui permettent de truquer les prises de parole, ou la diffusion accélérée de fausses informations. Contre ces pratiques, il nous faudra préserver les domaines à haut risque, comme l'éducation, et aussi lutter encore plus fortement contre la désinformation. À ce titre, nous attendons beaucoup du projet-cadre proposé par la Commission il y a quelques semaines.

  Marcel Kolaja, on behalf of the Verts/ALE Group. – Mr President, artificial intelligence will bring changes to our societies. However, only if we eliminate the risks will these changes be positive. For instance, AI systems evaluating applications for universities must be considered high risk. Imagine that a technology faculty employs such a system and uses graduates’ profiles for machine learning. Women are under-represented in technology, so the system may reject applications from women, based on that pattern, and such discrimination is unacceptable.

Systems with such an impact on people’s lives must be verifiable at every stage of their life cycle by authorities and by civil society. Let me remind you that free and open source solutions serve this purpose best. We also need to update curricula so that students are prepared to fully participate in the digital society and to understand how AI systems may influence their decisions, shopping patterns or what they see online.

And finally, my Group has also been calling for a ban on facial recognition technologies in public space. Among other things, they can be easily abused to persecute investigative journalists. And please let me finish by thanking the rapporteur and other shadow rapporteurs for their work on this file.

  Beata Mazurek, w imieniu grupy ECR. – Panie Przewodniczący! Rozwój sztucznej inteligencji to szansa na kolejny skok cywilizacyjny. Aby tak się stało, musimy skoordynować działania inwestycyjne w tym zakresie oraz upowszechnić wiedzę na ten temat wśród społeczeństwa, które w dalszym ciągu wykazuje brak zaufania do tej technologii.

Dodatkowo, jeśli chcemy sprawnie wdrażać rozwiązania, które niesie ze sobą sztuczna inteligencja, musimy walczyć z wykluczeniem cyfrowym, które niestety dotyka sporą część mieszkańców Europy. Nauka o sztucznej inteligencji i cyfryzacji powinna odbywać się na wszystkich etapach edukacji. Wyedukowane społeczeństwo to najlepszy kapitał, który będzie mieć znaczący wpływ na jej rozwój.

Rządy państw członkowskich powinny wspierać wdrażanie nowoczesnych rozwiązań cyfrowych poprzez współpracę z innowacyjnymi firmami z Europy, tak jak to ma miejsce w Polsce poprzez rządową platformę GovTech, która wzmacnia zaangażowanie zewnętrznych podmiotów w doskonalenie cyfrowych umiejętności w różnych dziedzinach życia publicznego.

  Martina Michels, im Namen der Fraktion The Left. – Herr Präsident, Frau Kommissarin! Der Kulturausschuss stellt naturgemäß andere Fragen als der Industrie—, der Beschäftigungs— oder der Verbraucherausschuss. Doch es geht bei der KI—Strategie der EU nicht nur um die Haftungsfragen bei selbstfahrenden Autos, um es einmal zuspitzend zu vereinfachen. Denken wir an die Wahlbeeinflussung durch Cambridge Analytica, an Maschinen, die Literaturwettbewerbe gewinnen und längst mehr als selbstgeschriebene Wetterberichte verbreiten. Dann wird deutlich: Ein gesellschaftspolitischer Ansatz einer europäischen KI—Strategie ist überfällig.

Der KI—Einsatz in Bildung, Kultur und Medien ist voll vom digitalen Gendergap. Studien zufolge hat jede zehnte Frau in der EU seit ihrem fünfzehnten Lebensjahr irgendeine Form von Cybergewalt erlitten. Der KI—Einsatz kann Meinungen blockieren, diskriminieren oder beeinflusst durch Datennutzung ohne Zustimmung. Der Bericht fordert nun, dass die Kommission prüft, Bildung als Hochrisikobereich in ihrer KI—Strategie anzuerkennen. Und er empfiehlt unterm Strich, das KI—Weißbuch umzuschreiben, sodass unsere Kultur, unser demokratischer Dialog der Zukunft darin auch mit einer ethischen, transparenten und diskriminierungsfreien KI stattfinden. Unsere Fraktion wird diesem Ansatz unbedingt zustimmen.

  Paul Tang (S&D). – Mr President, one year ago I read Weapons of Math Destruction by Cathy O’Neil. She noticed that companies started AI for good reasons but forgot those reasons in due process. A month ago, the Commission proposed legislation for ethical AI and today the report adds what is missing to the Commission proposal, especially in paragraphs 18 and 45.

The first concern is the use of AI in advertising. The advertising business harms privacy, harms competition and above all, harms our democracy. That’s why this calls for strictly limiting personalised ads and tracking of uses. The second concern is biometric recognition. As the Reclaim Your Face movement makes clear, it endangers our society and our children are the first ones to suffer. This calls for a ban on facial recognition in educational use: no more online proctoring, no more cameras on school premises. Let’s use AI only for good reasons.

  Svenja Hahn (Renew). – Herr Vorsitzender! Wir leisten gerade Pionierarbeit mit einem Rechtsrahmen für Künstliche Intelligenz. Frau Verheyen, Ihr Bericht verfolgt aus Sicht der Bildung und Kultur wichtige Punkte. Diese müssen aber über diese Bereiche hinaus ganz grundsätzlich gelten, wenn wir die Chancen von Künstlicher Intelligenz nutzen wollen. Ethische Prinzipien und Bürgerrechte müssen unsere Leitlinie sein für Entwicklung und den Einsatz Künstlicher Intelligenz. Es darf keinen Missbrauch digitaler Technologien geben, der Schutz unserer Grundrechte ist nicht verhandelbar.

Das unterscheidet uns und muss uns immer wieder unterscheiden von autoritären und totalitären Regimen. Künstliche Intelligenz muss immer grundrechtskonform sein. Chancen nutzen heißt deshalb auch, Anwendungen auszuschließen. Deshalb braucht es ein klares Verbot von generellen Überwachungspflichten wie Upload—Filtern oder biometrischer Überwachung im öffentlichen Raum. Schaffen wir einen smarten, nachhaltigen und technologieoffenen Rahmen für Künstliche Intelligenz, der auf ethischen Grundsätzen und europäischen Grundwerten basiert!

  Pernando Barrena Arza (The Left). – Mr President, the report on artificial intelligence in education, culture and the audiovisual sector is a good one, and I’d like to congratulate all the colleagues involved.

The rapid and exponential development of artificial intelligence in a growing number of areas poses many challenges. In this regard, the report is the first one to take a socio—political approach to an artificial-intelligence strategy, to democracy, inclusion, securing freedom of speech and data security by looking at education, culture and media in the development and obligations of AI.

Nevertheless, I would like to raise a couple of issues: first, the importance of stressing non—discrimination, eliminating gender stereotypes, and developing inclusivity, also in data collection and its development; and, second, a gain for linguistic diversity and language learning. In this regard, we advocate for AI as a tool offering a specific potential for innovation, specifically for lesser—used languages in Europe.

  Victor Negrescu (S&D). – Domnule președinte, doamnă comisară, dragi colegi, noile tehnologii au un impact substanțial asupra educației, culturii și sectorului audiovizual. Parlamentul European solicită evaluarea rolului jucat de inteligența artificială, dezvoltarea oportunităților oferite de aceste tehnologii, dar și informarea și protejarea adecvată a utilizatorilor.

Noi suntem autorii acestei transformări digitale și putem seta regulile și principiile, inclusiv de natură etică, în baza cărora dezvoltăm aceste tehnologii, făcând procesul mai uman și mai incluziv. Inteligența artificială nu poate să înlocuiască empatia profesorului, dar tehnologia poate ajuta la creșterea calității actului educațional. Creativitatea artistul nu trebuie să fie înlocuită de un algoritm, dar viitorii creatori de conținut pot folosi tehnologia pentru a genera venituri mai mari.

Dezvoltarea educației și a competențelor privind inteligența artificială este esențială. Europa poate fi un deschizător de drumuri în domeniul inteligenței artificiale, dar poate fi, de asemenea, un lider în materie de etică.

  Mariya Gabriel, membre de la Commission. – Monsieur le Président, Mesdames et Messieurs, Madame la rapporteure, merci beaucoup pour cette discussion intéressante. Comme vous pouvez le constater, l'utilisation de l'intelligence artificielle dans les secteurs de l'éducation, de la culture et de la création présente de nombreuses possibilités, mais aussi des défis.

Nous voulons préserver la diversité culturelle de l'Europe dans l'environnement actuel, qui évolue rapidement. Nous voulons donc nous assurer que la grande diversité des acteurs culturels et créatifs européens puisse bénéficier de ces développements. Pour examiner les possibilités, la Commission a lancé une étude qui recensera des études de cas inspirantes pour tous les secteurs créatifs; les résultats sont attendus en décembre.

Pour ce qui est des défis, votre rapport souligne à juste titre, entre autres, l'importance de la protection de la vie privée, de la lutte contre la discrimination, de la promotion de l'égalité des sexes, du respect des droits de propriété intellectuelle, de la protection de l'environnement, et du droit des consommateurs. Tous ces défis sont examinés dans le cadre de diverses initiatives et études en cours. L’«Europe créative» reconnaît également ces défis et encourage la collaboration entre les secteurs de la culture et des médias afin de relever ces défis, par l’intermédiaire de son laboratoire d'innovation intersectoriel nouvellement créé.

Je voudrais terminer sur un sujet que je trouve particulièrement important. Nous devons nous assurer que ces développements technologiques ne changent pas nos valeurs et notre mode de vie européen. Le progrès sans l'inclusion et l'égalité, la diffusion de nouvelles ou de données sans éthique ne sont que des mots vides de sens. Nous devons nous assurer que personne ne sera laissé pour compte, que personne n'aura le sentiment que sa vie privée ou ses droits ont été violés, et que chacun aura une chance égale de s'épanouir. Après quatre conseils ces derniers jours et quatre débats ce soir, je voudrais encore une fois vous remercier de l'extraordinaire énergie que j'ai ressentie ce soir, et vous dire également que vous pouvez compter sur mon soutien.

  Presidente. – La discussione è chiusa.

La votazione s svolgerà domani, mercoledì 19 maggio 2021.

Dichiarazioni scritte (articolo 171)

  Margarita de la Pisa Carrión (ECR), por escrito. – La inteligencia artificial es, como se ha dicho, la electricidad del siglo XXI y Europa debe ser líder a través de la formación de las nuevas generaciones. No obstante, es un error plantear el futuro digital con una perspectiva ideológica como es la de género, y querer imponerla tanto a nuestros trabajadores como a nuestros estudiantes. El informe plantea incluso la idea absurda de que los robots no tengan género. La inteligencia artificial debería plantearse como una herramienta técnica al servicio del ser humano de forma ética y profesional.

Por otra parte, es preocupante el papel que se quiere otorgar a la inteligencia artificial frente al factor humano, que desvirtúa su propia naturaleza. Por ejemplo, cuando se utilizan técnicas antidiscriminatorias para corregir supuestos estereotipos.

  Patryk Jaki (ECR), na piśmie. – Bardzo dobrze, że poświęcamy tyle uwagi sztucznej inteligencji jako Parlament Europejski. Dzisiaj objęcie efektywnymi prawnymi ramami SI jest kluczowe do obrony praw podstawowych i wolności. Wykorzystywanie SI w sektorze edukacji i kultury oraz w sektorze audiowizualnym jest obecnie na bardzo zaawansowanym poziomie przez Big Tech, ale niestety sami twórcy, nauczyciele czy demokratycznie wybrana władza nie mają nad tym żadnej kontroli. W zasadzie wszyscy jesteśmy obecnie petentami globalnych korporacji, które posiadają więcej danych o każdym z nas niż jakiekolwiek państwo czy też instytucja. Na pewno musimy mieć sprawne narzędzia do reagowania, przepisy, które jasno określają, co wolno, a czego nie, ale przede wszystkim przepisy chroniące każdego odbiorcę i użytkownika przed manipulacją.

  Eva Maydell (PPE), in writing. – When we speak about Artificial Intelligence and other new technologies and their impact on our democratic societies, the conversation is focused on the dangers and threats. In a way, that’s for a good reason – there is a lot we have to be cautious about: machine learning leading to biased outcomes, infringements on privacy, algorithms that encourage polarisation and division. For that reason, indeed, our regulations should be made very carefully. But what is equally or even more important is to see what the opportunities in AI are.

One area where there is tremendous opportunity for Artificial Intelligence to have a positive impact is the field of education. AI can allow students to learn better by providing differentiated and individualised learning or better access for those who may have visual or hearing impediments. AI can also help teachers by automating routine tasks and allowing teachers to spend more time focused on the students. Overall, AI and other new technologies have the potential to make education more efficient, effective and beneficial for all stakeholders involved. So long as the risks are mitigated properly, we should utilise these new technologies for the greater benefit of our society as a whole.