Presidente. – Segue-se o debate sobre a pergunta com pedido de resposta oral à Comissão sobre Processos automatizados de decisão: Garantir a defesa do consumidor e a livre circulação de mercadorias e serviços, apresentada por Petra de Sutter, em nome da comissão do Mercado Interno e da Proteção dos Consumidores O-000008/2020 - B9-0007/2020) (2019/2915(RSP)).

Como sabem podem utilizar os cartões para os procedimentos catch the eye e cartão azul, quer através do registo tradicional quer através do sistema eletrónico.

  Petra De Sutter, author. – Mr President, the Committee on the Internal Market and Consumer Protection (IMCO) formulated a couple of questions regarding automated decision—making processes in anticipation of the European Commission’s initiatives on artificial intelligence (AI), which will be presented in Parliament next week. For our committee, it is of utmost importance that in any future initiative on the matter, we do guarantee not only the free movement of AI-enabled goods and services, but also the trust of the consumer in these new goods and services because the applications are numerous and encompass virtually all sectors of the internal market. We are witnessing rapid development of AI technology. Consumers are being confronted on a daily basis with systems that use automated decision making, such as virtual assistance and chat—bots on websites, and as is the case with all technological advancements, this provides us with opportunities as well as challenges.

AI and automated decision making offers great potential in terms of innovative and higher quality products and services, but at the same time, various challenges need to be addressed in order to realise this potential. First and foremost, services and goods using AI and automated decision making create the risk of consumers being misled or discriminated against, for example, in relation to differentiated pricing. Will consumers be aware of the fact that the price displayed on their screen was adapted to their estimated purchasing power? The same goes for professional services. If important decisions are automated and thus carried out without sufficient human oversight by highly skilled professionals, are consumers aware that decisions affecting their professional, financial or personal lives are in fact not made by humans, and if they feel wronged, will they be able to demand a human review? Will a human, ultimately, be responsible for final decisions or will they be able to reverse them? So my first question to you is: how is the Commission planning to ensure that consumers are protected from unfair or discriminatory commercial practices or from potential risks entailed by AI—driven professional services?

Secondly, we risk that the existing EU product safety and liability frameworks do not adequately cover new AI—enabled products and services. Do concepts such as defective products and the legal provisions built around these adequately cover situations in which harm is caused by products operating under automated decision making? As is the case with other products and services, we should ensure that businesses and consumers are protected from harm and receive compensation if it occurs. This is important in order to ensure secured free movement throughout the single market. Therefore, our second question is: what initiatives may we expect from the Commission side to ensure that the EU safety and liability frameworks are fit for purpose? In that respect, we should ensure that market—surveillance authorities and other competent authorities possess adequate means and powers to act. This is especially important when competent authorities, businesses and consumers do not have access to clear information on how the decision was taken. How will the Commission ensure greater transparency in this respect?

Lastly, talking about biased or unlawfully obtained data sets, the IMCO Committee stresses the importance of respecting regulations such as GDPR when it comes to the collection of data, but also looking at non-personal data use, barriers and requirements. This is something we can and should address at this stage of the design. We should build in these safeguards – privacy by design. So I want to ask: how is the Commission planning to ensure that only high quality and unbiased data set are used in automated decision—making processes?

Dear Commissioner, as I said at the beginning, AI offers great potential in many aspects of our daily lives and many fields of the internal market, yet it confronts us with many new and unknown risks. We should address these risks in an adequate and timely manner because the trust of the consumer will be crucial for the acceptance of these new technologies in our society and economy. I thank you in advance for your answers on these very topical and societally important questions and I, and with me the whole IMCO Committee, look forward to the presentation of your plans next week.

  Thierry Breton, membre de la Commission. – Monsieur le Président, Madame la Présidente De Sutter, merci pour votre question qui est plus qu’une question, puisqu’en fait elle couvre tout le panorama de ce sur quoi nous travaillons depuis maintenant plusieurs semaines et même plusieurs mois à la Commission, concernant les questions que vous avez soulevées, et en particulier, bien sûr, derrière, en sous-jacent, tout ce qui concerne l’intelligence artificielle, la gestion des données dans une économie numérique qui va changer radicalement notre marché intérieur.

La question que vous posez, en fait, consiste à nous demander comment cette évolution – cette révolution, diront certains – va effectivement modifier les comportements des consommateurs, mais aussi nous permettre, – c’est ce sur quoi nous travaillons – de consolider l’ensemble de notre marché intérieur.

Pour cela, évidemment, le premier mot, le maître mot qui était, du reste, assez présent dans votre intervention, Madame la Présidente, c’est évidemment instaurer un climat de confiance. Il est vrai qu’aujourd’hui, il y a de la défiance sur l’intelligence artificielle. Nos concitoyens se posent des questions, souvent légitimes, et nous sommes là pour essayer d’apporter des réponses – des réponses efficaces.

C’est dans cet esprit que, vous l’avez rappelé, la Commission va présenter le 19 février un livre blanc qui sera une sorte de consultation ciblée, sur laquelle nous allons évidemment exprimer nos positions, mais qui est aussi le moyen de poursuivre le débat que nous avons ce soir et de le prolonger pour vous écouter tous et toutes, mais aussi pour pouvoir apporter des solutions ensemble à cette évolution absolument essentielle qui marque désormais notre époque.

D’abord, il s’agit évidemment de bien cadrer les règles de développement de l’intelligence artificielle en Europe.

D’autre part, il s’agit aussi de faire en sorte que ces règles nous permettent de favoriser l’émergence d’une industrie européenne de l’intelligence artificielle.

Nous avons beaucoup travaillé, avec mes collaborateurs, avec l’ensemble de mes collègues, au cours des dernières semaines, et nous devons vraiment, ensemble, nous poser la question – vous l’avez rappelé tout à l’heure –, bien sûr, des algorithmes, quand on parle d’intelligence artificielle, mais aussi la question des données.

Ce sont évidemment les données qui sont, allais-je dire, le carburant qui va nous permettre précisément, en les entraînant à travers des algorithmes spécifiques, de développer des applications précises qui vont évidemment intervenir dans la vie de nos concitoyens. L’intérêt que nous allons donc porter aux données, aux données à valeur ajoutée, va être très importante dans la communication que nous ferons.

Je voudrais quand même rappeler, notamment pour répondre à un certain nombre de vos interrogations, Madame la Présidente, qu’évidemment, on ne part pas de zéro. Beaucoup de travail a été fait, et notamment de travail législatif, y compris dans ce Parlement, bien entendu.

D’abord, la législation en matière de protection des consommateurs. Elle couvre également des pratiques commerciales, vous y avez fait référence, faisant appel à des processus décisionnels automatisés, qui peuvent aussi être invoqués dans le cas de discriminations. De même, le cadre réglementaire oblige désormais les professionnels à informer les consommateurs, lorsque le prix est personnalisé – vous l’avez évoqué tout à l’heure –, sur la base d’un système de décision automatisée.

Je voudrais aussi évoquer, évidemment, le RGPD, dont on a beaucoup parlé, à juste titre, et qui impose qu’une analyse d’impact soit menée lorsque le traitement des données personnelles est susceptible de présenter un risque élevé pour les droits et les libertés des personnes.

Il y a encore d’autres exigences qui s’appliquent dans le cas de décisions automatisées prises dans le cadre, par exemple, d’un recrutement électronique. Il est évident qu’il va falloir bien veiller à ce qu’il n’y ait pas de discrimination, et donc comprendre comment ces algorithmes fonctionnent, tout simplement pour qu’ils respectent l’ensemble du corpus des valeurs européennes auxquelles nous sommes si attachés. Et évidemment, tout ce qui concerne des interventions humaines qui doivent, encore une fois, pouvoir nous permettre de contester éventuellement la décision, permettre à nos concitoyens de contester la décision s’ils considèrent qu’ils sont en droit de le faire.

Enfin, je rappelle le règlement dit Platform to Business, qui a été adopté l’année dernière et qui impose des obligations de transparence sur le classement réalisé par les algorithmes des plateformes en ligne et des moteurs de recherche.

Beaucoup de choses existent mais, bien entendu, il va falloir aller de l’avant et je voudrais enfin dire que nous allons évidemment nous servir de tout cela. Nous allons aussi réfléchir ensemble à l’adaptation de la directive relative à la sécurité générale des produits, la directive relative aux machines, ainsi que la directive relative aux équipements radioélectriques. Le secteur automobile va également être un sujet très important en ce qui concerne l’intelligence artificielle et les prises de décisions automatiques.

Le législateur, vous le savez, a déjà chargé la Commission de se pencher sur la question de l’approbation des voitures autonomes connectées, nous allons donc poursuivre dans cette voie. Il pourra aussi peut-être s’avérer nécessaire d’apporter certaines clarifications à la directive sur la responsabilité générale des produits à la lumière du développement des technologies émergentes et de l’économie circulaire. Enfin, vous le savez, la préparation de l’acte sur les services numériques, à laquelle nous travaillons, va nous permettre d’examiner avec une plus grande attention une série de processus algorithmiques, par exemple les systèmes de recommandations, les algorithmes de modération, ou encore, bien entendu, un sujet très important qui a été abondamment débattu dans ce Parlement, la publicité en ligne.

Un point également, si vous le permettez, sur les services aux professionnels. L’expertise proposée doit non seulement reposer sur des qualifications traditionnelles, mais aussi sur une nouvelle sorte de combinaison de compétences rassemblant technologies de l’information, connaissances et, bien sûr, expertise dans chaque secteur.

Je voudrais aussi vous indiquer que le livre blanc sur lequel nous allons travailler, qui va être porté à votre connaissance, sera suivi d’actions au quatrième trimestre, comme prévu dans le programme de travail de la Commission, et que, bien entendu, c’est dans cette perspective que nous souhaitons vraiment pouvoir travailler avec vous.

Je sais que beaucoup d’entre vous, Mesdames et Messieurs les parlementaires, travaillent depuis maintenant plusieurs mois, voire plusieurs années, sur ces questions. C’est tout à fait enrichissant pour nous, et pour moi en particulier, et donc à travers le livre blanc, on va avoir une plateforme pour poursuivre ces échanges.

  Pablo Arias Echeverría, en nombre del Grupo PPE. – Señor presidente, señor comisario, la Comisión Europea ha situado la inteligencia artificial como una de sus prioridades para esta legislatura. Como todos sabemos, la inteligencia artificial tiene múltiples aplicaciones prácticas con un enorme potencial para mejorar el funcionamiento de nuestras sociedades y economías. Para ello, y por ello, yo soy el primer partidario de priorizarla en la Unión Europea, pero tenemos que estar atentos.

Ya perdimos el tren en lo digital cuando en su antesala liderábamos el mercado tecnológico con marcas como Nokia, que vieron cómo se quedaban atrás por no prestar atención y sobre todo por no mirar desde la perspectiva correcta. Europa se quedó descolgada.

Hoy no podemos permitirnos el lujo de volver a lo mismo con la inteligencia artificial. Para abordar este reto, debemos garantizar la confianza de nuestros consumidores. Los europeos no somos como los estadounidenses o los asiáticos, aquí anteponemos la privacidad y la transparencia a cualquier experiencia digital.

Debemos preguntarnos: ¿Qué quiere conseguir la Unión Europea de la inteligencia artificial? ¿Cómo pretende la Unión Europea lograrlo? Y, sobre todo, ¿para qué fines? Desde aquí, pedimos a la Comisión Europea que se haga estas tres preguntas antes de empezar cualquier iniciativa y que encuentre las respuestas correctas.

La transparencia debe ser la pieza angular de cualquier iniciativa relacionada con esta tecnología. Sin ella, los consumidores no confiarán y no lograremos su desarrollo ni por tanto la ventaja competitiva que nos puede dar respecto a nuestros competidores. Solo si prestamos atención, miramos desde la perspectiva adecuada y somos ágiles, lideraremos el desarrollo de la inteligencia artificial y crearemos el ecosistema que pedimos los europeos y que necesitamos.

  Maria Manuel Leitão Marques, em nome do Grupo S&D. – Senhor Presidente, a aprendizagem automática ainda tem dificuldades em executar tarefas que nós consideramos fáceis. Por exemplo, uma rede neural cujo objetivo era distinguir entre cães e lobos aprendeu a diferenciá-los, não por aquilo que normalmente distingue estes dois animais, mas apenas através do seu ambiente. Assim, as imagens que tinham relva eram classificadas como cães e as que tinham neve como lobos.

Este exemplo pode parecer inofensivo, mas baseia-se nos mesmos mecanismos de aprendizagem que estão implementados nas plataformas digitais e que tomam decisões de forma automatizada. São eles que nos recomendam certos produtos ou serviços, tornam mais visíveis uns e ocultam outros. Estes mecanismos, é claro, também podem ser usados com benefícios coletivos, incluindo para melhorar os nossos serviços públicos, se tivermos algumas cautelas, de natureza ética, em matéria de regulação e em matéria de governação.

Nesta resolução defendemos, por isso, a necessidade de garantir maior transparência aos algoritmos que alimentam aquela aprendizagem, de modo a conferir segurança nas escolhas dos consumidores e, sobretudo, confiança quando estes interagem com sistemas automatizados sabendo, por exemplo, se estão a falar com um ChatBot ou com um humano por trás desse sistema.

Alertamos, também, para o impacto que estes sistemas podem ter na segurança dos produtos, como o Senhor Comissário já referiu, e nas regras sobre a responsabilidade em caso de defeito.

E, finalmente, salientamos a necessidade de os dados, de as bases de dados utilizadas para treinarem estes algoritmos, o ponto crucial, como referiu, terem a devida qualidade e serem auditáveis, com regras de governança claras para assegurar, tanto quanto é tecnicamente possível, a remoção de qualquer viés.

Senhor Presidente, Senhor Comissário, na hora do passeio da floresta convém que confiemos no sistema que nos alerta: não se preocupe, é um cão e não um lobo que se está a aproximar.

  Dita Charanzová, on behalf of the Renew Group. – Mr President, I very much welcome the fact that this new Parliament will adopt the first resolution on artificial intelligence (AI). I’m sure it is not the last one.

Automated decision—making is already affecting our lives. It is making our lives easier with new and better services, and making mundane tasks take up less of our time. If done correctly, they also have the possibility to reduce human bias and human errors in the decision—making process.

But as with any new technology, there will inevitably be legal and ethical questions raised that we must be aware of. Most of these issues can be addressed with the current rules; others may need to be adopted, but we need a measured approach.

We need to resist the temptation of over—legislating too quickly for these fast—evolving technologies. This would not only hinder innovation and developments in Europe, but also create more problems than it would solve.

Equally, we must not generalise our approach. The rules governing algorithms should be proportionate to the risk taken in using that algorithm. There is a difference between the algorithm of a power grid and the algorithm in a video game.

To conclude, while humans must always be in the driver seat, let’s be guided by our heads and not by illogical fears.

  Virginie Joron, au nom du groupe ID. – Monsieur le Président, Monsieur le Commissaire, chers collègues, Antoine de Saint-Exupéry disait «les yeux sont aveugles, il faut chercher avec le cœur». Aujourd’hui, dans nos recherches sur l’internet, dans notre vie de tous les jours, des robots, des algorithmes scrutent notre activité, nous analysent. C’est ce qu’on appelle le profilage. Deux heures sur l’internet, et on nous propose un voyage, un mari et une voiture dernier cri. Ces traitements automatiques, peut-on leur faire confiance? Est-ce que le prix est bien le prix normal? Est-ce que nos données sont protégées? Est-ce que nos pensées et nos désirs sont à exploiter dans un monde virtuel?

Il est donc essentiel que les critères et algorithmes utilisés par les applications qui nous aident, nous marient ou nous suivent au travail soient transparents et contrôlés. Nous pouvons faire trop ou pas assez confiance à un système automatisé. Les accidents malheureux causés par des véhicules autonomes peuvent être considérés comme des cas de trop grande confiance. Demain, nous verrons de plus en plus de camions sans chauffeur sur nos routes et en cas d’accident, qui sera tenu responsable? Qui indemnisera? Le consommateur doit toujours être responsable en dernier ressort et être en mesure d’annuler les décisions automatiques prises par des ordinateurs ou des robots.

Concernant le texte qui est proposé, cette résolution manque un point crucial: elle ne dit rien de la concentration des données au sein de quelques entreprises non européennes et de notre émancipation nécessaire dans ce domaine. Nous ne croyons pas que les consommateurs aient été suffisamment protégés contre les dommages causés par des produits défectueux par les directives de Bruxelles. Vous le savez bien – depuis plus de 30 ans, les entreprises insèrent des clauses de non-responsabilité écrites en tout petit dans leur contrat. Pour toutes ces raisons et à ce jour, nous ne croyons pas qu’il serait plus efficace que Bruxelles décide des critères de gestion de risque de l’intelligence artificielle, mais nous croyons, en revanche, en nos ingénieurs français.

  Alexandra Geese, im Namen der Verts/ALE-Fraktion. – Herr Präsident, Herr Kommissar! Automatische Entscheidungssysteme werden im wahrsten Sinne des Wortes über unser Leben entscheiden, und noch stärker über das unserer Kinder. Ausbildung und Beruf, Wohnung und Arbeitsplatz, Warenkauf und Nachrichten werden davon beeinflusst.

Aber es ist unsere Entscheidung, welchen Einfluss sie nehmen, auf welcher Datenlage die Maschinen urteilen und was sie entscheiden – und was nicht.

Wir wollen, dass künstliche Intelligenz wirklich allen dient, und dafür können wir jetzt die Weichen stellen – mit einem klaren Ja zu künstlicher Intelligenz, die dem Klimaschutz und der Nachhaltigkeit dient, aber auch mit einem klaren Nein, wenn sie Menschen diskriminiert.

Denn wir wissen, dass jeder in einer ungleichen Gesellschaft erhobene Datensatz eine diskriminierende Wirkung hat. Ein Beispiel: Frauen werden aktuell schlechter bezahlt und leisten mehr Sorgearbeit. Diese Tatsache fließt in die Daten ein und führt – wenn nicht korrigiert – dazu, dass Frauen auch in Zukunft schlecht oder sogar noch schlechter bezahlt werden. Solchen Fällen von Ungerechtigkeit müssen wir mit aller Entschiedenheit gesetzlich entgegentreten.

In der Europäischen Union haben wir das Recht auf sichere Produkte und Dienstleistungen. Aber dieses Recht ist nur etwas wert, wenn wir es auch durchsetzen können. Deswegen brauchen unsere Aufsichtsbehörden umfassende Befugnisse, um algorithmische Systeme auf ihre Rechtmäßigkeit zu prüfen.

Europa hat jetzt die einzigartige Chance, einen Rechtsrahmen zu gestalten, der auf unseren demokratischen Werten gründet und der Vorbildcharakter für die Welt haben könnte. Lassen Sie uns dieses große Vorhaben mit Mut angehen.

  Kateřina Konečná, za skupinu GUE/NGL. – Pane předsedající, prudký rozvoj technologií umělé inteligence a automatického rozhodování znamená pro naši společnost obrovskou výzvu. Jak z hlediska práva, morálky, budoucího směřování lidstva, tak i z hlediska vnitřního trhu.

V binárním kódu můžeme najít stejné neduhy jako ve společnosti. Služby a zboží využívající umělou inteligenci a automatické rozhodování s sebou nesou riziko klamání, diskriminace či dokonce poškozování spotřebitelů, např. v souvislosti s diferencovanými cenami. Umělá inteligence a automatické rozhodování tak nemusí vést ani tak k jakési bezchybné společnosti racionality, ale možná spíše k zakotvení současného nespravedlivého společenského stavu. Stavu, ve kterém vítězí chamtivost, klam a ohýbání práva.

Měli bychom tedy pracovat na tom, aby spotřebitelé byli chráněni před nekalými nebo diskriminačními obchodními praktikami či před riziky spojenými s profesionálními službami využívajícími umělou inteligenci. Automatické rozhodovací procesy by měly být transparentní a podléhat dohledu ze strany příslušných orgánů, které by k tomu měly mít odpovídající prostředky a pravomoci.

Je nutné stanovit normy a cíle mimo jiné v oblasti kvality údajů a odstranit zkreslení ve všech souborech údajů zavedením ochranných opatření. Evropský spotřebitel nesmí být vydán automatickým rozhodovacím procesům na pospas. Musí být chráněn, a proto by měla Komise konat.

  Miroslav Radačovský (NI). – Vážený pán predsedajúci, podporujem uznesenie parlamentu týkajúce sa automatizovaných rozhodovacích procesov v súvislosti s ochranou spotrebiteľa a voľného pohybu a tovaru a služieb.

Smernica rady číslo 85/374 už 35 rokov poskytuje ochranu spotrebiteľa pred škodou spôsobnou chybnými výrobkami a vzhľadom na nové automatizované procesy je veľmi podstatné na novo definovať pojmy ako škoda, výrobok, chyba, kaz výrobku. Je potrebné mať na zreteli, že pri online nákupoch spotrebiteľ priamo nekomunikuje s dodávateľom služby. Zo škodou úzko súvisí zodpovednosť za škodu a predovšetkým otázka dôkazného bremena, pričom zodpovednosť by mala byť objektívna na strane dodávateľa a dodávateľ by mal vždy znášať aj dôkazné bremeno. Aktualizovanie týchto pojmov treba, skut.. aktualizovaniu týchto pojmov treba skutočne venovať náležitú, odborne kvalifikovanú pozornosť a nepodliehať prípadným lobistickým tlakom. Toto je veľmi podstatné pre ochranu spotrebiteľa ako subjektu vždy v slabšom postavení. Je však potrebné zaoberať sa aj novou definíciou pojmov reklamácia, právo na odstúpenie od zmluvy, vrátenie poštovného. Jednoducho pre spotrebiteľa musí byť vždy zrejmé, u ktorého subjektu sa môže aj v prípadnom súdnom spore domáhať svojich spotrebiteľských práv.

  Tomislav Sokol (PPE). – Poštovani predsjedavajući, tehnologija se posljednjih desetljeća razvija nevjerojatnom brzinom. Ja, mada pripadam mlađoj generaciji, ponekad zapravo ne mogu povjerovati koje su stvari moguće danas, a koje nisu bile prije.

Posebno se to odnosi na umjetnu inteligenciju. Dok ona, naravno, donosi niz benefita u području znanosti i tehnologije, a to je prvenstveno da smanjuje mogućnost ljudske greške, ona isto tako dovodi i do različitih novih mogućnosti manipulacija i zloporaba prikupljenih informacija o potrošačima. Prepoznavanje glasa, otisaka prstiju i lica, automatska prevođenja teksta, autonomna vozila i kućna robotika, sve su koristi koje danas imamo od razvoja tehnologije i umjetne inteligencije.

Međutim, mnogo je problema koji su već ovdje u raspravi spomenuti, a koje zakonska regulativa na razini Europske unije treba adresirati. Pri tome moramo napomenuti da je uvijek pravo i pravni sustav taj koji kaska za razvojem tehnologije i to treba uzeti u obzir. Naravno, tu je potreban balans, s jedne strane ne predstavljati dodatna i prevelika ograničenja na razvoj poduzetništva, pogotovo kad vidimo koliko Europa zaostaje za Sjedinjenim Državama i nekim drugim krajevima svijeta, ali istovremeno osigurati punu zaštitu potrošača.

U tom smislu svakako bih naglasio načelo zabrane agresivnog reklamiranja jer se doista ne smije dogoditi da se zahvaljujući analizama osobnih podataka pojedinih potrošača, primjerice ovisnicima o kockanju, ponude nove mogućnosti pristupa stranicama sa sličnim sadržajima ili da se zaduženim građanima nude nepovoljni krediti. To su stvari koje su svakako nedopustive i protiv kojih se moramo boriti.

Naravno, personalizirane cijene koje su također napravljene sukladno nečijem profilu također su opasne i predstavljaju oblik zloporabe protiv kojeg se treba boriti. Na kraju čovjek uvijek mora zadržati kontrolu nad autonomnim odlukama sustava, a naročito u području prava i medicine.

Dakle, potreban nam je uravnotežen pristup, izbalansiran pristup, ne stvarati histeriju, ali isto tako na pravi način adresirati sve mogućnosti manipulacija i donijeti regulativu na pravi način koji će sve suprotstavljene interese uzeti u obzir.

  Christel Schaldemose (S&D). – Hr. formand! Vi har formodentlig kun set begyndelsen af betydningen af kunstig intelligens for vores samfund. Kunstig intelligens rummer masser af muligheder, men også masser af faldgruber. Når vi taler om forbrugerne, er der ikke nogen tvivl om, at jeg mener, at forbrugeren har krav på at få at vide, hvad det er for nogle automatiske beslutninger, der bliver taget på vegne af forbrugeren, men også på hvilket datagrundlag. Jeg synes, det er rigtig vigtigt, at man får mulighed for at få indsigt i dette som forbruger. Derfor tror jeg også, at vi i det kommende arbejde her i EU skal have set på, om der ikke er brug for at styrke EU's forbrugerbeskyttelseslovgivning. Jeg mener, at der er brug for langt mere transparens, bedre beskyttelse af forbrugeren, og der er i øvrigt også brug for at sikre, at denne automatiske beslutningsproces bliver mere objektiv. Det bliver spændende at se på, og jeg synes, at vi skal se på, at der er muligheder. Vi er allerede i gang med det. I sidste valgperiode lavede vi nogle forandringer af lovgivning for platforme – prisportalerne er et godt sted at starte. Men jeg tror, at vi skal længere end det, og vi skal have fokus på at beskytte forbrugeren mere med mere gennemsigtighed.

  Stéphane Séjourné (Renew). – Monsieur le Président, Monsieur le Commissaire, je dispose d’une petite minute, alors je vous adresse une remarque et une question.

La remarque, c’est qu’effectivement, pour la première fois dans l’histoire de nos révolutions industrielles, l’intelligence artificielle n’a pas été pensée avec ses régulations et l’innovation est venue du privé, à la différence d’ailleurs des grandes révolutions industrielles où l’État avait énormément d’emprise sur les infrastructures et où le coût de construction des infrastructures était élevé. L’IA s’est donc développée, ce qui pose la question pour nous, les législateurs, d’aller au fond d’une législation qui, année après année, doit être revue en fonction des usages de cette intelligence artificielle.

C’est cela qui, à mon avis, pose la question de la confiance, notamment, puisque les usages se développent, que, paradoxalement, la puissance publique met beaucoup d’argent pour l’innovation et que, paradoxalement, on court après la régulation, derrière les usages et l’innovation. J’ajouterai sur ce point-là, parce que c’est peut-être ça qui motive cette résolution du Parlement européen, qu’il nous faut trouver l’adéquation entre la compétitivité de nos entreprises, la confiance du public dans de nouvelles technologies et notre capacité à être des précurseurs, et pas des suiveurs dans la mondialisation.

Le livre blanc répondra peut-être à une partie de ces questions-là, et on souhaite évidemment travailler avec la Commission sur tous ces points, mais on attend d’en savoir plus dans les quelques jours et les quelques semaines qui viennent.

  Edina Tóth (PPE). – Elnök Úr! A digitális egységes piac új esélyeket teremt a gazdaság fellendítésére és az életminőség javítására, a mesterséges intelligencia, és azon belül az automatizáció révén. A mobil és automatizált platformok, egyre inkább előtérbe kerülnek a digitális szolgáltatások fejlődésének köszönhetően. A mesterséges intelligencián alapuló technológia tehát a piac valamennyi ágazatát érinti, amely nemcsak rengeteg lehetőséget, hanem számos kihívást is jelent. Úgy gondolom, megfelelő tájékoztatást kell adni a fogyasztóknak arról, hogyan lehetséges emberi beavatkozás nélkül megfelelő döntést hozni. Csak egy példát említve: egyre gyakrabban fordul elő, hogy orvosi, jogi, vagy műszaki területen nem kizárólag szakemberek hoznak döntést, hanem az emberi beavatkozás nélkül, automatizált formában születik.

Végső soron minden fogyasztónak biztosítani kell a lehetőséget arra, hogy szakemberekhez fordulhassanak, akik felülvizsgálják a döntés helyességét. Fontos ezért, hogy önmagában a technológiai fejlődés sosem válthatja ki teljesen az emberi tényezőt. A belső piacban rejlő potenciál továbbra sincs teljes mértékben kiaknázva, ezért úgy gondolom, hogy további intézkedéseket kell tenni a hatékony digitalizáció érdekében úgy, hogy a lakosságot, a fogyasztókat, valamint a kis- és középvállalkozásokat helyezzük az egységes piac középpontjában.

  Evelyne Gebhardt (S&D). – Herr Präsident, Herr Kommissar! Ja, es sind große Herausforderungen, die wir durch diese automatisierten Entscheidungsfindungsprozesse haben, denn diese sind alles andere als per se neutral. Es stellen sich am Ende sehr große Fragen, ethische Fragen, die wir auch beantworten müssen. Deswegen ist es wichtig und richtig, dass wir uns darüber unterhalten. Die Algorithmen, auf denen diese tatsächlich basieren, werden ja nicht aus dem Nichts geschaffen, sondern von Menschen geschaffen, die natürlich per se nicht neutral sind. Auch die Art und Weise, wie sie gefüttert werden, ist nicht neutral.

Und deswegen ist eine der ganz wichtigen Fragen in diesem Zusammenhang die Transparenz – dass die Bürger und Bürgerinnen, die Verbraucher und Verbraucherinnen auch erfahren können, woraus dieser Algorithmus geschaffen wird und welche Daten denn eigentlich tatsächlich benutzt worden sind, um mir diese Entscheidung anzubieten, die ich vielleicht beim Einkauf eines Kühlschranks haben soll, warum ich die eine Marke und nicht die andere nehmen soll, um mal ein ganz kleines Thema zu nehmen. Wenn es um das Autofahren geht – ein Auto, das in Großbritannien automatisiert wurde, wo Linksfahrgebot ist, wird ein Problem schaffen in unseren rechtsfahrenden Staaten. Auch da müssen wir darauf achten, was in Zukunft in diesen Bereichen gemacht wird.

  Karen Melchior (Renew). – Hr formand! Det er ikke alt, der glimter, som er guld! Og det er ikke alle automatiske beslutningsprocesser, som er kunstig intelligens. Derfor er jeg glad for, at vi her i dag ikke kun taler om kunstig intelligens, men om alle former for automatiske beslutningsprocesser. Mange på vores indre marked bruger allerede automatiske beslutninger, og flere kommer til – og det er godt. Derfor er det vigtigt, at de rammer, vi nu sætter, gælder for al den teknologi, vi kommer til at se, og ikke bare vore dags buzzword: kunstig intelligens. Hvorfor skal vi det? Det skal vi, fordi en beslutning ikke bliver ufejlbarlig af at være truffet af en computer. Teknologi formes med de samme fejlslutninger og fordomme, som vi mennesker selv ligger under for. Derfor skal teknologien være kunstig. Måske er det lidt vintage at tale om kode, men vi skal huske, at ansvaret for en kodes beslutninger aldrig ligger hos koden selv. En beslutning truffet af en kode skal et menneske stadig kunne stilles til ansvar for. Når en beslutning træffes af en computer, skal den stadig leve op til de samme krav, som en beslutning truffet af mennesker. Beslutningen skal kunne forklares og forsvares. Faktisk skal vi måske kunne stille større krav til automatiske beslutninger end de menneskelige. Vi skal turde stille spørgsmål ved afgørelsen, også når vi får beskeden: "Computer says no". Jeg ser frem til Kommissionens svar og til den kommende hvidbog.

  Jiří Pospíšil (PPE). – Pane předsedající, pane komisaři, já jsem se zájmem vyslechl Vaše úvodní slovo. Je skvělé, že připravujete a předložíte Bílou knihu týkající se automatizovaných procesů a umělé inteligence. My jsme tomuto tématu věnovali velkou pozornost i v minulém volebním období ve výboru IMCO.

Je skvělé, že paní předsedkyně toto téma zde otevírá, protože debata musí pokračovat a zatímco v minulém volebním období jsme spíše řešili konkrétní dílčí témata související s automatizovanými procesy, třeba otázku automobilů, které se řídí bez řidičů, tak je třeba nyní podle mého názoru řešit otázku komplexní právní úpravy platné pro celou EU, která nastaví jasná pravidla pro problémy, které s užíváním umělé inteligence jsou spojeny. Některé zde již byly řečeny, ochrana spotřebitele. Téma, které já považuji za mimořádně důležité, je nastavení pravidel pro řešení odpovědnostních vztahů. Kdo zodpovídá spotřebiteli za škodu či jiné negativní následky způsobené výrobkem, který je řízen umělou inteligencí?

To jsou věci, které dnes odpovídáme pouze částečně, kde nemáme jasnou komplexní evropskou odpověď, a je na vás, abyste takovouto právní úpravu připravili. Nejsem příznivcem přebujelé evropské právní úpravy, ale jsem přesvědčen, že v této oblasti, oblasti moderních technologií, automatických technologií a umělé inteligence je evropská jednotná právní úprava nutná proto, aby zde dále probíhal volný pohyb zboží a služeb, které jsou nějakým způsobem spojeny s umělou inteligencí.

  Brando Benifei (S&D). – Signor Presidente, onorevoli colleghi, i processi decisionali automatizzati tramite algoritmi hanno un ruolo sempre più preponderante nelle nostre società e nelle nostre vite. Se da un lato consentono un esito rapido e certo di una decisione, esistono molti elementi da correggere a tutela dei cittadini e consumatori, in particolare i più vulnerabili, che spesso possono essere anche gravemente danneggiati da errori nel processo. Si pensi a un'errata decisione in campo medico o al rifiuto di un mutuo da parte di una banca.

Chiediamo quindi che gli algoritmi siano trasparenti e imparziali, che siano ideati tenendo conto della diversità delle nostre società, che si basino anche su dati aggiornati e di alta qualità. Chiediamo che i cittadini e i consumatori siano informati quando sono di fronte a decisioni automatizzate, quindi che queste siano sempre rivedibili da un essere umano e revocabili, e che la legislazione europea sia pienamente attuata e adattata ove necessario per tenere conto delle possibili lacune nella protezione dei consumatori.

La via europea del digitale è e deve necessariamente partire dalle persone e non dai profitti. Chiediamo quindi a lei, Commissario Breton, di lavorare di conseguenza rispettando questi principi.

Intervenções “catch the eye”

  Stanislav Polčák (PPE). – Pane předsedající, já chci říci, že vítám tuto debatu, kterou otevřela paní navrhovatelka. Mně se líbí její přístup, který se snaží být komplexní.

Pokud jde o samotné automatické rozhodování, tak to skýtá nepochybně celou řadu výhod. Pokrok, inovace, moderní technologie, mohl bych zde provádět poměrně rozsáhlý výčet, ale ten výčet musím doplnit i o výčet nevýhod, rizik, které jsou spojeny právě s automatickým rozhodováním, které vyžaduje ohromující dokonalost takového kódu rozhodování strojů na základě naprogramovaných algoritmů. To je skutečně mimořádná náročnost a z toho vyplývají důsledky. Bylo zde již řečeno, pojištění, otázka odpovědnosti a také si myslím sankčních postihů, které poté z toho budou vyvolány.

My budeme udávat tón pro celou řadu členských států a myslím si, že je dobře, že zde bude vytvořena bílá kniha a že jsme zvolili tento komplexní přístup. Já tuto debatu vítám, ale myslím, že jsme stále na počátku.

  Valter Flego (Renew). – Poštovani predsjedavajući, poštovani povjereniče (obraća se izravno povjereniku), umjetna inteligencija ima za cilj bolji život i rad svih nas. I ona treba služiti apsolutno svima.

Naravno da najveću primjenu vidimo u prometnim rješenjima, u zdravstvu, u poljoprivredi, u marketingu, itd. Ali mislim da je najvažnije da potrošači moraju biti sigurni u proces donošenja odluka i moramo zato osigurati maksimalnu transparentnost ovoga procesa. Zato i predlažem novi pojam, odnosno oznaku „pouzdana umjetna inteligencija”, koja bi omogućila maksimalno povjerenje građana u takve procese, ali i bila odraz jasnih procedura i standarda, sigurnosti i transparentnosti.

Važno je čuvati osobne slobode svakoga građanina potrošača, a umjetna inteligencija mora biti dobrodošla inovacija puna povjerenja svih potrošača i bez ikakvih mogućnosti bilo kakve manipulacije.

  Patrick Breyer (Verts/ALE). – Herr Präsident! Code is law – das heißt, das, was in Maschinencode geschrieben ist, ist in vielen Fällen so gut wie Gesetzgebung, und deswegen: Schlechter Code ist auch wie ein schlechtes Gesetz.

Das bedeutet, dass wir heute nicht mehr nur mit der Situation zu tun haben, in der Algorithmen wirklich Entscheidungen treffen, sondern in vielen Fällen ist es so, dass Algorithmen Entscheidungen treiben oder Entscheidungen auf Informationen gestützt werden, die von Algorithmen berechnet sind. Diese Situation darf man nicht unterschätzen, denn die Zahl, die angezeigt wird, ist bestechend – auch für einen Menschen, der vielleicht theoretisch die Entscheidung trifft –, aber bisher sind wir nur geschützt oder gibt es nur bestimmte Transparenzgarantien für die maschinell getroffenen Entscheidungen.

Ich glaube, das muss sich ändern. Wir brauchen künftig Transparenz auch dort, wo Algorithmen Entscheidungen beeinflussen und vorgeben, denn dass ein Mensch entscheidet, darf nicht nur reine Fiktion und Theorie sein, sondern muss auch in der Praxis gewährleistet sein.

(Fim das intervenções “catch the eye”)

  Thierry Breton, membre de la Commission. – Monsieur le Président, Mesdames et Messieurs les parlementaires, très honnêtement, je ne connais pas beaucoup de parlements dans le monde où l’on peut avoir sur ces sujets, aujourd’hui, un débat de cette qualité.

Au-delà de nos différences partisanes, nous avons tous partagé, en gros, les mêmes interrogations, les mêmes sentiments, les mêmes volontés, les mêmes souhaits.

Au fond, je retiens une chose. Dans cette évolution – cette évolution qui va durer, je n’ai pas peur de le dire, des années, voire des décennies, je retiens que ce que partage l’ensemble de votre parlement, et avec lui la Commission, c’est la place de l’homme, la place de l’humain, le respect de nos valeurs, le respect de ce que nous sommes, l’intégrité de nos décisions, la compréhension par rapport aux phénomènes qui nous entourent, l’intelligence des situations: que se passe-t-il? Qui prend les décisions? Cela va-t-il changer ma vie? Est-ce que je peux encore continuer à intervenir? Est-ce que je peux encore me retourner contre une instance qui aura pris une décision qui ne me convient pas? Toutes ces questions, Mesdames et Messieurs les parlementaires, sont effectivement portées dans ce livre blanc.

Je le redis, on l’appelle le livre blanc sur l’intelligence artificielle, mais ce n’est que le début de notre réflexion sur ce que moi-même j’ai appelé la réflexion, la structuration d’un nouvel espace dans lequel nous travaillons désormais, dans lequel nous nous formons, dans lequel nous nous distrayons, dans lequel nous échangeons, qui est l’espace informationnel. Il se superpose, au fond, aux trois autres espaces qui ont progressivement contribué à former ce que nous sommes aujourd’hui, à organiser aussi notre vie en société: l’espace territorial, d’abord, évidemment, puis, avec les conquêtes, l’espace maritime et l’espace aérien. Et aujourd’hui, l’espace informationnel. Alors oui, l’intelligence artificielle est l’un des premiers éléments.

Je partage un deuxième constat, que vous partagez toutes et tous, et qui me réjouit parce que c’était un combat que j’ai mené aussi moi-même. À travers les applications que nous allons avoir à gérer, qui vont façonner un peu nos décisions et notre vie, les applications d’intelligence artificielle, ou, comme vous l’avez qualifié vous-même, Madame la Présidente, de prise de décisions automatisées, il y a des données. Cela aussi, nous le partageons tous: pas de données, pas d’intelligence artificielle.

On a eu un peu trop tendance à se focaliser sur les algorithmes, ces lignes de code, comme vous le disiez. Ce n’est pas vintage, les lignes de code (peut-être que, demain, du reste, ce ne seront plus des lignes de code, quand on sera en informatique quantique, ce seront des processus différents). Aujourd’hui, c’est ce qui nous permet de travailler, avec cette relation intime entre une modélisation de notre environnement sous forme encore de 1 et de 0 (bientôt, ce seront des qubit) et, précisément, les décisions qu’on est prêt à prendre. Mais derrière cela, il y a évidemment des données – cela a été évoqué, du reste, par certaines d’entre vous, avec la parabole ou la métaphore du loup et du chien dans la forêt. Mais que vouliez-vous dire à travers cela? Vous vouliez évidemment dire que, lorsqu’on prend des données qui caractérisent un animal dans son environnement naturel, si l’on prend le même animal dans un autre environnement, évidemment, vous allez avoir des différences quant à l’application issue de l’algorithme et donc du processus de ce qu’on appelle phase apprenante, machine learning, qui va intégrer toutes ces données.

Oui, les données sont essentielles, et c’est aussi le combat que nous voulons mener à la Commission, avec vous, pour définir comment caractériser ces données et nos données européennes. Certains disent, je l’ai entendu sur les bancs de votre assemblée, qu’il ne faut pas rater ce virage. Nous avons peut-être été en retard, mais je ne le crois pas. Je ne crois pas que nous sommes en retard en matière de technologie. Mais en tout cas, ce virage-là, de ces données-là, il ne faut pas le rater. Vous avez raison, car les données qui sont devant nous et qui vont nous permettre précisément de nourrir intelligemment, avec des données qui contiennent nos valeurs, c’est évidemment tous les nouveaux processus devant nous, les données industrielles, ce qu’on appelle le «B2B», les données publiques, les données qui vont être issues évidemment du monde de la santé – tellement important pour nous tous –, du transport... Toutes ces données-là sont devant nous.

Tous les 18 mois, le nombre de données qui constituent aujourd’hui le portefeuille informationnel de la planète double. Donc, évidemment, il ne faut pas rater cette vague. Cette vague-là, c’est précisément tout ce que nous voulons faire à la Commission.

Plusieurs éléments: d’abord, évidemment, ne pas trop réguler à la sortie. C’est trop tôt. Aujourd’hui, on parle d’intelligence artificielle, une exploitation spécifique de ces données, demain on parlera encore d’autre chose. En revanche, il faudra être attentifs à ce que tout ce qui sort soit totalement compatible avec nos valeurs et donne la liberté aux citoyens de choisir. Souvenez-vous bien de ce que je viens de dire: choisir. La liberté du choix. Ne pas être prisonnier d’un algorithme, d’un système, d’un gestionnaire de données, d’une plateforme. Avoir la possibilité de maintenir ce choix, c’est une valeur fondamentale dans le monde de l’information. Il faut y travailler. Avoir la possibilité de trouver, dans ces solutions, ce à quoi nous sommes attachés. Enfin, évidemment, avoir la possibilité de le faire en toute sécurité – sécurité juridique bien sûr, sécurité éthique, mais aussi sécurité de l’information, cybersécurité. Ces sujets sont absolument essentiels.

À travers la réflexion que nous vous proposons, il y aura aussi une réflexion sur les infrastructures. Il faut des infrastructures qui permettent de stocker ces données, de loger les applications – des applications sélectives, des applications intelligentes. Il faut également avoir la maîtrise de nos systèmes d’information, des supercalculateurs, des machines apprenantes qui vont entraîner, mois après mois, ces données. Il faut avoir aussi la capacité de nous projeter dans les technologies de demain pour maintenir cette souveraineté et maintenir ce qui fait notre différence, c’est-à-dire la capacité de choisir, tout au long de la chaîne, ce qui va de plus en plus conditionner une partie de notre vie, tout en étant extraordinairement attentifs à ce que ce façonnement du quatrième espace informationnel, dont je parlais tout à l’heure, se superpose intégralement au socle de valeurs qui constituent notre continent européen.

  Presidente. – Comunico que recebi uma proposta de resolução apresentada em conformidade com o artigo 136.º, n.º 5, do Regimento.

O debate está encerrado.

A votação realizar-se-á na quarta-feira.