Index 
 Előző 
 Következő 
 Teljes szöveg 
Eljárás : 2015/2103(INL)
A dokumentum állapota a plenáris ülésen
Válasszon egy dokumentumot : A8-0005/2017

Előterjesztett szövegek :

A8-0005/2017

Viták :

PV 15/02/2017 - 14
CRE 15/02/2017 - 14

Szavazatok :

PV 16/02/2017 - 6.9
A szavazatok indokolása

Elfogadott szövegek :

P8_TA(2017)0051

Az ülések szó szerinti jegyzőkönyve
2017. február 15., Szerda - Strasbourg Lektorált változat

14. A robotikára vonatkozó polgári jogi szabályok (vita)
A felszólalásokról készült videofelvételek
Jegyzőkönyv
MPphoto
 

  Przewodniczący. – Kolejnym punktem porządku dnia jest sprawozdanie sporządzone przez Mady Delvaux w imieniu Komisji Prawnej zawierające zalecenia dla Komisji w sprawie przepisów prawa cywilnego dotyczących robotyki (2015/2103(INL)) (A8-0005/2017).

 
  
MPphoto
 

  Mady Delvaux, rapporteure. – Monsieur le Président, robot, intelligence artificielle, internet of things: autant de concepts avec lesquels nous devons nous familiariser. Ils ne relèvent pas de la science-fiction: toutes sortes de robots sont déjà sur le marché, de nouveaux robots plus autonomes sont en train d’être développés dans les laboratoires. Il est donc urgent que le débat le plus large possible ait lieu et qu’il ne reste pas cloisonné dans le cercle des scientifiques et des ingénieurs, car il s’agit d’organiser, pour le bien de l’homme, l’interaction des êtres humains avec ces nouvelles machines de plus en plus autonomes.

Je voudrais clarifier d’emblée deux points: premièrement, les robots ne sont pas des hommes et il n’est pas question de les assimiler à l’être humain, et deuxièmement, l’industrie et la recherche robotiques européennes sont très performantes et nous entendons les soutenir. La robotique et l’intelligence artificielle sont des secteurs d’avenir. Il est important que l’Europe reste compétitive sur le marché mondial. C’est pour cela que le moment est venu d’énoncer des principes qui serviront de balises et d’encadrement pour le développement de la robotique. Il faut réglementer, sans excès, lorsque c’est nécessaire.

En premier lieu se pose la question de la responsabilité civile en cas de dommage causé par un robot. Deux options se présentent: soit la responsabilité stricte, soit la gestion fondée sur les risques, mais l’essentiel est qu’il y ait réparation des dommages causés. Il faut accélérer la standardisation. Pour assurer le plus haut niveau de sécurité possible, il faut établir des protocoles. Pour ce qui est des tests, pourquoi ne pas créer en Europe des zones où toutes sortes de robots puissent être testés en grandeur nature dans la vie réelle?

Le plus grand défi consiste en l’application de la réglementation sur la protection des données. Les robots collectent et reçoivent des masses d’informations de tous genres: à qui appartiennent ces données, qui y a accès? Le rapport propose une charte éthique, un code de déontologie pour les programmeurs, car nous voulons des robots dont les actions servent le bien-être des humains et qui respectent la dignité, la vie privée et la liberté. Nous insistons sur la nécessité de la transparence, que les actions des robots soient expliquées et explicables, et qu’elles soient compréhensibles pour le commun des mortels.

Le déploiement de robots aura des incidences sur tous les aspects de la vie et donc sur le travail. Les études divergent: certains prédisent une destruction massive d’emplois, d’autres sont moins pessimistes et considèrent que les emplois détruits seront compensés par la création de nouveaux emplois. Il est cependant clair que nos manières de travailler changeront et que nos systèmes éducatifs se trouveront confrontés à des défis énormes pour assurer la requalification de ceux qui sont en activité et former des jeunes à des professions qui n’existent pas encore.

Le rapport n’est pas technophobe, il identifie les apports positifs: les robots pourront effectuer des travaux dangereux ou pénibles, ils faciliteront le travail de beaucoup de professionnels, ils favoriseront l’intégration des personnes ayant un handicap. Mais personne ne peut prédire si les robots détruiront plus d’emplois qu’ils n’en créeront.

En revanche, j’écoute mes concitoyens et j’entends une grande inquiétude chez beaucoup d’entre eux. Je considère donc qu’il faut les prendre au sérieux, se préparer à différents scénarios et réfléchir aux solutions envisageables. Si, effectivement, le travail devient rare, il faut s’assurer que tous nos citoyens disposent d’un revenu suffisant pour vivre une vie digne. C’est la raison pour laquelle je plaide pour un débat rationnel, appuyé par de l’expertise et des études, sur l’option d’un revenu universel et, évidemment, la manière de le financer en cherchant des sources de financement alternatives. Je ne souhaite pas que le débat soit tué avant d’avoir commencé.

Pour terminer, je voudrais remercier mes collègues qui ont permis d’enrichir ce rapport, le secrétariat, les services du Parlement et surtout l’équipe STOA qui nous a accompagnés dans cette formidable aventure.

 
  
MPphoto
 

  Michał Boni, rapporteur for the opinion of the Committee on Civil Liberties, Justice and Home Affairs. – Mr President, (inaudible) opportunities of robotics. Let us take the most recent ones. Firstly, the fast development of learning machines requires rules, European harmonised standards and the possibility to register all artificial intelligence and have it monitored. Secondly, ethical principles and respect for fundamental rights are crucial. This should begin from the moment constructors start the work with algorithms on privacy and security, to make those by default.

Thirdly, it is crucial to raise awareness and avoid, through ethical guidance, the emotional dependency of humans cooperating with robots. Fourthly, this is not the time for strong regulation. It is better to use the soft-law principles approved by all stakeholders in the Code of Conduct, using existing laws and adjusting them to the new challenges. Fifthly, this is not the time for new taxes, but we have to continue work on the liability problem. Sixthly, we need transition-period programmes for workers so that people can adjust to the new challenges both mentally and professionally. This is better than a general basic income.

Now it is time to hear from the Commission.

 
  
MPphoto
 

  Georg Mayer, Verfasser der Stellungnahme des mitberatenden Ausschusses für Verkehr und Fremdenverkehr. – Herr Präsident! Die Thematik, mit der wir uns heute hier beschäftigen, ist sehr weitreichend und sehr wegweisend.

Ich glaube, dass wir die Dimensionen, die das noch betreffen wird, aus unserem heutigen Gesichtspunkt noch gar nicht abschätzen können. Diese Entwicklung hat das Potenzial, unser Leben nachhaltig und groß zu verändern. Es geht nicht darum, menschliche Fähigkeiten zu ersetzen, sondern es geht darum, die menschlichen Fähigkeiten zu ergänzen. Das wird eben nicht nur den Bereich Verkehr betreffen, das wird nicht nur den Bereich Gesundheitsdienste und Rettungswesen betreffen, sondern das wird sehr viele Lebensbereiche betreffen, an die wir heute noch gar nicht denken.

Ich hatte die Möglichkeit, die Stellungnahme des TRAN-Ausschusses zu verfassen. Diese wurde auch mit großer Mehrheit in dem Ausschuss angenommen. Der Verkehr ist natürlich eine Thematik, die besonders vom automativen Bereich betroffen ist. Das ist nicht nur der Verkehr, wie wir ihn heute kennen, zu Luft, zu Wasser und zu Land, sondern es ist alles Denkmögliche, was es in Zukunft im Bereich Verkehr geben wird oder geben kann. Ich habe besonderes Interesse an dieser Thematik, weil in meiner Heimatstadt Graz in Österreich bereits die ersten Versuche bei zwei Automobilentwicklern anlaufen, was automative Fortbewegung betrifft. Das Thema – wie schon gesagt – wird uns noch lange beschäftigen. Es steckt ja eigentlich noch in den Kinderschuhen. Umso spannender und umso größer werden die Herausforderungen, die noch auf uns warten und auf uns zukommen.

 
  
MPphoto
 

  Carlos Moedas, Member of the Commission. – Mr President, on behalf of my colleague Věra Jourová let me start by thanking the rapporteur, Ms Delvaux, and all the MEPs involved. This is a crucial report on all the legal questions related to development of robotics and artificial intelligence. This House, to my knowledge, will be one of the first to have a clear and comprehensive position on robotics and artificial intelligence, a topic that is getting great public attention, and rightly so. Your text highlights the challenges and opportunities of this sector, and points towards a clear need for a coherent European approach. You are also calling for Europe to have a strong presence and investment in its technology in order to maintain leadership. In the European Commission, we have long recognised the importance and the potential of robotics and artificial intelligence, and the need for significant investment in these areas. We have set an ambitious public and private partnership for robotics in Europe: Sparc. This partnership not only brings the academic and research institutions, industry and business together, but also looks into questions related to ethics and law. Sparc is by far the biggest civilian research programme in this area in the world, with EUR 700 million from EU funding from Horizon 2020 to be leveraged up to EUR 2.8 billion by private investment.

Ladies and gentlemen, for a very long time, robots were a kind of a futuristic idea. Today, they are a fact of life. They are operational in our industry and used in many sectors of the economy and life. Robots in the internet of things are going to be the internet of the intelligent things, and they will move beyond manufacturing and industry into areas such as transportation, medicine, care for the elderly, and financial services. As Mr Mayer said, they will complement human skills. And let me tell you that this is only the beginning. Without doubt, we need to frame and facilitate the technical revolution brought by autonomous systems, because we all want Europe to remain the leader in this field and make sure robotics and artificial intelligence continue to bring benefits to European citizens, industry and especially SMEs and start-ups that are active in this sector. As Commissioner for Research, Science and Innovation, I recognise that we have to further invest in scientific understanding of the technical aspects of artificial intelligence and of its socio-economic impacts, as well as of its consequences for the rule of law, fundamental rights and democracy.

But let me stress that moving forward in this area needs to be guided by an ethical approach based on principles and values enshrined in the Treaty on the European Union and in the Charter of Fundamental Rights.

Let me now comment in particular on your request for the Commission to come forward with a legislative proposal on civil liability for damage caused by robots. First, as you know, we already have EU legislation applying to robots. The Machinery Directive, the General Product Safety Directive, the proposed legislation on medical devices, and the regulation on common rules in the field of civil aviation currently under revision also includes concrete measures to ensure the safe operation of civil drones. And the new General Data Protection Regulation that will also be fully applicable to any kind of processing of personal data, which includes artificial intelligence and robots.

Second, we are obviously looking at any need for adjustment of the current legislation. And third we are well aware that legal certainty on liability is of paramount importance for innovators, investors and consumers, providing them with the legal certainty they need. But the complexity of digital technologies makes it particularly difficult to determine who is liable and to what extent in case of failure. That is why the Commission has put in its communication and presented a communication last month on building up a European data economy. We are consulting with a wide range of stakeholders on the new challenges in this field, covering the liability questions relating to autonomous systems. Simultaneously, we are evaluating the Product Liabilities Directive with regard to emerging technologies.

Fourth, testing and experimenting will be important as will gathering data and gaining experience. This in turn will then help us with designing a suitable legal framework. On the communication on building a new European data economy, we included plans for cross-border corridors to test connected automated driving.

My fifth and final point on the question of legislation is to underline the importance of smart legislation, technologically neutral and future proof when dealing with technologies and jobs. As Ms Delvaux said, we cannot even imagine what they will be in the future.

Honourable Members, I agree with you that the impact of digitalisation on our societies and our labour market needs to be closely monitored and anticipated, and we have to improve our understanding of this phenomenon. The different studies that have assessed that evolution reached diverging conclusions from catastrophic predictions on the labour market to a positive impact on job creation. In 2015, the Fraunhofer Institute indicated that EU companies which are intensive users of robotics are less likely to offshore production to low-cost regions because robots improve their cost production so much that they can stay in high-wage regions and create other jobs. We all know that technological change will not only replace or change existing tasks, but it will, as Mr Mayer said, create new jobs in services, it will complement human skills. Robots are also used in many areas with labour shortages such as healthcare, farming and even manufacturing. Many robots do tasks that are repetitive and dangerous for humans, such as inspecting oil tanks or welding metal parts. Far from replacing humans, robots allow the workforce to focus on other more economically useful, creative or social activities where robots cannot and will never replace us.

The Commission is fully aware of the challenges ahead and has already launched concrete measures to address them. We adopted a New Skills Agenda for Europe, the Digitising European Industry blueprint and, last December, we launched a Digital Skills and Jobs Coalition, which aims at equipping the workforce at large with the necessary digital skills to thrive in a digital workplace.

Ladies and gentlemen once again, I would like to thank the European Parliament for this timely and comprehensive report and for the support for our activities. The issues raised and the measures proposed will need broader consultation and an in-depth analysis of their impact and consequences before we can draw conclusions, including on the possible legislative needs. Thank you for attention and I’m looking forward to our discussion.

 
  
MPphoto
 

  Przewodniczący. – Dziękuję bardzo, panie komisarzu! Z dużą satysfakcją odnotowuję pana wystąpienie jako odpowiedź na apel pani Delvaux czy zacytowanie pana Mayera. To znaczy, że my prowadzimy tutaj debatę. Bardzo dziękuję za to, panie komisarzu.

 
  
MPphoto
 

  Ádám Kósa, A Foglalkoztatási és Szociális Bizottság véleményének előadója. – Tisztelt Kollégák! A másfél éves közös munkát megköszönve jelentéstevő asszonynak, a Foglalkoztatási és Szociális Szakbizottság részéről kezdeményezzük, hogy meg kell vizsgálni, hogy a robotok elterjedése vajon önmagában jólétet és fejlődést hoz-e akkor, amikor már most látjuk, hogy sokszor nincs szükség az emberek munkájára a hagyományos termelési és szolgáltatási struktúrákban. Rövid és középtávon a robotika és a mesterséges intelligencia valóban előnyöket ígér, de félő, hogy nem tud olyan mértékben növekedni az ezen a területen megjelenő munkahelyek száma, mint ahány munkahely várhatóan megszűnik.

A következő generációknak megfelelő oktatással meg kell adni a felkészítést ezekre a kihívásokra. Választ kell találni arra, hogy mi lesz akkor, ha a most meglévő humán képességek mesterséges vagy genetikai továbbfejlesztése révén vagy kiegészítése révén szuperképességekkel rendelkező emberek jelennek meg. A jelentés lehet az első lépés afelé, hogy az Európai Unió és a tagállamok komolyan vegyék ezeket a kérdéseket.

 
  
MPphoto
 

  Kaja Kallas, rapporteur for the opinion of the Committee on Industry, Research and Energy. – Mr President, books and movies are very good starters for emotional discussions about robotics, but they are not very good to be basing our decisions on. Our role as decision makers is not to get emotional but to look at the facts and shape our serious and forward-looking EU policies on robots and artificial intelligence.

If we think about robots in terms of Star Wars and Terminator, we get it wrong. Robots and artificial intelligence are already here in our daily lives, helping us to solve complex tasks. I said ‘helping’ because robots need to compliment humans: both need to, and can, work as a team. Our role is to drive policy that makes individuals active consumers of robots rather than passive ones. We cannot, however, have active and empowered individuals if we shift all the responsibility onto robots or manufacturers if something goes wrong. This is the problem with the strict liability approach or an electronic personality for robots.

Last but certainly not least, we should not forget that developing autonomous robots and putting them on the market requires risk-taking investment and vision. So let us focus not only on precaution but also on innovation. Introducing a tax on robots, for instance, will simply kill innovation and drive the engineers developing robots elsewhere, and we will be left using the robots instead of creating them. Forward-looking and pro-innovation EU policy should exist not only in words but also in action.

 
  
MPphoto
 

  Dita Charanzová, rapporteur for the opinion of the Committee on the Internal Market and Consumer Protection. – Mr President, unlike the fears raised in the report, we should limit ourselves to the current realities of robotic systems and what is needed to help develop the regulatory environment to allow their increased used and manufacturing in Europe. As legislators we need to keep our vision closer to the ground. While I am honoured that the report makes note of the important role of the Czech nation in the creation of the word ‘robot’ and in our literature as a Czech, I believe it is wrong to mix science fiction and a real need to address issues like liability.

We must reject the belief that robots are going to steal everyone’s job. This is simply not true. We must reject that we are creating ‘electronic persons’: I am sorry, but robots are not humans, it is pure science fiction to think otherwise. We must reject attacks on robots, and a new EU agency. The bottom line: go and see the robots that exist today and those in development. They are already transforming our industry and society and I believe for the better. This transformation is not something to fear.

By 2025, in less than 10 years, robotics could add more than EUR 1 trillion to our European economy. The benefits far outweigh any risks. But if we are to succeed in this field, we must ensure that the rules of the single market apply fully.

 
  
MPphoto
 

  Cristian-Silviu Buşoi, rapporteur for the opinion of the Committee on the Environment, Public Health and Food Safety. – Mr President, medical robot devices already provide better diagnoses and better insight into treatment, care and rehabilitation options, and will move forward the boundaries of medicine in the future.

The Committee on the Environment, Public Health and Food Safety focused in the opinion on the importance of keeping the patient-doctor relationship as regards to diagnosis, treatment and follow-up. We also focused on the importance of medical education and the training of health professionals: human care-givers will still be needed and will continue to provide an important source of social interaction. We emphasised, too, the importance of minimising the possible environmental and ecological footprint of robotics and maximising the potential for making processes more resource efficient.

Assessment of the long-term moral and ethical implications of new technologies before and throughout their development is imperative. And, last, but not least, we need safety safeguards and standard safety certification procedures, and adaptation of the legislation on patient privacy, medical professional secrecy and data protection in the area of public health. The provisions on the aspects mentioned above were adopted with a large majority in the Environment Committee and I was happy to see that Ms Delvaux took these ideas on board in the final Committee on Legal Affairs report.

 
  
MPphoto
 

  Therese Comodini Cachia, on behalf of the PPE Group. – Mr President, working on this report has brought me in touch with several people who are passionate about using robotics to address daily challenges and to continue to increase knowledge of our world. We should be proud of this European industry and we should give it a reliable European framework within which it can continue to grow. Robotics and connectivity go beyond borders: innovation is carried out by experts from several Member States working together. This collaboration requires our support.

The report starts a debate on robotics and brings to the fore different possibilities and solutions. The report is prescriptive only on one element: robots are not human; no matter how autonomous and self-learning they become, they do not attain the characteristics of a living human. Our work discusses solutions to liability for damages caused by robots. Who will be responsible? How will any legal solution affect the development of robotics, those who own them, and victims of the damage? The current legal framework on liability may not entirely work for robotics, so we need to consider the impact of different solutions to make sure that harm caused to persons and to our environment will be addressed. Ethical considerations also need to be made, so we can set an ethical framework within which robotics will develop. In all of this we have to understand how robotisation of industry and professions will affect our workers and our professionals, and find ways to provide the right skills and support. Allow me also to thank Ms Delvaux and all the rapporteurs who have worked on this report. I think that together we have managed to produce a report which deserves a plenary vote in favour.

 
  
MPphoto
 

  Virginie Rozière, au nom du groupe S&D. – Monsieur le Président, je voudrais remercier la rapporteure pour ce rapport passionnant qui nous amène à penser l’avenir et à dépasser notre vision du monde tel qu’il est.

C’est aussi un rapport courageux, parce qu’on est parfois un peu saisi de vertige devant l’ampleur du champ que nous devons défricher. C’est vrai qu’il pourrait être plus confortable de détourner le regard en imaginant que si on refuse de regarder ces questions, elles disparaîtront d’elles-mêmes, ou alors de s’en remettre uniquement à l’industrie en se disant que d’un strict point de vue économique, elle saura trouver des solutions.

Au contraire, je pense qu’un cadre juridique sûr, fondé sur les valeurs du projet européen, des valeurs humanistes, est à la fois un atout pour les entreprises européennes et un gage de bien-être et de sécurité pour les citoyens européens.

Quelles sont ces questions auxquelles nous sommes confrontés? Des questions juridiques sur la responsabilité, la sécurité et la propriété intellectuelle; des questions éthiques sur le respect de la vie privée, la bioéthique et la démocratie, sur la transparence des décisions; et puis des questions sur l’organisation même de la société: quelle répartition des richesses et quel impact sur le marché du travail?

Pour terminer, je voudrais rapporter à tous ceux qui refusent le débat, qui disent que ceux qui posent la question ne connaissent rien à la technologie, les mots d’Elon Musk, qui s’y connaît un petit peu en matière d’innovation technologique. Il y a deux jours, il déclarait: «il y aura de moins en moins de tâches qu’un robot ne pourra pas accomplir et mieux qu’un être humain. Ce n’est pas une chose que je souhaite, c’est une chose qui va très probablement arriver et un revenu universel d’une sorte ou d’une autre va devenir nécessaire.»

Alors, mes amis, n’esquivons pas le débat, nous avons beaucoup à réfléchir et à débattre ensemble pour inventer les solutions de demain.

 
  
MPphoto
 

  Ангел Джамбазки, от името на групата ECR. – Г-н Председател, уважаеми представител на Комисията, уважаеми колеги, все още имам основателни съмнения относно този доклад като цяло. Моите съмнения са от морално, етично и всякакво друго естество и се колебая дали да не препоръчам да се гласува отрицателно по доклада на моята група.

Съгласен съм, че роботиката и изкуственият интелект са много бързо напредващи технологии в някои сектори и обсъждането на произтичащите от това въпроси е необходимо. Но нека повторя своите притеснения, особено когато става дума за това законодателно предложение. Не само че има въпроси, свързани с етиката, морала и общественото въздействие, които трябва да бъдат обстойно разгледани, но има и много по-важни, по-фундаментални въпроси, като например прилагането на т.н. „универсален подход на действие“ по този въпрос.

Освен това, уважаеми дами и господа и колеги, разликата между технологичния напредък в страните членки от централните и периферните райони на Европейския съюз не са взети предвид в разглеждания документ. Не на последно място, тежестта ще падне върху потребителите. Това предложение, което в един момент би могло да се превърне в законодателство на Европейския съюз, има способността да задължи гражданите на всички държави членки да платят още повече осигуровки, разноски, които ще финансират нова схема за застраховане на роботи, както е Агенцията за роботика и изкуствен интелект. Нито застрахователите, нито самата индустрия биха подкрепили тази подранила инициатива.

Твърдо смятам, че на този етап законодателното предложение е твърде ранна стъпка и смятам, че е необходимо по-задълбочено проучване и обсъждане.

 
  
MPphoto
 

  Jasenko Selimovic, on behalf of the ALDE Group. – Mr President, by 2025 more than 20% of European citizens will be over 60. While increased life expectancy represents a significant resource to EU societies, it will also demand fundamental reforms of the health care sector as well as [engendering a] need to tackle a higher prevalence of injuries and diseases. Cyber physical systems (CPS), so-called healthcare robots, will incontestably be part of this solution. Robots and smart devices will be more and more incorporated into diagnosis, treatment and care at hospitals and healthcare centres. The development of new technological devices will lead to healthier societies and quicker recovery times, and will decrease the number of medical errors. Furthermore, CPS is a growing market in healthcare, and will create numerous jobs and businesses in the medical field. I therefore take a positive view of the major positive outcomes for the healthcare sector throughout the EU.

I therefore also support the report even if I found it sometimes fearful. In particular it mentioned the future discussion that will need to be had on the costs of medical secrecy, legal liability and patients’ privacy.

 
  
MPphoto
 

  Jiří Maštálka, za skupinu GUE/NGL. – Pane předsedající, slovo robot a robotika bylo dáno lidstvu velkým českým spisovatelem a dramatikem Karlem Čapkem. A dokonce již před devadesáti lety odhadl, na jaké problémy lidstvo s roboty a robotikou narazí. Postupující automatizace je realitou, před kterou nemůžeme strkat hlavu do písku. Ocitáme se v podobné situaci, v jaké byli dělníci v manufakturách, když jejich práce začala být nahrazována stroji.

I dnes bychom se měli zajímat především o dopad rozvoje robotiky na pracovní trh. Zatímco Evropská komise ve svém programu SPARC počítá s investicemi v hodnotě 8 miliard EUR na podporu robotiky, protože ta by měla pomoci vytvořit do roku 2020 celých 240 000 nových pracovních míst v průmyslu i dalších odvětvích, jsou známé i studie, které prokazují čísla naprosto opačná až katastrofická.

Například jen v České republice by do roku 2025 mělo přijít o práci až 140 000 lidí a zaniknout by měla řada oborů. Ať už se naplní kterýkoli z nastíněných scénářů, je evidentní, že pro mnohé končí doba, kdy se jedna práce, jedna profese, stala obživou na celý život. Reagovat bude muset zejména oblast školství, důraz musí být kladen na vzdělávání v nových, kreativních a do budoucna perspektivních oborech. Jak správně uvádí ve své zprávě paní zpravodajka, budeme muset najít odpovědi nejen na právní, ale i etické a sociální otázky spojené s robotikou.

(Řečník souhlasil s tím, že odpoví na otázku položenou zvednutím modré karty (čl. 162 odst. 8 jednacího řádu).)

 
  
MPphoto
 

  Kaja Kallas (ALDE), blue-card question. – You referred to the industrial revolution and machines taking over the jobs of humans, but don’t you agree that actually the machines took over the really back-breaking jobs that humans did and the humans could then do something else?

 
  
MPphoto
 

  Jiří Maštálka (GUE/NGL), odpověď na otázku položenou zvednutím modré karty. – Nepochybně máte pravdu a mohl bych odpovědět citací Karla Marxe, že když stroje uvolní člověka, tak bude mít člověk to nejcennější, to je vlastní čas.

 
  
MPphoto
 

  Jan Philipp Albrecht, im Namen der Verts/ALE-Fraktion. – Herr Präsident, Herr Kommissar, liebe Kollegen! Ja, wir stehen am Anfang einer zukunftsweisenden Gesetzgebung zu dem ganzen Themenbereich Robotik, und Frau Delvaux’ Bericht ist ein wichtiger erster Schritt hin zu einer Debatte über die Frage: Welche Regelungen sind notwendig, was für Fragen müssen wir beantworten? Aber Robotik und künstliche Intelligenz sind keine Science fiction mehr, sie finden statt, und sie sind bereits unter uns. Unter uns sind Roboter. Die Frage, welche Regeln es braucht, vor allen Dingen bei der Haftung, vor allen Dingen bei den Sicherheitsstandards, die müssen wir jetzt beantworten.

Ich bin ein bisschen überrascht, wie zurückhaltend die Europäische Kommission an dieser Stelle ist, dass sie immer wieder darauf verweist, welche Probleme es gibt und wie kompliziert die Fragen sind. Wir sind der Meinung, dass es, gerade wenn es um Haftungsfragen geht, um die Frage der Verantwortung, dass hinter jeder Entscheidung eines Roboters oder einer intelligenten Maschine natürlich eine natürliche oder juristische Person stehen muss, dass es da keine Haftungslücken geben darf und dass wir Folgenabschätzungen, Technikfolgenabschätzungen verpflichtend einfordern müssen, dass wir auch einfordern müssen, dass es einen Rahmen dafür gibt, wie zum Beispiel das Vorsorgeprinzip fest verankert wird in dieser Frage. Das sind wichtige Regelungsbereiche, die jetzt beantwortet werden müssen. Und da geht es auch zum Beispiel um die Frage von Sicherheitsstandards, Haftung für fehlende Standards. Wenn sich jemand einhackt in das intelligente selbstfahrende Auto und das auf der Autobahn bei 70, 80 Sachen auf null herunterbremst, dann ist das ein Problem, das wir heute haben. Und darauf müssen wir jetzt Antworten finden.

 
  
MPphoto
 

  Laura Ferrara, a nome del gruppo EFDD. – Signor Presidente, onorevoli colleghi, i grandi progressi della robotica e la possibilità che l'intelligenza artificiale superi l'intelligenza umana impongono delle riflessioni etiche e morali alle quali non possiamo sottrarci.

Le questioni etiche non riguardano solamente l'interazione uomo-macchina, ma anche i problemi ontologici relativi all'identità personale, con riferimento agli interventi bionici volti a recuperare o potenziare le capacità sensomotorie e cognitive degli esseri umani, e il tema della responsabilità, che si presenta in tutta la sua drammaticità, soprattutto con riferimento ai droni per uso militare. Chi è responsabile delle violazioni umanitarie compiute attraverso il loro utilizzo?

E ancora il tema riguardante la capacità di compiere scelte in situazioni estreme, dove la componente etica rappresenta un elemento determinante della scelta. Come si comporterebbe un'auto senza guidatore se dovesse scegliere, in caso di un improvviso sbandamento, tra l'incolumità del passeggero dell'auto e quella di un gruppo di persone ai margini di una strada. La relazione sulla robotica affronta questi temi, tracciando un percorso possibile che merita di essere ulteriormente esplorato.

 
  
MPphoto
 

  Gilles Lebreton, au nom du groupe ENF. – Monsieur le Président, les robots intelligents sont devenus une réalité. Ce sont des machines programmées pour prendre des décisions, comme, par exemple, les voitures sans conducteur ou encore certains robots chirurgicaux. Le rapport Delvaux a raison de s’en préoccuper, car leur intelligence dépassera, dans un proche avenir, les capacités intellectuelles de l’être humain. Il faut donc encadrer leur utilisation par des principes éthiques, tels que le respect de la vie privée et de la liberté humaine.

Sur le plan de la responsabilité, hélas, le rapport Delvaux préconise des solutions dangereuses, car il ne se borne pas – comme il aurait dû le faire – à recommander la mise en place d’un régime d’assurance obligatoire et d’un fonds de garantie. Il envisage, en effet, la création d’une personnalité juridique spécifique aux robots, ce qui reviendrait à considérer les robots comme – je cite – «des personnes électroniques responsables».

Je m’élève contre cette perspective pour deux raisons: d’abord, parce qu’elle exonérerait leurs fabricants et leurs utilisateurs de toute responsabilité, ce qui réjouirait sans aucun doute de puissants lobbies; ensuite et surtout, parce que j’estime, comme Jacques Maritain, que la personne humaine possède une surexistence spirituelle à laquelle aucune intelligence artificielle ne saurait être comparée.

 
  
MPphoto
 

  Pavel Svoboda (PPE). – Pane předsedající, pane komisaři, předně bych rád poděkoval paní zpravodajce Delvauxové a všem kolegům z výboru JURI, kteří se podíleli na této zprávě. Mě to těší i osobně, protože v mé zemi, v Česku, se tomuto oboru věnuje velké úsilí. Ostatně samo slovo robot nám daroval český spisovatel Karel Čapek.

Tato zpráva správně nepřináší legislativní návrhy, ale nastoluje základní otázky, kterými bude třeba se legislativně zabývat. Cílem zprávy je zajistit, aby na jejím základě právní řád mohl i v budoucnosti plnit základní funkci, totiž poskytovat právní jistotu výrobcům a uživatelům. Zahájením diskuze poskytneme Evropské unii šanci, aby na poli robotiky se stala tím, kdo stanovuje standardy. Podporuji tuto zprávu jako celek, ale v některých bodech, zejména pokud jde o vytvoření zvláštního právního statusu robotů či o základní příjem, podpořím pozměňovací návrhy. Myslím, že bychom se tím příliš vzdálili předvídatelné realitě.

 
  
MPphoto
 

  Victor Negrescu (S&D). –Domnule președinte, în primul rând vreau să o felicit pe raportoare pentru acest document care definește normele de drept civil privind robotica. Importanța acestui raport este dată de tendințele reale din industria și economia europeană.

În ultimii ani, vânzările de roboți au crescut în medie cu 17% pe an, în timp ce, doar în 2014, vorbim de o creștere de aproape 30% generată de ultimele evoluții în materie de autovehicule.

De fapt, depunerile anuale de brevete pentru tehnologia robotică s-au triplat în ultimul deceniu și multe state, precum Japonia, Statele Unite, China sau Coreea de Sud, au în vedere măsuri normative legate de robotică și inteligență artificială.

Raportul definește principiile generale privind dezvoltarea roboticii și aduce reglementări care fac activitatea economică în acest domeniu predictibilă și coerentă atât pentru industrie, cât mai ales pentru lucrători și utilizatori.

Un aspect important subliniat în raport este posibilitatea de a crea o agenție europeană pentru robotică și inteligența artificială. Susțin acest demers care poate ajuta actorii publici relevanți să aibă o perspectivă clară asupra oportunităților și provocărilor. Mi-aș dori evident ca această agenție să fie creată, de ce nu, în țara mea, România.

 
  
MPphoto
 

  Arne Gericke (ECR). – Liebe Kolleginnen, liebe Kollegen! Wissen Sie, was das ist? Ja, ein billiger Groschenroman. Wissen Sie, was das ist? Der Delvaux-Bericht zu Robotik.

Der Unterschied: keiner! Mit Ausnahme der Tatsache, dass Letzterer gemacht ist, um Gesetz zu werden. Ich meine damit jetzt nicht nur die von der Kollegin aus einem Science-Fiction-Roman kopierten Verhaltensregeln für Roboter. Nein, viel schlimmer ist Ihr Vorschlag einer rechtlichen Persönlichkeit für Roboter, auch wenn Sie das immer wieder bestreiten. Das ist ein bioethisches No-Go. Liebe Frau Delvaux, wenn Sie sagen, Sie planen das nicht, dann erklären Sie mir Ziffer 56 und ich zitiere: „Es gilt, einen speziellen rechtlichen Status für Roboter zu schaffen, damit für die autonomen Roboter ein Status als elektronische Person festgelegt werden kann.“ Das ist nichts anderes als ein Persönlichkeitsrecht für Roboter. Deshalb, liebe Kolleginnen und Kollegen, unterstützen Sie bitte unsere Änderungsanträge vier bis acht.

(Der Redner ist damit einverstanden, eine Frage nach dem Verfahren der „blauen Karte“ gemäß Artikel 162 Absatz 8 der Geschäftsordnung zu beantworten.)

 
  
  

VORSITZ: EVELYNE GEBHARDT
Vizepräsidentin

 
  
MPphoto
 

  Evelyn Regner (S&D), Frage nach dem Verfahren der „blauen Karte“.(Die Rednerin spricht ohne Mikrofon.) … geschafft hat, ist eine juristische Person, hat Rechtspersönlichkeit. Sehr viele andere Gesellschaftsformen haben das auch. Wenn von Robotern gesprochen wird, so hat Frau Delvaux das an die Spitze gestellt, und wie aus dem Bericht ersichtlich ist, handelt es sich eben eindeutig um Maschinen. Haben Sie den Bericht tatsächlich gelesen?

 
  
MPphoto
 

  Arne Gericke (ECR), Antwort auf eine Frage nach dem Verfahren der „blauen Karte“. – Ja, natürlich handelt es sich um Roboter. Aber es gibt ja immer wieder Passagen drin, die eindeutig etwas anderes behaupten. Ich denke, das sind Lücken, die wir wieder schließen müssen, damit nicht irgendein Auto doch eine Rechtspersönlichkeit bekommt und der Hersteller dafür nicht haftbar zu machen ist. Das ist genau das, was wir vermeiden wollen. Das bedeutet nicht, dass der gesamte Bericht in Frage gestellt wird. Aber es gibt Passagen, die da einfach noch korrigiert werden müssen.

 
  
MPphoto
 

  João Pimenta Lopes (GUE/NGL). – Senhora Presidente, identificamos várias lacunas no relatório. Por um lado, não defende que o desenvolvimento destas áreas se submeta aos interesses nacionais, suportado em políticas públicas de investimento, investigação e desenvolvimento.

Ao mesmo tempo, faz uma abordagem muito restrita dos impactos no mundo do trabalho, nomeadamente o aumento da precarização, do empobrecimento, do desemprego e da liquidação de direitos laborais e sociais, omitindo os interesses do capital no seu desenvolvimento, para aumentar a exploração com vista à maximização do lucro.

Incompreensível também é a ausência de qualquer referência e condenação à relação da robótica com o seu uso para fins militares e securitários. Distanciamo-nos da abordagem de harmonização legislativa nesta matéria e da criação de mais uma agência que contribua para condicionar e limitar a capacidade de cada Estado em desenvolver-se na base dos seus superiores interesses. A abrangência de áreas de influência e intervenção do desenvolvimento deste setor confirmam-no como de enorme complexidade, exigem prudência na discussão e que se prossiga com o aprofundamento da reflexão.

 
  
MPphoto
 

  Heidi Hautala (Verts/ALE). – Arvoisa puhemies, ehkä eniten huolta julkisuudessa on herättänyt kysymys siitä, että miten robotisaatio vaikuttaa työllisyyteen ja sosiaalipolitiikkaan. On selvää, että tähän liittyy varmasti valtava työpaikkakato, mutta myös mahdollisuus synnyttää uusia työpaikkoja.

Jotta robotisaatio ei johtaisi kasvavaan eriarvoisuuteen ja syrjäytymiseen yhteiskunnasta, on toimittava juuri niin kuin kohdassa 44 Delvaux’n mietinnössä esitetään. Olisi käynnistettävä osallistava keskustelu uusista työllisyysmalleista ja vero- ja sosiaaliturvajärjestelmiemme kestävyydestä, jotka perustuvat riittävään tulotasoon, mukaan lukien mahdollisesti käyttöön otettava yleinen perustulo.

Juuri tällaista keskustelua Euroopan unionin jäsenmaissa ja EU:n toimielimissä nyt tarvitaan, koska muuten voi käydä niin, että uhkat voittavat mahdollisuudet.

 
  
MPphoto
 

  Dario Tamburrano (EFDD). – Signora Presidente, onorevoli colleghi, fin da quando abbiamo acceso il primo fuoco, realizzato la prima freccia e sviluppato le tecniche agricole, la tecnologia è stata uno dei motori, forse il più potente, del cambiamento.

Miliardi di persone hanno in tasca apparecchi come questo così ubiquitari, veloci e connessi, inimmaginabili solamente pochi anni fa. Eppure sono ancora molte le cose da normare nelle ICT, nonostante il World Wide Web si sia diffuso oltre vent’anni fa. Per citarne alcune di attualità qui, il geoblocking, la privacy in rete, la responsabilità e la proprietà intellettuale.

Come legislatori dovremmo intercettare in anticipo i cambiamenti e definire quadri regolatori in maniera rapida che non arrivino ad approvazione già vecchi e inadeguati. Quindi è nostra responsabilità intervenire prima che il futuro che si intravede oggi diventi rapidamente un presente senza regole.

L'intelligenza artificiale, infatti, è già in grado di autoapprendere e l'evoluzione dei sistemi cyberfisici che ne consegue genererà assai presto enormi cambiamenti sociali, produttivi, economici e culturali, positivi e negativi. Tra quelli negativi ci aspetta una rapida disoccupazione tecnologica senza precedenti. La Banca di Inghilterra stima che in Gran Bretagna scomparirà un lavoro su due entro il 2020. Entro lo stesso anno, secondo il World Economic Forum, si perderanno 7 milioni di posti nelle 15 economie più industrializzate del mondo di lavoro, rimpiazzati da soli 2 milioni di nuovi lavori. Sappiamo bene come dal lavoro derivino la capacità di spesa dei cittadini e il gettito fiscale che sostiene il sistema pubblico del welfare e della sanità.

A questo quadro si aggiunge la crescente concentrazione della ricchezza globale. Secondo Forbes, nel 2010, 388 persone possedevano la ricchezza del 50 % dell’umanità, nel 2014 sono diventati 85, nel 2016 62, per arrivare a 8 persone, secondo i dati citati a Davos poche settimane fa.

Non possiamo sottrarci all'affrontare le questioni citate, così maiuscole e correlate. Sosterremo con vigore questa risoluzione laddove affronti la sostenibilità dei nostri sistemi fiscali e di sicurezza sociale, prendendo in esame l'introduzione di un reddito di base generale. La relazione Delvaux è il testo più lucido e lungimirante che ho letto e al quale ho avuto l'onore di collaborare in questi due anni al Parlamento europeo. Mi auguro che non venga stravolto domani al voto.

 
  
MPphoto
 

  Joëlle Mélin (ENF). – Madame la Présidente, donner la personnalité juridique à des non- humains, qualifiés de personnes électroniques techniquement plus performantes, leur ouvre à très court terme des droits inévitablement supérieurs à ceux des humains potentiellement faillibles. C’est déjà une réalité aux États-Unis, il est donc très tard pour se poser des questions.

Aux États-Unis, il est clairement envisagé de ne plus assurer les humains en cas d’accident avec des véhicules autonomes, ceux-là mêmes qui sont construits sous l’impulsion de Uber, associé à Google. Dès lors, il n’y aurait plus, à terme, que des véhicules autonomes donnant à Uber, une fois de plus, un monopole sur les véhicules à moteur. Des prévisions très sérieuses anticipent plus de 400 000 pertes d’emploi chez les conducteurs de poids lourds nord-américains. En Europe, déjà frappée par un chômage massif, ce sont probablement des millions d’emplois qui seront perdus et un revenu universel ne suffira pas à amortir la flambée de la pauvreté.

Il est indispensable d’aller vers le progrès, mais s’engager sur cette voie juridique est proprement suicidaire pour nos travailleurs.

 
  
MPphoto
 

  Axel Voss (PPE). – Frau Präsidentin, sehr geehrter Herr Kommissar! Ich danke der Berichterstatterin Mady Delvaux für diesen legislativen Initiativbericht über dieses so wichtige Thema Robotik und künstliche Intelligenz. Ich danke auch unserer EVP-Berichterstatterin Therese Comodini Cachia für ihren Einsatz und ihre Mühe, die den Bericht nach unserer Ansicht noch besser gemacht haben.

Wie lassen sich eigentlich Wettbewerbsprinzipien in der neuen digitalen Welt sichern? Ein systematischer Blick auf die Geschäftsmodelle und Infrastruktur zeigt eigentlich, wo die soziale Marktwirtschaft in Gefahr ist. Wir müssen uns eben auch vergegenwärtigen, dass menschliche Kompetenzen mehr und mehr durch Algorithmen ersetzt werden und dass unser Rechtssystem durch die zunehmende Entgrenzung in diesem Bereich darauf eben einfach nicht vorbereitet ist.

Natürlich gefällt es mir auch nicht, wenn in der Zukunft Roboter irgendwie Gerichtsurteile fällen. Trotzdem können wir uns diesem Wandel der Zeiten eigentlich nicht verschließen. Die Digitalisierung schreitet hier in einem Eiltempo voran, und darauf müssen wir reagieren. Im Grunde wartet Europa auf Regulierung, während andere Regionen dieser Welt schon lange auf der Überholspur sind. Neue Herausforderungen bieten auch neue Chancen, und unserem Verständnis nach muss der Mensch beziehungsweise müssen unsere Bürgerinnen und Bürger im Mittelpunkt der Entwicklung stehen. Dafür brauchen wir die Sicherheit der Daten, die Sicherheit unserer Infrastruktur, die Sicherheit unserer Ideen sowie eine wettbewerbsfähige Wirtschaft, die weiterhin Arbeitsplätze bietet, die wiederum dem Einzelnen ein Leben in Würde ermöglichen. Deshalb bedarf es nicht aller Themen wie das Grundeinkommen, was bei uns etwas schwierig diskutiert wird.

 
  
MPphoto
 

  Elena Gentile (S&D). – Signora Presidente, onorevoli colleghi, è evidente che si intrecciano, nella nostra discussione, valutazioni e riflessioni importanti e anche decisive per la vita delle persone, per l'economia e per il lavoro che sarà, dentro una cornice etica e morale che ci richiama anche alle nostre responsabilità di decisori.

Mentre salutiamo positivamente l'introduzione della robotica, nell'ambito dei sistemi di salute e di cura, di riabilitazione, di presa in carico delle persone fragili e con limitazioni dell'autonomia personale, convinti che l'utilizzo delle nuove tecnologie, soprattutto in campo sanitario, migliorerà la performance del sistema, anche con un evidente e non trascurabile impatto sui costi del sistema pubblico, richiamiamo l'attenzione sull’imprescindibilità del valore della relazione medico-paziente, operatore-paziente, come ulteriore elemento di garanzia, convinti che il binomio uomo-macchina costituisca una straordinaria opportunità per migliorare la qualità della vita e il benessere delle persone.

Infine, la diffusione dell'utilizzazione delle macchine intelligenti porterà purtroppo alla decimazione degli occupati con profili poco qualificati, alla necessità di costruirne altri con competenze più raffinate. Per questo bisognerà attrezzarsi in tempo, con investimenti adeguati sia per la formazione di nuove competenze, sia per sostenere in un sistema di welfare consapevole e responsabile coloro i quali saranno inevitabilmente espulsi dal mondo del lavoro.

 
  
MPphoto
 

  Merja Kyllönen (GUE/NGL). – Arvoisa puhemies, robotiikka nähdään usein uhkana eikä vähiten siksi, että sen ajatellaan vievän työt monelta sektorilta. Itse uskon kuitenkin yhteiskuntien sopeutumiskykyyn, sillä olemme jo selviytyneet kolmesta teollisesta vallankumouksesta, joten miksi emme selviäisi neljännestä.

Inhimillisen ja automaattisen työn rinnakkaiselo tulee vaatimaan sekä työntekijöiltä että työnjohdolta uusia valmiuksia ja koulutusjärjestelmämme ja sopimusjärjestelmämme päivitystä. Uskon kuitenkin, että voimme suhtautua tähän käynnissä olevaan muutokseen uteliaisuudella ja optimismilla. Me tarvitsemme eurooppalaista sääntelykehikkoa, joka tukee automaation, tekoälyn ja robotiikan kehitystä ja hyödyntämistä.

Tärkeintä on kantaa vastuu siitä, että muutos on johdettua ja hallittua ja työvoiman koulutus- ja työllistymismahdollisuuksista huolehdittu. Haluan EU:n toimivan tässä asiassa tienraivaajana eikä se saattaa itseään liian hitaasti reagoiden asemaan, jossa muut sanelevat globaalit ehdot ja standardit.

 
  
MPphoto
 

  Karima Delli (Verts/ALE). – Madame la Présidente, chers collègues, il aura fallu attendre trente ans pour que le politique daigne enfin se pencher sur le cadre légal des robots. Trente ans que Hollywood nous dit tout sur les promesses de l’innovation – pensez à Retour vers le futur – comme à ses dangers potentiels – pensez à Terminator. Trente ans que la robotisation, nos concitoyens la vivent au quotidien: en bien, quand elle rend leur vie plus pratique; en mal, quand elle leur pique leur emploi.

Les transports sont concernés et cela pose de nombreuses questions. Pensez à la voiture autonome: l’innovation, on en a besoin pour reconvertir l’industrie automobile européenne, pour passer aux voitures, aux camions, aux bus électriques, connectés et autonomes. Mais qui sera responsable en cas d’accident? Le constructeur? La voiture? Les passagers?

Cela vaut évidemment pour les drones aussi. On sait que les constructeurs fraudent pour les tests de pollution, alors comment s’assurer qu’ils ne frauderont pas lors de certains tests de conformité? Comment anticipe-t-on les aspects qui touchent à la cybersécurité, à la protection des données? Comment être sûr qu’une main humaine pourra reprendre le contrôle au moindre problème?

Tout cela rend indispensable de mettre le principe de précaution au cœur de nos travaux, pour l’innovation, mais surtout pour l’humanité entière.

 
  
MPphoto
 

  Daniel Buda (PPE). – Doamnă președinte, în primul rând aș dori să felicit și eu pe doamna Delvaux și pe cei pe care au lucrat la acest raport pentru eforturile depuse.

Asistăm astăzi la o revoluție industrială în care inteligența artificială și robotica au devenit cele mai importante tendințe tehnologice ale secolului. Dezvoltarea acestora a dus la creșterea eficienței economiilor, dar și a nivelului de siguranță în sectorul comercial, al transporturilor, al serviciilor medicale și al educației. Nu mai puțin important este faptul că s-au creat locuri de muncă în domeniul dezvoltării tehnologice, fiind încurajate cercetarea și inovarea.

Comisia și statele membre au însă obligația de a fi preocupate în vederea asigurării unui transfer eficient de la cercetare, la comercializarea și utilizarea pe scară largă a acestor tehnologii, asigurându-se totodată că siguranța este pe deplin respectată.

Noile cuceriri în materia roboticii au demonstrat însă că este nevoie de un cadru juridic actual care să determine continuarea și dezvoltarea cercetării în domeniu, dar care să asigure și o protecție eficientă persoanelor care interacționează cu astfel de roboți.

Subliniem, astfel, necesitatea elaborării unui set de norme juridice ancorate în realitate privind răspunderea civilă pentru prejudiciile cauzate de roboți. Este important, astfel, să vorbim nu doar de eficiență, dar și de transparență și mai ales de consecvență în realizarea securității juridice în întreaga Uniune Europeană, de care să beneficieze atât consumatorii, cât și întreprinderile.

Iar în acest context este important, de asemenea, ca activitatea desfășurată de roboți și sistemele de inteligență artificială să respecte legislația Uniunii în ceea ce privește protecția datelor, dar mai ales a vieții private a cetățenilor.

 
  
MPphoto
 

  Josef Weidenholzer (S&D). – Frau Präsidentin! Wir erleben gegenwärtig eine geradezu inflationäre Verbreitung von Robotern, entscheidungsfähigen Maschinen, die miteinander kommunizieren können.

1,7 Millionen sollen bereits aktiv sein, das ist fast die Einwohnerzahl Lettlands. Viele Menschen beunruhigt das. Die Entwicklung lässt sich freilich nicht aufhalten, aber man kann, man muss sie steuern. Das ist die Position der Sozialdemokraten. Wir wollen die Digitalisierung als Chance sehen und diesen Prozess mitgestalten. Deshalb sind wir auf die Arbeit von Mady Delvaux stolz, der mit dem Bericht ein ganz großer Wurf gelungen ist.

Der Initiativbericht fordert die Kommission auf, einen Gesetzentwurf vorzulegen, der zivilrechtliche Grundsätze formuliert. Solche Fragen lassen sich nicht mehr nationalstaatlich regeln, hier bedarf es globaler Normierung. Wenn die Europäische Union gemeinsam agiert, dann ist es möglich, dass die globalen Standards europäischen Maßgaben folgen. Es gibt diesen europäischen Hebel, das haben wir etwa beim Datenschutzpaket gesehen.

Der Einsatz von Robotern wirft aber auch eine ganze Menge von ethischen und gesellschaftspolitischen Fragen auf. Ich begrüße es, dass der Bericht auch diese Fragen nicht ausspart und vielmehr eine konstruktive Diskussionsgrundlage thematisiert.

 
  
MPphoto
 

  José Bové (Verts/ALE). – Madame la Présidente, je voudrais également féliciter la rapporteure parce qu’il n’était pas évident de démarrer ce rapport.

Un certain nombre de points me posent tout de même problème. J’en aborderai deux. Le premier, c’est l’emploi des mots et les mots veulent dire quelque chose, aussi bien en français qu’en anglais. Aux articles 36 et 38, quand on parle de «réparer», au niveau médical, cela ne me pose pas de problème, mais quand on parle d’«amélioration» ou d’«enhancement», là, on est sur un sujet qui n’a rien à voir.

Qu’est-ce que cela traduit? Cela traduit le projet qui se développe aussi aux États-Unis de manière très forte: le projet des transhumanistes, de l’homme augmenté.

Sur ce point, je crois qu’il faut que nous soyons très fermes. C’est pour cette raison que j’aimerais que demain, pendant le vote, on supprime cette notion d’«homme amélioré». Selon moi, c’est fondamental.

La deuxième problématique, c’est la question du droit. Sur ce point, tout comme les autres collègues, je pense aussi que l’utilisation des mots est dangereuse parce que, jusqu’à présent, le droit des personnes ne touche que des humains ou des groupes d’humains. Je crois qu’il faut donc retirer aussi cette partie.

 
  
MPphoto
 

  Jiří Pospíšil (PPE). – Paní předsedající, já osobně vítám to, že dnes zde projednáváme zprávu, která se týká občansko-právních aspektů v robotice. Myslím si, že do budoucna bude opravdu třeba upravit některé vztahy, jako je otázka odpovědnosti autonomních robotů za škodu, kterou způsobí, bude třeba řešit otázku případného systému pojištění za škodu, která těmito stroji může být způsobena.

Na druhou stranu mi připadá zpráva příliš rozsáhlá. Je tam celá řada věcí, která podle mého názoru s tímto tématem nesouvisí. Myslím si, že otázky, které mají sociální charakter, jako je otázka zavedení všeobecného základního příjmu, to jsou věci, které s občansko-právními aspekty robotů nesouvisí, a třeba pro mě to přináší určitý problém, zda zprávu bez dalších otázek podpořit.

Stejně tak bych chtěl říci, že mám problém už se zmiňovaným statusem elektronické osoby. Zkrátka a dobře, evropské právo, které pochází z římského práva, dva tisíce let rozeznává fyzickou osobu a právnickou osobu. Je to jasné, je to dané, je to náš civilizační základ. A vytvářet nyní nějakou jinou formu osoby mně připadá jako absolutní a zásadní revoluční zásah do evropského pojetí civilního práva a bez nějaké další rozsáhlé debaty to považuji opravdu za věc, se kterou bych nechtěl tady příliš žonglovat, nechtěl bych ji příliš pokoušet a příliš ji s takovou lehkostí psát této zprávy.

 
  
MPphoto
 

  Marju Lauristin (S&D). – Madam President, I want to start mainly from the opposite position compared to the previous speaker. I think that maybe as this report is so systemic, so comprehensive in all of this area, it is showing us how many unsolved issues, new ideas and new concepts we clearly need in order to come to very specific implementation as the legislation.

I am also very glad that Commissioner Moedas, who is responsible for research, is here because this report also shows that there is an area of research which is most vital and which is underdeveloped – the area of research dealing with technology-society interactions. We have neurosciences dealing with this interaction at a micro level, but we have very little research dealing with technology-society interaction at the macro and middle level.

I insist that the Commission really should do what the Committee on the Internal Market and Consumer Protection is also proposing: to have special grants, money and focus in research on this horizontal, comprehensive, holistic approach uniting humanities, social sciences, technological sciences and real sciences.

 
  
MPphoto
 

  Sergio Gaetano Cofferati (S&D). – Signora Presidente, onorevoli colleghi, non bisogna mai avere paura della tecnologia, ha consentito l'evoluzione del mondo. Certo, la tecnologia storicamente riduce il numero di posti di lavoro e cambia spesso in profondità le modalità con le quali l'attività lavorativa viene prestata. Però spetta alla politica utilizzare la ricchezza che la tecnologia crea per compensare questi vuoti. Governare e gestire il processo è compito nostro, non è automatico. Per questo dobbiamo fare cose molto precise, che riguardano la politica economica, la formazione, la ricerca, ma guai ad ostacolare e a contrastare la tecnologia. Sarebbe un comportamento sbagliato e regressivo.

Aggiungo che la dimensione giuridica e quella etica riguardano le persone e non le macchine. È difficile individuare le responsabilità delle macchine, ma questo non deve portarci a confondere i due ruoli. Io credo che l'etica riguardi gli umani. Allora è chi crea le macchine che deve essere sottoposto ad un criterio di responsabilità etica, non certo la macchina, sarebbe fuorviante.

 
  
MPphoto
 

  Evelyn Regner (S&D). – Frau Präsidentin! Roboter eröffnen wunderbare Möglichkeiten, sie nehmen uns Arbeit ab. Und deshalb gilt es, den Produktivitätsgewinn – also das, was wir von ihnen jetzt irgendwie Positives erhalten – der intelligenten Helfer auch entsprechend gerecht zu verteilen. Nennen wir es Robotersteuer, nennen wir es Maschinensteuer – wie auch immer. Auch ein Grundeinkommen ist eine Option. Nur sollten wir eben das ganze Bild sehen und diesen Gewinn auch entsprechend gerecht aufteilen, damit wir unsere Sozialsysteme auch für die Zukunft sichern können.

Wir haben in Europa nun die einmalige Chance, aber auch die Verpflichtung, zu diesen Rechtsfragen und zu den ethischen Fragen nicht mehr Stellung zu beziehen, sondern es ist ein Arbeitsauftrag an Sie, sehr geehrte Kommission, da entsprechend auch etwas zu machen zu den Haftungsfragen, aber vor allem auch zu den ethischen Grundsätzen, die ich für ganz besonders wichtig halte beim Entwickeln von Robotern, wie beispielsweise – so wie es der Bericht vorsieht – einen Verhaltenskodex für die Robotik-Ingenieure vorzusehen oder auch einen ethischen Leitrahmen, der sich an unseren Grundsätzen und Werten, wie wir sie in der Grundrechtecharta festgelegt haben, orientiert.

Herzliche Gratulation an Mady und alle, die daran mitgearbeitet haben. Aber jetzt liegt vor allem viel Arbeit vor uns.

 
  
MPphoto
 

  Guillaume Balas (S&D). – Madame la Présidente, tout d’abord, je voudrais vraiment dire merci à Mady Delvaux et le lui dire deux fois.

La première, c’est parce que ce rapport est l’un des plus intéressants sur lesquels il m’ait été donné de travailler et qu’il se situe – je vais y revenir – dans la prospective. Or, qu’attend-on des hommes et des femmes politiques, des responsables que nous sommes, des élus, si ce n’est justement d’essayer de prévoir et d’anticiper pour répondre au mieux aux mutations qui vont évidemment s’abattre, si jamais nous ne faisons rien, sur nos concitoyens?

La deuxième raison pour laquelle je voudrais la remercier, c’est que son rapport a mis le Parlement européen en relief puisqu’en France, il a beaucoup été débattu et a justement éveillé les consciences sur ces sujets. Je voudrais dire que ceux qui ont peur, notamment, des voies qui sont tracées sur la question du revenu universel ou de la raréfaction du travail devraient bien lire le rapport. Il n’est pas dit qu’il faut les mettre en place, mais simplement qu’il faut y réfléchir et que la Commission doit être une vigie pour faire des propositions.

Si jamais nous enlevons tout cela du rapport, alors nous allons l’affaiblir considérablement. Il ne s’agit en aucun cas d’obligations, mais d’une perspective de débat et il faut donc appuyer ce rapport en entier, avec tout ce qu’il comporte.

 
  
 

Catch-the-eye-Verfahren

 
  
MPphoto
 

  Marijana Petir (PPE). – Gospođo predsjednice, neosporno je da su roboti budućnost te da će nam uvelike olakšati mnoge poslove, već sada to čine. Međutim, ono što mene zabrinjava u ovom izvješću, a zbog čega sam i podnijela amandmane zahvaljujući podršci kolega, jest stvaranje pravnog statusa elektroničke osobe za robote koji donose autonomne odluke i djeluju neovisno o ljudima. Pravo proizlazi iz života. Roboti su proizvod ljudskog uma i ljudskih ruku, ali su objekti, a ne osobe. U njima nema života i ne možemo im dati status elektroničke osobe.

Ljude i robote ne možemo staviti na istu razinu. Stvaranje pravnog statusa za robote uzročno-posljedično bi značilo odricanje od odgovornosti njihovih proizvođača ili vlasnika. Ovo bi bio pravni presedan za koji nitko ne zna kako bi uopće bio ostvariv. Pozivam vas da glasujete za naše amandmane, a protiv stvaranja pravnog statusa za robote te da jasno ukažete na to da roboti nisu jednakovrijedni i jednakopravni s ljudima.

 
  
MPphoto
 

  Caterina Chinnici (S&D). – Signora Presidente, onorevoli colleghi, lo sviluppo della robotica e dell'intelligenza artificiale certamente contribuirà nel prossimo futuro ad un considerevole miglioramento della nostra qualità di vita in diversi settori quali l'assistenza medica, i trasporti e la produzione industriale.

La probabile diffusione su larga scala di questi dispositivi ci impone però come legislatori di definire un quadro giuridico che ne regoli le implicazioni e i risvolti etici e legali senza ostacolarne lo sviluppo e tenendo conto del fatto che la tecnologia evolve molto velocemente. Molte delle proposte incluse nella relazione sono assolutamente condivisibili.

Tuttavia, vorrei soffermarmi sul rapporto tra robot e bambini. In effetti, già oggi l'interazione tra minori e tecnologie, quali smartphone, computer e videogiochi, comporta talvolta casi di dipendenza che potrebbero essere accentuati da dispositivi dotati di intelligenza artificiale avanzata.

Il futuro quadro giuridico dovrà quindi tener conto dei possibili rischi derivanti da un attaccamento emotivo tra robot e bambini quali dipendenza, isolamento, marginalizzazione sociale, considerando anche la previsione di processi educativi volti a fornire ai più giovani una capacità di riflessione critica nei confronti dei robot.

 
  
MPphoto
 

  Νότης Μαριάς (ECR). – Κυρία Πρόεδρε, σας εύχομαι καταρχάς καλή επιτυχία στα καθήκοντά σας ως Αντιπροέδρου του Σώματός μας. Την περίοδο 2010-2014 υπολογίζεται ότι η μέση αύξηση των πωλήσεων των ρομπότ ανήλθε σε 17% ετησίως ενώ μόνο το 2014 οι πωλήσεις σημείωσαν αύξηση κατά 29%. Ο τομέας της νοημοσύνης των μηχανών προσφέρει τεράστια οικονομική και κοινωνική ανάπτυξη, βελτιώνοντας τις συνθήκες διαβίωσης. Παρά τα αναμφισβήτητα πλεονεκτήματα που προσφέρει ο κλάδος της ρομποτικής, οι μελλοντικές εφαρμογές του ενδέχεται να επιφέρουν σημαντικές μεταβολές στην αγορά εργασίας και να καταστήσουν απαραίτητη πλέον μια διαφορετική προσέγγιση στο θέμα της εκπαίδευσης, της επαγγελματικής κατάρτισης και της κοινωνικής πολιτικής. Καθίσταται επομένως αναγκαίο για την Ευρωπαϊκή Ένωση να προβεί από τώρα στη θέσπιση νομικών διατάξεων ή νομοθετικών αλλαγών, έτσι ώστε να ληφθούν υπόψη οι επικείμενες εφαρμογές αυτών των τεχνολογιών. Ταυτόχρονα, πρέπει να προσέξουμε ούτως ώστε η επικείμενη ανάπτυξη της ρομποτικής να μην οδηγήσει σε υψηλή συγκέντρωση πλούτου στα χέρια λίγων.

 
  
MPphoto
 

  Ελευθέριος Συναδινός (NI). – Κυρία Πρόεδρε, προφανώς η συγκεκριμένη έκθεση είναι προϊόν συμβιβασμών, όμως γενικά επιτρέπει την εξασφάλιση εργασιακών δικαιωμάτων και της πρόσβασης στην αξιοπρεπή εργασία και συνταξιοδότηση. Ο καθορισμός χρήσης ρομποτικής δεν πρέπει ούτε να στοχεύει, ούτε να υπονομεύει τη βελτίωση της φυσικής ανθρώπινης υποστάσεως. Πρέπει να διασφαλίζεται πως οι ήδη υπάρχουσες τάσεις της οικονομίας και της παραγωγικής διαδικασίας θα συνεχίσουν να υπηρετούν το κοινωνικό σύνολο με επικαιροποιημένους κανόνες και δικλίδες ασφαλείας. Απεύχομαι το ενδεχόμενο αύξησης των ανισοτήτων στην κατανομή του πλούτου και διαβλέπω αντικατάσταση της ανθρώπινης εργασίας δίχως πλήρη αναπλήρωση των χαμένων θέσεων. Η υστέρηση των συνταξιοδοτικών εισφορών απειλεί το μέλλον της απασχόλησης και τη βιωσιμότητα των συστημάτων κοινωνικής πρόνοιας και ασφάλισης. Είναι ευπρόσδεκτη όμως η δυνατότητα επιβολής φόρου επί της εκτελούμενης ρομποτικής εργασίας ή η επιβολή τέλους χρήσης και διατήρησης ανά ρομπότ για τη χρηματοδότηση της υποστήριξης και επανεκπαίδευσης ανέργων, των οποίων οι θέσεις έχουν μειωθεί ή καταργηθεί με σκοπό τη διατήρηση κοινωνικής συνοχής και ευμάρειας.

 
  
MPphoto
 

  Krzysztof Hetman (PPE). – Pani Przewodnicząca! Rozwój robotyki postępuje coraz szybciej i jest nie do powstrzymania. W mojej opinii to dobra wiadomość. To coraz większy rynek produktów i usług w każdej niemal dziedzinie. Innowacyjne rozwiązania z zakresu robotyki sprawiają, że rzeczywistość, w której żyjemy, zmienia się bardzo dynamicznie i choć otwiera to potencjał nowych możliwości dla naszych obywateli, stanowi też ogromne wyzwanie. Czekają nas w związku z tym zmiany na rynku pracy. Aby móc się do nich dobrze dostosować, musimy przede wszystkim dysponować wiarygodnymi analizami i danymi na temat wpływu robotyki na popyt, na poszczególne stanowiska i kompetencje na rynku pracy. Ważne jest także, aby nasze polityki zatrudnienia i polityki społeczne były elastyczne i potrafiły reagować na te zmiany w taki sposób, aby zapewnić pracownikom dobrą jakość pracy przy zachowaniu odpowiedniego poziomu zabezpieczenia społecznego.

 
  
MPphoto
 

  Julie Ward (S&D). – Madam President, I welcome the ethical development of robotics, which has the potential to transform our lives. However, I would like to issue a word of warning so that we can begin to prepare for what will inevitably be a huge amount of enforced leisure time for millions of people across the globe.

When robotics do most of the work, how will we spend our time? Vegetating in front of a screen in passive mode, watching poor quality TV, or engaged in life-enhancing activities that promote personal and community development, and connect us with the wider world?

I would like to propose that we embrace the concept of occupational literacy now, and take steps to train ourselves and future generations through innovative life-long learning, and promote active engagement in arts and sport, so that co-existence with robotics will be harmonious and of benefit to the human race, not a curse for future generations.

The idea of occupational literacy also relates to citizenship. If we are not taught the processes of government, or critical-thinking skills, we do not have the occupational literacy to effectively engage in democratic processes.

 
  
MPphoto
 

  Die Präsidentin. – Danke schön. Es tut mir leid, aber aus Zeitgründen kann ich nicht allen das Wort geben, die sich gemeldet haben. Es sind noch einige, die sich gemeldet haben, aber ich bitte um Verständnis dafür, dass es einfach nicht geht. Wir müssen in unserer Tagesordnung auch weiterkommen.

(Ende des Catch-the-eye-Verfahrens)

 
  
MPphoto
 

  Carlos Moedas, Member of the Commission. – Madam President, I would like to thank everyone for the inspiring discussions tonight. We have touched really upon a very broad array of complex issues: technology and society – Ms Lauristin brought us that issue which for me is fundamental in terms of research; jobs; regulation, with Ms Charanzová; and education, there we had Mr Maštálka, Mr Kósa and Ms Kyllönen who brought us the big changes that will have to take place in education. Also Ms Rozière with la valeur humaniste, very important for our debate, and also sectors like health – Mr Buşoi and Mr Selimovic brought these to the table. So there was a really fantastic discussion with so many ideas for the future. But one thing that was clear from our discussion is that we all agree, and I think Ms Kallas was the first to say it, that we want to promote innovation, we do not want to stop innovation, and that has to be very clear and I was very happy that we agree on that.

But there is a political choice to make, to think what we want for the future and I think we agree that we don’t want robots to replace us; we want robots to get us to be better at doing things that we can’t do alone. We want them to really augment our abilities and get us to a better place. Not so long ago in real time the following experiment was carried out: experts, medical experts, looking at scanners of lung cancer compared to machines, looking at the same scans. The results were staggering: machines were 50% better than doctors. But more than that, the false negatives – meaning when you miss cancer and you put someone in danger – was zero for the machine and 7% for great medical experts. That changes the profession but changes it in a good way, because the machines will never be able to relate the whole human body and the different diseases; they will be very good at this specific task and the doctors will be good at the other task, which is to relate all the tasks [to each other].

So robotics changes jobs, it is true, and makes us better, to focus on what we are good at. I believe that we can digitalise everything but we cannot digitalise experience, we cannot digitalise the experience of life, we cannot digitalise the experience of what we do. So I believe that we will have a better future, it will be a future that will entail complex policy changes, and that is why this report is so important. That is why we need together to shape this process and create the framework which allows robotics and artificial intelligence to create all the desired advantages – and there are so many –while safeguarding the fundamental values of our society and important features of our economy, striking the right balance between all the interests at stake.

 
  
MPphoto
 

  Mady Delvaux, rapporteure. – Madame la Présidente, je voudrais remercier tous les intervenants. Les discussions d’aujourd’hui ont surtout montré, comme celles que nous avons eues en commission, la multitude et la complexité des questions qui se posent d’un point de vue légal, éthique, mais aussi sociétal.

Je voudrais simplement dire que le rapport demande à la Commission de nous proposer des réglementations pour réglementer ce qui doit l’être, notamment la responsabilité. De plus, c’est un rapport qui veut lancer un débat. Aujourd’hui, nous ne sommes pas à la fin de l’histoire mais seulement au début, et il faut que nous pensions le monde de demain.

Avec tout ce que j’ai découvert, je dis «oui» à l’innovation. J’ai pleine confiance dans la créativité de nos chercheurs et de nos scientifiques. Mais je ne peux pas ignorer la peur et les craintes des personnes que je rencontre et je n’ai pas l’arrogance de leur dire que leurs craintes ne sont pas justifiées parce que tout ira pour le mieux dans le meilleur des mondes. Il faut les prendre au sérieux et leur donner des réponses. C’est pour cette raison que je demande l’ouverture de débats.

Je voudrais aussi insister sur la question qui fâche de la personnalité juridique. Il n’est pas dit dans le rapport qu’il faut accorder une personnalité juridique aux robots. Si vous l’avez bien lu, dans ce rapport, nous demandons à la Commission d’explorer, d’analyser et de considérer les implications de toutes les solutions légales qui sont en discussion au regard de la personnalité juridique des robots, pour ce qui concerne la responsabilité, et donc l’indemnisation pour les dommages subis.

Par ailleurs, je m’étonne qu’un parlement refuse un débat sur des idées qui sont dans le monde intellectuel, qui sont publiées dans des livres et qui représentent des écoles de pensée avant même que ce débat n’ait été engagé.

Par conséquent, tout ce que je demande, c’est qu’on regarde tranquillement, qu’on argumente, qu’on écoute et qu’on décide après.

 
  
MPphoto
 

  Die Präsidentin. – Die Aussprache ist geschlossen.

Die Abstimmung findet am Donnerstag, 16. Februar 2017, statt.

Schriftliche Erklärungen (Artikel 162 GO)

 
  
MPphoto
 
 

  Maria Lidia Senra Rodríguez (GUE/NGL), por escrito. – Este relatório apresenta a questão da robótica como algo ilimitado e independente da nossa vontade e que apenas não podemos fazer nada além de regulamentar. No considerando Q afirma-se que existe a possibilidade de que a longo prazo a inteligência artificial chegue a superar a capacidade intelectual humana; bom, mas a "inteligência artificial" é criada pela capacidade humana e, portanto, como toda a tecnologia não será neutra, estará ao serviço das classes dominantes. Eu entendo que o primeiro passo desta regulamentação deve ser pôr os limites até onde e como queremos utilizar esta tecnologia, porque afinal de contas a tecnologia deve ser um instrumento para procurar o bem-estar e facilitar as atividades às pessoas, mas nunca para substituí-las. E, certamente, não podemos consentir que os avanços na robótica sejam utilizados para que uns poucos consigam dominar o mundo com este processo de concentração de riqueza através do espólio dos recursos naturais e a despossessão das classes populares. Não pode ser utilizada para destruir e precarizar o emprego; para continuar com as guerras; ou para desumanizar a medicina ou a assistência e os cuidados dos idosos e idosas, por exemplo. Concordo, precisamos regular, pôr limites para proteger a sociedade.

 
  
MPphoto
 
 

  Jutta Steinruck (S&D), schriftlich. – Robotertechnik, die digitale Vernetzung von Mensch und Maschine, bringt neue Stufen der Automatisierung und damit eine Veränderung der Arbeitswelt mit sich. Dafür brauchen wir umfassende Analysen zur Beschäftigungsentwicklung. Sie sollten beschreiben, wie sich die Digitalisierung quantitativ und qualitativ auf die Arbeitswelt auswirkt. Bisher geltende Standards müssen auf die digitalisierte Arbeitswelt und neue Arbeitsformen übertragen werden. Darunter fallen: Soziale Absicherung, Arbeitszeit, Mitbestimmung und Arbeitsschutz, Koalitionsfreiheit, Weiterentwicklung beim Arbeitnehmerdatenschutz. Sowohl beim Arbeitnehmerdatenschutz als auch beim Gesundheitsschutz müssen die Roboter-Mensch-Beziehungen miteinbezogen werden. Die rasante Weiterentwicklung der technischen Ausstattung und deren Möglichkeiten machen zudem es notwendig, dass lebenslanges Lernen zum zentralen Element der Digitalisierung wird. Es muss ein Recht auf Weiterbildung für Arbeitnehmer geben, um sicherzustellen, dass Menschen mit den Anforderungen im Beruf Schritt halten können. Letztlich müssen auch Vorschriften über die Folgenhaftung von Robotern angepasst werden. Bei der Anpassung des Regelungsrahmens für Robotik und digitale Wirtschaft ist die regelmäßige Einbindung der Sozialpartner unerlässlich.

 
  
MPphoto
 
 

  Marc Tarabella (S&D), par écrit. – Voitures sans conducteur, automates industriels, robots d'accompagnement à la personne, robots sexuels, ... : la robotique est devenue une composante importante de notre quotidien. Aujourd'hui, nous votons pour un cadre européen sur les règles de la robotique. Il s'agit là d'une première européenne et probablement mondiale afin de faire passer officiellement la robotique de la science-fiction à la réalité.

Même si la thématique est enthousiasmante, elle ne doit pas nous faire oublier les questions liées à l’emploi et la lutte contre les inégalités. Anticiper les changements, c’est la meilleure manière de les maîtriser. La question de l’emploi doit être mise au centre des priorités pour défendre les droits des travailleurs et les accompagner dans ces changements ainsi que les modes de financement des impacts sociaux.

Nous demandons également, à travers ce texte, que soit traitée et mise en avant la question des inégalités. En effet, sans encadrement, le développement de la robotique pourrait avoir pour conséquence de concentrer de manière importante les richesses et le pouvoir entre les mains d’une minorité. L’Europe a un rôle à jouer aussi sur cet aspect.

 
Jogi nyilatkozat - Adatvédelmi szabályzat