Amendements du Parlement européen, adoptés le 14 juin 2023, à la proposition de règlement du Parlement européen et du Conseil établissant des règles harmonisées concernant l’intelligence artificielle (législation sur l’intelligence artificielle) et modifiant certains actes législatifs de l’Union (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD))(1)
(Procédure législative ordinaire: première lecture)
Texte proposé par la Commission
Amendement
Amendement 1 Proposition de règlement Visa 4 bis (nouveau)
vu l’avis de la Banque centrale européenne,
Amendement 2 Proposition de règlement Visa 4 ter (nouveau)
vu l’avis conjoint du comité européen de la protection des données et du Contrôleur européen de la protection des données,
Amendement 3 Proposition de règlement Considérant 1
(1) L’objectif du présent règlement est d’améliorer le fonctionnement du marché intérieur en établissant un cadre juridique uniforme, en particulier pour le développement, la commercialisation et l’utilisation de l’intelligence artificielle dans le respect des valeurs de l’Union. Le présent règlement poursuit un objectif justifié par un certain nombre de raisons impérieuses d’intérêt général, telles que la nécessité d’un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux, et il garantit la libre circulation transfrontière des biens et services fondés sur l’IA, empêchant ainsi les États membres d’imposer des restrictions concernant le développement, la commercialisation et l’utilisation de systèmes d’IA, sauf autorisation expresse du présent règlement.
(1) L’objectif du présent règlement est de promouvoir l’adoption de l’intelligence artificielle axée sur le facteur humain et digne de confiance et de garantir un niveau élevé de protection de la santé, de la sécurité, des droits fondamentaux, de la démocratie et de l’état de droit, ainsi que de l’environnement contre les effets néfastes des systèmes d’intelligence artificielle dans l’Union, tout en soutenant l’innovation et en améliorant le fonctionnement du marché intérieur. Le présent règlement établit un cadre juridique uniforme, en particulier pour le développement, la commercialisation, la mise en service et l’utilisation de l’intelligence artificielle dans le respect des valeurs de l’Union, et il garantit la libre circulation transfrontière des biens et services fondés sur l’IA, empêchant ainsi les États membres d’imposer des restrictions concernant le développement, la commercialisation et l’utilisation de systèmes d’intelligence artificielle (systèmes d’IA), sauf autorisation expresse du présent règlement. Certains systèmes d’IA peuvent également avoir une incidence sur la démocratie, l’état de droit et l’environnement. Ces préoccupations sont spécifiquement prises en compte dans les secteurs critiques et les cas d’utilisation énumérés dans les annexes du présent règlement.
Amendement 4 Proposition de règlement Considérant 1 bis (nouveau)
(1 bis) Le présent règlement devrait préserver les valeurs de l’Union en facilitant la répartition des bénéfices de l’intelligence artificielle dans la société, en protégeant les personnes, les entreprises, la démocratie, l’état de droit et l’environnement contre les risques tout en stimulant l’innovation et l’emploi et en faisant de l’Union un acteur de premier plan dans ce domaine.
Amendement 5 Proposition de règlement Considérant 2
(2) Les systèmes d’intelligence artificielle (ci-après les «systèmes d’IA») peuvent être facilement déployés dans plusieurs secteurs de l’économie et de la société, y compris transfrontières, et circuler dans toute l’Union. Certains États membres ont déjà envisagé l’adoption de règles nationales destinées à faire en sorte que l’intelligence artificielle soit sûre et à ce qu’elle soit développée et utilisée dans le respect des obligations en matière de droits fondamentaux. La disparité des règles nationales peut entraîner une fragmentation du marché intérieur et réduire la sécurité juridique pour les opérateurs qui développent ou utilisent des systèmes d’IA. Il convient donc de garantir un niveau de protection cohérent et élevé dans toute l’Union, tandis que les divergences qui entravent la libre circulation des systèmes d’IA et des produits et services connexes au sein du marché intérieur devraient être évitées, en établissant des obligations uniformes pour les opérateurs et en garantissant la protection uniforme des raisons impérieuses d’intérêt général et des droits des citoyens dans l’ensemble du marché intérieur conformément à l’article 114 du traité sur le fonctionnement de l’Union européenne (TFUE). Dans la mesure où le présent règlement contient des règles spécifiques sur la protection des personnes physiques en ce qui concerne le traitement des données à caractère personnel, à savoir notamment des restrictions portant sur l’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives, il convient de fonder le présent règlement, dès lors que ces règles spécifiques sont concernées, sur l’article 16 du TFUE. Compte tenu de ces règles spécifiques et du recours à l’article 16 du TFUE, il convient de consulter le comité européen de la protection des données.
(2) Les systèmes d’IA peuvent être facilement déployés dans plusieurs secteurs de l’économie et de la société, y compris transfrontières, et circuler dans toute l’Union. Certains États membres ont déjà envisagé l’adoption de règles nationales destinées à faire en sorte que l’intelligence artificielle soit digne de confiance et sûre et à ce qu’elle soit développée et utilisée dans le respect des obligations en matière de droits fondamentaux. La disparité des règles nationales peut entraîner une fragmentation du marché intérieur et réduire la sécurité juridique pour les opérateurs qui développent ou utilisent des systèmes d’IA. Il convient donc de garantir un niveau de protection cohérent et élevé dans toute l’Union afin de parvenir à une IA digne de confiance, tandis que les divergences qui entravent la libre circulation, l’innovation, le déploiement et l’adoption des systèmes d’IA et des produits et services connexes au sein du marché intérieur devraient être évitées, en établissant des obligations uniformes pour les opérateurs et en garantissant la protection uniforme des raisons impérieuses d’intérêt général et des droits des citoyens dans l’ensemble du marché intérieur conformément à l’article 114 du traité sur le fonctionnement de l’Union européenne (TFUE).
Amendement 6 Proposition de règlement Considérant 2 bis (nouveau)
(2 bis) Étant donné que l’intelligence artificielle (IA) s’appuie souvent sur le traitement de grands volumes de données, et que de nombreux systèmes et applications d’IA se fondent sur le traitement de données à caractère personnel, il convient de fonder le présent règlement sur l’article 16 du TFUE, qui consacre le droit à la protection des personnes physiques en ce qui concerne le traitement des données à caractère personnel et prévoit l’adoption de règles sur la protection des personnes physiques pour ce qui est du traitement des données à caractère personnel.
Amendement 7 Proposition de règlement Considérant 2 ter (nouveau)
(2 ter) Le droit fondamental à la protection des données à caractère personnel est garanti en particulier par les règlements (UE) 2016/679 et (UE) 2018/1725, ainsi que par la directive (UE) 2016/680. Par ailleurs, la directive 2002/58/CE protège la vie privée et la confidentialité des communications et prévoit les conditions de stockage de données à caractère personnel et non personnel dans des équipements terminaux ainsi que les conditions d’accès à ces données depuis ces équipements. Ces actes juridiques constituent la base d’un traitement durable et responsable des données, y compris lorsque les jeux de données comprennent des données à caractère personnel et non personnel. Le présent règlement n’entend pas modifier l’application du droit de l’Union régissant le traitement des données à caractère personnel, ni les tâches et les pouvoirs des autorités de contrôle indépendantes chargées de veiller au respect de ces instruments. Le présent règlement est sans effet sur les droits fondamentaux à la vie privée et à la protection des données tels que prévus par le droit de l’Union en matière de protection des données et de respect de la vie privée et consacrés par la charte des droits fondamentaux de l’Union européenne (ci-après la «charte»).
Amendement 8 Proposition de règlement Considérant 2 quater (nouveau)
(2 quater) Les systèmes d’intelligence artificielle dans l’Union sont soumis à la législation pertinente en matière de sécurité des produits, qui fournit un cadre de protection des consommateurs contre les produits dangereux en général, et cette législation devrait continuer à s’appliquer. Le présent règlement est également sans préjudice des règles établies par d’autres actes juridiques de l’Union régissant la protection des consommateurs et la sécurité des produits, notamment le règlement (UE) 2017/2394, le règlement (UE) 2019/1020 et la directive 2001/95/CE relative à la sécurité générale des produits et la directive 2013/11/UE.
Amendement 9 Proposition de règlement Considérant 2 quinquies (nouveau)
(2 quinquies) Conformément à l’article 114, paragraphe 2, TFUE, le présent règlement complète les droits et les intérêts des travailleurs salariés et ne devrait pas leur nuire. Le présent règlement ne devrait donc pas avoir d’incidence sur le droit de l’Union en matière de politique sociale ni sur le droit du travail et les pratiques liées à l’emploi appliqués au niveau national, à savoir de toute disposition légale et contractuelle concernant les conditions d’emploi, les conditions de travail, y compris la santé et la sécurité au travail, et les relations entre employeurs et salariés, y compris l’information, la consultation et la participation. Le présent règlement ne devrait pas porter préjudice à l’exercice des droits fondamentaux reconnus dans les États membres et au niveau de l’Union, notamment le droit ou la liberté de faire grève ou d’entreprendre d’autres actions prévues par les systèmes de relations du travail propres aux États membres, conformément à la législation et/ou aux pratiques nationales. Il ne devrait pas non plus porter atteinte au droit de négocier, de conclure et d’appliquer une convention collective ou de mener des actions collectives conformément à la législation et/ou aux pratiques nationales. Il ne devrait en aucun cas empêcher la Commission de proposer une législation spécifique relative aux droits et aux libertés des travailleurs concernés par des systèmes d’IA.
Amendement 10 Proposition de règlement Considérant 2 sexies (nouveau)
(2 sexies) Le présent règlement ne devrait pas porter atteinte aux dispositions visant à améliorer les conditions de travail via une plateforme, énoncées dans la directive … Directive 2021/414/CE.
Amendement 11 Proposition de règlement Considérant 2 septies (nouveau)
(2 septies) Le présent règlement devrait contribuer à soutenir la recherche et l’innovation et ne devrait pas porter atteinte aux activités de recherche et de développement et respecter la liberté de la recherche scientifique. Il est dès lors nécessaire d’exclure de son champ d’application les systèmes d’IA spécifiquement conçus à des fins de recherche et de développement scientifiques ainsi que de veiller à ce que le règlement ne porte pas atteinte d’une autre manière aux activités de recherche et de développement scientifiques sur les systèmes d’IA. En tout état de cause, toute activité de recherche et de développement devrait être menée conformément à la charte, au de l’Union ainsi qu’au droit national.
Amendement 12 Proposition de règlement Considérant 3
(3) L’intelligence artificielle est une famille de technologies en évolution rapide susceptible de contribuer à un large éventail de bienfaits économiques et sociétaux touchant l’ensemble des secteurs économiques et des activités sociales. En fournissant de meilleures prédictions, en optimisant les processus et l’allocation des ressources et en personnalisant les solutions numériques disponibles pour les particuliers et les organisations, le recours à l’intelligence artificielle peut donner des avantages concurrentiels décisifs aux entreprises et produire des résultats bénéfiques pour la société et l’environnement, dans des domaines tels que les soins de santé, l’agriculture, l’éducation et la formation, la gestion des infrastructures, l’énergie, les transports et la logistique, les services publics, la sécurité, la justice, l’utilisation efficace des ressources et de l’énergie ainsi que l’atténuation du changement climatique et l’adaptation à celui-ci.
(3) L’intelligence artificielle est une famille de technologies en évolution rapide susceptible de contribuer, ce qu’elle fait déjà, à un large éventail de bienfaits économiques, environnementaux et sociétaux touchant l’ensemble des secteurs économiques et des activités sociales si elle est développée selon des principes généraux pertinents conformes à la charte des droits fondamentaux de l’Union européenne et aux valeurs sur lesquelles l’Union est fondée. En fournissant de meilleures prédictions, en optimisant les processus et l’allocation des ressources et en personnalisant les solutions numériques disponibles pour les particuliers et les organisations, le recours à l’intelligence artificielle peut donner des avantages concurrentiels décisifs aux entreprises et produire des résultats bénéfiques pour la société et l’environnement, dans des domaines tels que les soins de santé, l’agriculture, la sécurité des aliments, l’éducation et la formation, les médias, le sport, la culture, la gestion des infrastructures, l’énergie, les transports et la logistique, les services publics, la sécurité, la justice, l’utilisation efficace des ressources et de l’énergie, la surveillance de l’environnement, la préservation et la restauration de la biodiversité et des écosystèmes ainsi que l’atténuation du changement climatique et l’adaptation à celui-ci.
Amendement 13 Proposition de règlement Considérant 3 bis (nouveau)
(3 bis) Pour contribuer à la réalisation des objectifs de neutralité carbone, il convient que les entreprises européennes s’efforcent d’utiliser tous les progrès technologiques disponibles susceptibles de concourir à la réalisation de ces objectifs. L’intelligence artificielle est une technologie qui présente le potentiel pour être utilisée dans le traitement du volume toujours croissant de données créées lors des processus industriels, environnementaux, sanitaires et autres. Pour faciliter les investissements dans les instruments d’analyse et d’optimisation basées sur l’IA, le présent règlement doit créer un environnement prévisible et proportionné propice aux solutions industrielles à faible risque.
Amendement 14 Proposition de règlement Considérant 4
(4) Dans le même temps, en fonction des circonstances concernant son application et son utilisation, l’intelligence artificielle peut générer des risques et porter atteinte aux intérêts et droits publics protégés par le droit de l’Union. Le préjudice causé peut être matériel ou immatériel.
(4) Dans le même temps, en fonction des circonstances concernant son application et son utilisation, ainsi que du niveau de développement technologique, l’intelligence artificielle peut générer des risques et porter atteinte aux intérêts et droits fondamentaux publics ou privés des personnes physiques protégés par le droit de l’Union. Le préjudice causé peut être matériel ou immatériel, y compris physique, psychologique, sociétal ou économique.
Amendement 15 Proposition de règlement Considérant 4 bis (nouveau)
(4 bis) Compte tenu de l’incidence majeure que l’intelligence artificielle peut avoir sur nos sociétés et de la nécessité de bâtir la confiance, l’intelligence artificielle et son cadre réglementaire doivent impérativement être élaborés dans le respect des valeurs de l’Union consacrées à l’article 2 du traité UE, des droits et libertés fondamentaux prévus par les traités, de la charte et du droit international en matière de droits de l’homme. Il est indispensable que l’intelligence artificielle soit une technologie axée sur l’humain. Elle ne devrait pas se substituer à l’autonomie humaine ni supposer la perte de liberté individuelle, et elle devrait avant tout être au service des besoins de la société et du bien commun. Des garde-fous devraient être prévus pour veiller au développement et à l’utilisation d’une intelligence artificielle intégrée de manière éthique qui respecte les valeurs de l’Union et de la charte.
Amendement 16 Proposition de règlement Considérant 5
(5) Un cadre juridique de l’Union établissant des règles harmonisées sur l’intelligence artificielle est donc nécessaire pour favoriser le développement, l’utilisation et l’adoption de l’intelligence artificielle dans le marché intérieur, tout en garantissant un niveau élevé de protection des intérêts publics, comme la santé, la sécurité et la protection des droits fondamentaux, tels qu’ils sont reconnus et protégés par le droit de l’Union. Pour atteindre cet objectif, des règles régissant la mise sur le marché et la mise en service de certains systèmes d’IA devraient être établies, garantissant ainsi le bon fonctionnement du marché intérieur et permettant à ces systèmes de bénéficier du principe de libre circulation des marchandises et des services. En établissant ces règles, le présent règlement contribue à la réalisation de l’objectif formulé par le Conseil européen33 de faire de l’Union un acteur mondial de premier plan dans le développement d’une intelligence artificielle sûre, fiable et éthique, et il garantit la protection de principes éthiques expressément demandée par le Parlement européen34.
(5) Un cadre juridique de l’Union établissant des règles harmonisées sur l’intelligence artificielle est donc nécessaire pour favoriser le développement, l’utilisation et l’adoption de l’intelligence artificielle dans le marché intérieur, tout en garantissant un niveau élevé de protection des intérêts publics, comme la santé, la sécurité et la protection des droits fondamentaux, de la démocratie, de l’état de droit ainsi que de l’environnement, tels qu’ils sont reconnus et protégés par le droit de l’Union. Pour atteindre cet objectif, des règles régissant la mise sur le marché, la mise en service et l’utilisation de certains systèmes d’IA devraient être établies, garantissant ainsi le bon fonctionnement du marché intérieur et permettant à ces systèmes de bénéficier du principe de libre circulation des marchandises et des services. Ces règles devraient être claires et solides pour protéger les droits fondamentaux, soutenir de nouvelles solutions innovantes et permettre la mise en place d’un écosystème européen d’acteurs publics et privés créant des systèmes d’IA conformes aux valeurs de l’Union. En établissant ces règles, ainsi que des mesures en faveur de l’innovation mettant un accent particulier sur les PME et les jeunes entreprises, le présent règlement contribue à la réalisation de l’objectif de promotion de l’IA développée en Europe formulé par le Conseil européen33 de faire de l’Union un acteur mondial de premier plan dans le développement d’une intelligence artificielle sûre, fiable et éthique, et il garantit la protection de principes éthiques expressément demandée par le Parlement européen34.
__________________
__________________
33 Conseil européen, Réunion extraordinaire du Conseil européen (1er et 2 octobre 2020) – Conclusions, EUCO 13/20, 2020, p. 6.
33 Conseil européen, Réunion extraordinaire du Conseil européen (1er et 2 octobre 2020) – Conclusions, EUCO 13/20, 2020, p. 6.
34 Résolution du Parlement européen du 20 octobre 2020 contenant des recommandations à la Commission concernant un cadre pour les aspects éthiques de l’intelligence artificielle, de la robotique et des technologies connexes, 2020/2012(INL).
34 Résolution du Parlement européen du 20 octobre 2020 contenant des recommandations à la Commission concernant un cadre pour les aspects éthiques de l’intelligence artificielle, de la robotique et des technologies connexes, 2020/2012(INL).
Amendement 17 Proposition de règlement Considérant 5 bis (nouveau)
(5 bis) En outre, pour favoriser le développement de systèmes d’IA dans le respect des valeurs sur lesquelles elle repose, l’Union doit s’attaquer aux principaux freins et lacunes qui empêchent la transformation numérique de réaliser tout son potentiel, en remédiant notamment à la pénurie de travailleurs dotés de compétences numériques, aux problèmes de cybersécurité ainsi qu’au manque d’accès aux investissements et à leur insuffisance, et doit s’efforcer de combler les écarts qui existent ou peuvent exister entre les grandes entreprises, les PME et les jeunes entreprises. Il convient de veiller tout particulièrement à ce que les bienfaits de l’IA et de l’innovation dans les nouvelles technologies se fassent sentir dans toutes les régions de l’Union et à ce que des investissements et des moyens suffisants soient dirigés tout particulièrement vers les régions accusant du retard au regard de certains indicateurs numériques.
Amendement 18 Proposition de règlement Considérant 6
(6) Il convient de définir clairement la notion de système d’IA afin de garantir une sécurité juridique, tout en offrant la flexibilité nécessaire pour s’adapter aux progrès technologiques à venir. La définition devrait être basée sur les caractéristiques fonctionnelles clés du logiciel, en particulier la capacité, pour un ensemble donné d’objectifs définis par l’homme, à générer des résultats tels que du contenu, des prédictions, des recommandations ou des décisions qui influencent l’environnement avec lequel le système interagit, que ce soit dans une dimension physique ou numérique. Les systèmes d’IA peuvent être conçus pour fonctionner à différents niveaux d’autonomie et être utilisés seuls ou en tant que composant d’un produit, que le système soit physiquement incorporé dans le produit (intégré) ou qu’il serve la fonctionnalité du produit sans être incorporé dans celui-ci (non intégré). La définition des systèmes d’IA devrait être complétée par une liste de techniques et d’approches spécifiques utilisées pour le développement de ces systèmes, laquelle devrait être mise à jour, pour tenir compte de l’évolution du marché et de la technologie, par l’adoption d’actes délégués de la Commission modifiant ladite liste.
(6) La notion de système d’IA figurant dans le présent règlement devrait être clairement définie et étroitement alignée sur les travaux des organisations internationales œuvrant dans le domaine de l’intelligence artificielle afin de garantir la sécurité juridique, l’harmonisation et une large acceptation, tout en offrant la souplesse nécessaire pour tenir compte des évolutions technologiques rapides dans ce domaine. La définition devrait être basée sur les caractéristiques fonctionnelles clés de l’intelligence artificielle, telles que ses capacités d’apprentissage, de raisonnement ou de modélisation, de manière à la distinguer de systèmes logiciels et d’approches de programmation plus simples.Les systèmes d’IA sont conçus pour fonctionner avec différents niveaux d’autonomie, ce qui signifie qu’ils jouissent au moins d’un certain degré d’indépendance dans leur action par rapport aux contrôles humains et de capacités à fonctionner sans intervention humaine. Le terme «fondé sur des machines» fait référence au fait que les systèmes d’IA fonctionnent grâce à des machines. La référence à des objectifs explicites ou implicites souligne que les systèmes d’IA peuvent fonctionner selon des objectifs explicites définis par l’homme ou des objectifs implicites. Les objectifs du système d’IA peuvent être différents de la destination du système d’IA dans un contexte spécifique. La référence aux prévisions inclut le contenu, qui est considéré dans le présent règlement comme une forme de prévision en tant que l’un des résultats possibles produits par un système d’IA. Aux fins du présent règlement, les environnements devraient s’entendre comme les contextes dans lesquels les systèmes d’IA fonctionnent, tandis que les résultats générés par le système d’IA, c’est-à-dire les prévisions, les recommandations ou les décisions, répondent aux objectifs du système, sur la base des contributions dudit environnement.Une telle production influe davantage sur cet environnement, même en lui apportant simplement de nouvelles informations.
Amendement 19 Proposition de règlement Considérant 6 bis (nouveau)
(6 bis) Les systèmes d’IA disposent souvent de capacités d’apprentissage automatique qui leur permettent de s’adapter et d’exécuter de nouvelles tâches de manière autonome. L’apprentissage automatique fait référence au processus de calcul consistant à optimiser, à partir de données, les paramètres d’un modèle qui est une construction mathématique générant un résultat fondé sur les données d’entrée. Les approches d’apprentissage automatique, comprennent, par exemple, l’apprentissage supervisé, non supervisé et par renforcement, et utilisent une grande variété de méthodes, y compris l’apprentissage profond au moyen de réseaux neuronaux. Le présent règlement vise à faire face aux nouveaux risques potentiels qui pourraient découler de la délégation du contrôle aux systèmes d’IA, en particulier aux systèmes d’IA qui peuvent évoluer après leur déploiement. La fonction et les résultats d’un grand nombre de ces systèmes d’IA reposent sur des relations mathématiques abstraites que l’être humain éprouve des difficultés à comprendre, à surveiller et à retracer vers des intrants spécifiques. Ces caractéristiques complexes et opaques (élément de la boîte noire) ont une incidence sur la responsabilité et l’explicabilité.Des techniques comparativement simples telles que les approches fondées sur la connaissance, l’estimation bayésienne ou les arbres décisionnels peuvent également entraîner des lacunes juridiques auxquelles le présent règlement doit remédier, en particulier lorsqu’elles sont utilisées en combinaison avec des approches d’apprentissage automatique dans des systèmes hybrides.
Amendement 20 Proposition de règlement Considérant 6 ter (nouveau)
(6 ter) Les systèmes d’IA peuvent être utilisés dans un logiciel seul, incorporé dans un produit physique (intégré), utilisé pour qu’il serve la fonctionnalité d’un produit physique sans être incorporé dans celui-ci (non intégré) ou utilisé comme sous-système d’un logiciel/système physique/hybride de systèmes. Si ce système de plus grande taille ne fonctionne pas sans le composant d’IA en question, l’ensemble du système plus vaste devrait être considéré comme un seul système d’IA au titre du présent règlement.
Amendement 21 Proposition de règlement Considérant 7
(7) La notion de données biométriques utilisée dans le présent règlement est conforme à la notion de données biométriques telle que définie à l’article 4, paragraphe 14, du règlement (UE) 2016/679 du Parlement européen et du Conseil35, à l’article 3, paragraphe 18, du règlement (UE) 2018/1725 du Parlement européen et du Conseil36 et à l’article 3, paragraphe 13, de la directive (UE) 2016/680 du Parlement européen et du Conseil et devrait être interprétée de manière cohérente avec celle-ci37.
(7) La notion de données biométriques utilisée dans le présent règlement est conforme à celle définie à l’article 4, paragraphe 14, du règlement (UE) 2016/679 du Parlement européen et du Conseil35 et devrait être interprétée de manière cohérente avec celle-ci. Les données fondées sur la biométrie sont les données supplémentaires résultant d’un traitement technique spécifique, relatives aux signaux physiques, physiologiques ou comportementaux, tels que les expressions faciales, les mouvements, la fréquence cardiaque, la voix, la pression sur des touches ou encore la démarche, d’une personne physique qui peuvent ou pas permettre ou confirmer son identification unique;
__________________
__________________
35 Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) (JO L 119 du 4.5.2016, p. 1).
35 Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) (JO L 119 du 4.5.2016, p. 1).
36 Règlement (UE) 2018/1725 du Parlement européen et du Conseil du 23 octobre 2018 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel par les institutions, organes et organismes de l’Union et à la libre circulation de ces données, et abrogeant le règlement (CE) nº 45/2001 et la décision nº 1247/2002/CE (JO L 295 du 21.11.2018, p. 39).
37 Directive (UE) 2016/680 du Parlement européen et du Conseil du 27 avril 2016 relative à la protection des personnes physiques à l’égard du traitement des données à caractère personnel par les autorités compétentes à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière ou d’exécution de sanctions pénales, et à la libre circulation de ces données, et abrogeant la décision-cadre 2008/977/JAI du Conseil (directive en matière de protection des données dans le domaine répressif) (JO L 119 du 4.5.2016, p. 89).
Amendement 22 Proposition de règlement Considérant 7 bis (nouveau)
(7 bis) La notion d’identification biométrique, telle qu’employée dans le présent règlement, devrait être définie comme la reconnaissance automatisée de propriétés physiques, physiologiques, comportementales et psychologiques humaines telles que le visage, le mouvement des yeux, les expressions faciales, la forme du corps, la voix, la parole, la démarche, la posture, le rythme cardiaque, la pression sanguine, l’odeur, la frappe au clavier, les réactions psychologiques (colère, détresse, chagrin, etc.) permettant la vérification de l’identité d’une personne par comparaison des données biométriques de cette personne aux données biométriques des personnes stockées dans une base de données (identification un à plusieurs), que la personne ait donné son approbation ou non;
Amendement 23 Proposition de règlement Considérant 7 ter (nouveau)
(7 ter) La notion de catégorisation biométrique, telle qu’employée dans le présent règlement, devrait définir l’affectation de personnes physiques à des catégories spécifiques, ou la déduction de leurs caractéristiques et attributs, tels que le genre, le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, l’origine ethnique ou sociale, la santé, les aptitudes mentales, les traits liés au comportement ou à la personnalité, la langue, la religion ou l’appartenance à une minorité nationale ou l’orientation sexuelle ou politique, etc., sur la base de leurs données biométriques et de données fondées sur la biométrie ou qui peuvent être déduites de ces données.
Amendement 24 Proposition de règlement Considérant 8
(8) La notion de système d’identification biométrique à distance telle qu’elle est utilisée dans le présent règlement devrait être définie, sur le plan fonctionnel, comme un système d’IA destiné à identifier des personnes physiques à distance par la comparaison des données biométriques d’une personne avec les données biométriques contenues dans une base de données de référence, sans savoir au préalable si la personne ciblée sera présente et pourra être identifiée, quels que soient la technologie, les processus ou les types de données biométriques utilisés. Compte tenu de leurs caractéristiques et modes d’utilisation différents, ainsi que des différents risques encourus, il convient de faire une distinction entre les systèmes d’identification biométrique à distance «en temps réel» et «a posteriori». Dans le cas des systèmes «en temps réel», la capture des données biométriques, la comparaison et l’identification se font toutes instantanément, quasi instantanément ou en tout état de cause sans décalage significatif. À cet égard, il convient, en prévoyant la possibilité de légers décalages, d’empêcher le contournement des règles du présent règlement relatives à l’utilisation «en temps réel» des systèmes d’IA en question. Les systèmes «en temps réel» reposent sur l’utilisation d’éléments «en direct» ou «en léger différé», comme des séquences vidéo, générés par une caméra ou un autre appareil doté de fonctionnalités similaires. Dans le cas des systèmes «a posteriori», en revanche, les données biométriques sont prélevées dans un premier temps et la comparaison et l’identification n’ont lieu qu’après un délai significatif. Cela suppose des éléments tels que des images ou des séquences vidéo, qui ont été générés par des caméras de télévision en circuit fermé ou des appareils privés avant l’utilisation du système à l’égard des personnes physiques concernées.
(8) La notion de système d’identification biométrique à distance telle qu’elle est utilisée dans le présent règlement devrait être définie, sur le plan fonctionnel, comme un système d’IA destiné à identifier des personnes physiques à distance par la comparaison des données biométriques d’une personne avec les données biométriques contenues dans une base de données de référence, sans savoir au préalable si la personne ciblée sera présente et pourra être identifiée, quels que soient la technologie, les processus ou les types de données biométriques utilisés, à l’exclusion des systèmes de vérifications qui se limitent à comparer les données biométriques d’une personne aux données biométriques qu’ils ont précédemment fournies (comparaison un-à-un). Compte tenu de leurs caractéristiques et modes d’utilisation différents, ainsi que des différents risques encourus, il convient de faire une distinction entre les systèmes d’identification biométrique à distance «en temps réel» et «a posteriori». Dans le cas des systèmes «en temps réel», la capture des données biométriques, la comparaison et l’identification se font toutes instantanément, quasi instantanément ou en tout état de cause sans décalage significatif. À cet égard, il convient, en prévoyant la possibilité de légers décalages, d’empêcher le contournement des règles du présent règlement relatives à l’utilisation «en temps réel» des systèmes d’IA en question. Les systèmes «en temps réel» reposent sur l’utilisation d’éléments «en direct» ou «en léger différé», comme des séquences vidéo, générés par une caméra ou un autre appareil doté de fonctionnalités similaires. Dans le cas des systèmes «a posteriori», en revanche, les données biométriques sont prélevées dans un premier temps et la comparaison et l’identification n’ont lieu qu’après un délai significatif. Cela suppose des éléments tels que des images ou des séquences vidéo, qui ont été générés par des caméras de télévision en circuit fermé ou des appareils privés avant l’utilisation du système à l’égard des personnes physiques concernées. Étant donné que la notion d’identification biométrique est indépendante de l’accord ou non de l’approbation de la personne, cette définition s’applique même lorsque des avertissements sont affichés dans le lieu placé sous la surveillance du système d’identification biométrique à distance, et elle n’est pas invalidée de facto par la préinscription.
Amendement 25 Proposition de règlement Considérant 8 bis (nouveau)
(8 bis) L’identification à distance des personnes physiques vise à distinguer les systèmes d’identification biométrique à distance des systèmes de vérification individuelle à proximité immédiate utilisant des moyens d’identification biométrique, dont le seul but est de confirmer si une personne physique spécifique se présentant à des fins d’identification est ou non autorisée, par exemple pour avoir accès à un service, à un dispositif ou à des locaux.
Amendement 26 Proposition de règlement Considérant 9
(9) Aux fins du présent règlement, la notion d’espace accessible au public devrait être comprise comme désignant tous les lieux physiques accessibles au public, qu’ils appartiennent à un propriétaire privé ou public. Par conséquent, cette notion ne couvre pas les lieux qui sont privés par nature et qui en temps normal ne sont pas librement accessibles à des tiers, y compris aux autorités répressives, sauf si ces tiers ont été spécifiquement invités ou autorisés, comme les logements, les clubs privés, les bureaux, les entrepôts et les usines. Les espaces en ligne ne sont pas non plus couverts, car ce ne sont pas des espaces physiques. Cependant, le simple fait que l’accès à un espace donné soit soumis à certaines conditions, telles que des billets d’entrée ou des restrictions d’âge, ne signifie pas que l’espace n’est pas accessible au public au sens du présent règlement. Par conséquent, outre les espaces publics tels que les rues, les parties pertinentes de bâtiments du secteur public et la plupart des infrastructures de transport, les espaces tels que les cinémas, les théâtres, les magasins et les centres commerciaux sont normalement aussi accessibles au public. Le caractère accessible au public ou non d’un espace donné devrait cependant être déterminé au cas par cas, en tenant compte des particularités de la situation en question.
(9) Aux fins du présent règlement, la notion d’espace accessible au public devrait être comprise comme désignant tous les lieux physiques accessibles au public, qu’ils appartiennent à un propriétaire privé ou public, sans tenir compte des éventuelles restrictions de capacité. Par conséquent, cette notion ne couvre pas les lieux qui sont privés par nature et qui en temps normal ne sont pas librement accessibles à des tiers, y compris aux autorités répressives, sauf si ces tiers ont été spécifiquement invités ou autorisés, comme les logements, les clubs privés, les bureaux, les entrepôts et les usines. Les espaces en ligne ne sont pas non plus couverts, car ce ne sont pas des espaces physiques. Cependant, le simple fait que l’accès à un espace donné soit soumis à certaines conditions, telles que des billets d’entrée ou des restrictions d’âge, ne signifie pas que l’espace n’est pas accessible au public au sens du présent règlement. Par conséquent, outre les espaces publics tels que les rues, les parties pertinentes de bâtiments du secteur public et la plupart des infrastructures de transport, les espaces tels que les cinémas, les théâtres, les terrains de sport, les écoles, les universités, les parties concernées des hôpitaux et des banques, les parcs d’attractions, les festivals, les magasins et les centres commerciaux sont normalement aussi accessibles au public. Le caractère accessible au public ou non d’un espace donné devrait cependant être déterminé au cas par cas, en tenant compte des particularités de la situation en question.
Amendement 27 Proposition de règlement Considérant 9 bis (nouveau)
(9 bis) Il importe de noter que les systèmes d’IA devraient tout mettre en œuvre pour respecter les principes généraux établissant un cadre de haut niveau qui favorise une approche cohérente et centrée sur l’humain d’une IA éthique et digne de confiance, conformément à la charte des droits fondamentaux de l’Union européenne et aux valeurs sur lesquelles l’Union est fondée, y compris la protection des droits fondamentaux, le facteur et le contrôle humains, la solidité technique et la sécurité, la protection de la vie privée et la gouvernance des données, la transparence, la non-discrimination et l’équité ainsi que le bien-être sociétal et environnemental.
Amendement 28 Proposition de règlement Considérant 9 ter (nouveau)
(9 ter) La notion de «maîtrise de l’IA» désigne les compétences, les connaissances et la compréhension qui permettent aux fournisseurs, aux utilisateurs et aux personnes concernées, compte tenu de leurs droits et obligations respectifs dans le contexte du présent règlement, de procéder à un déploiement des systèmes d’IA en toute connaissance de cause, ainsi que de prendre conscience des possibilités et des risques que comporte l’IA, ainsi que des préjudices potentiels qu’elle peut causer, et ainsi agir en faveur de son contrôle démocratique. La maîtrise de l’IA ne devrait pas se limiter à l’apprentissage des outils et des technologies, mais devrait également viser à doter les fournisseurs et les utilisateurs des notions et des compétences requises pour garantir le respect et l’application du présent règlement. C’est pourquoi il est nécessaire que la Commission, les États membres, ainsi que les fournisseurs et utilisateurs de systèmes d’IA, en coopération avec tous les acteurs pertinents, promeuvent le développement de la maîtrise de l’IA à un niveau suffisant, dans tous les secteurs de la société, pour les personnes de tous âges, y compris les femmes et les filles, et que les progrès en la matière soient suivis de près.
Amendement 29 Proposition de règlement Considérant 10
(10) Afin de garantir des conditions de concurrence équitables et une protection efficace des droits et libertés des citoyens dans toute l’Union, les règles établies par le présent règlement devraient s’appliquer de manière non discriminatoire aux fournisseurs de systèmes d’IA, qu’ils soient établis dans l’Union ou dans un pays tiers, et aux utilisateurs de systèmes d’IA établis dans l’Union.
(10) Afin de garantir des conditions de concurrence équitables et une protection efficace des droits et libertés des citoyens dans toute l’Union et à l’échelle internationale, les règles établies par le présent règlement devraient s’appliquer de manière non discriminatoire aux fournisseurs de systèmes d’IA, qu’ils soient établis dans l’Union ou dans un pays tiers, et aux déployeurs de systèmes d’IA établis dans l’Union. Pour que l’Union reste fidèle à ses valeurs fondamentales, les systèmes d’IA destinés à être utilisés pour des pratiques considérées comme inacceptables par le présent règlement devraient également être considérés comme inacceptables en dehors de l’Union en raison de leur effet particulièrement néfaste sur les droits fondamentaux consacrés par la charte. Il convient donc d’interdire l’exportation de ces systèmes d’IA vers des pays tiers par des fournisseurs résidant dans l’Union.
Amendement 30 Proposition de règlement Considérant 11
(11) Compte tenu de leur nature numérique, certains systèmes d’IA devraient relever du présent règlement même lorsqu’ils ne sont ni mis sur le marché, ni mis en service, ni utilisés dans l’Union. Cela devrait notamment être le cas lorsqu’un opérateur établi dans l’Union confie à un opérateur externe établi en dehors de l’Union la tâche d’exécuter certains services ayant trait à une activité devant être réalisée par un système d’IA, qui serait considéré comme étant à haut risque et dont les effets ont une incidence sur des personnes physiques situées dans l’Union. Dans ces circonstances, l’opérateur établi en dehors de l’Union pourrait utiliser un système d’IA pour traiter des données légalement collectées et transférées depuis l’Union, et fournir à l’opérateur contractant établi dans l’Union le résultat de ce traitement, sans que ce système d’IA soit mis sur le marché, mis en service ou utilisé dans l’Union. Afin d’éviter le contournement des règles du présent règlement et d’assurer une protection efficace des personnes physiques situées dans l’Union, le présent règlement devrait également s’appliquer aux fournisseurs et aux utilisateurs de systèmes d’IA qui sont établis dans un pays tiers, dans la mesure où le résultat produit par ces systèmes est utilisé dans l’Union. Néanmoins, pour tenir compte des dispositions existantes et des besoins particuliers de coopération avec les partenaires étrangers avec lesquels des informations et des preuves sont échangées, le présent règlement ne devrait pas s’appliquer aux autorités publiques d’un pays tiers ni aux organisations internationales lorsqu’elles agissent dans le cadre d’accords internationaux conclus au niveau national ou au niveau européen pour la coopération des services répressifs et judiciaires avec l’Union ou avec ses États membres. De tels accords ont été conclus bilatéralement entre des États membres et des pays tiers ou entre l’Union européenne, Europol et d’autres agences de l’UE, des pays tiers et des organisations internationales.
(11) Compte tenu de leur nature numérique, certains systèmes d’IA devraient relever du présent règlement même lorsqu’ils ne sont ni mis sur le marché, ni mis en service, ni utilisés dans l’Union. Cela devrait notamment être le cas lorsqu’un opérateur établi dans l’Union confie à un opérateur externe établi en dehors de l’Union la tâche d’exécuter certains services ayant trait à une activité devant être réalisée par un système d’IA, qui serait considéré comme étant à haut risque et dont les effets ont une incidence sur des personnes physiques situées dans l’Union. Dans ces circonstances, l’opérateur établi en dehors de l’Union pourrait utiliser un système d’IA pour traiter des données légalement collectées et transférées depuis l’Union, et fournir à l’opérateur contractant établi dans l’Union le résultat de ce traitement, sans que ce système d’IA soit mis sur le marché, mis en service ou utilisé dans l’Union. Afin d’éviter le contournement des règles du présent règlement et d’assurer une protection efficace des personnes physiques situées dans l’Union, le présent règlement devrait également s’appliquer aux fournisseurs et aux utilisateurs déployeurs de systèmes d’IA qui sont établis dans un pays tiers, dans la mesure où le résultat produit par ces systèmes est destiné à être utilisé dans l’Union. Néanmoins, pour tenir compte des dispositions existantes et des besoins particuliers de coopération avec les partenaires étrangers avec lesquels des informations et des preuves sont échangées, le présent règlement ne devrait pas s’appliquer aux autorités publiques d’un pays tiers ni aux organisations internationales lorsqu’elles agissent dans le cadre d’accords internationaux conclus au niveau national ou au niveau européen pour la coopération des services répressifs et judiciaires avec l’Union ou avec ses États membres. De tels accords ont été conclus bilatéralement entre des États membres et des pays tiers ou entre l’Union européenne, Europol et d’autres agences de l’UE, des pays tiers et des organisations internationales. Cette exception devrait néanmoins être limitée aux pays et organisations internationales de confiance qui partagent les valeurs de l’Union.
Amendement 31 Proposition de règlement Considérant 12
(12) Le présent règlement devrait également s’appliquer aux institutions, organismes, organes et agences de l’Union lorsqu’ils agissent en tant que fournisseurs ou utilisateurs d’un système d’IA. Les systèmes d’IA exclusivement développés ou utilisés à des fins militaires devraient être exclus du champ d’application du présent règlement lorsque cette utilisation relève de la compétence exclusive de la politique étrangère et de sécurité commune régie par le titre V du traité sur l’Union européenne (TUE). Le présent règlement ne devrait pas porter atteinte aux dispositions relatives à la responsabilité des prestataires de services intermédiaires énoncées dans la directive 2000/31/CE du Parlement européen et du Conseil (telle que modifiée par la législation sur les services numériques).
(12) Le présent règlement devrait également s’appliquer aux institutions, organismes, organes et agences de l’Union lorsqu’ils agissent en tant que fournisseurs ou déployeurs d’un système d’IA. Les systèmes d’IA exclusivement développés ou utilisés à des fins militaires devraient être exclus du champ d’application du présent règlement lorsque cette utilisation relève de la compétence exclusive de la politique étrangère et de sécurité commune régie par le titre V du traité sur l’Union européenne (TUE). Le présent règlement ne devrait pas porter atteinte aux dispositions relatives à la responsabilité des prestataires de services intermédiaires énoncées dans la directive 2000/31/CE du Parlement européen et du Conseil (telle que modifiée par la législation sur les services numériques).
Amendement 32 Proposition de règlement Considérant 12 bis (nouveau)
(12 bis) Les logiciels et les données qui sont librement partagés et que les utilisateurs peuvent librement consulter, utiliser, modifier et redistribuer, y compris leurs versions modifiées, peuvent contribuer à la recherche et à l’innovation sur ce marché. Des recherches menées par la Commission montrent également que les logiciels libres et ouverts peuvent contribuer au produit intérieur brut (PIB) de l’Union européenne à hauteur de 65 milliards à 95 milliards d’EUR et peuvent offrir des possibilités significatives de croissance à l’économie de l’Union. Les utilisateurs sont autorisés à exécuter, copier, distribuer, étudier, modifier et améliorer les logiciels et les données, y compris les modèles, au moyen de licences libres et ouverts. Pour favoriser le développement et le déploiement de l’IA, en particulier par les PME, les jeunes entreprises et le secteur de la recherche universitaire, mais aussi par les personnes individuelles, le présent règlement ne devrait pas s’appliquer aux composants d’IA fournis dans le cadre de licences libres et ouvertes, sauf dans la mesure où ils sont mis sur le marché ou mis en service par un fournisseur dans le cadre d’un système d’IA à haut risque ou d’un système d’IA qui relève du titre II ou IV du présent règlement.
Amendement 33 Proposition de règlement Considérant 12 ter (nouveau)
(12 ter) Ni le développement collaboratif de composants libres et ouverts d’AI ni leur mise à disposition dans des référentiels ouverts ne devraient constituer une mise sur le marché ou une mise en service. L’activité commerciale, au sens de la mise à disposition sur le marché, peut toutefois être caractérisée par le prix facturé, à l’exception des transactions entre les micro-entreprises, pour un composant d’AI libre et ouvert, mais également par le prix des services d’assistance technique, par la fourniture d’une plate-forme logicielle par l’intermédiaire de laquelle le fournisseur monétise d’autres services, ou par l’utilisation de données à caractère personnel pour des raisons autres qu’aux seules fins d’améliorer la sécurité, la compatibilité ou l’interopérabilité du logiciel.
Amendement 34 Proposition de règlement Considérant 12 quater (nouveau)
(12 quater) Les développeurs de composants d’IA libres et ouverts ne devraient pas être tenus, en vertu du présent règlement, de se conformer aux exigences ciblant la chaîne de valeur de l’IA et, en particulier, aux exigences vis-à-vis du fournisseur qui a utilisé ce composant d’IA libre et ouvert. Les développeurs de composants d’IA libres et ouverts devraient toutefois être encouragés à mettre en œuvre des pratiques documentaires largement adoptées, telles que des modèles et des cartes de données, afin d’accélérer le partage d’informations tout au long de la chaîne de valeur de l’IA, ce qui permettrait de promouvoir des systèmes d’IA dignes de confiance dans l’Union.
Amendement 35 Proposition de règlement Considérant 13
(13) Afin d’assurer un niveau cohérent et élevé de protection des intérêts publics en ce qui concerne la santé, la sécurité et les droits fondamentaux, il convient d’établir des normes communes pour tous les systèmes d’IA à haut risque. Ces normes devraient être conformes à la charte des droits fondamentaux de l’Union européenne (ci-après la «charte»), non discriminatoires et compatibles avec les engagements commerciaux internationaux de l’Union.
(13) Afin d’assurer un niveau cohérent et élevé de protection des intérêts publics en ce qui concerne la santé, la sécurité et les droits fondamentaux ainsi que la démocratie, l’état de droit et l’environnement, il convient d’établir des normes communes pour tous les systèmes d’IA à haut risque. Ces normes devraient être conformes à la charte, au pacte vert pour l’Europe, à la déclaration commune sur les droits numériques de l’Union et aux lignes directrices en matière d’éthique pour une IA digne de confiance du groupe d’experts de haut niveau sur l’IA, non discriminatoires et compatibles avec les engagements internationaux de l’Union.
Amendement 36 Proposition de règlement Considérant 14
(14) Afin d’introduire un ensemble proportionné et efficace de règles contraignantes pour les systèmes d’IA, il convient de suivre une approche clairement définie fondée sur les risques. Cette approche devrait adapter le type et le contenu de ces règles à l’intensité et à la portée des risques que les systèmes d’IA peuvent générer. Il est donc nécessaire d’interdire certaines pratiques en matière d’intelligence artificielle, de fixer des exigences pour les systèmes d’IA à haut risque et des obligations pour les opérateurs concernés, ainsi que de fixer des obligations de transparence pour certains systèmes d’IA.
(14) Afin d’introduire un ensemble proportionné et efficace de règles contraignantes pour les systèmes d’IA, il convient de suivre une approche clairement définie fondée sur les risques. Cette approche devrait adapter le type et le contenu de ces règles à l’intensité et à la portée des risques que les systèmes d’IA peuvent générer. Il est donc nécessaire d’interdire certaines pratiques inacceptables en matière d’intelligence artificielle, de fixer des exigences pour les systèmes d’IA à haut risque et des obligations pour les opérateurs concernés, ainsi que de fixer des obligations de transparence pour certains systèmes d’IA.
Amendement 37 Proposition de règlement Considérant 15
(15) Si l’intelligence artificielle peut être utilisée à de nombreuses fins positives, cette technologie peut aussi être utilisée à mauvais escient et fournir des outils nouveaux et puissants à l’appui de pratiques de manipulation, d’exploitation et de contrôle social. De telles pratiques sont particulièrement néfastes et devraient être interdites, car elles sont contraires aux valeurs de l’Union relatives au respect de la dignité humaine, à la liberté, à l’égalité, à la démocratie et à l’état de droit, et elles portent atteinte aux droits fondamentaux de l’Union, y compris le droit à la non-discrimination, le droit à la protection des données et à la vie privée et les droits de l’enfant.
(15) Si l’intelligence artificielle peut être utilisée à de nombreuses fins positives, cette technologie peut aussi être utilisée à mauvais escient et fournir des outils nouveaux et puissants à l’appui de pratiques de manipulation, d’exploitation et de contrôle social. De telles pratiques sont particulièrement néfastes et abusives et devraient être interdites, car elles sont contraires aux valeurs de l’Union relatives au respect de la dignité humaine, à la liberté, à l’égalité, à la démocratie et à l’état de droit, et elles portent atteinte aux droits fondamentaux de l’Union, y compris le droit à la non-discrimination, le droit à la protection des données et à la vie privée et les droits de l’enfant.
Amendement 38 Proposition de règlement Considérant 16
(16) La mise sur le marché, la mise en service ou l’utilisation de certains systèmes d’IA destinés à altérer les comportements humains d’une manière qui est susceptible de causer un préjudice psychologique ou physique devraient être interdites. De tels systèmes d’IA déploient des composants subliminaux que les personnes ne peuvent pas percevoir, ou exploitent les vulnérabilités des enfants et des personnes vulnérables en raison de leur âge ou de leurs handicaps physiques ou mentaux. Ces systèmes ont pour finalité d’altérer substantiellement le comportement d’une personne d’une manière qui cause ou est susceptible de causer un préjudice à cette personne ou à une autre personne. La finalité ne peut être présumée si l’altération du comportement humain résulte de facteurs externes au système d’IA, qui échappent au contrôle du fournisseur ou de l’utilisateur. Les activités de recherche à des fins légitimes liées à de tels systèmes d’IA ne devraient pas être entravées par l’interdiction, tant que ces activités ne consistent pas à utiliser le système d’IA dans des relations homme-machine qui exposent des personnes physiques à un préjudice et tant qu’elles sont menées dans le respect de normes éthiques reconnues pour la recherche scientifique.
(16) La mise sur le marché, la mise en service ou l’utilisation de certains systèmes d’IA avec pour objectif ou pour effet d’altérer substantiellement les comportements humains d’une manière qui est susceptible de causer un préjudice psychologique ou physique devraient être interdites. Cette limitation devrait s’entendre comme incluant les neuro-technologies assistées par des systèmes d’IA qui sont utilisées pour surveiller, utiliser ou influencer les données neuronales recueillies au moyen d’interfaces cerveaux/ordinateurs, dans la mesure où elles altèrent sensiblement le comportement d’une personne physique d’une manière qui cause ou est susceptible de causer un préjudice important à cette personne ou à une autre personne. De tels systèmes d’IA déploient des composants subliminaux que les personnes ne peuvent pas percevoir, ou exploitent les vulnérabilités de personnes ou de groupes de personnes spécifiques en raison de leur traits de personnalité connus ou prévus, de leur âge, de leurs handicaps physiques ou mentaux, ou de leur situation sociale ou économique. Ils le font avec pour objectif ou pour effet de perturber substantiellement le comportement d’une personne d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à une autre personne ou à des groupes de personnes, y compris des préjudices susceptibles de s’accumuler dans le temps. La finalité de perturber le comportement ne peut être présumée si l’altération résulte de facteurs externes au système d’IA, qui échappent au contrôle du fournisseur ou de l’utilisateur, tels que des facteurs qui ne peuvent être raisonnablement prévus et atténués par le fournisseur ou le déployeur du système d’IA.En tout état de cause, il n’est pas nécessaire que le fournisseur ou le déployeur ait l’intention de causer un préjudice important, pour autant que ce préjudice résulte de pratiques de manipulation ou d’exploitation reposant sur l’IA. L’interdiction de telles pratiques en matière d’IA est complémentaire des dispositions de la directive 2005/29/CE, selon lesquelles les pratiques commerciales déloyales sont interdites, qu’elles aient recours à des systèmes d’IA ou non. Dans ce contexte, les pratiques commerciales licites, par exemple dans le domaine de la publicité, qui sont conformes au droit de l’Union ne devraient pas, en soi, être considérées comme violant l’interdiction. Les activités de recherche à des fins légitimes liées à de tels systèmes d’IA ne devraient pas être entravées par l’interdiction, tant que ces activités ne consistent pas à utiliser le système d’IA dans des relations homme-machine qui exposent des personnes physiques à un préjudice et tant qu’elles sont menées dans le respect de normes éthiques reconnues pour la recherche scientifique et fondées sur une approbation spécifique et informée des personnes qui y sont exposées ou, le cas échéant, de leur représentant légal.
Amendement 39 Proposition de règlement Considérant 16 bis (nouveau)
(16 bis) Les systèmes d’IA qui classent les personnes physiques en les répartissant dans des catégories spécifiques, en fonction de caractéristiques sensibles ou protégées connues ou déduites, sont particulièrement intrusifs, portent atteinte à la dignité humaine et présentent un risque élevé de discrimination. Ces caractéristiques s’étendent au genre et à l’identité de genre, à la race, à l’origine ethnique, au statut migratoire ou de citoyenneté, à l’orientation politique, à l’orientation sexuelle, à la religion, au handicap ou à tout autre motif pour lequel la discrimination est interdite en vertu de l’article 21 de la charte des droits fondamentaux de l’Union européenne ainsi que de l’article 9 du règlement (UE) 2016/769. Il convient donc d’interdire de tels systèmes d’IA.
Amendement 40 Proposition de règlement Considérant 17
(17) Les systèmes d’IA permettant la notation sociale des personnes physiques à des fins générales par les autorités publiques ou pour le compte de celles-ci peuvent conduire à des résultats discriminatoires et à l’exclusion de certains groupes. Ils peuvent porter atteinte au droit à la dignité et à la non-discrimination et sont contraires aux valeurs d’égalité et de justice. Ces systèmes d’IA évaluent ou classent la fiabilité des personnes physiques en fonction de leur comportement social dans plusieurs contextes ou de caractéristiques personnelles ou de personnalité connues ou prédites. La note sociale obtenue à partir de ces systèmes d’IA peut conduire au traitement préjudiciable ou défavorable de personnes physiques ou de groupes entiers dans des contextes sociaux qui sont dissociés du contexte dans lequel les données ont été initialement générées ou collectées, ou à un traitement préjudiciable disproportionné ou injustifié au regard de la gravité de leur comportement social. Il convient donc d’interdire de tels systèmes d’IA.
(17) Les systèmes d’IA permettant la notation sociale des personnes physiques à des fins générales peuvent conduire à des résultats discriminatoires et à l’exclusion de certains groupes. Ils portent atteinte au droit à la dignité et à la non-discrimination et sont contraires aux valeurs d’égalité et de justice. Ces systèmes d’IA évaluent ou classent les personnes physiques ou les groupes de personnes physiques en fonction de plusieurs points d’information et occurrences liées à leur comportement social dans plusieurs contextes ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites. La note sociale obtenue à partir de ces systèmes d’IA peut conduire au traitement préjudiciable ou défavorable de personnes physiques ou de groupes entiers dans des contextes sociaux qui sont dissociés du contexte dans lequel les données ont été initialement générées ou collectées, ou à un traitement préjudiciable disproportionné ou injustifié au regard de la gravité de leur comportement social. Il convient donc d’interdire de tels systèmes d’IA.
Amendement 41 Proposition de règlement Considérant 18
(18) L’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» de personnes physiques dans des espaces accessibles au public à des fins répressives est considérée comme particulièrement intrusive pour les droits et les libertés des personnes concernées, dans la mesure où elle peut toucher la vie privée d’une grande partie de la population, susciter un sentiment de surveillance constante et dissuader indirectement l’exercice de la liberté de réunion et d’autres droits fondamentaux. En outre, du fait de l’immédiateté des effets et des possibilités limitées d’effectuer des vérifications ou des corrections supplémentaires, l’utilisation de systèmes fonctionnant «en temps réel» engendre des risques accrus pour les droits et les libertés des personnes concernées par les activités répressives.
(18) L’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» de personnes physiques dans des espaces accessibles au public est particulièrement intrusive du point de vue des droits et des libertés des personnes concernées et peut, en fin de compte, toucher la vie privée d’une grande partie de la population, créer un sentiment justifié de surveillance constante, conférer aux parties déployant l’identification biométrique dans les espaces accessibles au public une position de pouvoir incontrôlable et dissuader indirectement de l’exercice de la liberté de réunion et d’autres droits fondamentaux qui constituent le fondement de l’état de droit. Les inexactitudes techniques des systèmes d’IA destinés à l’identification biométrique à distance des personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires, en particulier en ce qui concerne l’âge, l’appartenance ethnique, le sexe ou les handicaps. En outre, du fait de l’immédiateté des effets et des possibilités limitées d’effectuer des vérifications ou des corrections supplémentaires, l’utilisation de systèmes fonctionnant «en temps réel» engendre des risques accrus pour les droits et les libertés des personnes concernées par les activités répressives. L’utilisation de ces systèmes dans les lieux accessibles au public devrait donc être interdite. De même, les systèmes d’IA utilisés pour l’analyse des images enregistrées d’espaces accessibles au public au moyen de systèmes d’identification biométrique à distance «postérieurs» devraient également être interdits, à moins qu’il n’existe une autorisation judiciaire préalable d’utilisation à des fins répressives, lorsque cela est strictement nécessaire à la recherche ciblée liée à une infraction pénale grave spécifique qui a déjà eu lieu, et uniquement sous réserve d’une autorisation judiciaire préalable.
Amendement 42 Proposition de règlement Considérant 19
(19) L’utilisation de ces systèmes à des fins répressives devrait donc être interdite, sauf dans trois situations précisément répertoriées et définies, dans lesquelles l’utilisation se limite au strict nécessaire à la réalisation d’objectifs d’intérêt général dont l’importance est considérée comme supérieure aux risques encourus. Ces situations comprennent la recherche de victimes potentielles d’actes criminels, y compris des enfants disparus; certaines menaces pour la vie ou la sécurité physique des personnes physiques, y compris les attaques terroristes; et la détection, la localisation, l’identification ou les poursuites à l’encontre des auteurs ou des suspects d’infractions pénales visées dans la décision-cadre 2002/584/JAI du Conseil38si ces infractions pénales telles qu’elles sont définies dans le droit de l’État membre concerné sont passibles d’une peine ou d’une mesure de sûreté privative de liberté pour une période maximale d’au moins trois ans. Le seuil fixé pour la peine ou la mesure de sûreté privative de liberté prévue par le droit national contribue à garantir que l’infraction soit suffisamment grave pour justifier l’utilisation de systèmes d’identification biométrique à distance «en temps réel». En outre, sur les 32 infractions pénales énumérées dans la décision-cadre 2002/584/JAI du Conseil, certaines sont en pratique susceptibles d’être plus pertinentes que d’autres, dans le sens où le recours à l’identification biométrique à distance «en temps réel» sera vraisemblablement nécessaire et proportionné, à des degrés très divers, pour les mesures pratiques de détection, de localisation, d’identification ou de poursuites à l’encontre d’un auteur ou d’un suspect de l’une des différentes infractions pénales répertoriées, compte tenu également des différences probables dans la gravité, la probabilité et l’ampleur du préjudice ou des éventuelles conséquences négatives.
supprimé
__________________
38Décision-cadre 2002/584/JAI du Conseil du 13 juin 2002 relative au mandat d’arrêt européen et aux procédures de remise entre États membres (JO L 190 du 18.7.2002, p. 1).
Amendement 43 Proposition de règlement Considérant 20
(20) Afin de s’assurer que ces systèmes soient utilisés de manière responsable et proportionnée, il est également important d’établir que, dans chacune des trois situations précisément répertoriées et définies, certains éléments devraient être pris en considération, notamment en ce qui concerne la nature de la situation donnant lieu à la demande et les conséquences de l’utilisation pour les droits et les libertés de toutes les personnes concernées, ainsi que les garanties et les conditions associées à l’utilisation. En outre, l’utilisation de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives devrait être soumise à des limites appropriées dans le temps et dans l’espace, eu égard en particulier aux preuves ou aux indications concernant les menaces, les victimes ou les auteurs. La base de données de référence des personnes devrait être appropriée pour chaque cas d’utilisation dans chacune des trois situations mentionnées ci-dessus.
supprimé
Amendement 44 Proposition de règlement Considérant 21
(21) Toute utilisation d’un système d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives devrait être subordonnée à l’autorisation expresse et spécifique d’une autorité judiciaire ou d’une autorité administrative indépendante d’un État membre. Cette autorisation devrait en principe être obtenue avant l’utilisation, sauf dans des situations d’urgence dûment justifiées, c’est-à-dire des situations où la nécessité d’utiliser les systèmes en question est de nature à rendre effectivement et objectivement impossible l’obtention d’une autorisation avant le début de l’utilisation. Dans de telles situations d’urgence, l’utilisation devrait être limitée au strict nécessaire et être assorties de garanties et de conditions appropriées, telles que déterminées dans la législation nationale et spécifiées dans le contexte de chaque cas d’utilisation urgente par les autorités répressives elles-mêmes. De plus, les autorités répressives devraient, dans de telles situations, chercher à obtenir une autorisation dans les meilleurs délais, tout en indiquant les raisons pour lesquelles elles n’ont pas pu la demander plus tôt.
supprimé
Amendement 45 Proposition de règlement Considérant 22
(22) En outre, il convient de prévoir, dans le cadre exhaustif établi par le présent règlement, qu’une telle utilisation sur le territoire d’un État membre conformément au présent règlement ne devrait être possible que dans la mesure où l’État membre en question a décidé de prévoir expressément la possibilité d’autoriser une telle utilisation dans des règles détaillées de son droit national. Par conséquent, les États membres restent libres, en vertu du présent règlement, de ne pas prévoir une telle possibilité, ou de prévoir une telle possibilité uniquement pour certains objectifs parmi ceux susceptibles de justifier l’utilisation autorisée définis dans le présent règlement.
supprimé
Amendement 46 Proposition de règlement Considérant 23
(23) L’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» de personnes physiques dans des espaces accessibles au public à des fins répressives passe nécessairement par le traitement de données biométriques. Les règles du présent règlement qui interdisent, sous réserve de certaines exceptions, une telle utilisation, et qui sont fondées sur l’article 16 du TFUE, devraient s’appliquer en tant que lex specialis pour ce qui est des règles sur le traitement des données biométriques figurant à l’article 10 de la directive (UE) 2016/680, réglementant ainsi de manière exhaustive cette utilisation et le traitement des données biométriques qui en résulte. Par conséquent, une telle utilisation et un tel traitement ne devraient être possibles que dans la mesure où ils sont compatibles avec le cadre fixé par le présent règlement, sans qu’il soit possible pour les autorités compétentes, lorsqu’elles agissent à des fins répressives en dehors de ce cadre, d’utiliser ces systèmes et de traiter les données y afférentes pour les motifs énumérés à l’article 10 de la directive (UE) 2016/680. Dans ce contexte, le présent règlement ne vise pas à fournir la base juridique pour le traitement des données à caractère personnel en vertu de l’article 8 de la directive (UE) 2016/680. Cependant, l’utilisation de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins autres que répressives, y compris par les autorités compétentes, ne devrait pas être couverte par le cadre spécifique concernant l’utilisation à des fins répressives établi par le présent règlement. L’utilisation à des fins autres que répressives ne devrait donc pas être subordonnée à l’exigence d’une autorisation au titre du présent règlement et des règles détaillées du droit national applicable susceptibles de lui donner effet.
supprimé
Amendement 47 Proposition de règlement Considérant 24
(24) Tout traitement de données biométriques et d’autres données à caractère personnel mobilisées lors de l’utilisation de systèmes d’IA pour l’identification biométrique, qui n’est pas lié à l’utilisation de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives telle que réglementée par le présent règlement, y compris lorsque ces systèmes sont utilisés par les autorités compétentes dans des espaces accessibles au public à des fins autres que répressives, devrait continuer d’être conforme à toutes les exigences découlant de l’article 9, paragraphe 1, du règlement (UE) 2016/679, de l’article 10, paragraphe 1, du règlement (UE) 2018/1725 et de l’article 10 de la directive (UE) 2016/680, selon le cas.
(24) Tout traitement de données biométriques et d’autres données à caractère personnel mobilisées lors de l’utilisation de systèmes d’IA pour l’identification biométrique, qui n’est pas lié à l’utilisation de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public telle que réglementée par le présent règlement devrait continuer d’être conforme à toutes les exigences découlant de l’article 9, paragraphe 1, du règlement (UE) 2016/679, de l’article 10, paragraphe 1, du règlement (UE) 2018/1725 et de l’article 10 de la directive (UE) 2016/680, selon le cas.
Amendement 48 Proposition de règlement Considérant 25
(25) Conformément à l’article 6 bis du protocole nº 21 sur la position du Royaume-Uni et de l’Irlande à l’égard de l’espace de liberté, de sécurité et de justice, annexé au TUE et au TFUE, l’Irlande n’est pas liée par les règles fixées à l’article 5, paragraphe 1, point d), et à l’article 5, paragraphes 2 et 3, du présent règlement et adoptées sur la base de l’article 16 du TFUE concernant le traitement de données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du TFUE, lorsque l’Irlande n’est pas liée par les règles qui régissent des formes de coopération judiciaire en matière pénale ou de coopération policière dans le cadre desquelles les dispositions fixées sur la base de l’article 16 du TFUE doivent être respectées.
(25) Conformément à l’article 6 bis du protocole nº 21 sur la position du Royaume-Uni et de l’Irlande à l’égard de l’espace de liberté, de sécurité et de justice, annexé au TUE et au TFUE, l’Irlande n’est pas liée par les règles fixées à l’article 5, paragraphe 1, point d), du présent règlement et adoptées sur la base de l’article 16 du TFUE concernant le traitement de données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du TFUE, lorsque l’Irlande n’est pas liée par les règles qui régissent des formes de coopération judiciaire en matière pénale ou de coopération policière dans le cadre desquelles les dispositions fixées sur la base de l’article 16 du TFUE doivent être respectées.
Amendement 49 Proposition de règlement Considérant 26
(26) Conformément aux articles 2 et 2 bis du protocole nº 22 sur la position du Danemark, annexé au TUE et au TFUE, le Danemark n’est pas lié par les règles fixées à l’article 5, paragraphe 1, point d), et à l’article 5, paragraphes 2 et 3, du présent règlement et adoptées sur la base de l’article 16 du TFUE, ni soumis à leur application, lorsqu’elles concernent le traitement des données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du TFUE.
(26) Conformément aux articles 2 et 2 bis du protocole nº 22 sur la position du Danemark, annexé au TUE et au TFUE, le Danemark n’est pas lié par les règles fixées à l’article 5, paragraphe 1, point d), du présent règlement et adoptées sur la base de l’article 16 du TFUE, ni soumis à leur application, lorsqu’elles concernent le traitement des données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du TFUE.
Amendement 50 Proposition de règlement Considérant 26 bis (nouveau)
(26 bis) Les systèmes d’IA utilisés par les services répressifs ou pour le compte de ceux-ci afin de faire des prévisions, de dresser des profils ou de procéder à des évaluations des risques sur la base du profilage de personnes physiques ou de l’analyse de données fondée sur les traits ou les caractéristiques de personnalité, y compris l’emplacement de la personne ou les antécédents délictuels d’une personne physique ou d’un groupe de personnes, dans le but de prévoir la commission ou la répétition d’une ou de plusieurs infractions pénales réelles ou potentielles ou d’autres comportements sociaux qualifiés d’infractions pénales, présentent un risque particulier de discrimination à l’égard de certaines personnes ou de certains groupes de personnes, car ils portent atteinte à la dignité humaine ainsi qu’au principe juridique fondamental de la présomption d’innocence. Il convient donc d’interdire de tels systèmes d’IA.
Amendement 51 Proposition de règlement Considérant 26 ter (nouveau)
(26 ter) La saisie aveugle et non ciblée des données biométriques provenant des médias sociaux ou des séquences de vidéosurveillance en vue de créer ou d’étendre des bases de données de reconnaissance faciale renforce le sentiment de surveillance de masse et peut entraîner des violations flagrantes des droits fondamentaux, y compris le droit au respect de la vie privée. L’utilisation de systèmes d’IA avec cette destination dans les lieux accessibles au public devrait donc être interdite.
Amendement 52 Proposition de règlement Considérant 26 quater (nouveau)
(26 quater) La base scientifique des systèmes d’IA visant à détecter les émotions, les propriétés physiques ou physiologiques comme les expressions faciales, les mouvements, le pouls ou la voix, suscite de sérieuses inquiétudes. Les émotions et leur expression ou leur perception varient considérablement selon les cultures et les situations, et même chez une même personne. Parmi les principaux défauts de ces technologies, il convient de citer leur fiabilité limitée (les catégories d’émotions ne sont ni exprimées de manière fiable, ni associées sans équivoque à un ensemble commun de mouvements physiques ou physiologiques), leur manque de précision (les expressions physiques ou physiologiques ne correspondent pas parfaitement aux catégories d’émotions) et leur généralisabilité limitée (les effets du contexte et de la culture ne sont pas suffisamment pris en considération). Les problèmes de fiabilité et, par conséquent, les risques majeurs d’abus peuvent se poser en particulier lors du déploiement du système dans des situations réelles liées à l’application de la loi, à la gestion des frontières, au lieu de travail et aux établissements d’enseignement. Par conséquent, la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA destinés à être utilisés comme dans ces contextes afin de déterminer l’état émotionnel de personnes physiques devraient être interdites.
Amendement 53 Proposition de règlement Considérant 26 quinquies (nouveau)
(26 quinquies) Le présent règlement devrait être sans effet sur les pratiques interdites par la législation de l’Union, notamment en vertu du droit de la protection des données, de la lutte contre la discrimination, de la protection des consommateurs et de la concurrence.
Amendement 54 Proposition de règlement Considérant 27
(27) Les systèmes d’IA à haut risque ne devraient être mis sur le marché de l’Union ou mis en service que s’ils satisfont à certaines exigences obligatoires. Ces exigences devraient garantir que les systèmes d’IA à haut risque disponibles dans l’Union ou dont les résultats sont utilisés d’une autre manière dans l’Union ne présentent pas de risques inacceptables pour d’importants intérêts publics de l’Union tels qu’ils sont reconnus et protégés par le droit de l’Union. Les systèmes d’IA désignés comme étant à haut risque devraient être limités aux systèmes qui ont une incidence préjudiciable significative sur la santé, la sécurité et les droits fondamentaux des citoyens dans l’Union, une telle limitation permettant, le cas échéant, de réduire au minimum toute éventuelle restriction au commerce international.
(27) Les systèmes d’IA à haut risque ne devraient être mis sur le marché de l’Union, mis en service ou utilisés que s’ils satisfont à certaines exigences obligatoires. Ces exigences devraient garantir que les systèmes d’IA à haut risque disponibles dans l’Union ou dont les résultats sont utilisés d’une autre manière dans l’Union ne présentent pas de risques inacceptables pour d’importants intérêts publics de l’Union tels qu’ils sont reconnus et protégés par le droit de l’Union, y compris les droits fondamentaux, la démocratie, l’état de droit ou l’environnement. Pour garantir une harmonisation avec la législation sectorielle et éviter les doubles emplois, les exigences relatives aux systèmes d’IA à haut risque devraient tenir compte de la législation sectorielle qui définit des exigences suffisantes pour les systèmes d’IA à haut risque inclus dans le champ d’application du présent règlement, notamment le règlement (UE) 2017/745 relatif aux dispositifs médicaux et le règlement (UE) 2017/746 relatif aux dispositifs de diagnostic in vitro ou la directive 2006/42/CE relative aux machines. Les systèmes d’IA désignés comme étant à haut risque devraient être limités aux systèmes qui ont une incidence préjudiciable significative sur la santé, la sécurité et les droits fondamentaux des citoyens dans l’Union, une telle limitation permettant, le cas échéant, de réduire au minimum toute éventuelle restriction au commerce international. Compte tenu du rythme rapide du développement technologique et des changements potentiels dans l’utilisation des systèmes d’IA, la liste des domaines à haut risque et des cas d’utilisation figurant à l’annexe III devrait néanmoins faire l’objet d’un réexamen permanent au moyen d’une évaluation régulière.
Amendement 55 Proposition de règlement Considérant 28
(28) Les systèmes d’IA pourraient avoir des effets néfastes sur la santé et la sécurité des citoyens, en particulier lorsque ces systèmes sont utilisés en tant que composants de produits. Conformément aux objectifs de la législation d’harmonisation de l’Union visant à faciliter la libre circulation des produits sur le marché intérieur et à garantir que seuls des produits sûrs et conformes à d’autres égards soient mis sur le marché, il est important de dûment prévenir et atténuer les risques pour la sécurité susceptibles d’être associés à un produit dans son ensemble en raison de ses composants numériques, y compris les systèmes d’IA. Par exemple, des robots de plus en plus autonomes, que ce soit dans le secteur de l’industrie manufacturière ou des services de soins et d’aide aux personnes, devraient pouvoir opérer et remplir leurs fonctions en toute sécurité dans des environnements complexes. De même, dans le secteur de la santé, où les enjeux pour la vie et la santé sont particulièrement importants, les systèmes de diagnostic de plus en plus sophistiqués et les systèmes soutenant les décisions humaines devraient être fiables et précis. L’ampleur de l’incidence négative du système d’IA sur les droits fondamentaux protégés par la charte est un critère particulièrement pertinent lorsqu’il s’agit de classer des systèmes d’IA en tant que système à haut risque. Ces droits comprennent le droit à la dignité humaine, le respect de la vie privée et familiale, la protection des données à caractère personnel, la liberté d’expression et d’information, la liberté de réunion et d’association, ainsi que la non-discrimination, la protection des consommateurs, les droits des travailleurs, les droits des personnes handicapées, le droit à un recours effectif et à accéder à un tribunal impartial, les droits de la défense et la présomption d’innocence, et le droit à une bonne administration. En plus de ces droits, il est important de souligner que les enfants bénéficient de droits spécifiques tels que consacrés à l’article 24 de la charte et dans la convention des Nations unies relative aux droits de l’enfant (et précisés dans l’observation générale nº 25 de la CNUDE en ce qui concerne l’environnement numérique), et que ces deux textes considèrent la prise en compte des vulnérabilités des enfants et la fourniture d’une protection et de soins appropriés comme étant nécessaires au bien-être de l’enfant. Le droit fondamental à un niveau élevé de protection de l’environnement consacré dans la charte et mis en œuvre dans les politiques de l’Union devrait également être pris en considération lors de l’évaluation de la gravité du préjudice qu’un système d’IA peut causer, notamment en ce qui concerne les conséquences pour la santé et la sécurité des personnes.
(28) Les systèmes d’IA pourraient avoir des effets néfastes sur la santé et la sécurité des citoyens, en particulier lorsque ces systèmes sont utilisés en tant que composants de sécurité de produits. Conformément aux objectifs de la législation d’harmonisation de l’Union visant à faciliter la libre circulation des produits sur le marché intérieur et à garantir que seuls des produits sûrs et conformes à d’autres égards soient mis sur le marché, il est important de dûment prévenir et atténuer les risques pour la sécurité susceptibles d’être associés à un produit dans son ensemble en raison de ses composants numériques, y compris les systèmes d’IA. Par exemple, des robots de plus en plus autonomes, que ce soit dans le secteur de l’industrie manufacturière ou des services de soins et d’aide aux personnes, devraient pouvoir opérer et remplir leurs fonctions en toute sécurité dans des environnements complexes. De même, dans le secteur de la santé, où les enjeux pour la vie et la santé sont particulièrement importants, les systèmes de diagnostic de plus en plus sophistiqués et les systèmes soutenant les décisions humaines devraient être fiables et précis.
Amendement 56 Proposition de règlement Considérant 28 bis (nouveau)
(28 bis) L’ampleur de l’incidence négative du système d’IA sur les droits fondamentaux protégés par la charte est un critère particulièrement pertinent lorsqu’il s’agit de classer des systèmes d’IA en tant que système à haut risque. Ces droits comprennent le droit à la dignité humaine, le respect de la vie privée et familiale, la protection des données à caractère personnel, la liberté d’expression et d’information, la liberté de réunion et d’association, ainsi que la non-discrimination, le droit à l’éducation, la protection des consommateurs, les droits des travailleurs, les droits des personnes handicapées, l’égalité entre les femmes et les hommes, les droits de propriété intellectuelle, le droit à un recours effectif et à accéder à un tribunal impartial, les droits de la défense et la présomption d’innocence, et le droit à une bonne administration. En plus de ces droits, il est important de souligner que les enfants bénéficient de droits spécifiques tels que consacrés à l’article 24 de la charte et dans la convention des Nations unies relative aux droits de l’enfant (et précisés dans l’observation générale nº 25 de la CNUDE en ce qui concerne l’environnement numérique), et que ces deux textes considèrent la prise en compte des vulnérabilités des enfants et la fourniture d’une protection et de soins appropriés comme étant nécessaires au bien-être de l’enfant. Le droit fondamental à un niveau élevé de protection de l’environnement consacré dans la charte et mis en œuvre dans les politiques de l’Union devrait également être pris en considération lors de l’évaluation de la gravité du préjudice qu’un système d’IA peut causer, notamment en ce qui concerne les conséquences pour la santé et la sécurité des personnes ou pour l’environnement.
Amendement 57 Proposition de règlement Considérant 29
(29) En ce qui concerne les systèmes d’IA à haut risque constituant des composants de sécurité de produits ou de systèmes, ou qui sont eux-mêmes des produits ou des systèmes entrant dans le champ d’application du règlement (CE) nº 300/2008 du Parlement européen et du Conseil39, du règlement (UE) nº 167/2013 du Parlement européen et du Conseil40, du règlement (UE) nº 168/2013 du Parlement européen et du Conseil41, de la directive 2014/90/UE du Parlement européen et du Conseil42, de la directive (UE) 2016/797 du Parlement européen et du Conseil43, du règlement (UE) 2018/858 du Parlement européen et du Conseil44, du règlement (UE) 2018/1139 du Parlement européen et du Conseil45 ou du règlement (UE) 2019/2144 du Parlement européen et du Conseil46, il convient de modifier ces actes pour veiller à ce que la Commission tienne compte, sur la base des spécificités techniques et réglementaires de chaque secteur, et sans interférer avec les mécanismes et les autorités de gouvernance, d’évaluation de la conformité et de contrôle de l’application déjà en place en vertu de ces règlements, des exigences obligatoires applicables aux systèmes d’IA à haut risque définis dans le présent règlement lors de l’adoption ultérieure d’actes délégués ou d’actes d’exécution pertinents sur la base de ces actes.
(29) En ce qui concerne les systèmes d’IA à haut risque constituant des composants de sécurité de produits ou de systèmes, ou qui sont eux-mêmes des produits ou des systèmes entrant dans le champ d’application du règlement (CE) nº 300/2008 du Parlement européen et du Conseil39, du règlement (UE) nº 167/2013 du Parlement européen et du Conseil40, du règlement (UE) nº 168/2013 du Parlement européen et du Conseil41, de la directive 2014/90/UE du Parlement européen et du Conseil42, de la directive (UE) 2016/797 du Parlement européen et du Conseil43, du règlement (UE) 2018/858 du Parlement européen et du Conseil44, du règlement (UE) 2018/1139 du Parlement européen et du Conseil45 ou du règlement (UE) 2019/2144 du Parlement européen et du Conseil46, il convient de modifier ces actes pour veiller à ce que la Commission tienne compte, sur la base des spécificités techniques et réglementaires de chaque secteur, et sans interférer avec les mécanismes et les autorités de gouvernance, d’évaluation de la conformité, de surveillance du marché et de contrôle de l’application déjà en place en vertu de ces règlements, des exigences obligatoires applicables aux systèmes d’IA à haut risque définis dans le présent règlement lors de l’adoption ultérieure d’actes délégués ou d’actes d’exécution pertinents sur la base de ces actes.
__________________
__________________
39 Règlement (CE) nº 300/2008 du Parlement européen et du Conseil du 11 mars 2008 relatif à l’instauration de règles communes dans le domaine de la sûreté de l’aviation civile et abrogeant le règlement (CE) nº 2320/2002 (JO L 97 du 9.4.2008, p. 72).
39 Règlement (CE) nº 300/2008 du Parlement européen et du Conseil du 11 mars 2008 relatif à l’instauration de règles communes dans le domaine de la sûreté de l’aviation civile et abrogeant le règlement (CE) nº 2320/2002 (JO L 97 du 9.4.2008, p. 72).
40 Règlement (UE) nº 167/2013 du Parlement européen et du Conseil du 5 février 2013 relatif à la réception et à la surveillance du marché des véhicules agricoles et forestiers (JO L 60 du 2.3.2013, p. 1).
40 Règlement (UE) nº 167/2013 du Parlement européen et du Conseil du 5 février 2013 relatif à la réception et à la surveillance du marché des véhicules agricoles et forestiers (JO L 60 du 2.3.2013, p. 1).
41 Règlement (UE) nº 168/2013 du Parlement européen et du Conseil du 15 janvier 2013 relatif à la réception et à la surveillance du marché des véhicules à deux ou trois roues et des quadricycles (JO L 60 du 2.3.2013, p. 52).
41 Règlement (UE) nº 168/2013 du Parlement européen et du Conseil du 15 janvier 2013 relatif à la réception et à la surveillance du marché des véhicules à deux ou trois roues et des quadricycles (JO L 60 du 2.3.2013, p. 52).
42 Directive 2014/90/UE du Parlement européen et du Conseil du 23 juillet 2014 relative aux équipements marins et abrogeant la directive 96/98/CE du Conseil (JO L 257 du 28.8.2014, p. 146).
42 Directive 2014/90/UE du Parlement européen et du Conseil du 23 juillet 2014 relative aux équipements marins et abrogeant la directive 96/98/CE du Conseil (JO L 257 du 28.8.2014, p. 146).
43 Directive (UE) 2016/797 du Parlement européen et du Conseil du 11 mai 2016 relative à l’interopérabilité du système ferroviaire au sein de l’Union européenne (JO L 138 du 26.5.2016, p. 44).
43 Directive (UE) 2016/797 du Parlement européen et du Conseil du 11 mai 2016 relative à l’interopérabilité du système ferroviaire au sein de l’Union européenne (JO L 138 du 26.5.2016, p. 44).
44 Règlement (UE) 2018/858 du Parlement européen et du Conseil du 30 mai 2018 relatif à la réception et à la surveillance du marché des véhicules à moteur et de leurs remorques, ainsi que des systèmes, composants et entités techniques distinctes destinés à ces véhicules, modifiant les règlements (CE) nº 715/2007 et (CE) nº 595/2009 et abrogeant la directive 2007/46/CE (JO L 151 du 14.6.2018, p. 1).
44 Règlement (UE) 2018/858 du Parlement européen et du Conseil du 30 mai 2018 relatif à la réception et à la surveillance du marché des véhicules à moteur et de leurs remorques, ainsi que des systèmes, composants et entités techniques distinctes destinés à ces véhicules, modifiant les règlements (CE) nº 715/2007 et (CE) nº 595/2009 et abrogeant la directive 2007/46/CE (JO L 151 du 14.6.2018, p. 1).
45 Règlement (UE) 2018/1139 du Parlement européen et du Conseil du 4 juillet 2018 concernant des règles communes dans le domaine de l’aviation civile et instituant une Agence de l’Union européenne pour la sécurité aérienne, et modifiant les règlements (CE) nº 2111/2005, (CE) nº 1008/2008, (UE) nº 996/2010, (UE) nº 376/2014 et les directives 2014/30/UE et 2014/53/UE du Parlement européen et du Conseil, et abrogeant les règlements (CE) nº 552/2004 et (CE) nº 216/2008 du Parlement européen et du Conseil ainsi que le règlement (CEE) nº 3922/91 du Conseil (JO L 212 du 22.8.2018, p. 1).
45 Règlement (UE) 2018/1139 du Parlement européen et du Conseil du 4 juillet 2018 concernant des règles communes dans le domaine de l’aviation civile et instituant une Agence de l’Union européenne pour la sécurité aérienne, et modifiant les règlements (CE) nº 2111/2005, (CE) nº 1008/2008, (UE) nº 996/2010, (UE) nº 376/2014 et les directives 2014/30/UE et 2014/53/UE du Parlement européen et du Conseil, et abrogeant les règlements (CE) nº 552/2004 et (CE) nº 216/2008 du Parlement européen et du Conseil ainsi que le règlement (CEE) nº 3922/91 du Conseil (JO L 212 du 22.8.2018, p. 1).
46 Règlement (UE) 2019/2144 du Parlement européen et du Conseil du 27 novembre 2019 relatif aux prescriptions applicables à la réception par type des véhicules à moteur et de leurs remorques, ainsi que des systèmes, composants et entités techniques distinctes destinés à ces véhicules, en ce qui concerne leur sécurité générale et la protection des occupants des véhicules et des usagers vulnérables de la route, modifiant le règlement (UE) 2018/858 du Parlement européen et du Conseil et abrogeant les règlements (CE) nº 78/2009, (CE) nº 79/2009 et (CE) nº 661/2009 du Parlement européen et du Conseil et les règlements (CE) nº 631/2009, (UE) nº 406/2010, (UE) nº 672/2010, (UE) nº 1003/2010, (UE) nº 1005/2010, (UE) nº 1008/2010, (UE) nº 1009/2010, (UE) nº 19/2011, (UE) nº 109/2011, (UE) nº 458/2011, (UE) nº 65/2012, (UE) nº 130/2012, (UE) nº 347/2012, (UE) nº 351/2012, (UE) nº 1230/2012 et (UE) 2015/166 de la Commission (JO L 325 du 16.12.2019, p. 1).
46 Règlement (UE) 2019/2144 du Parlement européen et du Conseil du 27 novembre 2019 relatif aux prescriptions applicables à la réception par type des véhicules à moteur et de leurs remorques, ainsi que des systèmes, composants et entités techniques distinctes destinés à ces véhicules, en ce qui concerne leur sécurité générale et la protection des occupants des véhicules et des usagers vulnérables de la route, modifiant le règlement (UE) 2018/858 du Parlement européen et du Conseil et abrogeant les règlements (CE) nº 78/2009, (CE) nº 79/2009 et (CE) nº 661/2009 du Parlement européen et du Conseil et les règlements (CE) nº 631/2009, (UE) nº 406/2010, (UE) nº 672/2010, (UE) nº 1003/2010, (UE) nº 1005/2010, (UE) nº 1008/2010, (UE) nº 1009/2010, (UE) nº 19/2011, (UE) nº 109/2011, (UE) nº 458/2011, (UE) nº 65/2012, (UE) nº 130/2012, (UE) nº 347/2012, (UE) nº 351/2012, (UE) nº 1230/2012 et (UE) 2015/166 de la Commission (JO L 325 du 16.12.2019, p. 1).
Amendement 58 Proposition de règlement Considérant 30
(30) En ce qui concerne les systèmes d’IA qui constituent des composants de sécurité de produits relevant de certaines législations d’harmonisation de l’Union, ou qui sont eux-mêmes de tels produits, il convient de les classer comme étant à haut risque au titre du présent règlement si le produit en question est soumis à la procédure d’évaluation de la conformité par un organisme tiers d’évaluation de la conformité conformément à la législation d’harmonisation de l’Union correspondante. Ces produits sont notamment les machines, les jouets, les ascenseurs, les appareils et les systèmes de protection destinés à être utilisés en atmosphères explosibles, les équipements radioélectriques, les équipements sous pression, les équipements pour bateaux de plaisance, les installations à câbles, les appareils brûlant des combustibles gazeux, les dispositifs médicaux et les dispositifs médicaux de diagnostic in vitro.
(30) En ce qui concerne les systèmes d’IA qui constituent des composants de sécurité de produits relevant de certains actes législatifs d’harmonisation de l’Union énumérés à l’annexe II, ou qui sont eux-mêmes de tels produits, il convient de les classer comme étant à haut risque au titre du présent règlement si le produit en question est soumis à la procédure d’évaluation de la conformité par un organisme tiers d’évaluation de la conformité afin de garantir le respect des exigences essentielles de sécurité conformément à la législation d’harmonisation de l’Union Ces produits sont notamment les machines, les jouets, les ascenseurs, les appareils et les systèmes de protection destinés à être utilisés en atmosphères explosibles, les équipements radioélectriques, les équipements sous pression, les équipements pour bateaux de plaisance, les installations à câbles, les appareils brûlant des combustibles gazeux, les dispositifs médicaux et les dispositifs médicaux de diagnostic in vitro.
Amendement 59 Proposition de règlement Considérant 31
(31) La classification d’un système d’IA comme étant à haut risque en application du présent règlement ne devrait pas nécessairement signifier que le produit utilisant un système d’IA en tant que composant de sécurité, ou que le système d’IA lui-même en tant que produit, est considéré comme étant «à haut risque» selon les critères établis dans la législation d’harmonisation de l’Union correspondante qui s’applique au produit en question. Tel est notamment le cas pour le règlement (UE) 2017/745 du Parlement européen et du Conseil47 et le règlement (UE) 2017/746 du Parlement européen et du Conseil48, dans le cadre desquels une évaluation de la conformité par un tiers est prévue pour les produits à risque moyen et les produits à haut risque.
(31) La classification d’un système d’IA comme étant à haut risque en application du présent règlement ne devrait pas signifier que le produit utilisant un système d’IA en tant que composant de sécurité, ou que le système d’IA lui-même en tant que produit, est considéré comme étant «à haut risque» selon les critères établis dans la législation d’harmonisation de l’Union correspondante qui s’applique au produit en question. Tel est notamment le cas pour le règlement (UE) 2017/745 du Parlement européen et du Conseil47 et le règlement (UE) 2017/746 du Parlement européen et du Conseil48, dans le cadre desquels une évaluation de la conformité par un tiers est prévue pour les produits à risque moyen et les produits à haut risque.
__________________
__________________
47 Règlement (UE) 2017/745 du Parlement européen et du Conseil du 5 avril 2017 relatif aux dispositifs médicaux, modifiant la directive 2001/83/CE, le règlement (CE) nº 178/2002 et le règlement (CE) nº 1223/2009 et abrogeant les directives 90/385/CEE et 93/42/CEE du Conseil (JO L 117 du 5.5.2017, p. 1).
47 Règlement (UE) 2017/745 du Parlement européen et du Conseil du 5 avril 2017 relatif aux dispositifs médicaux, modifiant la directive 2001/83/CE, le règlement (CE) nº 178/2002 et le règlement (CE) nº 1223/2009 et abrogeant les directives 90/385/CEE et 93/42/CEE du Conseil (JO L 117 du 5.5.2017, p. 1).
48 Règlement (UE) 2017/746 du Parlement européen et du Conseil du 5 avril 2017 relatif aux dispositifs médicaux de diagnostic in vitro et abrogeant la directive 98/79/CE et la décision 2010/227/UE de la Commission (JO L 117 du 5.5.2017, p. 176).
48 Règlement (UE) 2017/746 du Parlement européen et du Conseil du 5 avril 2017 relatif aux dispositifs médicaux de diagnostic in vitro et abrogeant la directive 98/79/CE et la décision 2010/227/UE de la Commission (JO L 117 du 5.5.2017, p. 176).
Amendement 60 Proposition de règlement Considérant 32
(32) En ce qui concerne les systèmes d’IA autonomes, c’est-à-dire les systèmes d’IA à haut risque autres que ceux qui constituent des composants de sécurité de produits ou qui sont eux-mêmes des produits, il convient de les classer comme étant à haut risque si, au vu de leur destination, ils présentent un risque élevé de causer un préjudice à la santé, à la sécurité ou aux droits fondamentaux des citoyens, en tenant compte à la fois de la gravité et de la probabilité du préjudice éventuel, et s’ils sont utilisés dans un certain nombre de domaines spécifiquement prédéfinis dans le règlement. La définition de ces systèmes est fondée sur la même méthode et les mêmes critères que ceux également envisagés pour les modifications ultérieures de la liste des systèmes d’IA à haut risque.
(32) En ce qui concerne les systèmes d’IA autonomes, c’est-à-dire les systèmes d’IA à haut risque autres que ceux qui constituent des composants de sécurité de produits ou qui sont eux-mêmes des produits et qui relèvent de l’un des domaines et cas d’utilisation qui figurent à l’annexe III, il convient de les classer comme étant à haut risque si, au vu de leur destination, ils présentent un risque important de causer un préjudice à la santé, à la sécurité ou aux droits fondamentaux des citoyens et, lorsque le système d’IA est utilisé comme un composant de sécurité d’une infrastructure critique, à l’environnement. Ce risque important de préjudice devrait être déterminé en évaluant, d’une part, l’effet d’un tel risque par rapport à son niveau de gravité, d’intensité, de probabilité d’occurrence et de durée combiné et, d’autre part, si le risque peut affecter une personne, une pluralité de personnes ou un groupe particulier de personnes. Une telle combinaison pourrait, par exemple, entraîner une gravité élevée mais une faible probabilité d’affecter une personne physique, ou une forte probabilité d’affecter un groupe de personnes avec une faible intensité sur une longue période, en fonction du contexte. La définition de ces systèmes est fondée sur la même méthode et les mêmes critères que ceux également envisagés pour les modifications ultérieures de la liste des systèmes d’IA à haut risque.
Amendement 61 Proposition de règlement Considérant 32 bis (nouveau)
(32 bis) Les fournisseurs dont les systèmes d’IA relèvent de l’un des domaines et des cas d’utilisation énumérés à l’annexe III qui considèrent que leur système ne présente pas de risque important de préjudice pour la santé, la sécurité, les droits fondamentaux ou l’environnement devraient en informer les autorités nationales de surveillance en soumettant une notification motivée. Elle pourrait prendre la forme d’un résumé d’une page des informations pertinentes sur le système d’IA en question, y compris sa destination et les raisons pour lesquelles il ne présenterait pas de risque important de préjudice pour la santé, la sécurité, les droits fondamentaux ou l’environnement. La Commission devrait définir des critères permettant aux entreprises d’évaluer si leur système présente de tels risques, et élaborer un modèle de notification facile à utiliser et normalisé. Les fournisseurs devraient soumettre la notification le plus tôt possible et, en tout état de cause, avant la mise sur le marché ou la mise en service du système d’IA, idéalement au stade du développement, et ils devraient être libres de le mettre sur le marché à tout moment après la notification. Toutefois, si l’autorité estime que le système d’IA en question a été mal classé, elle devrait s’opposer à la notification dans un délai de trois mois. L’objection devrait être motivée et dûment expliquer pourquoi le système d’IA a fait l’objet d’une classification erronée. Le fournisseur devrait conserver le droit de former un recours en fournissant des arguments supplémentaires. En l’absence d’objection à la notification après trois mois, les autorités nationales de surveillance peuvent encore intervenir si le système d’IA présente un risque au niveau national, comme pour tout autre système d’IA sur le marché. Les autorités nationales de surveillance devraient soumettre à l’Office de l’IA des rapports annuels détaillant les notifications reçues et les décisions prises.
Amendement 62 Proposition de règlement Considérant 33
(33) Les inexactitudes techniques des systèmes d’IA destinés à l’identification biométrique à distance des personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires, en particulier en ce qui concerne l’âge, l’appartenance ethnique, le sexe ou les handicaps. Par conséquent, les systèmes d’identification biométrique à distance «en temps réel» et «a posteriori» devraient être classés comme étant à haut risque. Compte tenu des risques qu’ils présentent, les deux types de systèmes d’identification biométrique à distance devraient être soumis à des exigences spécifiques en matière de capacités de journalisation et de contrôle humain.
supprimé
Amendement 63 Proposition de règlement Considérant 33 bis (nouveau)
(33 bis) Étant donné que les données biométriques constituent une catégorie particulière de données à caractère personnel sensibles conformément au règlement (UE) 2016/679, il convient de classer comme étant à haut risque plusieurs cas critiques d’utilisation de systèmes biométriques et fondés sur la biométrie. Les systèmes d’IA destinés à être utilisés pour l’identification biométrique de personnes physiques et les systèmes d’IA destinés à être utilisés pour effectuer des déductions sur les caractéristiques personnelles des personnes physiques sur la base de données biométriques ou fondées sur la biométrie, y compris les systèmes de reconnaissance des émotions, à l’exception de ceux qui sont interdits en vertu du présent règlement, devraient donc être classés comme étant à haut risque. Ce classement ne devrait pas comprendre les systèmes de vérification biométrique, qui inclut l’authentification, dont le seul but est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être, et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, à un dispositif ou à des locaux (vérification «un-à-un»). Les systèmes biométriques et fondés sur la biométrie qui sont prévus par le droit de l’Union pour permettre des mesures de cybersécurité et de protection des données à caractère personnel ne devraient pas être considérés comme présentant un risque important de préjudice pour la santé, la sécurité et les droits fondamentaux.
Amendement 64 Proposition de règlement Considérant 34
(34) En ce qui concerne la gestion et l’exploitation des infrastructures critiques, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés en tant que composants de sécurité dans la gestion et l’exploitation du trafic routier et dans la fourniture d’eau, de gaz, de chauffage et d’électricité, car leur défaillance ou leur dysfonctionnement peut mettre en danger la vie et la santé de personnes à grande échelle et entraîner des perturbations importantes dans la conduite ordinaire des activités sociales et économiques.
(34) En ce qui concerne la gestion et l’exploitation des infrastructures critiques, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés en tant que composants de sécurité dans la gestion et l’exploitation de la fourniture d’eau, de gaz, de chauffage, d’électricité et des infrastructures numériques critiques, et d’électricité, car leur défaillance ou leur dysfonctionnement peut porter atteinte à la sécurité et à l’intégrité de ces infrastructures critiques ou mettre en danger la vie et la santé de personnes à grande échelle et entraîner des perturbations importantes dans la conduite ordinaire des activités sociales et économiques. Les composants de sécurité des infrastructures critiques, y compris les infrastructures numériques critiques, sont des systèmes utilisés pour protéger directement l’intégrité physique des infrastructures critiques ou la santé et la sécurité des personnes et des biens. La défaillance ou le mauvais fonctionnement de ces composants pourrait directement entraîner des risques pour l’intégrité physique des infrastructures critiques et, partant, des risques pour la santé et la sécurité des personnes et des biens. Les composants destinés à être utilisés uniquement à des fins de cybersécurité ne devraient pas être considérés comme des composants de sécurité. Ces composants de sécurité peuvent comprendre, par exemple, des systèmes de surveillance de la pression de l’eau ou des systèmes de commande d’alarme incendie dans les centres d’informatique en nuage.
Amendement 65 Proposition de règlement Considérant 35
(35) Les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, notamment pour déterminer l’accès ou l’affectation de personnes aux établissements d’enseignement et de formation professionnelle ou pour évaluer les personnes sur la base d’épreuves dans le cadre de leur formation ou comme condition préalable à celle-ci devraient être considérés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et ont par conséquent une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination.
(35) Le déploiement des systèmes d’IA dans l’éducation est important pour la modernisation de la totalité des systèmes d’enseignement et au renforcement de la qualité de l’éducation, hors ligne et en ligne, et à l’accélération de la numérisation de l’éducation, permettant ainsi à un plus large public d’y accéder. Les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, notamment pour déterminer l’accès ou influencer de manière substantielle les décisions relatives à l’admission ou à l’affectation de personnes aux établissements d’enseignement et de formation professionnelle ou pour évaluer les personnes sur la base d’épreuves dans le cadre de leur formation ou comme condition préalable à celle-ci, ou pour influer sur le niveau d’étude qu’un étudiant devrait atteindre, ou encore pour surveiller et détecter les comportements interdits des étudiants au cours des épreuves, devraient être classés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et ont par conséquent une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent être particulièrement intrusifs et mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination, par exemple à l’encontre des femmes, de certains groupes d’âge, des personnes handicapées, des personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle.
Amendement 66 Proposition de règlement Considérant 36
(36) Les systèmes d’IA utilisés pour des questions liées à l’emploi, à la gestion de la main-d’œuvre et à l’accès à l’emploi indépendant, notamment pour le recrutement et la sélection de personnes, pour la prise de décisions de promotion et de licenciement, pour l’attribution des tâches et pour le suivi ou l’évaluation des personnes dans le cadre de relations professionnelles contractuelles, devraient également être classés comme étant à haut risque, car ces systèmes peuvent avoir une incidence considérable sur les perspectives de carrière et les moyens de subsistance de ces personnes. Les relations professionnelles contractuelles en question devraient concerner également celles qui lient les employés et les personnes qui fournissent des services sur des plateformes telles que celles visées dans le programme de travail de la Commission pour2021. Ces personnes ne devraient en principe pas être considérées comme des utilisateurs au sens du présent règlement. Tout au long du processus de recrutement et lors de l’évaluation, de la promotion ou du maintien des personnes dans des relations professionnelles contractuelles, les systèmes d’IA peuvent perpétuer des schémas historiques de discrimination, par exemple à l’égard des femmes, de certains groupes d’âge et des personnes handicapées, ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle. Les systèmes d’IA utilisés pour surveiller les performances et le comportement de ces personnes peuvent aussi avoir une incidence sur leurs droits à la protection des données et à la vie privée.
(36) Les systèmes d’IA utilisés pour des questions liées à l’emploi, à la gestion de la main-d’œuvre et à l’accès à l’emploi indépendant, notamment pour le recrutement et la sélection de personnes, pour la prise de décisions ou une influence substantielle sur les décisions de recrutement, de promotion et de licenciement, pour l’attribution personnalisée des tâches sur la base du comportement individuel, de traits personnels ou de données biométriques et pour le suivi ou l’évaluation des personnes dans le cadre de relations professionnelles contractuelles, devraient également être classés comme étant à haut risque, car ces systèmes peuvent avoir une incidence considérable sur les perspectives de carrière, les moyens de subsistance de ces personnes et les droits des travailleurs. Les relations professionnelles contractuelles en question devraient concerner également de manière significative celles qui lient les employés et les personnes qui fournissent des services sur des plateformes telles que celles visées dans le programme de travail de la Commission pour 2021. Tout au long du processus de recrutement et lors de l’évaluation, de la promotion ou du maintien des personnes dans des relations professionnelles contractuelles, les systèmes d’IA peuvent perpétuer des schémas historiques de discrimination, par exemple à l’égard des femmes, de certains groupes d’âge et des personnes handicapées, ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle. Les systèmes d’IA utilisés pour surveiller les performances et le comportement de ces personnes peuvent aussi porter atteinte à l’essence de leurs droits fondamentaux à la protection des données et à la vie privée. Le présent règlement s’applique sans préjudice de la compétence de l’Union et des États membres de prévoir des règles plus spécifiques concernant l’utilisation des systèmes d’IA dans le contexte de l’emploi.
Amendement 67 Proposition de règlement Considérant 37
(37) Un autre domaine dans lequel l’utilisation des systèmes d’IA mérite une attention particulière est l’accès et le droit à certains services et prestations essentiels, publics et privés, devant permettre aux citoyens de participer pleinement à la société ou d’améliorer leur niveau de vie. En particulier, les systèmes d’IA utilisés pour évaluer la note de crédit ou la solvabilité des personnes physiques devraient être classés en tant que systèmes d’IA à haut risque, car ils déterminent l’accès de ces personnes à des ressources financières ou à des services essentiels tels que le logement, l’électricité et les services de télécommunication. Les systèmes d’IA utilisés à cette fin peuvent conduire à la discrimination à l’égard de personnes ou de groupes et perpétuer des schémas historiques de discrimination, par exemple fondés sur les origines raciales ou ethniques, les handicaps, l’âge ou l’orientation sexuelle, ou créer de nouvelles formes d’incidences discriminatoires. Compte tenu de l’incidence très limitée et des solutions de remplacement disponibles sur le marché, il convient d’exempter les systèmes d’IA utilisés à des fins d’évaluation de la solvabilité et de notation de crédit lorsqu’ils sont mis en service par des petits fournisseurs pour leur usage propre. Les personnes physiques sollicitant ou recevant des prestations sociales et des services fournis par des autorités publiques sont généralement tributaires de ces prestations et services et se trouvent dans une position vulnérable par rapport aux autorités responsables. Lorsque les systèmes d’IA sont utilisés pour déterminer si ces prestations et services devraient être refusés, réduits, révoqués ou récupérés par les autorités, ils peuvent avoir une grande incidence sur les moyens de subsistance des personnes et porter atteinte à leurs droits fondamentaux, tels que le droit à la protection sociale, le principe de non-discrimination, le droit à la dignité humaine ou le droit à un recours effectif. Il convient donc de classer ces systèmes comme étant à haut risque. Néanmoins, le présent règlement ne devrait pas entraver la mise en place et l’utilisation, dans l’administration publique, d’approches innovantes qui bénéficieraient d’une utilisation plus large de systèmes d’IA conformes et sûrs, à condition que ces systèmes n’entraînent pas de risque élevé pour les personnes morales et physiques. Enfin, les systèmes d’IA utilisés pour envoyer ou établir des priorités dans l’envoi des services d’intervention d’urgence devraient aussi être classés comme étant à haut risque, car ils prennent des décisions dans des situations très critiques pour la vie, la santé et les biens matériels des personnes.
(37) Un autre domaine dans lequel l’utilisation des systèmes d’IA mérite une attention particulière est l’accès et le droit à certains services et prestations essentiels, publics et privés, y compris les services de santé et services essentiels, qui comprennent sans s’y limiter le logement, l’électricité, le chauffage/refroidissement et l’internet, devant permettre aux citoyens de participer pleinement à la société ou d’améliorer leur niveau de vie. En particulier, les systèmes d’IA utilisés pour évaluer la note de crédit ou la solvabilité des personnes physiques devraient être classés en tant que systèmes d’IA à haut risque, car ils déterminent l’accès de ces personnes à des ressources financières ou à des services essentiels tels que le logement, l’électricité et les services de télécommunication. Les systèmes d’IA utilisés à cette fin peuvent conduire à la discrimination à l’égard de personnes ou de groupes et perpétuer des schémas historiques de discrimination, par exemple fondés sur les origines raciales ou ethniques, le sexe, les handicaps, l’âge ou l’orientation sexuelle,ou créer de nouvelles formes d’incidences discriminatoires. Toutefois, les systèmes d’IA prévus par le droit de l’Union aux fins de détecter les fraudes dans l’offre de services financiers ne devraient pas être considérés comme présentant un risque élevé au titre du présent règlement. Les personnes physiques sollicitant ou recevant des prestations sociales et des services essentiels fournis par des autorités publiques, y inclus les services de santé et services essentiels, qui comprennent sans s’y limiter le logement, l’électricité, le chauffage/refroidissement et l’internet, sont généralement tributaires de ces prestations et services et se trouvent dans une position vulnérable par rapport aux autorités responsables. Lorsque les systèmes d’IA sont utilisés pour déterminer si ces prestations et services devraient être refusés, réduits, révoqués ou récupérés par les autorités, ils peuvent avoir une grande incidence sur les moyens de subsistance des personnes et porter atteinte à leurs droits fondamentaux, tels que le droit à la protection sociale, le principe de non-discrimination, le droit à la dignité humaine ou le droit à un recours effectif. De même, les systèmes d’IA destinés à être utilisés pour prendre des décisions ou influencer substantiellement les décisions relatives à l’éligibilité des personnes physiques à l’assurance-maladie et vie peuvent également avoir une incidence importante sur les moyens de subsistance des personnes et porter atteinte à leurs droits fondamentaux, par exemple en limitant leur accès aux soins de santé ou en perpétuant une discrimination fondée sur des caractéristiques personnelles. Il convient donc de classer ces systèmes comme étant à haut risque. Néanmoins, le présent règlement ne devrait pas entraver la mise en place et l’utilisation, dans l’administration publique, d’approches innovantes qui bénéficieraient d’une utilisation plus large de systèmes d’IA conformes et sûrs, à condition que ces systèmes n’entraînent pas de risque élevé pour les personnes morales et physiques. Enfin, les systèmes d’IA utilisés pour évaluer et hiérarchiser les appels d’urgence émis par des personnes physiques ou pour envoyer ou établir des priorités dans l’envoi des services d’intervention d’urgence devraient aussi être classés comme étant à haut risque, car ils prennent des décisions dans des situations très critiques pour la vie, la santé et les biens matériels des personnes.
Amendement 68 Proposition de règlement Considérant 37 bis (nouveau)
(37 bis) Compte tenu du rôle et de la responsabilité des autorités policières et judiciaires et de l’impact de leurs décisions prises à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière ou d’exécution de sanctions pénales, certains cas spécifiques d’utilisation des applications d’IA par les autorités répressives doivent être classés comme à haut risque lorsqu’ils sont susceptibles d’avoir une incidence significative sur la vie ou les droits fondamentaux des personnes.
Amendement 69 Proposition de règlement Considérant 38
(38) Les actions des autorités répressives qui supposent certaines utilisations de systèmes d’IA sont caractérisées par un degré important de déséquilibre des forces et peuvent conduire à la surveillance, à l’arrestation ou à la privation de la liberté d’une personne physique ainsi qu’à d’autres conséquences négatives sur des droits fondamentaux garantis par la charte. En particulier, si le système d’IA n’est pas entraîné avec des données de haute qualité, ne répond pas aux exigences appropriées en matière d’exactitude ou de robustesse, ou n’est pas correctement conçu et mis à l’essai avant d’être mis sur le marché ou mis en service d’une autre manière, il risque de traiter des personnes de manière discriminatoire ou, plus généralement, incorrecte ou injuste. En outre, l’exercice d’importants droits fondamentaux procéduraux, tels que le droit à un recours effectif et à accéder à un tribunal impartial, ainsi que les droits de la défense et la présomption d’innocence, pourrait être entravé, en particulier lorsque ces systèmes d’IA ne sont pas suffisamment transparents, explicables et documentés. Il convient donc de classer comme systèmes à haut risque un certain nombre de systèmes d’IA destinés à être utilisés dans un contexte répressif où l’exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter les conséquences négatives, conserver la confiance du public et garantir que des comptes soient rendus et que des recours efficaces puissent être exercés. Compte tenu de la nature des activités en question et des risques y afférents, ces systèmes d’IA à haut risque devraient comprendre en particulier les systèmes d’IA destinés à être utilisés par les autorités répressives pour réaliser des évaluations individuelles des risques, pour servir de polygraphes ou d’outils similaires ou pour analyser l’état émotionnel de personnes physiques, pour détecter les hypertrucages, pour évaluer la fiabilité des preuves dans les procédures pénales, pour prédire la survenance ou la répétition d’une infraction pénale réelle ou potentielle sur la base du profilage de personnes physiques, ou pour évaluer les traits de personnalité, les caractéristiques ou les antécédents délictuels de personnes physiques ou de groupes à des fins de profilage dans le cadre d’activités de détection, d’enquête ou de poursuite relatives à des infractions pénales, ainsi que d’analyse de la criminalité des personnes physiques. Les systèmes d’IA spécifiquement destinés à être utilisés pour des procédures administratives par les autorités fiscales et douanières ne devraient pas être considérés comme des systèmes d’IA à haut risque utilisés par les autorités répressives dans le cadre d’activités de prévention, de détection, d’enquête et de poursuite relatives à des infractions pénales.
(38) Les actions des autorités répressives qui supposent certaines utilisations de systèmes d’IA sont caractérisées par un degré important de déséquilibre des forces et peuvent conduire à la surveillance, à l’arrestation ou à la privation de la liberté d’une personne physique ainsi qu’à d’autres conséquences négatives sur des droits fondamentaux garantis par la charte. En particulier, si le système d’IA n’est pas entraîné avec des données de haute qualité, ne répond pas aux exigences appropriées en matière de performance, d’exactitude ou de robustesse, ou n’est pas correctement conçu et mis à l’essai avant d’être mis sur le marché ou mis en service d’une autre manière, il risque de traiter des personnes de manière discriminatoire ou, plus généralement, incorrecte ou injuste. En outre, l’exercice d’importants droits fondamentaux procéduraux, tels que le droit à un recours effectif et à accéder à un tribunal impartial, ainsi que les droits de la défense et la présomption d’innocence, pourrait être entravé, en particulier lorsque ces systèmes d’IA ne sont pas suffisamment transparents, explicables et documentés. Il convient donc de classer comme systèmes à haut risque un certain nombre de systèmes d’IA destinés à être utilisés dans un contexte répressif où l’exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter les conséquences négatives, conserver la confiance du public et garantir que des comptes soient rendus et que des recours efficaces puissent être exercés. Compte tenu de la nature des activités en question et des risques y afférents, ces systèmes d’IA à haut risque devraient comprendre en particulier les systèmes d’IA destinés à être utilisés par les autorités répressives ou par des organes et organismes de l’Union en soutien aux autorités répressives, ou en leur nom, pour servir de polygraphes ou d’outils similaires, dans la mesure où leur usage est autorisé par le droit de l’Union et national applicables, pour évaluer la fiabilité des preuves dans les procédures pénales à des fins de profilage dans le cadre d’activités de détection, d’enquête ou de poursuite relatives à des infractions pénales, ainsi que d’analyse de la criminalité des personnes physiques. Les systèmes d’IA spécifiquement destinés à être utilisés pour des procédures administratives par les autorités fiscales et douanières ne devraient pas être classés en tant que systèmes d’IA à haut risque utilisés par les autorités répressives dans le cadre d’activités de prévention, de détection, d’enquête et de poursuite relatives à des infractions pénales. L’utilisation des outils d’IA par les autorités répressives et judiciaires ne devrait pas devenir un facteur d’inégalité de fracture sociale ou d’exclusion. Les conséquences de l’utilisation des outils d’IA sur les droits de la défense des suspects ne devraient pas être ignorées, notamment la difficulté d’obtenir des informations utiles sur leur fonctionnement et, partant, la difficulté de saisir la justice pour contester leurs résultats, en particulier pour les personnes faisant l’objet d’une enquête.
Amendement 70 Proposition de règlement Considérant 39
(39) Les systèmes d’IA utilisés dans le domaine de la gestion de la migration, de l’asile et des contrôles aux frontières touchent des personnes qui sont souvent dans une position particulièrement vulnérable et qui dépendent du résultat des actions des autorités publiques compétentes. L’exactitude, la nature non discriminatoire et la transparence des systèmes d’IA utilisés dans ces contextes sont donc particulièrement importantes pour garantir le respect des droits fondamentaux des personnes concernées, notamment leurs droits à la libre circulation, à la non-discrimination, à la protection de la vie privée et des données à caractère personnel, à une protection internationale et à une bonne administration. Il convient donc de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés par les autorités publiques compétentes chargées de tâches dans les domaines de la gestion de la migration, de l’asile et des contrôles aux frontières pour servir de polygraphes ou d’outils similaires ou pour analyser l’état émotionnel d’une personne physique;pour évaluer certains risques posés par des personnes physiques entrant sur le territoire d’un État membre ou faisant une demande de visa ou d’asile; pour vérifier l’authenticité des documents pertinents de personnes physiques; et pour aider les autorités publiques compétentes à examiner les demandes d’asile, de visa et de permis de séjour ainsi que les plaintes connexes, l’objectif étant de vérifier l’éligibilité des personnes physiques qui demandent un statut. Les systèmes d’IA utilisés dans le domaine de la gestion de la migration, de l’asile et des contrôles aux frontières couverts par le présent règlement devraient être conformes aux exigences procédurales pertinentes fixées par la directive 2013/32/UE du Parlement européen et du Conseil49, le règlement (CE) nº 810/2009 du Parlement européen et du Conseil50 et toute autre législation pertinente.
(39) Les systèmes d’IA utilisés dans le domaine de la gestion de la migration, de l’asile et des contrôles aux frontières touchent des personnes qui sont souvent dans une position particulièrement vulnérable et qui dépendent du résultat des actions des autorités publiques compétentes. L’exactitude, la nature non discriminatoire et la transparence des systèmes d’IA utilisés dans ces contextes sont donc particulièrement importantes pour garantir le respect des droits fondamentaux des personnes concernées, notamment leurs droits à la libre circulation, à la non-discrimination, à la protection de la vie privée et des données à caractère personnel, à une protection internationale et à une bonne administration. Il convient donc de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés par les autorités publiques compétentes ou par les organes ou organismes de l’Union chargés de tâches dans les domaines de la gestion de la migration, de l’asile et des contrôles aux frontières, ou en leur nom, en tant que polygraphes et outils similaires, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables, aux fins de l’évaluation de certains risques présentés par des personnes physiques entrant sur le territoire d’un État membre ou demandant un visa ou l’asile; pour vérifier l’authenticité des documents pertinents de personnes physiques; pour aider les autorités publiques compétentes à examiner les demandes d’asile, de visa et de permis de séjour ainsi que les plaintes connexes et à évaluer l’authenticité des preuves y relatives, l’objectif étant de vérifier l’éligibilité des personnes physiques qui demandent un statut. pour assurer le suivi, la surveillance ou le traitement des données à caractère personnel dans le cadre des activités de gestion des frontières, aux fins de la détection, de la reconnaissance ou de l’identification des personnes physiques; pour la prévision ou la prédiction des tendances liées aux mouvements migratoires et au franchissement des frontières. Les systèmes d’IA utilisés dans le domaine de la gestion de la migration, de l’asile et des contrôles aux frontières couverts par le présent règlement devraient être conformes aux exigences procédurales pertinentes fixées par la directive 2013/32/UE du Parlement européen et du Conseil49, le règlement (CE) nº 810/2009 du Parlement européen et du Conseil50 et toute autre législation pertinente. Les systèmes d’IA permettant la gestion des migrations, de l’asile et des contrôles aux frontières ne devraient en aucun cas être utilisés par les États membres ou les institutions, organes et organismes de l’Union européenne comme un moyen de contourner les obligations internationales qui leur incombent en vertu de la convention du 28 juillet 1951 relative au statut des réfugiés, telle que modifiée par le protocole du 31 janvier 1967, ni être utilisés pour enfreindre de quelque manière que ce soit le principe de non-refoulement ou refuser des voies d’accès légales sûres et efficaces au territoire de l’Union, y compris le droit à la protection internationale;
__________________
__________________
49 Directive 2013/32/UE du Parlement européen et du Conseil du 26 juin 2013 relative à des procédures communes pour l’octroi et le retrait de la protection internationale (JO L 180 du 29.6.2013, p. 60).
49 Directive 2013/32/UE du Parlement européen et du Conseil du 26 juin 2013 relative à des procédures communes pour l’octroi et le retrait de la protection internationale (JO L 180 du 29.6.2013, p. 60).
50 Règlement (CE) nº 810/2009 du Parlement européen et du Conseil du 13 juillet 2009 établissant un code communautaire des visas (code des visas) (JO L 243 du 15.9.2009, p. 1).
50 Règlement (CE) nº 810/2009 du Parlement européen et du Conseil du 13 juillet 2009 établissant un code communautaire des visas (code des visas) (JO L 243 du 15.9.2009, p. 1).
Amendement 71 Proposition de règlement Considérant 40
(40) Certains systèmes d’IA destinés à être utilisés pour l’administration de la justice et les processus démocratiques devraient être classés comme étant à haut risque, compte tenu de leur incidence potentiellement significative sur la démocratie, l’état de droit, les libertés individuelles ainsi que le droit à un recours effectif et à accéder à un tribunal impartial. En particulier, pour faire face aux risques de biais, d’erreurs et d’opacité, il convient de classer comme étant à haut risque les systèmes d’IA destinés à aider les autorités judiciaires à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits. Cette qualification ne devrait cependant pas s’étendre aux systèmes d’IA destinés à être utilisés pour des activités administratives purement accessoires qui n’ont aucune incidence sur l’administration réelle de la justice dans des cas individuels, telles que l’anonymisation ou la pseudonymisation de décisions judiciaires, de documents ou de données, la communication entre membres du personnel, les tâches administratives ou l’allocation des ressources.
(40) Certains systèmes d’IA destinés à être utilisés pour l’administration de la justice et les processus démocratiques devraient être classés comme étant à haut risque, compte tenu de leur incidence potentiellement significative sur la démocratie, l’état de droit, les libertés individuelles ainsi que le droit à un recours effectif et à accéder à un tribunal impartial. En particulier, pour faire face aux risques de biais, d’erreurs et d’opacité, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés par une autorité judiciaire ou un organisme administratif, ou en leur nom, pour aider les autorités judiciaires ou les organismes administratifs à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits, ou utilisés de manière similaire lors du règlement extrajudiciaire d’un litige. L’utilisation d’outils d’intelligence artificielle peut soutenir le pouvoir de décision des juges ou l’indépendance judiciaire, mais ne devrait pas les remplacer, car la décision finale doit rester une activité et une décision humaines. Cette qualification ne devrait cependant pas s’étendre aux systèmes d’IA destinés à être utilisés pour des activités administratives purement accessoires qui n’ont aucune incidence sur l’administration réelle de la justice dans des cas individuels, telles que l’anonymisation ou la pseudonymisation de décisions judiciaires, de documents ou de données, la communication entre membres du personnel, les tâches administratives ou l’allocation des ressources.
Amendement 72 Proposition de règlement Considérant 40 bis (nouveau)
(40 bis) Afin de faire face aux risques d’ingérence extérieure indue dans le droit de vote consacré à l’article 39 de la charte et d’effets disproportionnés sur les processus démocratiques, la démocratie et l’état de droit, les systèmes d’IA destinés à être utilisés pour influencer le résultat d’une élection ou d’un référendum ou le comportement électoral de personnes physiques dans l’exercice de leur vote lors d’élections ou de référendums devraient être classés comme systèmes d’IA à haut risque, à l’exception des systèmes d’IA dont les résultats ne sont pas directement au contact des personnes physiques, tels que les outils utilisés pour organiser, optimiser et structurer les campagnes politiques d’un point de vue administratif et logistique.
Amendement 73 Proposition de règlement Considérant 40 ter (nouveau)
(40 ter) Compte tenu du nombre des personnes physiques qui utilisent les services fournis par les plateformes de médias sociaux désignées comme de très grandes plateformes en ligne, ces plateformes en ligne peuvent être utilisées d’une manière qui influence fortement la sécurité en ligne, la formation de l’opinion et du discours publics, les processus électoraux et démocratiques et les préoccupations sociétales. Il convient donc que les systèmes d’IA utilisés par ces plateformes en ligne dans leurs systèmes de recommandation soient soumis au présent règlement de manière à garantir que les systèmes d’IA respectent les exigences énoncées dans le présent règlement, y compris les exigences techniques en matière de gouvernance des données, de documentation technique et de traçabilité, de transparence, de contrôle humain, d’exactitude et de robustesse. Le respect du présent règlement devrait permettre à ces très grandes plateformes en ligne de se conformer à leurs obligations plus larges en matière d’évaluation et d’atténuation des risques prévues aux articles 34 et 35 du règlement (UE) 2022/2065. Les obligations prévues par le présent règlement sont sans préjudice du règlement (UE) 2022/2065 et devraient compléter les obligations prévues par le règlement (UE) 2022/2065 lorsque la plateforme de médias sociaux a été désignée comme très grande plateforme en ligne. Compte tenu de l’impact à l’échelle européenne des plateformes de médias sociaux désignées comme très grandes plateformes en ligne, les autorités désignées en vertu du règlement (UE) 2022/2065 devraient agir en tant qu’autorités chargées de faire appliquer la présente disposition.
Amendement 74 Proposition de règlement Considérant 41
(41) Le fait qu’un système d’IA soit classé comme étant à haut risque au titre du présent règlement ne devrait pas être interprété comme indiquant que l’utilisation du système est nécessairement licite au titre d’autres actes du droit de l’Union ou au titre du droit national compatible avec le droit de l’Union, s’agissant notamment de la protection des données à caractère personnel, de l’utilisation de polygraphes et d’outils similaires, ou de l’utilisation d’autres systèmes d’analyse de l’état émotionnel des personnes physiques. Toute utilisation de ce type devrait continuer à être subordonnée aux exigences applicables découlant de la charte et des actes applicables du droit dérivé de l’Union et du droit national. Le présent règlement ne devrait pas être compris comme constituant un fondement juridique pour le traitement des données à caractère personnel, y compris des catégories spéciales de données à caractère personnel, le cas échéant.
(41) Le fait qu’un système d’IA soit classé en tant que système d’IA à haut risque au titre du présent règlement ne devrait pas être interprété comme indiquant que l’utilisation du système est nécessairement licite ou illicite au titre d’autres actes du droit de l’Union ou au titre du droit national compatible avec le droit de l’Union, s’agissant notamment de la protection des données à caractère personnel. Toute utilisation de ce type devrait continuer à être subordonnée aux exigences applicables découlant de la charte et des actes applicables du droit dérivé de l’Union et du droit national.
Amendement 75 Proposition de règlement Considérant 41 bis (nouveau)
(41 bis) Diverses règles juridiquement contraignantes aux échelons européen, national et international sont d’ores et déjà applicables ou sont pertinentes en ce qui concerne les système d’IA et comprennent, sans s’y limiter, le droit primaire de l’UE (les traités de l’Union européenne et sa charte des droits fondamentaux), le droit dérivé de l’Union (tel que le règlement général sur la protection des données, la directive sur la responsabilité du fait des produits, le règlement sur la libre circulation des données à caractère non personnel, les directives antidiscrimination, le droit de la consommation et les directives sur la sécurité et la santé au travail), les traités des Nations unies sur les droits de l’homme et les conventions du Conseil de l’Europe (telles que la convention européenne des droits de l’homme), ainsi que le droit national. À ces dispositions d’application transversale s’ajoutent différentes réglementations propres à un secteur qui régissent des applications spécifiques d’IA, à l’instar du règlement sur les dispositifs médicaux dans le domaine des soins de santé.
Amendement 76 Proposition de règlement Considérant 42
(42) Afin d’atténuer les risques liés aux systèmes d’IA à haut risque commercialisés ou mis en service d’une autre manière sur le marché de l’Union pour les utilisateurs et les personnes concernées, certaines exigences obligatoires devraient s’appliquer, en tenant compte de la destination du système et en fonction du système de gestion des risques à mettre en place par le fournisseur.
(42) Afin d’atténuer les risques liés aux systèmes d’IA à haut risque commercialisés ou mis en service d’une autre manière sur le marché de l’Union pour les déployeurs et les personnes concernées, certaines exigences obligatoires devraient s’appliquer, en tenant compte de la destination ou de la mauvaise utilisation raisonnablement prévisible du système et en fonction du système de gestion des risques à mettre en place par le fournisseur. Ces exigences devraient être axées sur les objectifs, adaptées à la finalité, raisonnables et efficaces, sans ajouter de charges réglementaires ni de coûts excessifs pour les opérateurs.
Amendement 77 Proposition de règlement Considérant 43
(43) Des exigences devraient s’appliquer aux systèmes d’IA à haut risque en ce qui concerne la qualité des jeux de données utilisés, la documentation technique et la tenue de registres, la transparence et la fourniture d’informations aux utilisateurs, le contrôle humain, ainsi que la robustesse, l’exactitude et la cybersécurité. Ces exigences sont nécessaires pour atténuer efficacement les risques pour la santé, la sécurité et les droits fondamentaux, selon la destination du système, et, aucune autre mesure moins contraignante pour le commerce n’étant raisonnablement disponible, elles n’imposent pas de restriction injustifiée aux échanges.
(43) Des exigences devraient s’appliquer aux systèmes d’IA à haut risque en ce qui concerne la qualité et la pertinence des jeux de données utilisés, la documentation technique et la tenue de registres, la transparence et la fourniture d’informations aux déployeurs, le contrôle humain, ainsi que la robustesse, l’exactitude et la sécurité. Ces exigences sont nécessaires pour atténuer efficacement les risques pour la santé, la sécurité et les droits fondamentaux, ainsi que pour l’environnement, la démocratie et l’état de droit, selon la destination ou la mauvaise utilisation raisonnablement prévisible du système, et, aucune autre mesure moins contraignante pour le commerce n’étant raisonnablement disponible, elles n’imposent pas de restriction injustifiée aux échanges.
Amendement 78 Proposition de règlement Considérant 44
(44) Une haute qualité des données est essentielle au bon fonctionnement de nombreux systèmes d’IA, en particulier lorsque des techniques axées sur l’entraînement de modèles sont utilisées, afin de garantir que le système d’IA à haut risque fonctionne comme prévu et en toute sécurité et qu’il ne devient pas une source de discrimination interdite par le droit de l’Union. Des jeux de données d’entraînement, de validation et de test de haute qualité nécessitent la mise en œuvre de pratiques de gouvernance et de gestion des données appropriées. Les jeux de données d’entraînement, de validation et de test devraient être suffisamment pertinents, représentatifs, exempts d’erreurs et complets au regard de la destination du système. Ils devraient également avoir les propriétés statistiques appropriées, notamment en ce qui concerne les personnes ou les groupes de personnes sur lesquels le système d’IA à haut risque est destiné à être utilisé. En particulier, les jeux de données d’entraînement, de validation et de test devraient prendre en considération, dans la mesure requise au regard de leur destination, les propriétés, les caractéristiques ou les éléments qui sont particuliers au cadre ou au contexte géographique, comportemental ou fonctionnel spécifique dans lequel le système d’IA est destiné à être utilisé. Afin de protéger le droit d’autres personnes contre la discrimination qui pourrait résulter des biais dans les systèmes d’IA, les fournisseurs devraient être en mesure de traiter également des catégories spéciales de données à caractère personnel, pour des raisons d’intérêt public important, afin d’assurer la surveillance, la détection et la correction des biais liés aux systèmes d’IA à haut risque.
(44) L’accès à des données de haute qualité joue un rôle essentiel pour fournir une structure et assurer le bon fonctionnement de nombreux systèmes d’IA, en particulier lorsque des techniques axées sur l’entraînement de modèles sont utilisées, afin de garantir que le système d’IA à haut risque fonctionne comme prévu et en toute sécurité et qu’il ne devient pas une source de discrimination interdite par le droit de l’Union. Des jeux de données d’entraînement, de validation et de test de haute qualité nécessitent la mise en œuvre de pratiques de gouvernance et de gestion des données appropriées. Les jeux de données d’entraînement et, le cas échéant, de validation et de test, y compris les étiquettes, devraient être suffisamment pertinents, représentatifs, correctement vérifiés en ce qui concerne les erreurs et complets au regard de la destination du système. Ils devraient également avoir les propriétés statistiques appropriées, notamment en ce qui concerne les personnes ou les groupes de personnes en rapport avec lesquels le système d’IA à haut risque est destiné à être utilisé, en accordant une attention particulière à l’atténuation des biais éventuels dans les jeux de données qui pourraient entraîner des risques pour les droits fondamentaux ou conduire à des résultats discriminatoires pour les personnes concernées par le système d’IA à haut risque. Des biais peuvent, par exemple, être inhérents à des séries de données sous-jacentes, en particulier lorsque des données historiques sont utilisées, ou peuvent être introduits par les concepteurs des algorithmes ou générés lorsque les systèmes sont mis en œuvre dans des conditions réelles. Les résultats produits par les systèmes d’IA sont influencés par ces biais inhérents, qui ont tendance à se renforcer progressivement et ainsi à perpétuer et à amplifier les discriminations existantes, en particulier pour les personnes appartenant à certains groupes vulnérables ou ethniques ou à certaines communautés racialisées. En particulier, les jeux de données d’entraînement, de validation et de test devraient prendre en considération, dans la mesure requise au regard de leur destination, les propriétés, les caractéristiques ou les éléments qui sont particuliers au cadre ou au contexte géographique, comportemental ou fonctionnel spécifique dans lequel le système d’IA est destiné à être utilisé. Afin de protéger le droit d’autres personnes contre la discrimination qui pourrait résulter des biais dans les systèmes d’IA, les fournisseurs devraient, à titre exceptionnel, à la suite de la mise en œuvre de toutes les conditions applicables prévues par le présent règlement ainsi que par le règlement (UE) 2016/679, la directive (UE) 2016/680, et le règlement (UE) 2018/1725, veiller à ce que les bases de données contiennent des données adéquates sur les groupes qui sont plus vulnérables aux effets discriminatoires de l’IA, tels que les personnes handicapées, et être en mesure de traiter également des catégories spéciales de données à caractère personnel, pour des raisons d’intérêt public important, afin d’assurer la surveillance, la détection et la correction des biais liés aux systèmes d’IA à haut risque. Les préjugés négatifs devraient être compris comme des biais qui créent un effet discriminatoire direct ou indirect à l’encontre d’une personne physique. Les exigences liées à la gouvernance des données peuvent être respectées en ayant recours à des tiers qui proposent des services de conformité certifiés, y compris la vérification de la gouvernance des données et de l’intégrité des ensembles de données, ainsi que les pratiques de formation, de validation et d’évaluation des données.
Amendement 79 Proposition de règlement Considérant 45
(45) Pour le développement de systèmes d’IA à haut risque, certains acteurs, tels que les fournisseurs, les organismes notifiés et d’autres entités pertinentes, telles que les pôles d’innovation numérique, les installations d’expérimentation et d’essai et les centres de recherche, devraient être en mesure d’obtenir et d’utiliser des jeux de données de haute qualité dans leurs domaines d’activité respectifs liés au présent règlement. Les espaces européens communs des données créés par la Commission et la facilitation du partage de données d’intérêt public entre les entreprises et avec le gouvernement seront essentiels pour fournir un accès fiable, responsable et non discriminatoire à des données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA. Par exemple, dans le domaine de la santé, l’espace européen des données de santé facilitera l’accès non discriminatoire aux données de santé et l’entraînement d’algorithmes d’intelligence artificielle à l’aide de ces jeux de données, d’une manière respectueuse de la vie privée, sûre, rapide, transparente et digne de confiance, et avec une gouvernance institutionnelle appropriée. Les autorités compétentes concernées, y compris les autorités sectorielles, qui fournissent ou facilitent l’accès aux données peuvent aussi faciliter la fourniture de données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA.
(45) Pour le développement et l’évaluation de systèmes d’IA à haut risque, certains acteurs, tels que les fournisseurs, les organismes notifiés et d’autres entités pertinentes, telles que les pôles d’innovation numérique, les installations d’expérimentation et d’essai et les centres de recherche, devraient être en mesure d’obtenir et d’utiliser des jeux de données de haute qualité dans leurs domaines d’activité respectifs liés au présent règlement. Les espaces européens communs des données créés par la Commission et la facilitation du partage de données d’intérêt public entre les entreprises et avec le gouvernement seront essentiels pour fournir un accès fiable, responsable et non discriminatoire à des données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA. Par exemple, dans le domaine de la santé, l’espace européen des données de santé facilitera l’accès non discriminatoire aux données de santé et l’entraînement d’algorithmes d’intelligence artificielle à l’aide de ces jeux de données, d’une manière respectueuse de la vie privée, sûre, rapide, transparente et digne de confiance, et avec une gouvernance institutionnelle appropriée. Les autorités compétentes concernées, y compris les autorités sectorielles, qui fournissent ou facilitent l’accès aux données peuvent aussi faciliter la fourniture de données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA.
Amendement 80 Proposition de règlement Considérant 45 bis (nouveau)
(45 bis) Le droit au respect de la vie privée et à la protection des données à caractère personnel doit être garanti tout au long du cycle de vie du système d’IA. À cet égard, les principes de minimisation et de protection des données dès la conception et par défaut tel qu’énoncé dans le droit de l’Union sur la protection des données sont essentiels lorsque le traitement des données présente de graves dangers pour les droits fondamentaux des personnes. Les fournisseurs et utilisateurs de systèmes d’IA devraient prendre des mesures techniques et organisationnelles reflétant l’état de la technique afin de protéger lesdits droits. Ces mesures devraient inclure non seulement l’anonymisation et le chiffrement, mais également le recours à une technologie de plus en plus accessible qui permet l’utilisation d’algorithmes avec les données et l’obtention de précieux renseignements sans transmission entre les parties ou sans reproduction superflue des données brutes ou structurées elles-mêmes.
Amendement 81 Proposition de règlement Considérant 46
(46) Il est essentiel de disposer d’informations sur la manière dont les systèmes d’IA à haut risque ont été développés et sur leur fonctionnement tout au long de leur cycle de vie afin de vérifier le respect des exigences du présent règlement. Cela nécessite la tenue de registres et la mise à disposition d’une documentation technique contenant les informations nécessaires pour évaluer la conformité du système d’IA avec les exigences pertinentes. Ces informations devraient notamment porter sur les caractéristiques générales, les capacités et les limites du système, sur les algorithmes, les données et les processus d’entraînement, d’essai et de validation utilisés, ainsi que sur le système de gestion des risques mis en place. Ladocumentationtechniquedevraitêtretenueà jour.
(46) Il est essentiel de disposer d’informations compréhensibles sur la manière dont les systèmes d’IA à haut risque ont été développés et sur leur fonctionnement tout au long de leur durée de vie afin de vérifier le respect des exigences du présent règlement. Cela nécessite la tenue de registres et la mise à disposition d’une documentation technique contenant les informations nécessaires pour évaluer la conformité du système d’IA avec les exigences pertinentes. Ces informations devraient notamment porter sur les caractéristiques générales, les capacités et les limites du système, sur les algorithmes, les données et les processus d’entraînement, d’essai et de validation utilisés, ainsi que sur le système de gestion des risques mis en place. La documentation technique devrait être tenue à jour tout au long du cycle de vie du système d’IA. Les systèmes d’IA peuvent avoir une incidence importante sur l’environnement et une forte consommation d’énergie au cours de leur cycle de vie. Afin de mieux appréhender l’incidence des systèmes d’IA sur l’environnement, la documentation technique élaborée par les fournisseurs devrait inclure des informations sur la consommation d’énergie du système d’IA, y compris la consommation pendant le développement et la consommation prévue pendant l’utilisation. Ces informations devraient tenir compte de la législation de l’Union et de la législation nationale pertinentes. Ces informations doivent être compréhensibles, comparables et vérifiables et, à cette fin, la Commission devrait élaborer des lignes directrices sur une méthodologie harmonisée pour le calcul et la communication de ces informations. Afin de garantir la possibilité d’établir une documentation unique, les termes et définitions relatifs à la documentation requise et à toute documentation requise dans la législation applicable de l’Union devraient être alignés autant que possible.
Amendement 82 Proposition de règlement Considérant 46 bis (nouveau)
(46 bis) Les systèmes d’IA devraient tenir compte des méthodes avancées et des normes pertinentes et applicables pour réduire la consommation d’énergie, l’utilisation des ressources et les déchets, ainsi que pour améliorer l’efficacité énergétique et l’efficacité globale du système. Les aspects environnementaux des systèmes d’IA qui importent aux fins du présent règlement sont la consommation d’énergie du système d’IA au cours de la phase de développement, d’entraînement et de déploiement, ainsi que l’enregistrement, la communication et le stockage de ces données. La conception des systèmes d’IA devrait permettre de mesurer et de consigner la consommation d’énergie et de ressources à chaque étape du développement, de l’entraînement et du déploiement. La surveillance et la déclaration des émissions des systèmes d’IA doivent être solides, transparentes, cohérentes et précises. Afin d’assurer l’application uniforme du présent règlement et un écosystème juridique stable pour les fournisseurs et les déployeurs au sein du marché unique, la Commission devrait élaborer une spécification commune pour la méthode permettant de satisfaire aux exigences en matière de rapports et de documentation concernant la consommation d’énergie et de ressources pendant le développement, la formation et le déploiement. Ces spécifications communes relatives à la méthode de mesure peuvent élaborer une base de référence grâce à laquelle la Commission peut mieux décider si de futures interventions réglementaires sont nécessaires, après réalisation d’une analyse d’impact tenant compte de la législation en vigueur.
Amendement 83 Proposition de règlement Considérant 46 ter (nouveau)
(46 ter) Afin d’atteindre les objectifs du présent règlement et de contribuer aux objectifs environnementaux de l’Union tout en assurant le bon fonctionnement du marché intérieur, il peut être nécessaire d’établir des recommandations et des lignes directrices et, à terme, des objectifs en matière de durabilité. À cette fin, la Commission est habilitée à élaborer une méthodologie pour contribuer à la mise en place d’indicateurs clés de performance (ICP) et d’une référence pour les objectifs de développement durable (ODD). L’objectif devrait être, en premier lieu, de permettre une comparaison équitable entre les choix de mise en œuvre de l’IA en incitant à promouvoir l’utilisation de technologies d’IA plus efficaces répondant aux préoccupations liées à l’énergie et aux ressources. Pour atteindre cet objectif, le présent règlement devrait prévoir les moyens d’établir une collecte de référence des données déclarées sur les émissions résultant du développement, de la formation et du déploiement.
Amendement 84 Proposition de règlement Considérant 47 bis (nouveau)
(47 bis) Ces exigences en matière de transparence et d’explicabilité de la prise de décision par l’IA devraient également contribuer à contrer les effets dissuasifs de l’asymétrie numérique et à lutter contre les «interfaces truquées» (dark patterns) visant les individus et leur consentement éclairé.
Amendement 85 Proposition de règlement Considérant 49
(49) Les systèmes d’IA à haut risque devraient produire des résultats d’une qualité constante tout au long de leur cycle de vie et assurer un niveau approprié d’exactitude, de robustesse et de cybersécurité conformément à l’état de la technique généralement reconnu. Le degré d’exactitude et les critères de mesure de l’exactitude devraient être communiqués aux utilisateurs.
(49) Les systèmes d’IA à haut risque devraient produire des résultats d’une qualité constante tout au long de leur cycle de vie et assurer un niveau approprié d’exactitude, de robustesse et de cybersécurité conformément à l’état de la technique généralement reconnu. Les critères de mesure de la performance et leur degré attendu devraient avant tout être définis pour atténuer les risques et l’incidence négative du système d’IA. Les critères de mesure du degré de performances attendu devraient être communiqués de façon claire, transparente et facilement compréhensible par les déployeurs. La déclaration des indicateurs de performance ne peut être considérée comme une preuve de niveaux futurs, mais des méthodes pertinentes doivent être appliquées pour garantir des niveaux cohérents pendant l’utilisation. Bien qu’il existe des organismes de normalisation pour établir des normes, une coordination en matière d’étalonnage est nécessaire pour déterminer comment ces exigences et caractéristiques normalisées des systèmes d’IA devraient être mesurées. Le bureau européen de l’intelligence artificielle devrait réunir les autorités nationales et internationales de métrologie et d’étalonnage des performances et fournir des orientations non contraignantes pour aborder les aspects techniques de la manière de mesurer les niveaux appropriés de précision et de robustesse.
Amendement 86 Proposition de règlement Considérant 50
(50) La robustesse technique est une exigence essentielle pour les systèmes d’IA à haut risque. Ils doivent être résilients contre les risques liés aux limites du système (par exemple les erreurs, les défauts, les incohérences, les situations inattendues) ainsi que contre les actions malveillantes qui peuvent compromettre la sûreté du système d’IA et entraîner un comportement préjudiciable ou, plus généralement, indésirable. L’absence de protection contre ces risques pourrait avoir des incidences sur la sécurité ou entraîner des violations des droits fondamentaux, par exemple en raison de décisions erronées ou de résultats inexacts ou biaisés générés par le système d’IA.
(50) La robustesse technique est une exigence essentielle pour les systèmes d’IA à haut risque. Ils doivent être résilients contre les risques liés aux limites du système (par exemple les erreurs, les défauts, les incohérences, les situations inattendues) ainsi que contre les actions malveillantes qui peuvent compromettre la sûreté du système d’IA et entraîner un comportement préjudiciable ou, plus généralement, indésirable. L’absence de protection contre ces risques pourrait avoir des incidences sur la sécurité ou entraîner des violations des droits fondamentaux, par exemple en raison de décisions erronées ou de résultats inexacts ou biaisés générés par le système d’IA. Les utilisateurs du système d’IA doivent prendre des mesures pour veiller à ce que le l’arbitrage éventuel entre robustesse et précision n’entraîne pas de résultats discriminatoires ou négatifs pour les sous-groupes minoritaires.
Amendement 87 Proposition de règlement Considérant 51
(51) La cybersécurité joue un rôle crucial pour garantir la résilience des systèmes d’IA face aux tentatives de détourner leur utilisation, leur comportement, leurs performances ou de compromettre leurs propriétés de sûreté par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent faire usage de ressources spécifiques à l’IA, telles que des jeux de données d’entraînement (par exemple l’empoisonnement de données) ou des modèles entraînés (par exemple les attaques adversaires), ou exploiter les vulnérabilités des ressources numériques du système d’IA ou de l’infrastructure TIC sous-jacente. Pour garantir un niveau de cybersécurité adapté aux risques, des mesures appropriées devraient donc être prises par les fournisseurs de systèmes d’IA à haut risque, en tenant également compte, si nécessaire, de l’infrastructure TIC sous-jacente.
(51) La cybersécurité joue un rôle crucial pour garantir la résilience des systèmes d’IA face aux tentatives de détourner leur utilisation, leur comportement, leurs performances ou de compromettre leurs propriétés de sûreté par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent passer par des ressources propres à l’IA, telles que les jeux de données d’entraînement (pour l’empoisonnement de données) ou l’entraînement des modèles (pour les attaques contradictoires, ou adversarial attacks, et les attaques sur la confidentialité des données), ou exploiter les vulnérabilités des ressources numériques du système d’IA ou de l’infrastructure TIC sous-jacente. Pour garantir un niveau de cybersécurité adapté aux risques, des mesures appropriées devraient donc être prises par les fournisseurs de systèmes d’IA à haut risque, ainsi que par les organismes notifiés, les autorités nationales compétentes et les autorités de surveillance du marché, en tenant également compte, si nécessaire, de l’infrastructure TIC sous-jacente. L’IA à haut risque devrait s’accompagner de solutions et de correctifs de sécurité pour la durée de vie du produit ou, en l’absence de dépendance à un produit spécifique, pour une période devant être définie par le fabricant.
Amendement 88 Proposition de règlement Considérant 53 bis (nouveau)
(53 bis) En leur qualité de signataires de la convention des Nations unies relative aux droits des personnes handicapées, l’Union et les États membres sont légalement tenus de protéger les personnes handicapées contre la discrimination et de promouvoir leur égalité, de veiller à ce que les personnes handicapées aient accès, au même titre que les autres, aux technologies et aux systèmes d’information et de communication, ainsi que de garantir le respect de leur vie privée. Compte tenu de l’importance et de l’utilisation croissantes des systèmes d’IA, l’application des principes de conception universelle à toutes les nouvelles technologies et à tous les nouveaux services devrait garantir un accès complet, égal et sans restriction à toute personne potentiellement concernée par les technologies d’IA ou les utilisant, y compris les personnes handicapées, d’une manière qui tienne pleinement compte de leur dignité et de leur diversité intrinsèques. Il est donc essentiel que les fournisseurs garantissent la pleine conformité avec les exigences en matière d’accessibilité, y compris la directive (UE) 2016/2102 et la directive (UE) 2019/882. Les fournisseurs devraient veiller au respect de ces exigences dès la conception. Les mesures nécessaires doivent donc être aussi intégrées que possible dans la conception des systèmes d’IA à haut risque.
Amendement 89 Proposition de règlement Considérant 54
(54) Le fournisseur devrait mettre en place un système solide de gestion de la qualité, garantir le respect de la procédure d’évaluation de la conformité requise, rédiger la documentation pertinente et mettre en place un système solide de surveillance après commercialisation. Les autorités publiques qui mettent en service des systèmes d’IA à haut risque destinés à être utilisés exclusivement par elles peuvent adopter et mettre en œuvre les règles relatives au système de gestion de la qualité dans le cadre du système de gestion de la qualité adopté au niveau national ou régional, selon le cas, en tenant compte des spécificités du secteur, ainsi que des compétences et de l’organisation de l’autorité publique en question.
(54) Le fournisseur devrait mettre en place un système solide de gestion de la qualité, garantir le respect de la procédure d’évaluation de la conformité requise, rédiger la documentation pertinente et mettre en place un système solide de surveillance après commercialisation. Pour les fournisseurs qui ont déjà mis en place des systèmes de gestion de la qualité fondés sur des normes telles que la norme ISO 9001 ou d’autres normes pertinentes, il ne faut pas s’attendre à un système de gestion de la qualité faisant double emploi dans son intégralité, mais plutôt à une adaptation de leurs systèmes existants à certains aspects liés au respect d’exigences spécifiques du présent règlement. Cela devrait également se refléter dans les futures activités ou orientations de normalisation adoptées par la Commission à cet égard. Les autorités publiques qui mettent en service des systèmes d’IA à haut risque destinés à être utilisés exclusivement par elles peuvent adopter et mettre en œuvre les règles relatives au système de gestion de la qualité dans le cadre du système de gestion de la qualité adopté au niveau national ou régional, selon le cas, en tenant compte des spécificités du secteur, ainsi que des compétences et de l’organisation de l’autorité publique en question.
Amendement 90 Proposition de règlement Considérant 56
(56) Pour permettre le contrôle de l’application du présent règlement et créer des conditions de concurrence équitables pour les opérateurs, et compte tenu des différentes formes de mise à disposition de produits numériques, il est important de veiller à ce que, en toutes circonstances, une personne établie dans l’Union puisse fournir aux autorités toutes les informations nécessaires sur la conformité d’un système d’IA. Par conséquent, préalablement à la mise à disposition sur le marché de l’Union de leurs systèmes d’IA, et lorsqu’aucun importateur ne peut être identifié, les fournisseurs établis en dehors de l’Union sont tenus de nommer, par mandat écrit, un mandataire établi dans l’Union.
(56) Pour permettre le contrôle de l’application du présent règlement et créer des conditions de concurrence équitables pour les opérateurs, et compte tenu des différentes formes de mise à disposition de produits numériques, il est important de veiller à ce que, en toutes circonstances, une personne établie dans l’Union puisse fournir aux autorités toutes les informations nécessaires sur la conformité d’un système d’IA. Par conséquent, préalablement à la mise à disposition sur le marché de l’Union de leurs systèmes d’IA, les fournisseurs établis en dehors de l’Union sont tenus de nommer, par mandat écrit, un mandataire établi dans l’Union.
Amendement 91 Proposition de règlement Considérant 58
(58) Compte tenu de la nature des systèmes d’IA et des risques pour la sécurité et les droits fondamentaux potentiellement associés à leur utilisation, notamment en ce qui concerne la nécessité d’assurer un suivi adéquat des performances d’un système d’IA dans un contexte réel, il convient de définir des responsabilités spécifiques pour les utilisateurs. Les utilisateurs devraient en particulier être tenus d’utiliser les systèmes d’IA à haut risque conformément à la notice d’utilisation, et certaines autres obligations devraient être prévues en ce qui concerne la surveillance du fonctionnement des systèmes d’IA et la tenue de registres, selon le cas.
(58) Compte tenu de la nature des systèmes d’IA et des risques pour la sécurité et les droits fondamentaux potentiellement associés à leur utilisation, notamment en ce qui concerne la nécessité d’assurer un suivi adéquat des performances d’un système d’IA dans un contexte réel, il convient de définir des responsabilités spécifiques pour les déployeurs. Les déployeurs devraient en particulier être tenus d’utiliser les systèmes d’IA à haut risque conformément à la notice d’utilisation, et certaines autres obligations devraient être prévues en ce qui concerne la surveillance du fonctionnement des systèmes d’IA et la tenue de registres, selon le cas.
Amendement 92 Proposition de règlement Considérant 58 bis (nouveau)
(58 bis) Si des risques liés aux systèmes d’IA peuvent découler de la manière dont ces systèmes sont conçus, ils peuvent également provenir de la manière dont ces systèmes d’IA sont utilisés. Les déployeurs de systèmes d’IA à haut risque jouent donc un rôle essentiel pour garantir la protection des droits fondamentaux, en complétant les obligations du fournisseur lors du développement du système d’IA. Les déployeurs sont les mieux placés pour comprendre comment le système d’IA à haut risque sera utilisé concrètement et peuvent donc identifier les risques importants potentiels qui n’étaient pas prévus au cours de la phase de développement, en raison d’une connaissance plus précise du contexte d’utilisation, des personnes ou groupes de personnes susceptibles d’être touchés, y compris les groupes marginalisés et vulnérables. Les déployeurs devraient recenser les structures de gouvernance appropriées dans ce contexte spécifique d’utilisation, telles que les dispositifs de contrôle humain, les procédures de traitement des plaintes et les procédures de recours, car les choix opérés dans les structures de gouvernance peuvent contribuer à atténuer les risques pour les droits fondamentaux dans des cas concrets d’utilisation. Afin d’assurer efficacement la protection des droits fondamentaux, le déployeur de systèmes d’IA à haut risque devrait donc procéder à une analyse d’impact relative aux droits fondamentaux avant de les mettre en service. L’analyse d’impact doit être accompagnée d’un plan détaillé décrivant les mesures ou les outils qui permettront d’atténuer les risques recensés pour les droits fondamentaux relevés au plus tard au moment de la mise en service. Si ce plan ne peut être élaboré, le déployeur devrait s’abstenir de mettre le système en service. Lorsqu’il réalise cette analyse d’impact, le déployeur devrait informer l’autorité nationale de surveillance et, dans toute la mesure du possible, les parties prenantes concernées ainsi que les représentants des groupes de personnes susceptibles d’être affectés par le système d’IA afin de recueillir les informations pertinentes jugées nécessaires à la réalisation de l’analyse d’impact et il est encouragé à rendre public le résumé de son analyse d’impact sur les droits fondamentaux sur son site internet. Ces obligations ne devraient pas s’appliquer aux PME qui, compte tenu de leurs faibles ressources, pourraient éprouver des difficultés à mener une telle consultation. Néanmoins, elles devraient également s’efforcer d’associer ces représentants lors de leur analyse d’impact sur les droits fondamentaux. En outre, compte tenu de l’incidence potentielle et de la nécessité d’une surveillance et d’un contrôle démocratiques, les déployeurs de systèmes d’IA à haut risque qui sont des autorités publiques ou des institutions, organes et organismes de l’Union, ainsi que les déployeurs qui sont des entreprises désignées comme contrôleurs d’accès en vertu du règlement (UE) 2022/1925 devraient être tenus d’enregistrer l’utilisation de tout système d’IA à haut risque dans une base de données publique. D’autres déployeurs peuvent s’enregistrer volontairement.
Amendement 93 Proposition de règlement Considérant 59
(59) Il convient d’envisager que l’utilisateur du système d’IA soit la personne physique ou morale, l’autorité publique, l’agence ou tout autre organisme sous l’autorité duquel le système d’IA est exploité, sauf lorsque l’utilisation s’inscrit dans le cadre d’une activité personnelle à caractère non professionnel.
(59) Il convient d’envisager que le déployeur du système d’IA soit la personne physique ou morale, l’autorité publique, l’agence ou tout autre organisme sous l’autorité duquel le système d’IA est exploité, sauf lorsque l’utilisation s’inscrit dans le cadre d’une activité personnelle à caractère non professionnel.
Amendement 94 Proposition de règlement Considérant 60
(60) Étant donné la complexité de la chaîne de valeur de l’intelligence artificielle, les tiers concernés, notamment ceux qui interviennent dans la vente et la fourniture de logiciels, d’outils logiciels, de composants, de données et de modèles pré-entraînés, ou les fournisseurs de services de réseau, devraient coopérer, le cas échéant, avec les fournisseurs et les utilisateurs pour faciliter le respect des obligations qui leur incombent au titre du présent règlement, et avec les autorités compétentes établies en vertu du présent règlement.
(60) Au sein de la chaîne de valeur de l’IA, plusieurs entités fournissent souvent des outils et des services, mais aussi des composants ou des processus qui sont ensuite intégrés par le fournisseur dans le système d’IA, y compris en ce qui concerne la collecte et le prétraitement des données, l’entraînement aux modèles, le recyclage des modèles, l’essai et l’évaluation des modèles, l’intégration dans des logiciels, ou d’autres aspects du développement de modèles. Les entités concernées peuvent rendre leur offre commercialement disponible directement ou indirectement, par l’intermédiaire d’interfaces, telles que les interfaces de programmation d’applications (API), et distribuées sous licences libres et ouvertes, mais aussi de plus en plus par des plateformes de main-d’œuvre de l’IA, la revente de paramètres formés, des kits de bricolage pour construire des modèles ou l’offre d’un accès payant à un modèle servant à développer et à former des modèles.Compte tenu de cette complexité de la chaîne de valeur de l’IA, tous les tiers concernés, en particulier ceux qui participent au développement, à la vente et à la fourniture commerciale d’outils logiciels, de composants, de modèles préformés ou de données intégrés dans le système d’IA, ou les fournisseurs de services de réseau, devraient, sans compromettre leurs propres droits de propriété intellectuelle ou secrets d’affaires, mettre à disposition les informations, la formation ou l’expertise requises et coopérer, le cas échéant, avec les fournisseurs pour leur permettre de contrôler tous les aspects pertinents du système d’IA qui relèvent du présent règlement.Afin de permettre une gouvernance rentable de la chaîne de valeur de l’IA, le niveau de contrôle est explicitement divulgué par chaque tiers qui fournit au fournisseur un outil, un service, une composante ou un processus qui est ensuite intégré par le fournisseur dans le système d’IA.
Amendement 95 Proposition de règlement Considérant 60 bis (nouveau)
(60 bis) Lorsqu’une partie occupe une position de négociation plus forte, elle risque de tirer parti de cette position au détriment de l’autre partie contractante lorsqu’elle négocie la fourniture d’outils, de services, de composants ou de processus qui sont utilisés ou intégrés dans un système d’IA à haut risque ou les mesures correctives en cas de violation ou de résiliation des obligations connexes. Ces déséquilibres contractuels nuisent particulièrement aux micro, petites et moyennes entreprises ainsi qu’aux jeunes pousses, à moins qu’elles ne soient détenues ou sous-traitées par une entreprise en mesure d’indemniser de manière appropriée le sous-traitant, étant donné qu’elles ne disposent pas d’une capacité significative à négocier les conditions de l’accord contractuel et qu’elles ne peuvent avoir d’autre choix que d’accepter des clauses contractuelles «à prendre ou à laisser». C’est pourquoi des clauses contractuelles abusives qui régissent la fourniture d’outils, de services, de composants ou de processus qui sont utilisés ou intégrés dans un système d’IA à haut risque ou les voies de recours en cas de violation ou de résiliation d’obligations connexes ne devraient pas être contraignantes pour une PME ou à une jeune entreprise si elle lui a été imposée unilatéralement.
Amendement 96 Proposition de règlement Considérant 60 ter (nouveau)
(60 ter) Les règles relatives aux clauses contractuelles devraient tenir compte du principe de la liberté contractuelle en tant que concept essentiel dans les relations interentreprises. Par conséquent, toutes les clauses contractuelles ne devraient pas être soumises à une appréciation du caractère abusif, mais uniquement aux clauses qui sont imposées unilatéralement aux micro, petites et moyennes entreprises. ainsi qu’aux jeunes pousses. Il s’agit des situations du type «à prendre ou à laisser» dans lesquelles une partie fournit une certaine clause contractuelle et où la micro, petite ou moyenne entreprise ou jeune pousse ne peut pas influencer le contenu de cette clause malgré une tentative de négociation. Une clause contractuelle qui est simplement fournie par une partie et acceptée par la micro, petite ou moyenne entreprise ou jeune pousse ou une clause négociée puis convenue sous forme modifiée entre les parties contractantes ne devrait pas être considérée comme imposée unilatéralement.
Amendement 97 Proposition de règlement Considérant 60 quater (nouveau)
(60 quater) En outre, les règles relatives aux clauses contractuelles abusives ne devraient s’appliquer qu’aux éléments d’un contrat qui sont liés à la fourniture d’outils, de services, de composants ou de processus qui sont utilisés ou intégrés dans un système d’IA à haut risque ou aux recours en cas de violation ou de résiliation des obligations connexes. Les autres parties du même contrat, qui ne sont pas liées à ces éléments, ne devraient pas être soumises à l’appréciation du caractère abusif prévue par le présent règlement.
Amendement 98 Proposition de règlement Considérant 60 quinquies (nouveau)
(60 quinquies) Les critères permettant d’identifier les clauses contractuelles abusives ne devraient s’appliquer qu’aux clauses contractuelles excessives, en cas d’abus de pouvoir de négociation supérieur. La grande majorité des clauses contractuelles qui sont commercialement plus favorables à une partie qu’à l’autre, y compris celles qui sont normales dans les contrats interentreprises, sont une expression normale du principe de la liberté contractuelle et continuent de s’appliquer. Si une clause contractuelle ne figure pas dans la liste des clauses qui sont toujours considérées comme abusives, la disposition générale relative au caractère abusif s’applique. À cet égard, les clauses énumérées en tant que clauses abusives devraient servir de critère d’interprétation de la disposition générale relative au caractère abusif.
Amendement 99 Proposition de règlement Considérant 60 sexies (nouveau)
(60 sexies) Les systèmes d’IA à finalité générale sont une évolution récente, dans le cadre de laquelle des modèles d’IA sont développés à partir d’algorithmes conçus pour optimiser la généralité et la polyvalence de la production. Ces modèles sont souvent formés sur un large éventail de sources de données et de grandes quantités de données pour accomplir un large éventail de tâches en aval, y compris certaines pour lesquelles ils n’ont pas été spécifiquement développés et formés. Le système d’IA à finalité générale peut être unimodal ou multimodal, formé au moyen de diverses méthodes telles que l’apprentissage supervisé ou l’apprentissage renforcé. Les systèmes d’IA ayant une destination spécifique ou les systèmes d’IA à usage général peuvent être la mise en œuvre d’un système d’IA à finalité générale, ce qui signifie que chaque système d’IA à finalité générale peut être réutilisé dans d’innombrables systèmes d’IA en aval ou à usage général. Ces modèles revêtent une importance croissante pour de nombreuses applications et systèmes en aval.
Amendement 100 Proposition de règlement Considérant 60 septies (nouveau)
(60 septies) Dans le cas de systèmes d’IA à finalité générale fournis sous la forme d’un service comme par accès API, la coopération avec les fournisseurs en aval devrait s’étendre pendant toute la durée de fourniture et de soutien de ce service, afin de permettre une atténuation appropriée des risques, à moins que le fournisseur du système d’IA à finalité générale ne transfère le système d’IA à finalité générale ainsi que des informations détaillées et appropriées sur les ensembles de données et le processus de développement du système ou restreint le service, comme l’accès API, de manière à ce que le fournisseur en aval soit en mesure de se conformer pleinement au présent règlement sans le soutien supplémentaire du fournisseur initial du système d’IA à finalité générale.
Amendement 101 Proposition de règlement Considérant 60 octies (nouveau)
(60 octies) Compte tenu de la nature et de la complexité de la chaîne de valeur des systèmes d’IA, il est essentiel de faire la lumière sur le rôle des acteurs qui contribuent au développement des système d’IA. Il existe une grande incertitude quant à la manière dont les systèmes d’IA à finalité générale évolueront, tant en ce qui concerne la typologie des modèles que l’autogouvernance. Il est donc essentiel de clarifier la situation juridique des fournisseurs de systèmes d’IA à finalité générale. Combinés à leur complexité et à leur incidence inattendue, le manque de contrôle exercé par le fournisseur d’IA en aval sur le développement du système d’IA à finalité générale et sur le déséquilibre de pouvoir qui en résulte, et afin de garantir un partage équitable des responsabilités tout au long de la chaîne de valeur de l’IA, ces modèles devraient être soumis à des exigences et obligations proportionnées et plus spécifiques au titre du présent règlement, à savoir que les systèmes d’IA à finalité générale devraient évaluer et atténuer les risques et les préjudices éventuels au moyen d’une conception, d’essais et d’analyses appropriés, mettre en œuvre des mesures de gouvernance des données, y compris l’évaluation des biais, et respecter les exigences en matière de conception technique afin de garantir des niveaux appropriés de performance, de prévisibilité, d’interprétation, de prévisibilité, de sécurité et de cybersécurité, et devraient être conformes aux normes environnementales. Ces obligations devraient s’accompagner de normes. En outre, les systèmes d’IA à finalité générale devraient être soumis à des obligations d’information et préparer toute la documentation technique nécessaire pour permettre aux fournisseurs en aval potentiels de se conformer aux obligations qui leur incombent en vertu du présent règlement. Les systèmes d’IA à finalité générale génératifs devraient garantir la transparence quant au fait que le contenu est généré par un système d’IA, et non par un humain. Ces exigences et obligations spécifiques n’équivalent pas à considérer les systèmes d’IA à finalité générale comme des systèmes d’IA à haut risque, mais devraient garantir que les objectifs du présent règlement visant à garantir un niveau élevé de protection des droits fondamentaux, de la santé et de la sécurité, de l’environnement, de la démocratie et de l’état de droit sont atteints. Les modèles préformés élaborés pour un ensemble d’applications plus restreint, moins général et plus limité, qui ne peuvent être adaptés à un large éventail de tâches, telles que les simples systèmes d’IA polyvalents, ne devraient pas être considérés comme des systèmes d’IA à finalité générale aux fins du présent règlement, en raison de leur plus grande capacité d’interprétation, ce qui rend leur comportement moins imprévisible.
Amendement 102 Proposition de règlement Considérant 60 nonies (nouveau)
(60 nonies) Compte tenu de la nature des systèmes d’IA à finalité générale, l’expertise en matière d’évaluation de la conformité fait défaut et des méthodes d’audit par des tiers sont toujours en cours d’élaboration. Le secteur lui-même développe donc de nouveaux moyens d’évaluer les systèmes d’IA à finalité générale qui répondent en partie à l’objectif de l’audit (tels que l’évaluation des modèles, la méthode de l’équipe rouge («red teaming») ou les techniques de vérification et de validation de l’apprentissage automatique). Ces évaluations internes des systèmes d’IA à finalité générale devraient être largement applicables (par exemple, indépendamment des canaux de distribution, des modalités, des méthodes de développement), afin de traiter les risques propres à ces modèles en tenant compte des pratiques les plus récentes du secteur et de mettre l’accent sur le développement d’une compréhension technique et d’un contrôle suffisants du modèle, sur la gestion des risques raisonnablement prévisibles, ainsi que sur une analyse et des essais approfondis du modèle au moyen de mesures appropriées, par exemple par la participation d’évaluateurs indépendants. Étant donné que les systèmes d’IA à finalité générale constituent une évolution nouvelle et rapide dans le domaine de l’intelligence artificielle, il convient que la Commission et le Bureau de l’IA surveillent et évaluent périodiquement le cadre législatif et de gouvernance de ces modèles et, en particulier, des systèmes d’IA génératifs fondés sur de tels modèles, qui soulèvent des questions importantes liées à la production de contenus en violation du droit de l’Union, aux règles en matière de droit d’auteur et à d’éventuels abus. Il convient de préciser que le présent règlement devrait être sans préjudice du droit de l’Union sur le droit d’auteur et les droits voisins, y compris les directives 2001/29/CE, 2004/48/CE et (UE) 2019/790 du Parlement européen et du Conseil.
Amendement 103 Proposition de règlement Considérant 61
(61) La normalisation devrait jouer un rôle essentiel pour fournir des solutions techniques aux fournisseurs afin de garantir la conformité avec présent règlement. Le respect des normes harmonisées telles que définies dans le règlement (UE) nº 1025/2012 du Parlement européen et du Conseil54 devrait être un moyen pour les fournisseurs de démontrer la conformité aux exigences du présent règlement. Cependant, la Commission pourrait adopter des spécifications techniques communes dans les domaines où il n’existe pas de normes harmonisées ou où elles sont insuffisantes.
(61) La normalisation devrait jouer un rôle essentiel pour fournir des solutions techniques aux fournisseurs afin de garantir la conformité avec présent règlement. Le respect des normes harmonisées telles que définies dans le règlement (UE) nº 1025/2012 du Parlement européen et du Conseil[1] devrait être un moyen pour les fournisseurs de démontrer la conformité aux exigences du présent règlement. Afin d’assurer l’efficacité des normes comme instrument politique pour l’Union et compte tenu de l’importance des normes pour assurer la conformité avec les exigences du présent règlement ainsi que pour la compétitivité des entreprises, il convient de garantir une représentation équilibrée des intérêts en associant toutes les parties prenantes concernées dans l’élaboration des normes.Le processus de normalisation devrait préciser clairement les personnes morales et physiques participant aux activités de normalisation.
__________________
__________________
54 Règlement (UE) nº 1025/2012 du Parlement européen et du Conseil du 25 octobre 2012 relatif à la normalisation européenne, modifiant les directives 89/686/CEE et 93/15/CEE du Conseil ainsi que les directives 94/9/CE, 94/25/CE, 95/16/CE, 97/23/CE, 98/34/CE, 2004/22/CE, 2007/23/CE, 2009/23/CE et 2009/105/CE du Parlement européen et du Conseil et abrogeant la décision 87/95/CEE du Conseil et la décision nº 1673/2006/CE du Parlement européen et du Conseil (JO L 316 du 14.11.2012, p. 12).
54 Règlement (UE) nº 1025/2012 du Parlement européen et du Conseil du 25 octobre 2012 relatif à la normalisation européenne, modifiant les directives 89/686/CEE et 93/15/CEE du Conseil ainsi que les directives 94/9/CE, 94/25/CE, 95/16/CE, 97/23/CE, 98/34/CE, 2004/22/CE, 2007/23/CE, 2009/23/CE et 2009/105/CE du Parlement européen et du Conseil et abrogeant la décision 87/95/CEE du Conseil et la décision nº 1673/2006/CE du Parlement européen et du Conseil (JO L 316 du 14.11.2012, p. 12).
Amendement 104 Proposition de règlement Considérant 61 bis (nouveau)
(61 bis) Afin de faciliter la conformité, les premières demandes de normalisation devraient être émises par la Commission au plus tard deux mois après l’entrée en vigueur du présent règlement. Cela devrait permettre d’améliorer la sécurité juridique, favorisant ainsi l’investissement et l’innovation dans l’IA, ainsi que la compétitivité et la croissance du marché de l’Union, tout en renforçant la gouvernance multipartite représentant toutes les parties prenantes européennes concernées, telles que le Bureau de l’IA, les organisations et organismes européens de normalisation ou les groupes d’experts établis en vertu du droit sectoriel pertinent de l’Union, ainsi que le secteur, les PME, les jeunes pousses, la société civile, les chercheurs et les partenaires sociaux, et, à terme, faciliter la coopération mondiale en matière de normalisation dans le domaine de l’IA d’une manière compatible avec les valeurs de l’Union. Lors de l’élaboration des demandes de normalisation, la Commission consulte le Bureau de l’IA et le forum consultatif afin de recueillir l’expertise pertinente;
Amendement 105 Proposition de règlement Considérant 61 ter (nouveau)
(61 ter) Lorsque les systèmes d’IA sont destinés à être utilisés sur le lieu de travail, les normes harmonisées devraient se limiter aux spécifications techniques et aux procédures.
Amendement 106 Proposition de règlement Considérant 61 quater (nouveau)
(61 quater) La Commission devrait être en mesure d’adopter des spécifications communes sous certaines conditions, lorsqu’il n’existe pas de norme harmonisée pertinente, ou de répondre à des préoccupations spécifiques en matière de droits fondamentaux. Tout au long du processus de rédaction, la Commission devrait consulter régulièrement le Bureau de l’IA et son forum consultatif, les organisations et organes européens de normalisation ou les groupes d’experts établis en vertu du droit sectoriel pertinent de l’Union, ainsi que les parties prenantes concernées, telles que le secteur, les PME, les jeunes pousses, la société civile, les chercheurs et les partenaires sociaux.
Amendement 107 Proposition de règlement Considérant 61 quinquies (nouveau)
(61 quinquies) Lorsqu’elle adopte des spécifications communes, la Commission devrait s’efforcer d’aligner la réglementation de l’IA sur celle de partenaires mondiaux partageant les mêmes valeurs, ce qui est essentiel pour encourager l’innovation et les partenariats transfrontières dans le domaine de l’IA, étant donné que la coordination avec des partenaires partageant les mêmes valeurs au sein des organismes internationaux de normalisation revêt une grande importance.
Amendement 108 Proposition de règlement Considérant 62
(62) Afin de garantir un niveau élevé de fiabilité des systèmes d’IA à haut risque, ces systèmes devraient être soumis à une évaluation de la conformité avant leur mise sur le marché ou leur mise en service.
(62) Afin de garantir un niveau élevé de fiabilité des systèmes d’IA à haut risque, ces systèmes devraient être soumis à une évaluation de la conformité avant leur mise sur le marché ou leur mise en service. Afin d’améliorer la confiance dans la chaîne de valeur et de rassurer les entreprises quant à l’efficacité de leurs systèmes, les tiers qui fournissent des composants d’IA peuvent se soumettre volontairement à une évaluation de la conformité réalisée par un tiers.
Amendement 109 Proposition de règlement Considérant 64
(64) Étant donné l’expérience plus étendue des organismes professionnels de certification avant mise sur le marché dans le domaine de la sécurité des produits et de la nature différente des risques encourus, il convient de limiter, au moins dans une phase initiale d’application du présent règlement, le champ d’application des évaluations de la conformité réalisées par un tiers aux systèmes d’IA à haut risque autres que ceux liés à des produits. Par conséquent, l’évaluation de la conformité de ces systèmes devrait en règle générale être réalisée par le fournisseur sous sa propre responsabilité, à la seule exception des systèmes d’IA destinés à être utilisés pour l’identification biométrique à distance de personnes, pour lesquels l’intervention d’un organisme notifié dans l’évaluation de la conformité devrait être prévue, pour autant qu’ils ne soient pas interdits.
(64) Compte tenu de la complexité des systèmes d’IA à haut risque et des risques qui y sont associés, il est essentiel de développer une capacité plus adéquate pour l’application de l’évaluation de la conformité par des tiers aux systèmes d’IA à haut risque. Toutefois, étant donné l’expérience actuelle des organismes professionnels de certification avant mise sur le marché dans le domaine de la sécurité des produits et de la nature différente des risques encourus, il convient de limiter, au moins dans une phase initiale d’application du présent règlement, le champ d’application des évaluations de la conformité réalisées par un tiers aux systèmes d’IA à haut risque autres que ceux liés à des produits. Par conséquent, l’évaluation de la conformité de ces systèmes devrait en règle générale être réalisée par le fournisseur sous sa propre responsabilité, à la seule exception des systèmes d’IA destinés à être utilisés pour l’identification biométrique à distance de personnes, ou de systèmes d’IA destinés à être utilisés pour effectuer des déductions sur les caractéristiques personnelles de personnes physiques sur la base de données biométriques ou fondées sur la biométrie, y compris les systèmes de reconnaissance des émotions, pour lesquels l’intervention d’un organisme notifié dans l’évaluation de la conformité devrait être prévue, pour autant qu’ils ne soient pas interdits.
Amendement 110 Proposition de règlement Considérant 65
(65) Afin de procéder à une évaluation de la conformité par un tiers des systèmes d’IA destinés à être utilisés pour l’identification biométrique à distance de personnes, les organismes notifiés devraient être désignés en vertu du présent règlement par les autorités nationales compétentes, sous réserve qu’ils soient conformes à un ensemble d’exigences portant notamment sur leur indépendance, leur compétence et l’absence de conflits d’intérêts.
(65) Afin de procéder à des évaluations de la conformité par des tiers lorsque cela est nécessaire, les organismes notifiés devraient être désignés en vertu du présent règlement par les autorités nationales compétentes, sous réserve qu’ils soient conformes à un ensemble d’exigences portant notamment sur leur indépendance, leur compétence, l’absence de conflits d’intérêts et les exigences minimales en matière de cybersécurité. Les États membres devraient encourager la nomination d’un nombre suffisant d’organismes d’évaluation de la conformité soit désigné, afin qu’il puisse être procédé à la certification en temps utile. Les procédures d’évaluation, de désignation, de notification et de surveillance des organismes d’évaluation de la conformité devraient être mises en œuvre de manière aussi uniforme que possible dans les États membres, en coopération entre les autorités notifiantes de tous les États membres et aboutissent à des procédures types mises en œuvre de manière uniforme dans tous les États membres, en vue de supprimer les obstacles administratifs aux frontières et d’assurer que le potentiel du marché intérieur est réalisé.
Amendement 111 Proposition de règlement Considérant 65 bis (nouveau)
(65 bis) Conformément aux engagements pris par l’Union en vertu de l’accord sur les obstacles techniques au commerce de l’Organisation mondiale du commerce, il convient de favoriser l’acceptation universelle des résultats des analyses réalisées par les organismes d’évaluation de la conformité, quel que soit leur lieu d’établissement, lorsque cela est nécessaire pour prouver le respect des exigences applicables du présent règlement. La Commission devrait étudier activement les instruments internationaux possibles à cette fin et, en particulier, chercher à établir des accords de reconnaissance mutuelle avec des pays dont le niveau de développement technique est comparable et qui ont une approche compatible en matière d’IA et d’évaluation de la conformité.
Amendement 112 Proposition de règlement Considérant 66
(66) Conformément à la notion communément établie de modification substantielle pour les produits réglementés par la législation d’harmonisation de l’Union, il convient que les systèmes d’IA fassent l’objet d’une nouvelle évaluation de la conformité chaque fois qu’ils subissent une modification susceptible d’avoir une incidence sur leur conformité avec le présent règlement ou que la destination du système change. En outre, pour les systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service (c’est-à-dire qui adaptent automatiquement la façon dont les fonctions sont exécutées), il est nécessaire de prévoir des règles établissant que les modifications de l’algorithme et de ses performances qui ont été prédéterminées par le fournisseur et évaluées au moment de l’évaluation de la conformité ne devraient pas constituer une modification substantielle.
(66) Conformément à la notion communément établie de modification substantielle pour les produits réglementés par la législation d’harmonisation de l’Union, il convient que les systèmes d’IA à haut risque fassent l’objet d’une nouvelle évaluation de la conformité chaque fois qu’ils subissent une modification imprévue qui dépasse la notion de modification contrôlée ou prédéterminée par le fournisseur, y compris l’apprentissage continu, et qui peut créer un nouveau risque inacceptable et avoir une incidence considérable sur conformité du système d’IA à haut risque avec le présent règlement ou que la destination du système change. En outre, pour les systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service (c’est-à-dire qui adaptent automatiquement la façon dont les fonctions sont exécutées), il est nécessaire de prévoir des règles établissant que les modifications de l’algorithme et de ses performances qui ont été prédéterminées par le fournisseur et évaluées au moment de l’évaluation de la conformité ne devraient pas constituer une modification substantielle. Il convient également d’appliquer cette approche en cas de mise à jour du système pour raisons générales de sécurité et pour parer à l’évolution des risques de manipulation du système, sous réserve que ces modifications ne constituent pas des modifications substantielles.
Amendement 113 Proposition de règlement Considérant 67
(67) Le marquage «CE» devrait être apposé sur les systèmes d’IA à haut risque pour indiquer leur conformité avec le présent règlement afin qu’ils puissent circuler librement dans le marché intérieur. Les États membres devraient s’abstenir de créer des entraves injustifiées à la mise sur le marché ou à la mise en service de systèmes d’IA à haut risque qui satisfont aux exigences fixées dans le présent règlement et portent le marquage «CE».
(67) Le marquage «CE» devrait être apposé sur les systèmes d’IA à haut risque pour indiquer leur conformité avec le présent règlement afin qu’ils puissent circuler librement dans le marché intérieur. Pour les systèmes d’IA physiques à haut risque, un marquage «CE» physique devrait être apposé et peut être complété par un marquage CE numérique. Pour les systèmes d’IA à haut risque exclusivement numériques, il convient d’utiliser un marquage «CE» numérique. Les États membres devraient s’abstenir de créer des entraves injustifiées à la mise sur le marché ou à la mise en service de systèmes d’IA à haut risque qui satisfont aux exigences fixées dans le présent règlement et portent le marquage «CE».
Amendement 114 Proposition de règlement Considérant 68
(68) Dans certaines conditions, la disponibilité rapide de technologies innovantes peut être cruciale pour la santé et la sécurité des personnes et pour la société dans son ensemble. Il convient donc que, pour des motifs exceptionnels liés à la sécurité publique, à la protection de la vie et de la santé des personnes physiques et à la protection de la propriété industrielle et commerciale, les États membres puissent autoriser la mise sur le marché ou la mise en service de systèmes d’IA qui n’ont pas fait l’objet d’une évaluation de la conformité.
(68) Dans certaines conditions, la disponibilité rapide de technologies innovantes peut être cruciale pour la santé et la sécurité des personnes, pour l’environnement et le changement climatique et pour la société dans son ensemble. Il convient donc que, pour des motifs exceptionnels liés à la protection de la vie et de la santé des personnes physiques, à la protection de l’environnement et à la protection des infrastructures critiques, les États membres puissent autoriser la mise sur le marché ou la mise en service de systèmes d’IA qui n’ont pas fait l’objet d’une évaluation de la conformité.
Amendement 115 Proposition de règlement Considérant 69
(69) Afin de faciliter les travaux de la Commission et des États membres dans le domaine de l’intelligence artificielle et d’accroître la transparence à l’égard du public, les fournisseurs de systèmes d’IA à haut risque autres que ceux liés à des produits relevant du champ d’application de la législation d’harmonisation existante de l’Union en la matière devraient être tenus d’enregistrer leur système d’IA à haut risque dans une base de données de l’UE, qui sera établie et gérée par la Commission. La Commission devrait faire fonction de responsable du traitement pour cette base de données, conformément au règlement (UE) 2018/1725 du Parlement européen et du Conseil55. Afin de garantir que la base de données soit pleinement opérationnelle une fois déployée, la procédure de création de la base de données devrait prévoir l’élaboration de spécifications fonctionnelles par la Commission et d’un rapport d’audit indépendant.
(69) Afin de faciliter les travaux de la Commission et des États membres dans le domaine de l’intelligence artificielle et d’accroître la transparence à l’égard du public, les fournisseurs de systèmes d’IA à haut risque autres que ceux liés à des produits relevant du champ d’application de la législation d’harmonisation existante de l’Union en la matière devraient être tenus d’enregistrer leur système d’IA à haut risque et leurs systèmes d’IA à finalité générale dans une base de données de l’UE, qui sera établie et gérée par la Commission. Cette base de données devrait être accessible librement et publiquement, facilement compréhensible et lisible par machine. La base de données devrait également être conviviale et facilement accessible, avec des fonctionnalités de recherche permettant au minimum au grand public de rechercher dans la base de données des systèmes à haut risque spécifiques, des lieux, des catégories de risque visées à l’annexe IV et des mots-clés. Les déployeurs qui sont des autorités publiques ou les institutions, organes, organismes et agences de l’Union ou les déployeurs agissant en leur nom ainsi que les déployeurs qui sont des entreprises désignées comme contrôleurs d’accès en vertu du règlement (UE) 2022/1925 devraient également s’enregistrer dans la base de données de l’Union avant la mise en service ou l’utilisation d’un système d’IA à haut risque. D’autres déployeurs devraient être autorisés à le faire volontairement. Toute modification substantielle de systèmes d’IA à haut risque est également enregistrée dans la base de données de l’Union. La Commission devrait faire fonction de responsable du traitement pour cette base de données, conformément au règlement (UE) 2018/1725 du Parlement européen et du Conseil55. Afin de garantir que la base de données soit pleinement opérationnelle une fois déployée, la procédure de création de la base de données devrait prévoir l’élaboration de spécifications fonctionnelles par la Commission et d’un rapport d’audit indépendant. La Commission devrait tenir compte des risques liés à la cybersécurité et aux dangers dans l’accomplissement de ses missions en tant que responsable du traitement des données dans la base de données de l’UE. La base de données, y compris les informations mises à disposition par son intermédiaire, devrait être conforme aux exigences prévues par la directive 2019/882, afin d’optimiser son accès et son utilisation par le public.
__________________
__________________
55 Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) (JO L 119 du 4.5.2016, p. 1).
55 Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) (JO L 119 du 4.5.2016, p. 1).
Amendement 116 Proposition de règlement Considérant 71
(71) L’intelligence artificielle est une famille de technologies en évolution rapide qui nécessite la mise en place de nouvelles formes de contrôle réglementaire et d’un espace sûr pour l’expérimentation, garantissant également une innovation responsable et l’intégration de garanties et de mesures d’atténuation des risques appropriées. Pour garantir un cadre juridique propice à l’innovation, à l’épreuve du temps et résilient face aux perturbations, les autorités nationales compétentes d’un ou de plusieurs États membres devraient être encouragées à mettre en place des bacs à sable réglementaires sur l’intelligence artificielle pour faciliter le développement et la mise à l’essai de systèmes d’IA innovants sous un contrôle réglementaire strict avant que ces systèmes ne soient mis sur le marché ou mis en service d’une autre manière.
(71) L’intelligence artificielle est une famille de technologies en évolution rapide qui nécessite la mise en place d’un contrôle réglementaire et d’un espace sûr et contrôlé pour l’expérimentation, garantissant également une innovation responsable et l’intégration de garanties et de mesures d’atténuation des risques appropriées. Pour garantir un cadre juridique favorable à l’innovation, à l’épreuve du temps et résilient face aux perturbations, les États membres devraient mettre en place au moins un bac à sable réglementaire sur l’intelligence artificielle pour faciliter le développement et la mise à l’essai de systèmes d’IA innovants sous un contrôle réglementaire strict avant que ces systèmes ne soient mis sur le marché ou mis en service d’une autre manière. Il est en effet souhaitable que la mise en place de bacs à sable réglementaires, actuellement laissée à la discrétion des États membres, soit rendue obligatoire au moyen de critères établis. Ce bac à sable obligatoire pourrait également être établi conjointement avec un ou plusieurs autres États membres, pour autant que ce bac à sable couvre le niveau national respectif des États membres concernés. Des bacs à sable supplémentaires peuvent également être mis en place à différents niveaux, y compris entre les États membres, afin de faciliter la coopération et les synergies transfrontières. À l’exception du bac à sable obligatoire au niveau national, les États membres devraient également pouvoir mettre en place des bacs à sable virtuels ou hybrides. Tous les bacs à sable réglementaires devraient pouvoir accueillir à la fois des produits physiques et des produits virtuels. Les autorités d’établissement devraient également veiller à ce que les bacs à sable réglementaires disposent des ressources financières et humaines nécessaires à leur fonctionnement.
Amendement 117 Proposition de règlement Considérant 72
(72) Les bacs à sable réglementaires devraient avoir pour objectif de favoriser l’innovation dans le domaine de l’IA en créant un environnement contrôlé d’expérimentation et d’essai au stade du développement et de la pré-commercialisation afin de garantir la conformité des systèmes d’IA innovants avec le présent règlement et d’autres législations pertinentes de l’Union et des États membres; de renforcer la sécurité juridique pour les innovateurs ainsi que le contrôle et la compréhension, par les autorités compétentes, des possibilités, des risques émergents et des conséquences de l’utilisation de l’IA; et d’accélérer l’accès aux marchés, notamment en supprimant les obstacles pour les petites et moyennes entreprises (PME) et les jeunes entreprises. Pour assurer une mise en œuvre uniforme dans toute l’Union et des économies d’échelle, il convient d’établir des règles communes pour la mise en place des bacs à sable réglementaires ainsi qu’un cadre de coopération entre les autorités compétentes intervenant dans la surveillance des bacs à sable. Le présent règlement devrait constituer la base juridique pour l’utilisation des données à caractère personnel collectées à d’autres fins pour le développement de certains systèmes d’IA d’intérêt public dans le cadre du bac à sable réglementaire sur l’IA, conformément à l’article 6, paragraphe 4, du règlement (UE) 2016/679 et à l’article 6 du règlement (UE) 2018/1725, et sans préjudice de l’article 4, paragraphe 2, de la directive (UE) 2016/680. Les participants au bac à sable réglementaire devraient fournir des garanties appropriées et coopérer avec les autorités compétentes, notamment en suivant leurs orientations et en agissant rapidement et de bonne foi pour atténuer tout risque important pour la sécurité et les droits fondamentaux susceptible de survenir au cours du développement et de l’expérimentation dans le bac à sable. La conduite des participants dans le cadre du bac à sable réglementaire devrait être prise en considération lorsque les autorités compétentes décident d’infliger ou non une amende administrative au titre de l’article 83, paragraphe 2, du règlement (UE) 2016/679 et de l’article 57 de la directive (UE) 2016/680.
(72) Les objectifs des bacs à sable réglementaires devraient être les suivants: que les autorités d’établissement améliorent leur compréhension des évolutions techniques, améliorent les méthodes de surveillance et fournissent des orientations aux développeurs et fournisseurs de systèmes d’IA afin qu’ils se conforment au présent règlement ou, le cas échéant, aux autres législations applicables de l’Union et des États membres, ainsi qu’avec la charte des droits fondamentaux; que les fournisseurs potentiels permettent et facilitent l’expérimentation et le développement de solutions innovantes liées aux systèmes d’IA au cours de la phase de précommercialisation afin de renforcer la sécurité juridique, permettre un meilleur apprentissage réglementaire en établissant des autorités dans un environnement contrôlé afin d’élaborer de meilleures orientations et de recenser d’éventuelles améliorations futures du cadre juridique au moyen de la procédure législative ordinaire. Tout risque significatif constaté lors du développement et des tests de ces systèmes devrait donner lieu à des mesures d’atténuation immédiates et, à défaut, à la suspension du processus de développement et d’essai jusqu’à ce que cette atténuation soit effective. Pour assurer une mise en œuvre uniforme dans toute l’Union et des économies d’échelle, il convient d’établir des règles communes pour la mise en place des bacs à sable réglementaires ainsi qu’un cadre de coopération entre les autorités compétentes intervenant dans la surveillance des bacs à sable. Les États membres devraient veiller à ce que les bacs à sable réglementaires soient largement disponibles dans l’ensemble de l’Union, tandis que la participation devrait rester volontaire. Il est particulièrement important de veiller à ce que les PME et les jeunes pousses puissent facilement accéder à ces bacs à sable, qu’elles jouent un rôle actif et qu’elles participent au développement et à la mise à l’essai de systèmes d’IA innovants, afin d’être en mesure d’apporter leur savoir-faire et leur expérience.
Amendement 118 Proposition de règlement Considérant 72 bis (nouveau)
(72 bis) Le présent règlement devrait constituer la base juridique pour l’utilisation des données à caractère personnel collectées à d’autres fins pour le développement de certains systèmes d’IA d’intérêt public dans le cadre du bac à sable réglementaire sur l’IA, uniquement dans des conditions spécifiques, conformément à l’article 6, paragraphe 4, du règlement (UE) 2016/679 et à l’article 6 du règlement (UE) 2018/1725, et sans préjudice de l’article 4, paragraphe 2, de la directive (UE) 2016/680. Les fournisseurs potentiels du bac à sable réglementaire devraient fournir des garanties appropriées et coopérer avec les autorités compétentes, notamment en suivant leurs orientations et en agissant rapidement et de bonne foi pour atténuer tout risque important pour la sécurité, la santé, l’environnement et les droits fondamentaux susceptible de survenir au cours du développement et de l’expérimentation dans le bac à sable. La conduite des fournisseurs potentiels du cadre du bac à sable réglementaire devrait être prise en considération lorsque les autorités compétentes décident de suspendre de manière temporaire ou permanente leur participation au bac à sable, ou d’infliger ou non une amende administrative au titre de l’article 83, paragraphe 2, du règlement (UE) 2016/679 et de l’article 57 de la directive (UE) 2016/680.
Amendement 119 Proposition de règlement Considérant 72 ter (nouveau)
(72 ter) Pour faire en sorte que l’intelligence artificielle aboutisse à des résultats bénéfiques sur les plans social et environnemental, les États membres devraient soutenir et promouvoir la recherche et le développement de l’IA à l’appui de résultats bénéfiques sur le plan social et environnemental en allouant des ressources suffisantes, y compris des financements publics et de l’Union, et en accordant un accès prioritaire aux bacs à sable réglementaires aux projets menés par la société civile. Ces projets devraient être fondés sur le principe d’une coopération interdisciplinaire entre les développeurs d’IA, les experts en matière d’inégalité et de non-discrimination, d’accessibilité, de droits des consommateurs, de droits environnementaux et numériques, ainsi que les universitaires.
Amendement 120 Proposition de règlement Considérant 73
(73) Afin de promouvoir et de protéger l’innovation, il est important que les intérêts des petits fournisseurs et utilisateurs de systèmes d’IA bénéficient d’une attention particulière. Pour atteindre cet objectif, les États membres devraient prendre des initiatives à l’intention de ces opérateurs, notamment en matière de sensibilisation et de communication d’informations. En outre, les intérêts et les besoins spécifiques des petits fournisseurs doivent être pris en considération lorsque les organismes notifiés fixent les redevances d’évaluation de la conformité. Les frais de traduction liés à la documentation obligatoire et à la communication avec les autorités peuvent constituer un coût important pour les fournisseurs et d’autres opérateurs, en particulier pour ceux de plus petite envergure. Les États membres devraient éventuellement veiller à ce qu’une des langues qu’ils choisissent et acceptent pour la documentation pertinente des fournisseurs et pour la communication avec les opérateurs soit une langue comprise par le plus grand nombre possible d’utilisateurs transfrontières.
(73) Afin de promouvoir et de protéger l’innovation, il est important que les intérêts des petits fournisseurs et utilisateurs de systèmes d’IA bénéficient d’une attention particulière. Pour atteindre cet objectif, les États membres devraient prendre des initiatives à l’intention de ces opérateurs, notamment en matière d’éducation à l’IA, de sensibilisation et de communication d’informations. Les États membres utilisent les canaux existants de communication et, le cas échéant, en établissent de nouveaux afin de fournir des orientations aux PME, jeunes entreprises, utilisateurs et autres innovateurs, et répondre à leurs questions concernant la mise en œuvre du présent règlement. Lesdits canaux pourraient comprendre, sans s’y limiter, les centres de réponse aux incidents de sécurité informatique de l’Agence de l’Union européenne pour la cybersécurité (ENISA), les agences nationales chargées de la protection des données, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et autres instruments pertinents financés par les programmes de l’Union, ainsi que les installations d’expérimentation et d’essai mis en place par la Commission et les États membres au niveau national ou de l’Union. Le cas échéant, ces canaux collaborent pour créer des synergies et assurer la cohérence des conseils donnés aux jeunes entreprises, aux PME et aux utilisateurs. En outre, les intérêts et les besoins spécifiques des petits fournisseurs doivent être pris en considération lorsque les organismes notifiés fixent les redevances d’évaluation de la conformité. La Commission évalue régulièrement les coûts de certification et de mise en conformité pour les PME et les jeunes entreprises, y compris par des consultations transparentes avec les PME, les jeunes entreprises et les utilisateurs, et collabore avec les États membres pour réduire ces coûts. Les frais de traduction liés à la documentation obligatoire et à la communication avec les autorités peuvent par exemple représenter un coût important pour les fournisseurs et d’autres opérateurs, en particulier pour ceux de plus petite envergure. Les États membres devraient éventuellement veiller à ce qu’une des langues qu’ils choisissent et acceptent pour la documentation pertinente des fournisseurs et pour la communication avec les opérateurs soit une langue comprise par le plus grand nombre possible d’utilisateurs transfrontières. Les entreprises qui sont récemment passées de la catégorie «petite» à «moyenne» au sens de l’annexe à la recommandation 2003/361/CE (article 16) ont accès à ces initiatives et orientations pendant la période qui sera jugée appropriée par les États membres, étant donné que ces nouvelles entreprises de taille moyenne peuvent parfois manquer des ressources juridiques et de la formation nécessaires pour garantir une bonne compréhension et le respect des dispositions.
Amendement 121 Proposition de règlement Considérant 74
(74) Afin de réduire au minimum les risques pour la mise en œuvre résultant du manque de connaissances et d’expertise sur le marché, ainsi que de faciliter la mise en conformité des fournisseurs et des organismes notifiés avec les obligations qui leur incombent au titre du présent règlement, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et les installations d’expérimentation et d’essai mis en place par la Commission et les États membres au niveau national ou de l’UE devraient éventuellement contribuer à la mise en œuvre du présent règlement. Dans le cadre de leurs missions et domaines de compétence respectifs, ils peuvent notamment apporter un soutien technique et scientifique aux fournisseurs et aux organismes notifiés.
(74) Afin de réduire au minimum les risques pour la mise en œuvre résultant du manque de connaissances et d’expertise sur le marché, ainsi que de faciliter la mise en conformité des fournisseurs et des organismes notifiés avec les obligations qui leur incombent au titre du présent règlement, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et les installations d’expérimentation et d’essai mis en place par la Commission et les États membres au niveau national ou de l’UE devraient éventuellement contribuer à la mise en œuvre du présent règlement. Dans le cadre de leurs missions et domaines de compétence respectifs, ils peuvent notamment apporter un soutien technique et scientifique aux fournisseurs et aux organismes notifiés.
Amendement 122 Proposition de règlement Considérant 76
(76) Afin de faciliter une mise en œuvre aisée, efficace et harmonisée du présent règlement, il convient de créer un Comité européen de l’intelligence artificielle. Le Comité devrait être chargé d’un certain nombre de tâches consultatives, parmi lesquelles la formulation d’avis, de recommandations, de conseils ou d’orientations sur des questions liées à la mise en œuvre du présent règlement, y compris sur les spécifications techniques ou les normes existantes concernant les exigences établies dans le présent règlement, et la fourniture de conseils et d’assistance à la Commission sur des questions spécifiques liées à l’intelligence artificielle.
(76) Afin d’éviter la fragmentation, d’assurer le fonctionnement optimal du marché unique, d’assurer une mise en œuvre efficace et harmonisée du présent règlement, d’atteindre un niveau élevé de fiabilité et de protection de la santé et de la sécurité, des droits fondamentaux, de l’environnement, de la démocratie et de l’état de droit dans l’ensemble de l’Union en ce qui concerne les systèmes d’IA, de soutenir activement les autorités nationales de surveillance, les institutions, organes et organismes de l’Union dans les domaines relevant du présent règlement et d’accroître l’adoption de l’intelligence artificielle dans l’ensemble de l’Union, il convient de créer un Bureau de l’Union européenne pour l’intelligence artificielle. Le Bureau de l’IA devrait être doté de la personnalité juridique, agir en toute indépendance, devrait être chargé d’un certain nombre de tâches consultatives, parmi lesquelles la formulation d’avis, de recommandations, de conseils ou d’orientations sur des questions liées à la mise en œuvre du présent règlement, et devrait bénéficier d’un financement et d’un personnel suffisants. Les États membres doivent assurer la direction stratégique et le contrôle du Bureau de l’IA par l’intermédiaire du conseil d’administration du Bureau de l’IA, aux côtés de la Commission, du CEPD, de la FRA et de l’ENISA. Un directeur exécutif devrait être responsable de la gestion des activités du secrétariat du Bureau de l’IA et de la représentation du Bureau de l’IA. Les parties prenantes devraient participer officiellement aux travaux du Bureau de l’IA par l’intermédiaire d’un forum consultatif qui devrait garantir une représentation variée et équilibrée des parties prenantes et conseiller le Bureau de l’IA sur les questions relatives au présent règlement. Si la création du Bureau de l’IA s’avère insuffisante pour garantir une application pleinement cohérente du présent règlement au niveau de l’Union ainsi que des mesures d’exécution transfrontières efficaces, la création d’une agence de l’IA devrait être envisagée.
Amendement 123 Proposition de règlement Considérant 77
(77) Les États membres jouent un rôle clé dans l’application et le contrôle du respect du présent règlement. À cet égard, chaque État membre devrait désigner une ou plusieurs autorités nationales compétentes chargées de contrôler l’application et la mise en œuvre du présent règlement. Afin d’accroître l’efficacité de l’organisation du côté des États membres et de définir un point de contact officiel avec le public et les homologues au niveau des États membres et de l’Union, chaque État membre devrait désigner une autorité nationale unique en tant qu’autorité de contrôle nationale.
(77) À cet égard, chaque État membre devrait désigner une ou plusieurs autorités nationales de surveillance chargées de contrôler l’application et la mise en œuvre du présent règlement. Elle devrait également représenter son État membre au sein du conseil d’administration du Bureau de l’IA. Afin d’accroître l’efficacité de l’organisation du côté des États membres et de définir un point de contact officiel avec le public et les homologues au niveau des États membres et de l’Union. Chaque autorité de contrôle nationale devrait agir en toute indépendance dans l’accomplissement de ses tâches et l’exercice de ses pouvoirs conformément au présent règlement.
Amendement 124 Proposition de règlement Considérant 77 bis (nouveau)
(77 bis) Il y a lieu que les autorités nationales de contrôle surveillent l’application des dispositions en vertu du présent règlement et contribuent à ce que son application soit cohérente dans l’ensemble de l’Union. À cette fin, les autorités nationales de surveillance devraient coopérer entre elles, avec les autorités nationales compétentes concernées, avec la Commission et avec le Bureau de l’IA.
Amendement 125 Proposition de règlement Considérant 77 ter (nouveau)
(77 ter) Le membre ou le personnel de chaque autorité nationale de surveillance devrait, conformément au droit de l’Union ou au droit national, être soumis au secret professionnel pendant et après son mandat, à l’égard de toute information confidentielle dont il a eu connaissance dans l’exercice de ses fonctions ou de ses pouvoirs. Pendant la durée de leur mandat, ce secret professionnel devrait s’appliquer en particulier au secret des affaires et au signalement par des personnes physiques de violations du présent règlement.
Amendement 126 Proposition de règlement Considérant 78
(78) Afin de garantir que les fournisseurs de systèmes d’IA à haut risque puissent prendre en considération l’expérience acquise dans l’utilisation de systèmes d’IA à haut risque pour améliorer leurs systèmes et le processus de conception et de développement, ou qu’ils puissent prendre d’éventuelles mesures correctives en temps utile, tous les fournisseurs devraient avoir mis en place un système de surveillance après commercialisation. Ce système est aussi essentiel pour garantir que les risques potentiels découlant des systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service puissent être traités plus efficacement et en temps utile. Dans ce contexte, les fournisseurs devraient également être tenus de mettre en place un système pour signaler aux autorités compétentes tout incident grave ou toute violation du droit national ou de l’Union en matière de droits fondamentaux résultant de l’utilisation de leurs systèmes d’IA.
(78) Afin de garantir que les fournisseurs de systèmes d’IA à haut risque puissent prendre en considération l’expérience acquise dans l’utilisation de systèmes d’IA à haut risque pour améliorer leurs systèmes et le processus de conception et de développement, ou qu’ils puissent prendre d’éventuelles mesures correctives en temps utile, tous les fournisseurs devraient avoir mis en place un système de surveillance après commercialisation. Ce système est aussi essentiel pour garantir que les risques potentiels découlant des systèmes d’IA qui continuent à «apprendre» ou à évoluer après avoir été mis sur le marché ou mis en service puissent être traités plus efficacement et en temps utile. Dans ce contexte, les fournisseurs devraient également être tenus de mettre en place un système pour signaler aux autorités compétentes tout incident grave ou toute violation du droit national ou de l’Union, y compris en matière de droits fondamentaux et des consommateurs résultant de l’utilisation de leurs systèmes d’IA et prendre les mesures correctives appropriées. Les déployeurs devraient également signaler aux autorités compétentes, tout incident grave ou toute violation du droit national ou de l’Union résultant de l’utilisation de leurs systèmes d’IA dès qu’ils ont connaissance de l’incident ou de la violation.
Amendement 127 Proposition de règlement Considérant 79
(79) Afin de garantir un contrôle approprié et efficace du respect des exigences et obligations énoncées par le présent règlement, qui fait partie de la législation d’harmonisation de l’Union, le système de surveillance du marché et de mise en conformité des produits établi par le règlement (UE) 2019/1020 devrait s’appliquer dans son intégralité. Lorsque cela est nécessaire à leur mandat, les autorités ou organismes publics nationaux qui contrôlent l’application du droit de l’Union en matière de droits fondamentaux, y compris les organismes de promotion de l’égalité, devraient aussi avoir accès à toute documentation créée au titre du présent règlement.
(79) Afin de garantir un contrôle approprié et efficace du respect des exigences et obligations énoncées par le présent règlement, qui fait partie de la législation d’harmonisation de l’Union, le système de surveillance du marché et de mise en conformité des produits établi par le règlement (UE) 2019/1020 devrait s’appliquer dans son intégralité. Aux fins du présent règlement, les autorités nationales de surveillance devraient agir en tant qu’autorités de surveillance du marché pour les systèmes d’IA couverts par le présent règlement, à l’exception des systèmes d’IA couverts par l’annexe II du présent règlement. Pour les systèmes d’IA couverts par les actes juridiques énumérés à l’annexe II, les autorités compétentes au titre de ces actes juridiques devraient rester l’autorité chef de file. Les autorités nationales de surveillance et les autorités compétentes dans les actes juridiques énumérés à l’annexe II devraient collaborer chaque fois que cela est nécessaire. Le cas échéant, les autorités compétentes visées par les actes juridiques énumérés à l’annexe II devraient envoyer du personnel compétent à l’autorité nationale de surveillance afin de l’assister dans l’accomplissement de ses tâches. Aux fins du présent règlement, les autorités nationales de surveillance devraient avoir les mêmes pouvoirs et obligations que les autorités de surveillance du marché en vertu du règlement (UE) 2019/1020. Lorsque cela est nécessaire à leur mandat, les autorités ou organismes publics nationaux qui contrôlent l’application du droit de l’Union en matière de droits fondamentaux, y compris les organismes de promotion de l’égalité, devraient aussi avoir accès à toute documentation créée au titre du présent règlement. Après avoir épuisé tous les autres moyens raisonnables d’évaluer/de vérifier la conformité et sur demande motivée, l’autorité de surveillance nationale devrait se voir accorder l’accès aux ensembles de données d’entraînement, de validation et de test, au modèle de formation et d’entraînement du système d’IA à haut risque, y compris les paramètres pertinents de son modèle et leur environnement d’exécution/de fonctionnement. Dans le cas de systèmes logiciels plus simples relevant du présent règlement qui ne reposent pas sur des modèles formés, et lorsque tous les autres moyens de vérifier la conformité ont été épuisés, l’autorité de surveillance nationale peut, à titre exceptionnel, avoir accès au code source, sur demande motivée. Lorsque l’autorité de surveillance nationale s’est vu accorder l’accès aux ensembles de données de formation, de validation et de test conformément au présent règlement, cet accès devrait être assuré par des moyens et des outils techniques appropriés, y compris un accès sur place et, dans des circonstances exceptionnelles, un accès à distance. L’autorité de contrôle nationale devrait traiter toutes les informations, y compris le code source, les logiciels et les données, le cas échéant, obtenues comme des informations confidentielles et respecter le droit de l’Union applicable en matière de protection de la propriété intellectuelle et des secrets d’affaires. L’autorité de contrôle nationale devrait supprimer toute information obtenue à l’issue de l’enquête.
Amendement 128 Proposition de règlement Considérant 80
(80) La législation de l’Union sur les services financiers comprend des règles et des exigences en matière de gouvernance interne et de gestion des risques qui sont applicables aux établissements financiers réglementés dans le cadre de la fourniture de ces services, y compris lorsqu’ils font usage de systèmes d’IA. Afin d’assurer l’application et la mise en œuvre cohérentes des obligations découlant du présent règlement et des règles et exigences pertinentes de la législation de l’Union sur les services financiers, les autorités chargées de la surveillance et du contrôle de l’application de la législation sur les services financiers, y compris, le cas échéant, la Banque centrale européenne, devraient être désignées comme les autorités compétentes aux fins de la surveillance de la mise en œuvre du présent règlement, y compris pour les activités de surveillance du marché, en ce qui concerne les systèmes d’IA fournis ou utilisés par des établissements financiers réglementés et surveillés. Pour renforcer encore la cohérence entre le présent règlement et les règles applicables aux établissements de crédit régis par la directive 2013/36/UE du Parlement européen et du Conseil56, il convient aussi d’intégrer la procédure d’évaluation de la conformité et certaines des obligations procédurales des fournisseurs en ce qui concerne la gestion des risques, la surveillance après commercialisation et la documentation dans les obligations et procédures existantes au titre de la directive 2013/36/UE. Afin d’éviter les chevauchements, des dérogations limitées devraient aussi être envisagées en ce qui concerne le système de gestion de la qualité des fournisseurs et l’obligation de suivi imposée aux utilisateurs de systèmes d’IA à haut risque dans la mesure où les dispositions y afférentes s’appliquent aux établissements de crédit régis par la directive 2013/36/UE.
(80) Le droit de l’Union sur les services financiers comprend des règles et des exigences en matière de gouvernance interne et de gestion des risques qui sont applicables aux établissements financiers réglementés dans le cadre de la fourniture de ces services, y compris lorsqu’ils font usage de systèmes d’IA. Afin d’assurer l’application et la mise en œuvre cohérentes des obligations découlant du présent règlement et des règles et exigences pertinentes de la législation de l’Union sur les services financiers, les autorités compétentes chargées de la surveillance et du contrôle de l’application de la législation sur les services financiers, y compris, le cas échéant, la Banque centrale européenne, devraient être désignées comme les autorités compétentes aux fins de la surveillance de la mise en œuvre du présent règlement, y compris pour les activités de surveillance du marché, en ce qui concerne les systèmes d’IA fournis ou utilisés par des établissements financiers réglementés et surveillés. Pour renforcer encore la cohérence entre le présent règlement et les règles applicables aux établissements de crédit régis par la directive 2013/36/UE du Parlement européen et du Conseil56, il convient aussi d’intégrer la procédure d’évaluation de la conformité et certaines des obligations procédurales des fournisseurs en ce qui concerne la gestion des risques, la surveillance après commercialisation et la documentation dans les obligations et procédures existantes au titre de la directive 2013/36/UE. Afin d’éviter les chevauchements, des dérogations limitées devraient aussi être envisagées en ce qui concerne le système de gestion de la qualité des fournisseurs et l’obligation de suivi imposée aux déployeurs de systèmes d’IA à haut risque dans la mesure où les dispositions y afférentes s’appliquent aux établissements de crédit régis par la directive 2013/36/UE.
__________________
__________________
56 Directive 2013/36/UE du Parlement européen et du Conseil du 26 juin 2013 concernant l’accès à l’activité des établissements de crédit et la surveillance prudentielle des établissements de crédit et des entreprises d’investissement, modifiant la directive 2002/87/CE et abrogeant les directives 2006/48/CE et 2006/49/CE (JO L 176 du 27.6.2013, p. 338).
56 Directive 2013/36/UE du Parlement européen et du Conseil du 26 juin 2013 concernant l’accès à l’activité des établissements de crédit et la surveillance prudentielle des établissements de crédit et des entreprises d’investissement, modifiant la directive 2002/87/CE et abrogeant les directives 2006/48/CE et 2006/49/CE (JO L 176 du 27.6.2013, p. 338).
Amendement 129 Proposition de règlement Considérant 80 bis (nouveau)
(80 bis) Compte tenu des objectifs du présent règlement, à savoir assurer un niveau équivalent de protection de la santé, de la sécurité et des droits fondamentaux des personnes physiques, assurer la protection de l’état de droit et de la démocratie, et compte tenu du fait que l’atténuation des risques liés aux systèmes d’IA contre ces droits peut ne pas être réalisée de manière suffisante au niveau national ou faire l’objet d’interprétations divergentes qui pourraient, en fin de compte, conduire à un niveau inégal de protection des personnes physiques et entraîner une fragmentation du marché, les autorités nationales de surveillance devraient être habilitées à mener des enquêtes conjointes ou à s’appuyer sur la procédure de sauvegarde de l’Union prévue par le présent règlement aux fins d’une application efficace. Des enquêtes communes devraient être ouvertes lorsque l’autorité de contrôle nationale a des raisons suffisantes de croire qu’une infraction au présent règlement constitue une infraction de grande ampleur ou une infraction de grande ampleur à l’échelle de l’Union, ou lorsque le système d’IA ou le système d’IA à finalité générale présente un risque qui affecte ou est susceptible de toucher au moins 45 millions de personnes dans plus d’un État membre.
Amendement 130 Proposition de règlement Considérant 82
(82) Il est important que les systèmes d’IA liés à des produits qui ne sont pas à haut risque au titre du présent règlement et qui ne sont donc pas tenus d’être conformes aux exigences y afférentes soient néanmoins sûrs lorsqu’ils sont mis sur le marché ou mis en service. Pour contribuer à cet objectif, l’application de la directive 2001/95/CE du Parlement européen et du Conseil57 constituerait un filet de sécurité.
(82) Il est important que les systèmes d’IA liés à des produits qui ne sont pas à haut risque au titre du présent règlement et qui ne sont donc pas tenus d’être conformes aux exigences définies pour les systèmes d’IA à haut risque soient néanmoins sûrs lorsqu’ils sont mis sur le marché ou mis en service. Pour contribuer à cet objectif, l’application de la directive 2001/95/CE du Parlement européen et du Conseil57 constituerait un filet de sécurité.
__________________
__________________
57 Directive 2001/95/CE du Parlement européen et du Conseil du 3 décembre 2001 relative à la sécurité générale des produits (JO L 11 du 15.1.2002, p. 4).
57 Directive 2001/95/CE du Parlement européen et du Conseil du 3 décembre 2001 relative à la sécurité générale des produits (JO L 11 du 15.1.2002, p. 4).
Amendement 131 Proposition de règlement Considérant 83
(83) Afin d’assurer une coopération constructive et en toute confiance entre les autorités compétentes au niveau de l’Union et au niveau national, toutes les parties intervenant dans l’application du présent règlement devraient respecter la confidentialité des informations et des données obtenues dans le cadre de l’exécution de leurs tâches.
(83) Afin d’assurer une coopération constructive et en toute confiance entre les autorités compétentes au niveau de l’Union et au niveau national, toutes les parties intervenant dans l’application du présent règlement devraient viser la transparence et l’ouverture tout en respectant la confidentialité des informations et des données obtenues dans le cadre de l’exécution de leurs tâches en mettant en place des mesures techniques et organisationnelles visant à protéger la sécurité et la confidentialité des informations obtenues dans l’exécution de leurs activités, notamment en ce qui concerne les droits de propriété intellectuelle et les intérêts en matière de sécurité nationale et publique.Lorsque les activités de la Commission, des autorités nationales compétentes et des organismes notifiés en vertu du présent règlement entraînent une violation des droits de propriété intellectuelle, les États membres devraient prévoir des mesures et recours appropriés pour garantir le respect des droits de propriété intellectuelle en application de la directive 2004/48/CE.
Amendement 132 Proposition de règlement Considérant 84
(84) Les États membres devraient prendre toutes les mesures nécessaires pour que les dispositions du présent règlement soient mises en œuvre et, notamment, prévoir des sanctions effectives, proportionnées et dissuasives en cas de violation de ces dispositions. Pour certaines infractions spécifiques, les États membres devraient tenir compte des marges et des critères définis dans le présent règlement. Le Contrôleur européen de la protection des données devrait avoir le pouvoir d’infliger des amendes aux institutions, agences et organes de l’Union relevant du présent règlement.
(84) L’autorité de contrôle nationale devrait pouvoir assurer le respect des dispositions du présent règlement en infligeant des amendes dans le cadre de poursuites engagées conformément à la procédure énoncée dans le présent règlement. Les États membres devraient prendre toutes les mesures nécessaires pour que les dispositions du présent règlement soient mises en œuvre et, notamment, prévoir des sanctions effectives, proportionnées et dissuasives en cas de violation de ces dispositions. Afin de renforcer et d’harmoniser les sanctions administratives applicables en cas de violation du présent règlement, il convient d’établir le montant maximal pour la fixation des amendes administratives pour certaines infractions spécifiques. Pour évaluer le montant des amendes, les autorités nationales compétentes devraient, dans chaque cas d’espèce, tenir compte de toutes les caractéristiques propres à chaque cas, en prenant notamment en considération la nature, la gravité et la durée de l’infraction et ses conséquences, ainsi que la taille du fournisseur, en particulier s’il s’agit d’une PME ou d’une jeune entreprise. Le Contrôleur européen de la protection des données devrait avoir le pouvoir d’infliger des amendes aux institutions, agences et organes de l’Union relevant du présent règlement. Les sanctions et frais de contentieux visés par le présent règlement ne devraient pas faire l’objet de clauses contractuelles ou d’autres arrangements.
Amendement 133 Proposition de règlement Considérant 84 bis (nouveau)
(84 bis) Étant donné que les droits et libertés des personnes physiques et morales et des groupes de personnes physiques peuvent être gravement compromis par les systèmes d’IA, il est essentiel que les personnes physiques et morales ou les groupes de personnes physiques aient un accès significatif aux mécanismes de signalement et puissent disposer de recours proportionnés et effectifs. Ils devraient pouvoir signaler les violations du présent règlement à leur autorité de contrôle nationale et avoir le droit d’introduire une réclamation contre les fournisseurs ou les déployeurs de systèmes d’IA. Le cas échéant, les déployeurs devraient mettre en place des mécanismes de plainte internes à l’usage des personnes physiques et morales ou des groupes de personnes physiques. Sans préjudice de tout autre recours administratif ou extrajudiciaire, les personnes physiques et morales et les groupes de personnes physiques devraient également avoir le droit de former un recours juridictionnel effectif contre une décision juridiquement contraignante d’une autorité de contrôle nationale les concernant, ou lorsque l’autorité de contrôle nationale ne traite pas une réclamation, n’informe pas le plaignant de l’évolution ou de l’issue préliminaire de la réclamation introduite ou ne respecte pas son obligation de prendre une décision définitive sur la réclamation.
Amendement 134 Proposition de règlement Considérant 84 ter (nouveau)
(84 ter) Les personnes concernées devraient toujours être informées qu’elles font l’objet de l’utilisation d’un système d’IA à haut risque, lorsque les déployeurs utilisent un système d’IA à haut risque pour aider à la prise de décision ou prendre des décisions concernant des personnes physiques. Ces informations peuvent servir de base aux personnes concernées afin d’exercer leur droit à une explication en vertu du présent règlement. Lorsque les déployeurs fournissent une explication aux personnes concernées en vertu du présent règlement, ils devraient tenir compte du niveau d’expertise et de connaissances du consommateur moyen ou de l’individu.
Amendement 135 Proposition de règlement Considérant 84 quater (nouveau)
(84 quater) Le droit de l’Union sur la protection des lanceurs d’alerte [directive (UE) 2019/1937] s’applique pleinement aux universitaires, concepteurs, développeurs, contributeurs de projet, auditeurs, chefs de produit, ingénieurs et opérateurs économiques qui acquièrent des informations sur des violations du droit de l’Union par un fournisseur de système d’IA ou son système d’IA.
Amendement 136 Proposition de règlement Considérant 85
(85) Afin de garantir que le cadre réglementaire puisse être adapté si nécessaire, le pouvoir d’adopter des actes conformément à l’article 290 du TFUE devrait être délégué à la Commission pour lui permettre de modifier les techniques et les approches visées à l’annexe I pour définir les systèmes d’IA, les actes législatifs d’harmonisation de l’Union énumérés à l’annexe II, les systèmes d’IA à haut risque énumérés à l’annexe III, les dispositions relatives à la documentation technique énumérées à l’annexe IV, le contenu de la déclaration «UE» de conformité à l’annexe V, les dispositions relatives aux procédures d’évaluation de la conformité des annexes VI et VII et les dispositions établissant les systèmes d’IA à haut risque auxquels devrait s’appliquer la procédure d’évaluation de la conformité fondée sur l’évaluation du système de gestion de la qualité et l’évaluation de la documentation technique. Il importe particulièrement que la Commission procède aux consultations appropriées durant son travail préparatoire, y compris au niveau des experts, et que ces consultations soient menées conformément aux principes définis dans l’accord interinstitutionnel du 13 avril 2016 «Mieux légiférer»58. En particulier, afin d’assurer une participation égale à la préparation des actes délégués, le Parlement européen et le Conseil reçoivent tous les documents en même temps que les experts des États membres, et leurs experts ont systématiquement accès aux réunions des groupes d’experts de la Commission participant à la préparation des actes délégués.
(85) Afin de garantir que le cadre réglementaire puisse être adapté si nécessaire, le pouvoir d’adopter des actes conformément à l’article 290 du TFUE devrait être délégué à la Commission pour lui permettre de modifier les actes législatifs d’harmonisation de l’Union énumérés à l’annexe II, les systèmes d’IA à haut risque énumérés à l’annexe III, les dispositions relatives à la documentation technique énumérées à l’annexe IV, le contenu de la déclaration «UE» de conformité à l’annexe V, les dispositions relatives aux procédures d’évaluation de la conformité des annexes VI et VII et les dispositions établissant les systèmes d’IA à haut risque auxquels devrait s’appliquer la procédure d’évaluation de la conformité fondée sur l’évaluation du système de gestion de la qualité et l’évaluation de la documentation technique. Il importe particulièrement que la Commission procède aux consultations appropriées durant son travail préparatoire, y compris au niveau des experts, et que ces consultations soient menées conformément aux principes définis dans l’accord interinstitutionnel du 13 avril 2016 «Mieux légiférer»58. Ces consultations devraient inclure une sélection équilibrée de parties prenantes, notamment des organisations de consommateurs, de la société civile, des associations représentant les personnes concernées, des représentants d’entreprises issues de divers secteurs et de tailles différentes, ainsi que des chercheurs et des scientifiques. En particulier, afin d’assurer une participation égale à la préparation des actes délégués, le Parlement européen et le Conseil reçoivent tous les documents en même temps que les experts des États membres, et leurs experts ont systématiquement accès aux réunions des groupes d’experts de la Commission participant à la préparation des actes délégués.
__________________
__________________
58 JO L 123 du 12.5.2016, p. 1.
58 JO L 123 du 12.5.2016, p. 1.
Amendement 137 Proposition de règlement Considérant 85 bis (nouveau)
(85 bis) Compte tenu de la rapidité des évolutions technologiques et de l’expertise technique requise pour l’évaluation des systèmes d’IA à haut risque, la Commission devrait réexaminer régulièrement, au moins une fois par an, la mise en œuvre du présent règlement, en particulier les systèmes d’IA interdits, les obligations en matière de transparence et la liste des domaines à haut risque et des cas d’utilisation, tout en consultant le bureau de l’IA et les parties prenantes concernées.
Amendement 138 Proposition de règlement Considérant 87 bis (nouveau)
(87 bis) Les informations fiables sur l’utilisation des ressources et de l’énergie, la production de déchets et les autres incidences environnementales des systèmes d’IA et des technologies de l’information et de la communication (TIC) connexes, y compris les logiciels, le matériel et, en particulier, les centres de données, étant limitées, la Commission devrait intégrer une méthodologie appropriée afin de mesurer l’impact environnemental et l’efficacité du présent règlement compte tenu des objectifs environnementaux et climatiques de l’Union.
Amendement 139 Proposition de règlement Considérant 89
(89) Le Contrôleur européen de la protection des données et le comité européen de la protection des données ont été consultés conformément à l’article 42, paragraphe 2, du règlement (UE) 2018/1725 et ont rendu un avis le [...],
(89) Le Contrôleur européen de la protection des données et le comité européen de la protection des données ont été consultés conformément à l’article 42, paragraphe 2, du règlement (UE) 2018/1725 et ont rendu un avis le 18 juin 2021.
1. L’objectif du présent règlement est de promouvoir l’adoption de l’intelligence artificielle axée sur le facteur humain et digne de confiance et de garantir un niveau élevé de protection de la santé, de la sécurité, des droits fondamentaux, de la démocratie et de l’état de droit, ainsi que de l’environnement contre les effets néfastes des systèmes d’intelligence artificielle dans l’Union, tout en soutenant l’innovation.
Amendement 141 Proposition de règlement Article 1 – alinéa 1 – point d
d) des règles harmonisées en matière de transparence applicables aux systèmes d’IA destinés à interagir avec des personnes physiques, aux systèmes de reconnaissance des émotions et de catégorisation biométrique, et aux systèmes d’IA utilisés pour générer ou manipuler des images ou des contenus audio ou vidéo;
d) des règles harmonisées en matière de transparence applicables à certains systèmes d’IA;
Amendement 142 Proposition de règlement Article 1 – alinéa 1 – point e
e) des règles relatives au suivi et à la surveillance du marché.
e) des règles relatives au suivi du marché, à la surveillance du marché, à la gouvernance et à l’application des règles;
Amendement 143 Proposition de règlement Article 1 – alinéa 1 – point e bis (nouveau)
e bis) des mesures afin de soutenir l’innovation, avec un accent particulier mis sur les PME et les jeunes entreprises, notamment en vue de la mise en place de bacs à sable réglementaires et de mesures ciblées visant à réduire la charge réglementaire pesant sur les PME et les jeunes entreprises;
Amendement 144 Proposition de règlement Article 1 – alinéa 1 – point e ter (nouveau)
e ter) des règles relatives à la création et au fonctionnement du Bureau de l’intelligence artificielle de l’Union (Bureau de l’IA).
Amendement 145 Proposition de règlement Article 2 – paragraphe 1 – point b
b) aux utilisateurs de systèmes d’IA situés dans l’Union;
b) aux déployeurs de systèmes d’IA qui ont leur lieu d’établissement ou qui sont situés dans l’Union;
Amendement 146 Proposition de règlement Article 2 – paragraphe 1 – point c
c) aux fournisseurs et aux utilisateurs de systèmes d’IA situés dans un pays tiers, lorsque les résultats générés par le système sont utilisés dans l’Union.
c) aux fournisseurs et aux déployeurs de systèmes d’IA qui ont leur lieu d’établissement ou qui sont situés dans un pays tiers, lorsque le droit d’un État membre s’applique en vertu d’un droit international public ou que les résultats générés par le système sont destinés à être utilisés dans l’Union;
Amendement 147 Proposition de règlement Article 2 – paragraphe 1 – point c bis (nouveau)
c bis) aux fournisseurs qui mettent sur le marché ou mettent en service des systèmes d’IA visés à l’article 5 en dehors de l’Union, lorsque le fournisseur ou le distributeur de ces systèmes se situe dans l’Union;
Amendement 148 Proposition de règlement Article 2 – paragraphe 1 – point c ter (nouveau)
c ter) aux importateurs et aux distributeurs de systèmes d’IA, ainsi qu’aux mandataires des fournisseurs de systèmes d’IA, lorsque ces importateurs, distributeurs ou mandataires ont leur établissement ou sont situés dans l’Union;
Amendement 149 Proposition de règlement Article 2 – paragraphe 1 – point c quater (nouveau)
c quater) aux personnes concernées au sens de l’article 3, paragraphe 8 bis, qui sont situées dans l’Union et dont la santé, la sécurité ou les droits fondamentaux subissent une incidence négative due à l’utilisation d’un système d’IA qui est mis sur le marché ou mis en service dans l’Union.
Amendement 150 Proposition de règlement Article 2 – paragraphe 2 – partie introductive
2. Seul l’article 84 du présent règlement s’applique aux systèmes d’IA à haut risque qui sont des composants de sécurité de produits ou de systèmes ou qui constituent eux-mêmes des produits ou des systèmes et qui relèvent du champ d’application des actes suivants:
2. Seul l’article 84 du présent règlement s’applique aux systèmes d’IA à haut risque qui sont des composants de sécurité de produits ou de systèmes ou qui constituent eux-mêmes des produits ou des systèmes et qui relèvent du champ d’application de la législation d’harmonisation énumérée à l’annexe II – Section B;
Amendement 151 Proposition de règlement Article 2 – paragraphe 2 – point a
a) règlement (CE) nº 300/2008;
supprimé
Amendement 152 Proposition de règlement Article 2 – paragraphe 2 – point b
b) règlement (UE) nº 167/2013;
supprimé
Amendement 153 Proposition de règlement Article 2 – paragraphe 2 – point c
c) règlement (UE) nº 168/2013;
supprimé
Amendement 154 Proposition de règlement Article 2 – paragraphe 2 – point d
d) directive 2014/90/UE;
supprimé
Amendement 155 Proposition de règlement Article 2 – paragraphe 2 – point e
e) directive (UE) 2016/797;
supprimé
Amendement 156 Proposition de règlement Article 2– paragraphe 2 – point f
f) règlement (UE) 2018/858;
supprimé
Amendement 157 Proposition de règlement Article 2 – paragraphe 2 – point g
g) règlement (UE) 2018/1139;
supprimé
Amendement 158 Proposition de règlement Article 2 – paragraphe 2 – point h
h) règlement (UE) 2019/2144.
supprimé
Amendement 159 Proposition de règlement Article 2 – paragraphe 4
4. Le présent règlement ne s’applique pas aux autorités publiques d’un pays tiers ni aux organisations internationales relevant du champ d’application du présent règlement en vertu du paragraphe 1, lorsque ces autorités ou organisations utilisent des systèmes d’IA dans le cadre d’accords internationaux de coopération des services répressifs et judiciaires avec l’Union ou avec un ou plusieurs États membres.
4. Le présent règlement ne s’applique pas aux autorités publiques d’un pays tiers ni aux organisations internationales relevant du champ d’application du présent règlement en vertu du paragraphe 1, lorsque ces autorités ou organisations utilisent des systèmes d’IA dans le cadre de la coopération ou d’accords internationaux de coopération des services répressifs et judiciaires avec l’Union ou avec un ou plusieurs États membres et font l’objet d’une décision de la Commission adoptée conformément à l’article 36 de la directive (UE)2016/680 ou à l’article 45 du règlement 2016/679 («décision d’adéquation») ou font partie d’un accord international conclu entre l’Union et le pays tiers ou l’organisation internationale concerné(e), en vertu de l’article 218 du TFUE, offrant des garanties appropriées au regard de la protection de la vie privée et des libertés et droits fondamentaux des personnes;
Amendement 160 Proposition de règlement Article 2 – paragraphe 5 bis (nouveau)
5 bis. Le droit de l’Union en matière de protection des données à caractère personnel, de respect de la vie privée et de confidentialité des communications s’applique au traitement des données à caractère personnel relatives aux droits et obligations énoncés dans le présent règlement. Le présent règlement n’a pas d’incidence sur les règlements (UE) 2016/679 et (UE) 2018/1725 et les directives 2002/58/CE et (UE) 2016/680, sans préjudice des dispositions prévues à l’article 10, paragraphe 5, et à l’article 54 du présent règlement;
Amendement 161 Proposition de règlement Article 2 – paragraphe 5 ter (nouveau)
5 ter. Le présent règlement s’entend sans préjudice des règles établies par d’autres actes juridiques de l’Union relatifs à la protection des consommateurs et à la sécurité des produits;
5 quater. Le présent règlement n’empêche pas les États membres ou l’Union de maintenir ou d’introduire des dispositions législatives, réglementaires ou administratives plus favorables aux travailleurs quant à la protection de leurs droits en ce qui concerne l’utilisation de systèmes d’IA par les employeurs, ou d’encourager ou de permettre l’application de conventions collectives plus favorables aux travailleurs.
5 quinquies. Le présent règlement ne s’applique pas aux activités de mise à l’essai et de développement d’un système d’IA ni sur aux activités de recherche connexes préalablement à la mise sur le marché ou à la mise en service de ce système, à condition que ces activités soient menées dans le respect des droits fondamentaux et du droit applicable de l’Union. Les essais en conditions réelles ne sont pas couverts par la présente exemption. La Commission est habilitée, conformément à l’article 73, à adopter des actes délégués qui clarifient l’application du présent paragraphe aux fins de préciser cette exemption pour prévenir ses abus existants et potentiels. Le Bureau de l’IA fournit des orientations sur la gouvernance de la recherche et du développement au titre de l’article 56, en vue également de coordonner son application par les autorités de contrôle nationales.
5 sexies. Le présent règlement ne s’applique pas aux composants d’IA fournis dans le cadre de licences libres et ouvertes, sauf dans la mesure où ils sont mis sur le marché ou mis en service par un fournisseur dans le cadre d’un système d’IA à haut risque ou d’un système d’IA qui relève du titre II ou IV. Cette exemption ne s’applique pas aux systèmes d’IA à finalité générale définis à l’article 3.
Amendement 165 Proposition de règlement Article 3 – alinéa 1 – point 1
1) «système d’intelligence artificielle» (système d’IA), un logiciel qui est développé au moyen d’une ou plusieurs des techniques et approches énumérées à l’annexe I et qui peut, pour un ensemble donné d’objectifs définis par l’homme, générer des résultats tels que des contenus, des prédictions, des recommandations ou des décisions influençant les environnements avec lesquels il interagit;
1) «système d’intelligence artificielle» (système d’IA), un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et qui peut, pour des objectifs explicites ou implicites, générer des résultats tels que des prédictions, des recommandations ou des décisions qui influencent les environnements physiques ou virtuels;
Amendement 166 Proposition de règlement Article 3 – alinéa 1 – point 1 bis (nouveau)
1 bis) «risque», la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci;
Amendement 167 Proposition de règlement Article 3 – alinéa 1 – point 1 ter (nouveau)
1 ter) «risque significatif», un risque qui est significatif du fait de la combinaison de sa gravité, de son intensité, de sa probabilité d’occurrence et de la durée de ses effets, ainsi que de sa capacité à affecter une personne, une pluralité de personnes ou à affecter un groupe particulier de personnes;
Amendement 168 Proposition de règlement Article 3 – alinéa 1 – point 1 quater (nouveau)
1 quater) «système d’IA à finalité générale», un modèle de système d’IA qui est entraîné sur un vaste ensemble de données à grande échelle, qui est conçu pour la généralité des résultats et qui peut être adapté à un large éventail de tâches distinctes;
Amendement 169 Proposition de règlement Article 3 – alinéa 1 – point 1 quinquies (nouveau)
1 quinquies) «système d’IA à usage général», un système d’IA qui peut être utilisé et adapté à un large éventail d’applications pour lesquelles il n’a pas été conçu intentionnellement et spécifiquement;
Amendement 170 Proposition de règlement Article 3 – alinéa 1 – point 1 sexies (nouveau)
1 sexies) «grande séance d’entraînement», le processus de production d’un modèle d’IA puissant qui nécessite des ressources informatiques supérieures à un seuil très élevé;
Amendement 171 Proposition de règlement Article 3 – alinéa 1 – point 3
3) «petit fournisseur», un fournisseur qui est une micro ou petite entreprise au sens de la recommandation 2003/361/CE de la Commission61;
supprimé
__________________
61Recommandation de la Commission du 6 mai 2003 concernant la définition des micro, petites et moyennes entreprises (JO L 124 du 20.5.2003, p. 36).
Amendement 172 Proposition de règlement Article 3 – alinéa 1 – point 4
4) «utilisateur», toute personne physique ou morale, autorité publique, agence ou autre organisme utilisant sous sa propre autorité un système d’IA, sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel;
4) «déployeur», toute personne physique ou morale, autorité publique, agence ou autre organisme utilisant sous sa propre autorité un système d’IA sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel;
Amendement 173 Proposition de règlement Article 3 – alinéa 1 – point 8
8) «opérateur», le fournisseur, l’utilisateur, le mandataire, l’importateur et le distributeur;
8) «opérateur», le fournisseur, le déployeur, le mandataire, l’importateur et le distributeur;
Amendement 174 Proposition de règlement Article 3 – alinéa 3 – point 8 bis (nouveau)
8 bis) «personne concernée», toute personne physique ou tout groupe de personnes qui est soumis à un système d’IA ou autrement concerné par celui-ci;
Amendement 175 Proposition de règlement Article 3 – alinéa 1 – point 11
11) «mise en service», la fourniture d’un système d’IA directement à l’utilisateur en vue d’une première utilisation ou pour usage propre sur le marché de l’Union, conformément à la destination du système;
11) «mise en service», la fourniture d’un système d’IA directement au déployeur en vue d’une première utilisation ou pour usage propre sur le marché de l’Union, conformément à la destination du système;
Amendement 176 Proposition de règlement Article 3 – alinéa 1 – point 13
13) «mauvaise utilisation raisonnablement prévisible», l’utilisation d’un système d’IA d’une manière qui n’est pas conforme à sa destination, mais qui peut résulter d’un comportement humain raisonnablement prévisible ou d’une interaction raisonnablement prévisible avec d’autres systèmes;
13) «mauvaise utilisation raisonnablement prévisible», l’utilisation d’un système d’IA d’une manière qui n’est pas conforme à sa destination telle qu’indiquée dans la notice d’utilisation établie par le fournisseur, mais qui peut résulter d’un comportement humain raisonnablement prévisible ou d’une interaction raisonnablement prévisible avec d’autres systèmes, notamment d’autres systèmes d’IA;
Amendement 177 Proposition de règlement Article 3 – alinéa 1 – point 14
14) «composant de sécurité d’un produit ou d’un système», un composant d’un produit ou d’un système qui remplit une fonction de sécurité pour ce produit ou ce système ou dont la défaillance ou le dysfonctionnement met en danger la santé et la sécurité des personnes ou des biens;
14) «composant de sécurité d’un produit ou d’un système», conformément à la législation d’harmonisation de l’Union énumérée àl’annexe II, un composant d’un produit ou d’un système qui remplit une fonction de sécurité pour ce produit ou ce système, ou dont la défaillance ou le dysfonctionnement met en danger la santé et la sécurité des personnes;
Amendement 178 Proposition de règlement Article 3 – alinéa 1 – point 15
15) «notice d’utilisation», les indications communiquées par le fournisseur pour informer l’utilisateur, en particulier, de la destination et de l’utilisation correcte d’un système d’IA, y compris du contexte géographique, comportemental ou fonctionnel spécifique dans lequel le système d’IA à haut risque est destiné à être utilisé;
15) «notice d’utilisation», les indications communiquées par le fournisseur pour informer le déployeur, en particulier, de la destination et de l’utilisation correcte d’un système d’IA, ainsi que des indications concernant les précautions à prendre; y compris du contexte géographique, comportemental ou fonctionnel spécifique dans lequel le système d’IA à haut risque est destiné à être utilisé;
Amendement 179 Proposition de règlement Article 3 – alinéa 1 – point 16
16) «rappel d’un système d’IA», toute mesure visant à assurer le retour au fournisseur d’un système d’IA mis à la disposition des utilisateurs;
16) «rappel d’un système d’IA», toute mesure visant à assurer le retour au fournisseur d’un système d’IA qui a été mis à la disposition des déployeurs;
Amendement 180 Proposition de règlement Article 3 – alinéa 1 – point 20
20) «évaluation de la conformité», la procédure permettant de vérifier que les exigences relatives à un système d’IA énoncées au titre III, chapitre 2 du présent règlement ont été respectées;
20) «évaluation de la conformité», la procédure permettant de démontrer que les exigences relatives à un système d’IA énoncées au titre III, chapitre 2 du présent règlement ont été respectées;
Amendement 181 Proposition de règlement Article 3 – alinéa 1 – point 22
22) «organisme notifié», un organisme d’évaluation de la conformité désigné en application du présent règlement et d’autres actes législatifs d’harmonisation de l’Union pertinents;
22) «organisme notifié», un organisme d’évaluation de la conformité notifié en application du présent règlement et d’autres actes législatifs d’harmonisation de l’Union pertinents;
Amendement 182 Proposition de règlement Article 3 – alinéa 1 – point 23
23) «modification substantielle», une modification apportée au système d’IA à la suite de sa mise sur le marché ou de sa mise en service, qui a une incidence sur la conformité de ce système avec les exigences énoncées au titre III, chapitre 2, du présent règlement ou entraîne une modification de la destination pour laquelle le système d’IA a été évalué;
23) «modification substantielle», une modification ou une série de modificationsdu système d’IA après sa mise sur le marché ou sa mise en service, qui n’est pas prévue ou planifiée dans l’évaluation initiale des risques par le fournisseur et qui a pour effet de nuire à la conformité de ce système avec les exigences énoncées au titre III, chapitre 2, du présent règlement ou qui entraîne une modification de la destination pour laquelle le système d’IA a été évalué.
Amendement 183 Proposition de règlement Article 3 – alinéa 1 – point 24
24) «marquage de conformité CE» ou «marquage CE», un marquage par lequel le fournisseur indique qu’un système d’IA est conforme aux exigences du titre III, chapitre 2, du présent règlement et d’autres actes législatifs applicables de l’Union visant à harmoniser les conditions de commercialisation des produits (législation d’harmonisation de l’Union) qui en prévoient l’apposition;
24) «marquage de conformité CE» ou «marquage CE», un marquage physique ou numérique par lequel le fournisseur indique qu’un système d’IA ou un produit auquel est intégré un système d’IA est conforme aux exigences du titre III, chapitre 2, du présent règlement et d’autres actes législatifs applicables de l’Union visant à harmoniser les conditions de commercialisation des produits (législation d’harmonisation de l’Union) qui en prévoient l’apposition;
Amendement 184 Proposition de règlement Article 3 – alinéa 1 – point 29
29) «données d’entraînement», les données utilisées pour entraîner un système d’IA en ajustant ses paramètres entraînables, y compris les poids d’un réseau neuronal;
29) «données d’entraînement», les données utilisées pour entraîner un système d’IA en ajustant ses paramètres entraînables;
Amendement 185 Proposition de règlement Article 3 – alinéa 1 – point 30
30) «données de validation», les données utilisées pour fournir une évaluation du système d’IA entraîné et pour régler ses paramètres non entraînables et son processus d’apprentissage, notamment, afin d’éviter tout surajustement; le jeu de données de validation pouvant être un jeu de données distinct ou faire partie du jeu de données d’apprentissage, selon une division variable ou fixe;
30) «données de validation», les données utilisées pour fournir une évaluation du système d’IA entraîné et pour régler ses paramètres non entraînables et son processus d’apprentissage, notamment, afin d’éviter tout sous-ajustement ou surajustement; le jeu de données de validation étant un jeu de données distinct ou faire partie du jeu de données d’apprentissage, selon une division variable ou fixe;
Amendement 186 Proposition de règlement Article 3 – alinéa 1 – point 33
33) «données biométriques», les données à caractère personnel résultant d’un traitement technique spécifique, relatives aux caractéristiques physiques, physiologiques ou comportementales d’une personne physique, qui permettent ou confirment son identification unique, telles que des images faciales ou des données dactyloscopiques;
33) «données biométriques», les données biométriques telles que définies à l’article 4, point 14), du règlement (UE) 2016/679;
Amendement 187 Proposition de règlement Article 3 – alinéa 1 – point 33 bis (nouveau)
33 bis) «données fondées sur la biométrie», des données résultant d’un traitement technique spécifique, relatives aux signaux physiques, physiologiques ou comportementaux d’une personne physique;
Amendement 188 Proposition de règlement Article 3 – alinéa 1 – point 33 ter (nouveau)
33 ter) «identification biométrique», la reconnaissance automatisée des caractéristiques physiques, physiologiques, comportementales et psychologiques humaines aux fins d’établir l’identité d’une personne en comparant ses données biométriques à des données biométriques de personnes stockées dans une base de données (identification un à plusieurs);
Amendement 189 Proposition de règlement Article 3 – alinéa 1 – point 33 quater (nouveau)
33 quater) «vérification biométrique», la vérification automatisée de l’identité des personnes physiques en comparant les données biométriques d’une personne à des données biométriques précédemment fournies (vérification «un à un», y compris l’authentification);
Amendement 190 Proposition de règlement Article 3 – alinéa 1 – point 33 quinquies (nouveau)
33 quinquies) «catégories particulières de données à caractère personnel», les catégories de données à caractère personnel visées à l’article 9, paragraphe 1, du règlement (UE) 2016/679;
Amendement 191 Proposition de règlement Article 3 – alinéa 1 – point 34
34) «système de reconnaissance des émotions», un système d’IA permettant la reconnaissance ou la déduction des émotions ou des intentions de personnes physiques sur la base de leurs données biométriques;
34) «système de reconnaissance des émotions», un système d’IA permettant la reconnaissance ou la déduction des émotions, des pensées, des états d’esprit ou des intentions de personnes ou de groupes sur la base de leurs données biométriques et de données fondées sur la biométrie;
Amendement 192 Proposition de règlement Article 3 – alinéa 1 – point 35
35) «système de catégorisation biométrique», un système d’IA destiné à affecter des personnes physiques à des catégories spécifiques selon le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, l’origine ethnique ou l’orientation sexuelle ou politique, etc., sur la base de leurs données biométriques;
35) «catégorisation biométrique», l’affectation des personnes physiques à des catégories spécifiques, ou la déduction de leurs caractéristiques et attributs sur la base de leurs données biométriques ou de leurs données fondées sur la biométrie, ou qui peuvent être déduites de ces données;
Amendement 193 Proposition de règlement Article 3 – alinéa 1 – point 36
36) «système d’identification biométrique à distance», un système d’IA destiné à identifier des personnes physiques à distance en comparant les données biométriques d’une personne avec celles qui figurent dans une base de données de référence, et sans que l’utilisateur du système d’IA ne sache au préalable si la personne sera présente et pourra être identifiée;
36) «système d’identification biométrique à distance», un système d’IA destiné à identifier des personnes physiques à distance en comparant les données biométriques d’une personne avec celles qui figurent dans une base de données de référence, et sans que le déployeur du système d’IA ne sache au préalable si la personne sera présente et pourra être identifiée, à l’exclusion des systèmes de vérification;
Amendement 194 Proposition de règlement Article 3 – alinéa 1 – point 37
37) «système d’identification biométrique à distance “en temps réel”», un système d’identification biométrique à distance dans lequel l’acquisition des données biométriques, la comparaison et l’identification se déroulent sans décalage temporel significatif. Cela comprend non seulement l’identification instantanée, mais aussi avec un léger décalage afin d’éviter tout contournement des règles.
37) «système d’identification biométrique à distance “en temps réel”», un système d’identification biométrique à distance dans lequel l’acquisition des données biométriques, la comparaison et l’identification se déroulent sans décalage temporel significatif. Cela comprend non seulement l’identification instantanée, mais également l’identification avec un retard limité afin d’éviter tout contournement des règles;
Amendement 195 Proposition de règlement Article 3 – alinéa 1 – point 39
39) «espace accessible au public», tout espace physique accessible au public, indépendamment de l’existence de conditions d’accès à cet espace;
39) «espace accessible au public», tout espace physique de propriété publique ou privée accessible au public, indépendamment de l’existence de conditions d’accès à cet espace, et indépendamment d’éventuelles restrictions de capacité;
Amendement 196 Proposition de règlement Article 3 – alinéa 1 – point 41
41) «fins répressives», des fins ayant trait aux activités menées par les autorités répressives pour la prévention et la détection des infractions pénales, les enquêtes et les poursuites en la matière ou l’exécution de sanctions pénales, y compris la protection contre les menaces pour la sécurité publique et la prévention de telles menaces;
41) «fins répressives», des fins ayant trait aux activités menées par les autorités répressives ou pour leur compte pour la prévention et la détection des infractions pénales, les enquêtes et les poursuites en la matière ou l’exécution de sanctions pénales, y compris la protection contre les menaces pour la sécurité publique et la prévention de telles menaces;
Amendement 197 Proposition de règlement Article 3 – alinéa 1 – point 42
42) «autorité de contrôle nationale», l’autorité qu’un État membre charge de la mise en œuvre et de l’application du présent règlement, de la coordination des activités confiées à cet État membre, du rôle de point de contact unique pour la Commission et de la représentation de l’État membre au sein du Comité européen de l’intelligence artificielle;
42) «autorité de contrôle nationale», une autorité publique (amendement 69) qu’un État membre charge de la mise en œuvre et de l’application du présent règlement, de la coordination des activités confiées à cet État membre, du rôle de point de contact unique pour la Commission et de la représentation de l’État membre au sein du comité de gestion du Bureau de l’IA;
Amendement 198 Proposition de règlement Article 3 – alinéa 1 – point 43
43) «autorité nationale compétente», l’autorité de contrôle nationale, l’autorité notifiante et l’autorité de surveillance du marché;
43) «autorité nationale compétente», l’unedes autorités nationales chargées de l’application du présent règlement;
Amendement 199 Proposition de règlement Article 3 – alinéa 1 – point 44 – partie introductive
44) «incident grave», tout incident entraînant directement ou indirectement, susceptible d’avoir entraîné ou susceptible d’entraîner:
44) «incident grave», tout incident ou dysfonctionnement d’un système d’IA entraînant directement ou indirectement, susceptible d’avoir entraîné ou susceptible d’entraîner:
a) le décès d’une personne ou une atteinte grave à la santé d’une personne, à des biens ou à l’environnement,
a) le décès d’une personne ou une atteinte grave à la santé d’une personne,
b) une perturbation grave de la gestion et du fonctionnement d’infrastructures critiques.
b) une perturbation grave de la gestion et du fonctionnement d’infrastructures critiques;
b bis) une violation des droits fondamentaux protégés par le droit de l’Union;
b ter) une atteinte grave à des biens ou à l’environnement;
Amendement 200 Proposition de règlement Article 3 – alinéa 1 – point 44 bis (nouveau)
44 bis) «données à caractère personnel», les données à caractère personnel telles que définies à l’article 4, point 1), du règlement (UE) 2016/679;
Amendement 201 Proposition de règlement Article 3 – alinéa 1 – point 44 ter (nouveau)
44 ter) «données à caractère non personnel», les données autres que celles à caractère personnel;
Amendement 202 Proposition de règlement Article 3 – alinéa 1 – point 44 quater (nouveau)
44 quater) «profilage», toute forme de traitement automatisé de données à caractère personnel, tel que défini à l’article 4, point 4), du règlement (UE) 2016/679; ou, dans le cas des autorités répressives, à l’article 3, point 4), de la directive (UE) 2016/680 ou, dans le cas des institutions, organes ou organismes de l’Union, à l’article 3, point 5), du règlement (UE) 2018/1725;
Amendement 203 Proposition de règlement Article 3 – alinéa 1 – point 44 quinquies (nouveau)
44 quinquies) «hypertrucage», toute image ou tout contenu audio ou vidéo manipulé ou de synthèse qui peut être perçu à tort comme authentique ou véridique et représente des personnes semblant tenir des propos qu’elles n’ont pas tenus ou commettre des actes qu’elles n’ont pas commis et qui a été généré au moyen de techniques d’IA, y compris l’apprentissage automatique et l’apprentissage profond.
Amendement 204 Proposition de règlement Article 3 – alinéa 1 – point 44 sexies (nouveau)
44 sexies) «infraction de grande ampleur», tout acte ou omission contraire au droit de l’Union en matière de protection des intérêts des personnes:
a) qui a porté ou est susceptible de porter atteinte aux intérêts collectifs des personnes résidant dans au moins deux États membres autres que celui:
i) où l’acte ou l’omission en question a son origine ou a eu lieu;
ii) où le fournisseur concerné ou, le cas échéant, son mandataire, est établi; ou
iii) où le déployeur est établi, lorsque l’infraction est commise par le déployeur;
b) qui protège les intérêts des personnes, qui ont porté, portent ou sont susceptibles de porter atteinte aux intérêts collectifs des personnes et qui présentent des caractéristiques communes, dont la pratique illégale identique, la violation du même intérêt et la simultanéité de l’infraction, commise par le même opérateur, dans trois États membres au minimum;
Amendement 205 Proposition de règlement Article 3 – alinéa 1 – point 44 septies (nouveau)
44 septies) «infraction de grande ampleur à l’échelle de l’Union», une infraction de grande ampleur qui a porté ou est susceptible de porter atteinte aux intérêts collectifs des personnes dans au moins deux tiers des États membres représentant une population cumulée d’au moins deux tiers de la population de l’Union;
Amendement 206 Proposition de règlement Article 3 – alinéa 1 – point 44 octies (nouveau)
44 octies) «bac à sable réglementaire», un environnement contrôlé établi par une autorité publique qui facilite le développement, la mise à l’essai et la validation en toute sécurité de systèmes d’IA innovants pendant une durée limitée avant leur mise sur le marché ou leur mise en service conformément à un plan spécifique sous contrôle réglementaire;
Amendement 207 Proposition de règlement Article 3 – alinéa 1 – point 44 nonies (nouveau)
44 nonies) «infrastructure critique», un actif, une installation, un équipement, un réseau ou un système, ou une partie d’un actif, d’une installation, d’un équipement, d’un réseau ou d’un système, qui est nécessaire à la fourniture d’un service essentiel au sens de l’article 2, paragraphe 4, de la directive (UE) 2022/2557;
Amendement 208 Proposition de règlement Article 3 – alinéa 1 – point 44 duodecies (nouveau)
44 duodecies) «notation sociale», l’évaluation ou la classification des personnes physiques en fonction de leur comportement social, de leur statut socio-économique ou de caractéristiques personnelles ou de personnalité connues ou prédites;
Amendement 209 Proposition de règlement Article 3 – alinéa 1 – point 44 terdecies (nouveau)
44 terdecies) «comportement social», la manière dont une personne physique interagit avec d’autres personnes physiques ou la société et les influence;
Amendement 210 Proposition de règlement Article 3 – alinéa 1 – point 44 quaterdecies (nouveau)
44 quaterdecies) «état de la technique», la phase de développement de la capacité technique à un moment donné en ce qui concerne les produits, processus et services, sur la base des conclusions consolidées pertinentes de la science, de la technologie et de l’expérience;
Amendement 211 Proposition de règlement Article 3 – alinéa 1 – point 44 quindecies (nouveau)
44 quindecies) «essais en conditions réelles», les essais temporaires d’un système d’IA en vue de sa destination dans des conditions réelles en dehors d’un laboratoire ou d’un autre environnement simulé;
Amendement 212 Proposition de règlement Article 4
Article 4
supprimé
Modification de l’annexe I
La Commission est habilitée à adopter des actes délégués conformément à l’article 73 afin de modifier la liste des techniques et approches énumérées à l’annexe I, en vue de mettre cette liste à jour en fonction de l’évolution du marché et des technologies sur la base de caractéristiques similaires aux techniques et approches qui y sont énumérées.
Amendement 213 Proposition de règlement Article 4 bis (nouveau)
Article 4 bis
Principes généraux applicables à tous les systèmes d’IA
1. Tous les opérateurs qui relèvent du présent règlement mettent tout en œuvre pour développer et utiliser des systèmes d’IA ou des systèmes d’IA à finalité générale conformément aux principes généraux suivants qui établissent un cadre de haut niveau promouvant une approche européenne cohérente et centrée sur l’humain en matière d’intelligence artificielle éthique et digne de confiance, qui soit pleinement conforme à la charte ainsi qu’aux valeurs sur lesquelles l’Union est fondée:
a) «facteur humain et contrôle humain», les systèmes d’IA sont développés et utilisés en tant qu’outils au service des personnes, respectent la dignité humaine et l’autonomie personnelle, et fonctionnent de manière à pouvoir être contrôlés et surveillés par des êtres humains de manière appropriée;
b) «solidité technique et sécurité», les systèmes d’IA sont développés et utilisés de manière à réduire à leur minimum les dommages involontaires et inattendus, à être solides en cas de problèmes imprévus et à résister aux tentatives de modification de l’utilisation ou des performances du système d’IA visant à permettre une utilisation illicite par des tiers malveillants;
c) «protection de la vie privée et gouvernance des données», les systèmes d’IA sont développés et utilisés conformément aux règles existantes en matière de protection de la vie privée et des données, et traitent des données qui répondent à des normes élevées en matière de qualité et d’intégrité;
d) «transparence», les systèmes d’IA sont développés et utilisés de manière à permettre une traçabilité et une explicabilité appropriées, tout en rendant les personnes conscientes du fait qu’elles communiquent ou interagissent avec un système d’IA, et en informant dûment les utilisateurs des capacités et des limites de ce système, ainsi qu’en informant les personnes concernées de leurs droits;
e) «diversité, non-discrimination et équité», les systèmes d’IA sont développés et utilisés de manière à inclure des acteurs divers et à promouvoir l’égalité d’accès, l’égalité entre hommes et femmes et la diversité culturelle, tout en évitant les effets discriminatoires et les préjugés inéquitables, qui sont interdits par le droit de l’Union ou le droit national;
f) «bien-être social et environnemental», les systèmes d’IA sont développés et utilisés d’une manière durable et respectueuse de l’environnement, bénéfique pour tous les êtres humains, tout en surveillant et en évaluant les effets à long terme sur l’individu, la société et la démocratie.
2. Le paragraphe 1 est sans préjudice des obligations établies par la législation de l’Union et le droit national en vigueur. Pour les systèmes d’IA à haut risque, les principes généraux sont appliqués et respectés par les fournisseurs ou les déployeurs au moyen des exigences énoncées aux articles 8 à 15, ainsi qu’aux obligations pertinentes visées au chapitre 3 du titre III du présent règlement. Pour les systèmes d’IA à finalité générale, les principes généraux sont appliqués et respectés par les fournisseurs au moyen des exigences énoncées aux articles 28 à 28 ter. Pour tous les systèmes d’IA, l’application des principes visés au paragraphe 1 peut être assurée, le cas échéant, par les dispositions de l’article 28 et de l’article 52, ou par l’application de normes harmonisées, de spécifications techniques et de codes de conduite visés à l’article 69, sans créer de nouvelles obligations au titre du présent règlement.
3. La Commission et le Bureau de l’IA intègrent ces principes directeurs dans les demandes de normalisation, ainsi que des recommandations composées d’orientations techniques destinées à aider les fournisseurs et les déployeurs quant à la manière de développer et d’utiliser des systèmes d’IA. Lorsqu’elles élaborent des normes harmonisées applicables aux systèmes d’IA à haut risque visés à l’article 40, paragraphe 2 ter, les organisations européennes de normalisation tiennent compte des principes généraux visés au paragraphe 1 de cet article en tant qu’objectifs axés sur les résultats.
Amendement 214 Proposition de règlement Article 4 ter (nouveau)
Article 4 ter
Maîtrise de l’IA
1. Lors de la mise en œuvre du présent règlement, l’Union et les États membres favorisent les mesures permettant de développer un niveau suffisant de maîtrise de l’IA, dans l’ensemble des secteurs et en tenant compte des différents besoins des groupes de fournisseurs, de déployeurs et de personnes concernées, notamment au moyen de programmes d’éducation et de formation, de qualification et de reconversion, tout en assurant un équilibre approprié entre les hommes et les femmes et entre les tranches d’âge, afin de permettre un contrôle démocratique des systèmes d’IA.
2. Les fournisseurs et les déployeurs de systèmes d’IA prennent des mesures pour assurer un niveau suffisant de maîtrise de l’IA à leur personnel et aux autres personnes s’occupant du fonctionnement et de l’utilisation des systèmes d’IA pour leur compte, en prenant en considération leurs connaissances techniques, leur expérience, leur éducation et leur formation, ainsi que le contexte dans lequel les systèmes d’IA sont destinés à être utilisés, et en tenant compte des personnes ou des groupes de personnes à l’égard desquels les systèmes d’IA sont destinés à être utilisés.
3. Ces mesures d’éducation sont, plus particulièrement, constituées de l’enseignement de notions et compétences élémentaires concernant les systèmes d’IA et leur fonctionnement, y compris les différents types de produits et d’utilisation, leurs risques et avantages.
4. Un niveau suffisant de maîtrise de l’IA est un niveau qui contribue, si nécessaire, à la capacité des fournisseurs et des déployeurs à garantir le respect et l’application du présent règlement.
Amendement 215 Proposition de règlement Article 5 –paragraphe 1 – point a
a) la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui a recours à des techniques subliminales au-dessous du seuil de conscience d’une personne pouraltérer substantiellement son comportement d’une manière qui cause ou est susceptible de causer un préjudice physique ou psychologique à cette personne ou à un tiers;
a) la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui a recours à des techniques subliminales au-dessous du seuil de conscience d’une personne ou à des techniques délibérément manipulatrices ou trompeuses, avec pour objectif ou ayant pour effet d’altérer substantiellement le comportement d’une personne ou d’un groupe de personnesen portant considérablement atteinte à la capacité de la personne à prendre une décision éclairée, l’amenant ainsi à prendre une décision qu’elle n’aurait pas prise autrement, d’une manière qui cause ou est susceptible de causer un préjudice important à cette personne, à une autre personne ou à un un groupe de personnes;
L’interdiction d’un système d’IA qui a recours à des techniques subliminales visées au premier alinéa ne s’applique pas aux systèmes d’IA destinés à être utilisés à des fins thérapeutiques approuvées, sur la base du consentement éclairé spécifique des personnes qui y sont exposées ou, le cas échéant, de leur tuteur légal;
Amendement 216 Proposition de règlement Article 5 – paragraphe 1 – point b
b) la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui exploite les éventuelles vulnérabilités dues à l’âge ou au handicap physique ou mental d’un groupe de personnes donné pour altérer substantiellement le comportement d’un membre de ce groupe d’une manière qui cause ou est susceptible de causer un préjudice physique ou psychologique à cette personne ou à un tiers;
b) la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui exploite les éventuelles vulnérabilités d’une personne ou d’un groupe de personnes donné, notamment les caractéristiques des traits de personnalité connue ou prévisible ou la situation sociale ou économique, l’âge, la capacité physique ou mentale de cette personne ou de ce groupe de personnesavec pour objectif ou pour effetd’altérer substantiellement le comportement de cette personne ou d’un membre de ce groupe d’une manière qui cause ou est susceptible de causer directement un grave préjudice à cette personne ou à un tiers;
Amendement 217 Proposition de règlement Article 5 – paragraphe 1 – point b bis (nouveau)
b bis) la mise sur le marché, la mise en service ou l’utilisation de systèmes de catégorisation biométriques qui catégorisent les personnes physiques en fonction d’attributs ou de caractéristiques sensibles ou protégés, ou sur la base de la déduction de ces attributs ou de ces caractéristiques. Cette interdiction ne s’applique pas aux systèmes d’IA destinés à être utilisés à des fins thérapeutiques approuvées, sur la base du consentement éclairé spécifique des personnes qui y sont exposées ou, le cas échéant, de leur tuteur légal.
Amendement 218 Proposition de règlement Article 5 – paragraphe 1 – point c – partie introductive
c) la mise sur le marché, la mise en service ou l’utilisation, par les pouvoirs publics ou pour leur compte, de systèmes d’IA destinés à évaluer ou à établir un classement de la fiabilité de personnes physiques au cours d’une période donnée en fonction de leur comportement social ou de caractéristiques personnelles ou de personnalité connues ou prédites, la note sociale conduisant à l’une ou l’autre des situations suivantes, ou aux deux:
c) la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA destinés à évaluer ou à établir un classement au moyen de la notation sociale de personnes physiques ou de groupes de personnes physiques au cours d’une période donnée en fonction de leur comportement social ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites, la note sociale conduisant à l’une ou l’autre des situations suivantes, ou aux deux:
Amendement 219 Proposition de règlement Article 5 – paragraphe 1 – point c – sous-point i
i) le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes entiers de personnes physiques dans des contextes sociaux dissociés du contexte dans lequel les données ont été générées ou collectées à l’origine;
i) le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes entiers de personnes physiques dans des contextes sociaux dissociés du contexte dans lequel les données ont été générées ou collectées à l’origine;
Amendement 220 Proposition de règlement Article 5 – paragraphe 1 – point d – partie introductive
d) l’utilisation de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives, sauf si et dans la mesure où cette utilisation est strictement nécessaire eu égard à l’un des objectifs suivants:
d) l’utilisation de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public;
Amendement 221 Proposition de règlement Article 5 – paragraphe 1 – point d – sous-point i
i) la recherche ciblée de victimes potentielles spécifiques de la criminalité, notamment d’enfants disparus;
supprimé
Amendement 222 Proposition de règlement Article 5 – paragraphe 1 – point d – sous-point ii
ii) la prévention d’une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique des personnes physiques ou la prévention d’une attaque terroriste;
supprimé
Amendement 223 Proposition de règlement Article 5 – paragraphe 1 – point d – sous-point iii
iii) la détection, la localisation, l’identification ou les poursuites à l’encontre de l’auteur ou du suspect d’une infraction pénale visée à l’article 2, paragraphe 2, de la décision-cadre 2002/584/JAI du Conseil62et punissable dans l’État membre concerné d’une peine ou d’une mesure de sûreté privatives de liberté d’une durée maximale d’au moins trois ans, déterminées par le droit de cet État membre.
supprimé
__________________
62Décision-cadre 2002/584/JAI du Conseil du 13 juin 2002 relative au mandat d’arrêt européen et aux procédures de remise entre États membres (JO L 190 du 18.7.2002, p. 1).
Amendement 224 Proposition de règlement Article 5 – paragraphe 1 – point d bis (nouveau)
d bis) la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA destiné à mener des évaluations des risques visant à déterminer la probabilité qu’une personne physique ou que des groupes de personnes physiques commettent une infraction ou récidive, ou destiné à prédire la survenance ou la répétition d’une infraction administrative ou pénale réelle ou potentielle sur la base du profilage d’une personne physique ou sur l’évaluation de traits de personnalité et de caractéristiques, notamment le lieu où se trouve la personne, ou d’antécédents judiciaires de personnes physiques ou de groupes de personnes physiques;
Amendement 225 Proposition de règlement Article 5 – paragraphe 1 – point d ter (nouveau)
d ter) La mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales provenant de l’internet ou de la vidéosurveillance;
Amendement 226 Proposition de règlement Article 5 – paragraphe 1 – point d quater (nouveau)
d quater) la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA pour déduire les émotions d’une personne physique dans les domaines des activités répressives et de la gestion des frontières, sur le lieu de travail et dans les établissements d’enseignement.
Amendement 227 Proposition de règlement Article 5 – paragraphe 1 – point d quinquies (nouveau)
d quinquies) la mise en service ou l’utilisation de systèmes d’IA pour l’analyse d’images enregistrées provenant d’espaces accessibles au public au moyen de systèmes d’identification biométrique à distance «postérieurs», à moins qu’ils ne soient soumis à une autorisation judiciaire préalable conformément au droit de l’Union et soient strictement nécessaires à la recherche ciblée liée à une infraction pénale grave spécifique, telle que définie à l’article 83, paragraphe 1 du TFUE, qui a déjà eu lieu, à des fins répressives.
Amendement 228 Proposition de règlement Article 5 – paragraphe 1 bis (nouveau)
1 bis. Le présent article est sans effet sur les interdictions qui s’appliquent lorsqu’une pratique en matière d’intelligence artificielle enfreint un autre acte législatif de l’Union, y compris le droit de l’Union en matière de protection des données, de lutte contre la discrimination, de protection des consommateurs ou de concurrence;
Amendement 229 Proposition de règlement Article 5 – paragraphe 2
2. L’utilisation de systèmes d’identification biométriques à distance en «temps réel» dans des espaces accessibles au public à des fins répressives en vue de la réalisation de l’un des objectifs énumérés au paragraphe 1, point d), tient compte des éléments suivants:
supprimé
a) la nature de la situation donnant lieu à un éventuel recours au système, en particulier la gravité, la probabilité et l’ampleur du préjudice causé en l’absence d’utilisation du système;
b) les conséquences de l’utilisation du système sur les droits et libertés de toutes les personnes concernées, notamment la gravité, la probabilité et l’ampleur de ces conséquences.
En outre, l’utilisation de systèmes d’identification biométriques à distance «en temps réel» dans des espaces accessibles au public à des fins répressives en vue de la réalisation de l’un des objectifs énumérés au paragraphe 1, point d), respecte les garanties et conditions nécessaires et proportionnées en ce qui concerne cette utilisation, notamment eu égard aux limitations temporelles, géographiques et relatives aux personnes.
Amendement 230 Proposition de règlement Article 5 – paragraphe 3
3. En ce qui concerne le paragraphe 1, point d), et le paragraphe 2, chaque utilisation à des fins répressives d’un système d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public est subordonnée à une autorisation préalable octroyée par une autorité judiciaire ou une autorité administrative indépendante de l’État membre dans lequel cette utilisation doit avoir lieu, délivrée sur demande motivée et conformément aux règles détaillées du droit national visées au paragraphe 4. Toutefois, dans une situation d’urgence dûment justifiée, il est possible de commencer à utiliser le système sans autorisation et de ne demander l’autorisation qu’en cours d’utilisation ou lorsque celle-ci a pris fin.
supprimé
L’autorité judiciaire ou administrative compétente n’accorde l’autorisation que si elle estime, sur la base d’éléments objectifs ou d’indications claires qui lui sont présentés, que l’utilisation du système d’identification biométrique à distance «en temps réel» en cause est nécessaire et proportionnée à la réalisation de l’un des objectifs énumérés au paragraphe 1, point d), tels qu’indiqués dans la demande. Lorsqu’elle statue sur la demande, l’autorité judiciaire ou administrative compétente tient compte des éléments visés au paragraphe 2.
Amendement 231 Proposition de règlement Article 5 – paragraphe 4
4. Un État membre peut décider de prévoir la possibilité d’autoriser totalement ou partiellement l’utilisation de systèmes d’identification biométriques à distance «en temps réel» dans des espaces accessibles au public à des fins répressives, dans les limites et les conditions énumérées au paragraphe 1, point d), et aux paragraphes 2 et 3. L’État membre en question établit dans son droit national les modalités nécessaires à la demande, à la délivrance et à l’exercice des autorisations visées au paragraphe 3, ainsi qu’à la surveillance y afférente. Ces règles précisent également pour quels objectifs énumérés au paragraphe 1, point d), et notamment pour quelles infractions pénales visées au point iii) dudit paragraphe, les autorités compétentes peuvent être autorisées à utiliser ces systèmes à des fins répressives.
supprimé
Amendement 232 Proposition de règlement Article 6 –paragraphe 1 – point a
a) le système d’IA est destiné à être utilisé comme composant de sécurité d’un produit couvert par les actes législatifs d’harmonisation de l’Union énumérés à l’annexe II, ou constitue lui-même un tel produit;
a) le système d’IA est destiné à être utilisé comme composant de sécurité d’un produit ou du système d’IA couvert par la législation d’harmonisation de l’Union énumérée à l’annexe II, ou constitue lui-même un tel produit;
Amendement 233 Proposition de règlement Article 6 – paragraphe 1 – point b
b) le produit dont le composant de sécurité est le système d’IA, ou le système d’IA lui-même en tant que produit, est soumis à une évaluation de la conformité par un tiers en vue de la mise sur le marché ou de la mise en service de ce produit conformément aux actes législatifs d’harmonisation de l’Union énumérés à l’annexe II.
b) le produit dont le composant de sécurité au titre du point a) est le système d’IA, ou le système d’IA lui-même en tant que produit, est soumis à une évaluation de la conformité en matière de sécurité par un tiers liée aux risques pour la santé et la sécurité en vue de la mise sur le marché ou de la mise en service de ce produit conformément à la législation d’harmonisation de l’Union énumérée à l’annexe II;
Amendement 234 Proposition de règlement Article 6 – paragraphe 2
2. Outre les systèmes d’IA à haut risque visés au paragraphe 1, les systèmes d’IA visés à l’annexe III sont également considérés comme à haut risque.
2. Outre les systèmes d’IA à haut risque visés au paragraphe 1, les systèmes d’IA relevant d’un ou de plusieurs domaines cruciaux et de cas d’utilisation visés à l’annexe III sont considérés à haut risque s’ils présentent un risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques. Lorsqu’un système d’IA relève de l’annexe III, point 2, il est considéré comme étant à haut risque s’il présente un risque important de préjudice pour l’environnement.
La Commission fournit, six mois avant l’entrée en vigueur du présent règlement, après consultation du Bureau de l’IA et des parties prenantes concernées, des lignes directrices précisant clairement les circonstances dans lesquelles les résultats produits par des systèmes d’IA visés à l’annexe III présenteraient un risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques ou les cas dans lesquels ce ne serait pas le cas.
Amendement 235 Proposition de règlement Article 6 – paragraphe 2 bis (nouveau)
2 bis. Lorsque les fournisseurs relevant d’un ou de plusieurs des domaines cruciaux et des cas d’utilisation visés à l’annexe III considèrent que leur système d’IA ne présente pas de risque important tel que décrit au paragraphe 2, ils notifient de manière motivée à l’autorité de contrôle nationale qu’ils ne sont pas soumis aux exigences du titre III, chapitre 2, du présent règlement. Lorsque le système d’IA est destiné à être utilisé dans deux États membres ou plus, cette notification est adressée au Bureau de l’IA. Sans préjudice de l’article 65, l’autorité de contrôle nationale examine la notification et y répond, directement ou par l’intermédiaire de du Bureau de l’IA, dans un délai de trois mois si elle estime que la classification du système d’IA est erronée.
Amendement 236 Proposition de règlement Article 6 – paragraphe 2 ter (nouveau)
2 ter. Les fournisseurs qui classent de manière erronée leur système d’IA comme n’étant pas soumis aux exigences du titre III, chapitre 2, du présent règlement et le mettent sur le marché avant la date limite d’objection des autorités de contrôle nationales sont passibles d’amendes au titre de l’article 71.
2 quater. Les autorités de contrôle nationales soumettent chaque année au Bureau de l’IA un rapport détaillant le nombre de notifications reçues, les domaines à haut risque connexes en jeu et les décisions prises concernant les notifications reçues.
Amendement 238 Proposition de règlement Article 7 – paragraphe 1 – partie introductive
1. La Commission est habilitée à adopter des actes délégués conformément à l’article 73 afin de mettre à jour la liste figurant à l’annexe III en y ajoutant des systèmes d’IA à haut risque lorsque les deux conditions suivantes sont remplies:
1. La Commission est habilitée à adopter des actes délégués conformément à l’article 73 afin de modifier l’annexe III en y ajoutant ou en modifiant des domaines ou des cas d’utilisation des systèmes d’IA à haut risque lorsqu’ils présentent un risque important de préjudice pour la santé et la sécurité ou un risque d’incidence négative sur les droits fondamentaux, l’environnement, ou la démocratie et l’état de droit, et lorsque ledit risque, eu égard à sa gravité et à sa probabilité d’occurrence, est équivalent ou supérieur au risque de préjudice ou d’incidence négative que présentent les systèmes d’IA à haut risque utilisés déjà visés à l’annexe III.
Amendement 239 Proposition de règlement Article 7 – paragraphe 1 – point a
a) les systèmes d’IA sont destinés à être utilisés dans l’un des domaines énumérés à l’annexe III, points 1 à 8;
supprimé
Amendement 240 Proposition de règlement Article 7 – paragraphe 1 – point b
b) les systèmes d’IA présentent un risque de préjudice pour la santé et la sécurité, ou un risque d’incidence négative sur les droits fondamentaux, qui, eu égard à sa gravité et à sa probabilité d’occurrence, est équivalent ou supérieur au risque de préjudice ou d’incidence négative que présentent les systèmes d’IA à haut risque déjà visés à l’annexe III.
supprimé
Amendement 241 Proposition de règlement Article 7 – paragraphe 1 bis (nouveau)
1 bis. La Commission est également habilitée à adopter des actes délégués conformément à l’article 73 afin de retirer les cas d’utilisation de systèmes d’IA à haut risque de la liste figurant à l’annexe III si les conditions visées au paragraphe 1 cessent de s’appliquer;
Amendement 242 Proposition de règlement Article 7 – paragraphe 2 – partie introductive
2. Lorsqu’elle évalue, aux fins du paragraphe 1, si un système d’IA présente un risque de préjudice pour la santé et la sécurité ou un risque d’incidence négative sur les droits fondamentaux équivalent ou supérieur au risque de préjudice que présentent les systèmes d’IA à haut risque déjà visés à l’annexe III, la Commission tient compte des critères suivants:
2. Lorsqu’elle évalue un système d’IA aux fins du paragraphe 1 et 1 bis, la Commission tient compte des critères suivants:
Amendement 243 Proposition de règlement Article 7 – paragraphe 2 – point a bis (nouveau)
a bis) les capacités et fonctionnalités générales du système d’IA, indépendamment de sa destination;
Amendement 244 Proposition de règlement Article 7 – paragraphe 2 – point b bis (nouveau)
b bis) la nature et la quantité des données traitées et utilisées par le système d’IA;
Amendement 245 Proposition de règlement Article 7 – paragraphe 2 – point b ter (nouveau)
b ter) la mesure dans laquelle le système d’IA agit de manière autonome;
Amendement 246 Proposition de règlement Article 7 – paragraphe 2 – point c
c) la mesure dans laquelle l’utilisation d’un système d’IA a déjà causé un préjudice à la santé et à la sécurité, a eu une incidence négative sur les droits fondamentaux ou a suscité de graves préoccupations quant à la matérialisation de ce préjudice ou de cette incidence négative, tel qu’il ressort des rapports ou allégations documentés soumis aux autorités nationales compétentes;
c) la mesure dans laquelle l’utilisation d’un système d’IA a déjà causé un préjudice à la santé et à la sécurité, a eu une incidence négative sur des droits fondamentaux, l’environnement, la démocratie et l’état de droit ou a suscité de graves préoccupations quant à la probabilité de ce préjudice ou de cette incidence négative, tel qu’il ressort par exemple des rapports ou allégations documentées soumis aux autorités de contrôle nationales compétentes, à la Commission, au Bureau de l’IA, au CEPD ou à l’Agence des droits fondamentaux de l’Union européenne;
Amendement 247 Proposition de règlement Article 7 – paragraphe 2 – point d
d) l’ampleur potentielle d’un tel préjudice ou d’une telle incidence négative, notamment en ce qui concerne son intensité et sa capacité d’affecter plusieurs personnes;
d) l’ampleur potentielle d’un tel préjudice ou d’une telle incidence négative, notamment en ce qui concerne son intensité et sa capacité d’affecter plusieurs personnes ou d’affecter un groupe particulier de personnes de manière disproportionnée;
Amendement 248 Proposition de règlement Article 7 – paragraphe 2 – point e
e) la mesure dans laquelle les personnes ayant potentiellement subi un préjudice ou une incidence négative dépendent des résultats obtenus au moyen d’un système d’IA, notamment parce qu’il n’est pas raisonnablement possible, pour des raisons pratiques ou juridiques, de s’affranchir de ces résultats;
e) la mesure dans laquelle les personnes ayant potentiellement subi un préjudice ou une incidence négative dépendent des résultats obtenus en utilisant un système d’IA, et du fait que ce résultat est purement accessoire par rapport aux mesures ou aux décisions à prendre concernées notamment parce qu’il n’est pas raisonnablement possible, pour des raisons pratiques ou juridiques, de s’affranchir de ces résultats;
Amendement 249 Proposition de règlement Article 7 – paragraphe 2 – point e bis (nouveau)
e bis) les risques de mauvaise utilisation ou d’utilisation malveillante du système d’IA et des technologies sous-jacentes;
Amendement 250 Proposition de règlement Article 7 – paragraphe 2 – point f
f) la mesure dans laquelle les personnes ayant potentiellement subi un préjudice ou une incidence négative se trouvent dans une situation vulnérable par rapport à l’utilisateur d’un système d’IA, notamment en raison d’un déséquilibre de pouvoir, de connaissances, de circonstances économiques ou sociales ou d’âge;
f) la mesure dans laquelle il existe un déséquilibre de pouvoir, ou les personnes ayant potentiellement subi un préjudice ou une incidence négative se trouvent dans une situation vulnérable par rapport à l’utilisateur d’un système d’IA, notamment en raison du statut, de l’autorité, de connaissances, de circonstances économiques ou sociales ou d’âge;
Amendement 251 Proposition de règlement Article 7 – paragraphe 2 – point g
g) la mesure dans laquelle les résultats obtenus au moyen d’un système d’IA sont facilement réversibles, les résultats ayant une incidence sur la santé ou la sécurité des personnes ne devant pas être considérés comme facilement réversibles;
g) la mesure dans laquelle les résultats obtenus en utilisant un système d’IA sont facilement réversibles ou corrigibles, les résultats ayant une incidence négative sur la santé, la sécurité, les droits fondamentaux des personnes, l’environnement, ou sur la démocratie et l’état de droit ne devant pas être considérés comme facilement réversibles;
Amendement 252 Proposition de règlement Article 7 – paragraphe 2 – point g bis (nouveau)
g bis) le degré de disponibilité et d’utilisation de solutions et mécanismes techniques efficaces visant à garder le contrôle sur le système d’IA, à garantir sa fiabilité et à prévoir la possibilité d’y apporter des corrections;
Amendement 253 Proposition de règlement Article 7 – paragraphe 2 – point g ter (nouveau)
g ter) la probabilité que le déploiement du système d’IA présente des avantages pour certaines personnes, certains groupes de personnes ou la société dans son ensemble et la portée de ces avantages, y compris les améliorations éventuelles quant à la sécurité des produits;
Amendement 254 Proposition de règlement Article 7 – paragraphe 2 – point g quater (nouveau)
g quater) la portée du contrôle humain et la mesure dans laquelle l’homme peut intervenir pour annuler une décision ou des recommandations susceptibles de causer un préjudice potentiel;
Amendement 255 Proposition de règlement Article 7 – paragraphe 2 – point h
i) des mesures de réparation efficaces en ce qui concerne les risques posés par un système d’IA, à l’exclusion des réclamations en dommages-intérêts;
h) la mesure dans laquelle le droit existant de l’Union prévoit:
i) des mesures de réparation efficaces en ce qui concerne les dommages occasionnés par un système d’IA, à l’exclusion des réclamations en dommages-intérêts directs ou indirects;
ii) des mesures efficaces destinées à prévenir ou à réduire substantiellement ces risques.
Amendement 256 Proposition de règlement Article 7 – paragraphe 2 bis (nouveau)
2 bis. Lorsqu’elle évalue un système d’IA aux fins des paragraphes 1 ou 1 bis, la Commission consulte le Bureau de l’IA et, le cas échéant, des représentants des groupes sur lesquels un système d’IA a une incidence, ainsi que l’industrie, des experts indépendants, les partenaires sociaux et des organisations de la société civile. La Commission organise également des consultations publiques à cet égard et rend publics les résultats de ces consultations et de l’évaluation finale;
Amendement 257 Proposition de règlement Article 7 — paragraphe 2 ter (nouveau)
2 ter. Le Bureau de l’IA, les autorités de contrôle nationales ou le Parlement européen peuvent demander à la Commission de réévaluer et de requalifier la catégorisation des risques d’un système d’IA conformément aux paragraphes 1 et 1 bis. La Commission motive sa décision et la publie.
Amendement 258 Proposition de règlement Article 8 – paragraphe 1 bis (nouveau)
1 bis. Pour se conformer aux exigences établies dans le présent chapitre, il est tenu dûment compte des lignes directrices élaborées visées à l’article 82 ter, de l’état de la technique généralement reconnu, y compris tel qu’il ressort des normes pertinentes harmonisées, et des spécifications communes pertinentes visées aux articles 40 et 41 ou ceux déjà énoncés dans la législation d’harmonisation de l’Union;
Amendement 259 Proposition de règlement Article 8 – paragraphe 2
2. Pour garantir le respect de ces exigences, il est tenu compte de la destination du système d’IA à haut risque et du système de gestion des risques prévu à l’article 9.
2. Pour garantir le respect de ces exigences, il est tenu compte de la destination du système d’IA à haut risque, des mauvaises utilisations raisonnablement prévisibles et du système de gestion des risques prévu à l’article 9.
Amendement 260 Proposition de règlement Article 8 – paragraphe 2 bis (nouveau)
2 bis. Tant que les exigences du titre III, chapitres 2 et 3, ou du titre VIII, chapitres 1, 2 et 3, applicables aux systèmes d’IA à haut risque sont couvertes par la législation d’harmonisation de l’Union énumérée à l’annexe II, section A, les exigences ou obligations de ces chapitres du présent règlement sont réputées remplies, à condition qu’elles comprennent le composant d’IA. Les exigences des chapitres 2 et 3 du titre III, ou des chapitres 1, 2 et 3 du titre VIII, pour les systèmes d’IA à haut risque non couvertes par la législation d’harmonisation de l’Union énumérée à l’annexe II, section A, sont intégrées dans cette législation d’harmonisation de l’Union, le cas échéant. L’évaluation de la conformité appropriée est effectuée dans le cadre des procédures prévues par la législation d’harmonisation de l’Union énumérée à l’annexe II, section A.
Amendement 261 Proposition de règlement Article 9 – paragraphe 1
1. Un système de gestion des risques est établi, mis en œuvre, documenté et tenu à jour en ce qui concerne les systèmes d’IA à haut risque.
1. Un système de gestion des risques est établi, mis en œuvre, documenté et tenu à jour en ce qui concerne les systèmes d’IA à haut risque, tout au long du cycle de vie du système d’IA. Le système de gestion des risques peut être intégré dans des procédures de gestion des risques déjà existantes liées à la législation sectorielle pertinente de l’Union, ou en faire partie, dans la mesure où il répond aux exigences du présent article.
Amendement 262 Proposition de règlement Article 9 – paragraphe 2 – partie introductive
2. Ce système consiste en un processus itératif continu qui se déroule sur l’ensemble du cycle de vie d’un système d’IA à haut risque et qui doit périodiquement faire l’objet d’une mise à jour méthodique. Il comprend les éléments suivants:
2. Ce système consiste en un processus itératif continu qui se déroule sur l’ensemble du cycle de vie d’un système d’IA à haut risque et qui doit périodiquement faire l’objet d’un examen régulier et d’une mise à jour du processus de gestion des risques pour garantir son efficacité continue et la documentation de toutes les décisions et mesures importantes prises soumises à cet article. Il comprend les éléments suivants:
Amendement 263 Proposition de règlement Article 9 – paragraphe 2 – point a
a) l’identification et l’analyse des risques connus et prévisibles associés à chaque système d’IA à haut risque;
a) l’identification, l’estimation et l’évaluation des risques connus et raisonnablement prévisibles que le système d’IA à haut risque peut présenter pour la santé ou la sécurité des personnes physiques, pour leurs droits fondamentaux, notamment l’égalité d’accès et des chances, pour la démocratie et l’état de droit, ou pour l’environnement lorsque le système d’IA à haut risque est utilisé conformément à sa destination et dans des conditions de mauvaise utilisation raisonnablement prévisible;;
Amendement 264 Proposition de règlement Article 9 – paragraphe 2 – point b
b) l’estimation et l’évaluation des risques susceptibles d’apparaître lorsque le système d’IA à haut risque est utilisé conformément à sa destination et dans des conditions de mauvaise utilisation raisonnablement prévisible;
supprimé
Amendement 265 Proposition de règlement Article 9 – paragraphe 2 – point c
c) l’évaluation d’autres risques susceptibles d’apparaître, sur la base de l’analyse des données recueillies au moyen du système de surveillance après commercialisation visé à l’article 61;
c) l’évaluation des risques émergents importants tels que décrits au point a) et identifiéssur la base de l’analyse des données recueillies au moyen du système de surveillance après commercialisation visé à l’article 61;
Amendement 266 Proposition de règlement Article 9 – paragraphe 2 – point d
d) l’adoption de mesures appropriées de gestion des risques conformément aux dispositions des paragraphes suivants.
d) l’adoption de mesures appropriées et ciblées de gestion des risques, conçues pour répondre aux risques identifiés au titre des points a et b du présent paragraphe, conformément aux dispositions des paragraphes suivants
Amendement 267 Proposition de règlement Article 9 – paragraphe 3
3. Les mesures de gestion des risques visées au paragraphe 2, point d), tiennent dûment compte des effets et des interactions possibles résultant de l’application combinée des exigences énoncées dans le présent chapitre 2. Elles prennent en considération l’état de la technique généralement reconnu, notamment tel qu’il ressort des normes harmonisées ou des spécifications communes pertinentes.
3. Les mesures de gestion des risques visées au paragraphe 2, point d)tiennent dûment compte des effets et des interactions possibles résultant de l’application combinée des exigences énoncées dans le présent chapitre 2, en vue d’atténuer les risques efficacement tout en assurant une mise en œuvre appropriée et proportionnée des exigences.
Amendement 268 Proposition de règlement Article 9 – paragraphe 4 – partie introductive
4. Les mesures de gestion des risques visées au paragraphe 2, point d), sont telles que tout risque résiduel associé à chaque danger ainsi que le risque résiduel global lié aux systèmes d’IA à haut risque sont jugés acceptables, à condition que le système d’IA à haut risque soit utilisé conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible. L’utilisateur est informé de ces risques résiduels.
4. Les mesures de gestion des risques visées au paragraphe 2, point d), sont telles que tout risque résiduel pertinent associé à chaque danger ainsi que le risque résiduel global lié aux systèmes d’IA à haut risque sont raisonnablement jugés acceptables, à condition que le système d’IA à haut risque soit utilisé conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible. Le déployeur est informé de ces risques résiduels et des jugements motivés rendus.
Pour déterminer les mesures de gestion des risques les plus adaptées, il convient de veiller à:
Amendement 269 Proposition de règlement Article 9 – paragraphe 4 – alinéa 1 – point a
a) éliminer ou réduire les risques autant que possible grâce à une conception et à un développement appropriés;
a) éliminer ou réduire les risques décelés autant que faisable technologiquement grâce à une conception et à un développement appropriés du système d’IA à haut risque, regroupant des experts et des parties prenantes externes lorsque cela s’avère pertinent;
Amendement 270 Proposition de règlement Article 9 – paragraphe 4 – alinéa 1 – point b
b) mettre en œuvre, le cas échéant, des mesures adéquates d’atténuation et de contrôle concernant les risques impossibles à éliminer;
b) mettre en œuvre, le cas échéant, des mesures adéquates d’atténuation et de contrôle répondant aux risques importants impossibles à éliminer;
Amendement 271 Proposition de règlement Article 9 – paragraphe 4 – alinéa 1 – point c
c) fournir aux utilisateurs des informations adéquates conformément à l’article 13, notamment en ce qui concerne les risques visés au paragraphe 2, point b), du présent article, et, le cas échéant, une formation.
c) fournir aux déployeursles informations requises conformément à l’article 13 et, le cas échéant, une formation.
Lors de l’élimination ou de la réduction des risques liés à l’utilisation du système d’IA à haut risque, il est dûment tenu compte des connaissances techniques, de l’expérience, de l’éducation, de la formation pouvant être attendues de l’utilisateur et de l’environnement dans lequel le système est destiné à être utilisé.
Lors de l’élimination ou de la réduction des risques liés à l’utilisation du système d’IA à haut risque, les fournisseurs tiennent dûment compte des connaissances techniques, de l’expérience, de l’éducation et de la formation dont le déployeur pourrait avoir besoin, notamment en ce qui concerne le contexte prévisible dans lequel le système est destiné à être utilisé.
Amendement 273 Proposition de règlement Article 9 – paragraphe 5
5. Les systèmes d’IA à haut risque sont testés afin de déterminer les mesures de gestion des risques les plus appropriées. Ces tests garantissent que les systèmes d’IA à haut risque fonctionnent de manière cohérente conformément à leur destination et qu’ils sont conformes aux exigences énoncées dans le présent chapitre.
5. Les systèmes d’IA à haut risque sont testés afin de déterminer les mesures de gestion des risques les plus appropriées et cibléeset d’apprécier ces mesures par rapport aux avantages potentiels et à la destination du système en question. Ces tests garantissent que les systèmes d’IA à haut risque fonctionnent de manière cohérente conformément à leur destination et qu’ils sont conformes aux exigences énoncées dans le présent chapitre.
Amendement 274 Proposition de règlement Article 9 – paragraphe 6
6. Les procédures de test sont appropriées pour remplir la destination du système d’IA et ne doivent pas aller au-delà de ce qui est nécessaire pour atteindre cet objectif.
6. Les procédures de test sont appropriées pour remplir la destination du système d’IA.
Amendement 275 Proposition de règlement Article 9 – paragraphe 7
7. Les tests des systèmes d’IA à haut risque sont effectués, selon les besoins, à tout moment pendant le processus de développement et, en tout état de cause, avant la mise sur le marché ou la mise en service. Les tests sont effectués sur la base de métriques et de seuils probabilistes préalablement définis, qui sont adaptés à la destination du système d’IA à haut risque.
7. Les tests des systèmes d’IA à haut risque sont effectués avant la mise sur le marché ou la mise en service. Les tests sont effectués sur la base de métriques et de seuils probabilistes préalablement définis, qui sont adaptés à la destination ou à la mauvaise utilisation raisonnablement prévisible du système d’IA à haut risque.
Amendement 276 Proposition de règlement Article 9 – paragraphe 8
8. Lors de la mise en œuvre du système de gestion des risques décrit aux paragraphes 1 à 7, il convient d’étudier avec attention la probabilité que des enfants puissent avoir accès au système d’IA à haut risque ou que ce dernier ait une incidence sur eux.
8. Lors de la mise en œuvre du système de gestion des risques décrit aux paragraphes 1 à 7, les fournisseurs conviennent d’étudier avec attention la probabilité que le système d’IA à haut risque ait une incidence négative sur des groupes de personnes vulnérablesou des enfants.
Amendement 277 Proposition de règlement Article 9 – paragraphe 9
9. Pour les établissements de crédit couverts par la directive 2013/36/UE, les aspects décrits aux paragraphes 1 à 8 font partie des procédures de gestion des risques établies par ces établissements conformément à l’article 74 de ladite directive.
9. Pour les fournisseurs et les systèmes d’IA déjà couverts par le droit de l’Union qui leur impose d’établir un système spécifique de gestion des risques, y compris les établissements de crédit couverts par la directive 2013/36/UE, les aspects décrits aux paragraphes 1 à 8 font partie des procédures de gestion des risques établies par ce droit de l’Unionou sont combinés à celles-ci.
Amendement 278 Proposition de règlement Article 10 – paragraphe 1
1. Les systèmes d’IA à haut risque faisant appel à des techniques qui impliquent l’entraînement de modèles au moyen de données sont développés sur la base de jeux de données d’entraînement, de validation et de test qui satisfont aux critères de qualité visés aux paragraphes 2 à 5.
1. Les systèmes d’IA à haut risque faisant appel à des techniques qui impliquent l’entraînement de modèles au moyen de données sont développés sur la base de jeux de données d’entraînement, de validation et de test qui satisfont aux critères de qualité visés aux paragraphes 2 à 5 dans la mesure du techniquement faisable en fonction du segment de marché ou du champ d’application spécifique..
Les techniques qui ne nécessitent pas de données d’entrée étiquetées, telles que l’apprentissage non supervisé et l’apprentissage par renforcement, sont développées sur la base de jeux de données dédiés à des essais et des vérifications par exemple, qui satisfont aux critères de qualité visés aux paragraphes 2 à 5.
Amendement 279 Proposition de règlement Article 10 – paragraphe 2 – partie introductive
2. Les jeux de données d’entraînement, de validation et de test sont assujettis à des pratiques appropriées en matière de gouvernance et de gestion des données. Ces pratiques concernent en particulier:
2. Les jeux de données d’entraînement, de validation et de test sont assujettis à une gouvernance des données adaptée au contexte de l’utilisation et de la destination du système d’IA. Ces mesures concernent en particulier:
Amendement 280 Proposition de règlement Article 10 – paragraphe 2 – point a bis (nouveau)
a bis) la transparence en ce qui concerne l’objectif initial de la collecte des données;
Amendement 281 Proposition de règlement Article 10 – paragraphe 2 – point b
b) la collecte de données;
b) les processus de collecte des données;
Amendement 282 Proposition de règlement Article 10 – paragraphe 2 – point c
c) les opérations de traitement pertinentes pour la préparation des données, telles que l’annotation, l’étiquetage, le nettoyage, l’enrichissement et l’agrégation;
c) les opérations de traitement pour la préparation des données, telles que l’annotation, l’étiquetage, le nettoyage, la mise à jour, l’enrichissement et l’agrégation;
Amendement 283 Proposition de règlement Article 10 – paragraphe 2 – point d
d) la formulation d’hypothèses pertinentes, notamment en ce qui concerne les informations que les données sont censées mesurer et représenter;
d) la formulation d’hypothèses, notamment en ce qui concerne les informations que les données sont censées mesurer et représenter;
Amendement 284 Proposition de règlement Article 10 – paragraphe 2 – point e
e) une évaluation préalable de la disponibilité, de la quantité et de l’adéquation des jeux de données nécessaires;
e) une évaluation de la disponibilité, de la quantité et de l’adéquation des jeux de données nécessaires;
Amendement 285 Proposition de règlement Article 10 – paragraphe 2 – point f
f) un examen permettant de repérer d’éventuels biais;
f) un examen permettant de repérer d’éventuels biais susceptibles de porter atteinte à la santé et la sécurité des personnes, d’avoir une incidence négative sur les droits fondamentaux ou de se traduire par une discrimination interdite par le droit de l’Union, en particulier lorsque les résultats des données influencent les données d’entrée pour les opérations futures («boucles de rétroaction») et des mesures appropriées visant à détecter, prévenir et atténuer les éventuels biais;
Amendement 286 Proposition de règlement Article 10 – paragraphe 2 – point f bis (nouveau)
f bis) les mesures appropriées visant à détecter, prévenir et atténuer les éventuels biais;
Amendement 287 Proposition de règlement Article 10 – paragraphe 2 – point g
g) la détection d’éventuelles lacunes ou déficiences dans les données, et la manière dont ces lacunes ou déficiences peuvent être comblées.
g) la détection de lacunes ou déficiences pertinentes dans les données qui empêchent l’application du présent règlement, et la manière dont ces lacunes ou déficiences peuvent être comblées;
Amendement 288 Proposition de règlement Article 10 – paragraphe 3
3. Les jeux de données d’entraînement, de validation et de test sont pertinents, représentatifs, exempts d’erreurs et complets. Ils possèdent les propriétés statistiques appropriées, y compris, le cas échéant, en ce qui concerne les personnes ou groupes de personnes à l’égard desquels le système d’IA à haut risque est destiné à être utilisé. Ces caractéristiques des jeux de données peuvent être présentes au niveau des jeux de données pris individuellement ou d’une combinaison de ceux-ci.
3. Les jeux de données d’entraînement, et le cas échéant, les jeux de données de validation et de test, y compris les étiquettes, sont pertinents, sufisamment représentatifs, correctement vérifiés afin de détecter les erreurs et sontle plus complet possible au regard de la destination. Ils possèdent les propriétés statistiques appropriées, y compris, le cas échéant, en ce qui concerne les personnes ou groupes de personnes à l’égard desquels le système d’IA à haut risque est destiné à être utilisé. Ces caractéristiques des jeux de données sont présentes au niveau des jeux de données pris individuellement ou d’une combinaison de ceux-ci.
Amendement 289 Proposition de règlement Article 10 – paragraphe 4
4. Les jeux de données d’entraînement, de validation et de test tiennent compte, dans la mesure requise par la destination, des caractéristiques ou éléments propres au contexte géographique, comportemental ou fonctionnel spécifique dans lequel le système d’IA à haut risque est destiné à être utilisé.
4. Les jeux de données tiennent compte, dans la mesure requise par la destination, ou par la mauvaise utilisation raisonnablement prévisible du système d’IA, des caractéristiques ou éléments propres au contexte géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système d’IA à haut risque est destiné à être utilisé.
Amendement 290 Proposition de règlement Article 10 – paragraphe 5
5. Dans la mesure où cela est strictement nécessaire aux fins de la surveillance, de la détection et de la correction des biais en ce qui concerne les systèmes d’IA à haut risque, les fournisseurs de ces systèmes peuvent traiter des catégories particulières de données à caractère personnel visées à l’article 9, paragraphe 1, du règlement (UE) 2016/679, à l’article 10 de la directive (UE) 2016/680 et à l’article 10, paragraphe 1, du règlement (UE) 2018/1725, sous réserve de garanties appropriées pour les droits et libertés fondamentaux des personnes physiques, y compris des limitations techniques relatives à la réutilisation ainsi que l’utilisation des mesures les plus avancées en matière de sécurité et de protection de la vie privée, telles que la pseudonymisation, ou le cryptage lorsque l’anonymisation peut avoir une incidence significative sur l’objectif poursuivi.
5. Dans la mesure où cela est strictement nécessaire aux fins de la détection et de la correction des biais négatifs en ce qui concerne les systèmes d’IA à haut risque, les fournisseurs de ces systèmes peuvent exceptionnellement traiter des catégories particulières de données à caractère personnel visées à l’article 9, paragraphe 1, du règlement (UE) 2016/679, à l’article 10 de la directive (UE) 2016/680 et à l’article 10, paragraphe 1, du règlement (UE) 2018/1725, sous réserve de garanties appropriées pour les droits et libertés fondamentaux des personnes physiques, y compris des limitations techniques relatives à la réutilisation ainsi que l’utilisation des mesures les plus avancées en matière de sécurité et de protection de la vie privée. En particulier, pour que ce traitement puisse avoir lieu, toutes les conditions suivantes s’appliquent: a) le traitement de données synthétiques ou anonymisées ne permet pas de satisfaire de manière efficace la détection et la correction des biais;
b) Les données font l’objet d’une pseudonymisation;
c) le fournisseur prend des mesures techniques et organisationnelles appropriées pour garantir que les données traitées aux fins du présent paragraphe sont sécurisées, protégées, soumises à des garanties appropriées, et que seules les personnes autorisées ont accès à ces données conformément à des obligations de confidentialité appropriées;
d) les données traitées aux fins du présent paragraphe ne sont pas transmises, transférées ou consultées d’une autre manière par d’autres parties;
e) les données traitées aux fins du présent paragraphe sont protégées par des mesures techniques et organisationnelles appropriées et supprimées une fois que le biais a été corrigé ou que la période de conservation de ces données personnelles a expiré;
f) des mesures efficaces et appropriées sont en place pour garantir la disponibilité, la sécurité et la résilience des systèmes et des services de traitement face aux incidents techniques ou physiques;
g) des mesures efficaces et appropriées sont en place pour garantir la sécurité physique des lieux où les données sont stockées et traitées, la gouvernance et la gestion des systèmes informatiques internes et des systèmes de sécurité informatique, et la certification des processus et des produits;
Les fournisseurs ayant recours à cette disposition établissent une documentation expliquant pourquoi le traitement de catégories particulières de données à caractère personnel était nécessaire pour détecter et corriger les biais.
Amendement 291 Proposition de règlement Article 10 – paragraphe 6 bis (nouveau)
6 bis. Lorsque le fournisseur ne peut se conformer aux obligations énoncées dans le présent article parce que ce fournisseur n’a pas accès aux données et parce que celles-ci sont exclusivement détenues par le déployeur, ce dernier peut, sur la base d’un contrat, voir sa responsabilité engagée en cas de violation du présent article.
La documentation technique est établie de manière à démontrer que le système d’IA à haut risque satisfait aux exigences énoncées dans le présent chapitre et à fournir aux autorités nationales compétentes et aux organismes notifiés toutes les informations nécessaires pour évaluer la conformité du système d’IA avec ces exigences. Elle contient, au minimum, les éléments énoncés à l’annexe IV.
La documentation technique est établie de manière à démontrer que le système d’IA à haut risque satisfait aux exigences énoncées dans le présent chapitre et à fournir aux autorités de contrôle nationales et aux organismes notifiés les informations nécessaires pour évaluer la conformité du système d’IA avec ces exigences. Elle contient, au minimum, les éléments énoncés à l’annexe IV ou, dans le cas de PME et des jeunes entreprises, toute documentation équivalente répondant aux mêmes objectifs, sous réserve de l’approbation de l’autorité nationale compétente.
Amendement 293 Proposition de règlement Article 11 – paragraphe 2
2. Lorsqu’un système d’IA à haut risque lié à un produit auquel s’appliquent les actes juridiques énumérés à l’annexe II, section A, est mis sur le marché ou mis en service, une seule documentation technique est établie, contenant toutes les informations visées à l’annexe IV ainsi que les informations requises en vertu de ces actes juridiques.
2. Lorsqu’un système d’IA à haut risque lié à un produit auquel s’appliquent les actes juridiques énumérés à l’annexe II, section A, est mis sur le marché ou mis en service, une seule documentation technique est établie, contenant toutes les informations visées au paragraphe 1 ainsi que les informations requises en vertu de ces actes juridiques.
Amendement 294 Proposition de règlement Article 11 – paragraphe 3 bis (nouveau)
3 bis. Si les fournisseurs sont des établissements de crédit régis par la directive 2013/36/UE, ils tiennent à jour la documentation technique dans le cadre de la documentation à établir sur les dispositifs, processus et mécanismes de gouvernance interne au sens de l’article 74 de ladite directive.
Amendement 295 Proposition de règlement Article 12 – paragraphe 1
1. La conception et le développement des systèmes d’IA à haut risque prévoient des fonctionnalités permettant l’enregistrement automatique des événements («journaux») pendant le fonctionnement de ces systèmes. Ces fonctionnalités d’enregistrement sont conformes à des normes ou à des spécifications communes reconnues.
1. La conception et le développement des systèmes d’IA à haut risque prévoient des fonctionnalités permettant l’enregistrement automatique des événements («journaux») pendant le fonctionnement de ces systèmes. Ces fonctionnalités d’enregistrement sont conformes à l’état de la technique et à des normes ou à des spécifications communes reconnues.
Amendement 296 Proposition de règlement Article 12 – paragraphe 2
2. Les fonctionnalités d’enregistrement garantissent un degré de traçabilité du fonctionnement du système d’IA tout au long de son cycle de vie qui soit adapté à la destination du système.
2. Pour garantir un degré de traçabilité du fonctionnement du système d’IA tout au long de sa durée de vie qui soit adapté à la destination du système, les fonctionnalités d’enregistrement facilitent la surveillance des opérations visées à l’article 29, paragraphe 4, ainsi que la surveillance après commercialisation visée à l’article 61. Elles permettent en particulier l’enregistrement d’événements pertinents pour détecter des situations qui éventuellement:
a) ont pour effet que le système d’IA présente un risque au sens de l’article 65, paragraphe 1; ou
b) entraînent une modification substantielle au système d’IA.
Amendement 297 Proposition de règlement Article 12 – paragraphe 2 bis (nouveau)
2 bis. Les systèmes d’IA à haut risque sont conçus et développés avec les fonctionnalités d’enregistrement permettant l’enregistrement de la consommation d’énergie, la mesure ou le calcul de l’utilisation des ressources et l’incidence environnementale du système d’IA à haut risque pendant toutes les étapes du cycle de vie du système.
Amendement 298 Proposition de règlement Article 12 – paragraphe 3
3. En particulier, ces fonctionnalités permettent de surveiller le fonctionnement du système d’IA à haut risque dans l’éventualité de situations ayant pour effet que l’IA présente un risque au sens de l’article 65, paragraphe 1, ou entraînant une modification substantielle, et facilitent la surveillance après commercialisation visée à l’article 61.
supprimé
Amendement 299 Proposition de règlement Article 13 – titre
Transparence et fourniture d’informations aux utilisateurs
Transparence et fourniture d’informations
Amendement 300 Proposition de règlement Article 13 – paragraphe 1
1. La conception et le développement des systèmes d’IA à haut risque sont tels que le fonctionnement de ces systèmes est suffisamment transparent pour permettre aux utilisateurs d’interpréter les résultats du système et de l’utiliser de manière appropriée. Untype et un niveau adéquats de transparence permettent de veiller au respect des obligations pertinentes incombant à l’utilisateur et au fournisseur énoncées au chapitre 3 du présent titre.
1. La conception et le développement des systèmes d’IA à haut risque sont tels que le fonctionnement de ces systèmes est suffisamment transparent pour permettre aux fournisseurs et aux utilisateurs de comprendre raisonnablement le fonctionnement du système. Une transparence adéquate permet de veiller, en fonction de la destination du système d’IA, au respect des obligations pertinentes incombant au fournisseur et à l’utilisateur énoncées au chapitre 3 du présent titre.
À cet égard, on entend par «transparence» le fait que, au moment où le système d’IA est mis sur le marché, tous les moyens techniques disponibles conformément à l’état de la technique généralement reconnu sont utilisés pour garantir que les résultats du système d’IA sont interprétables par le fournisseur et l’utilisateur. L’utilisateur est en mesure de comprendre et d’utiliser correctement le système d’IA en connaissant généralement le fonctionnement du système d’IA et les données qu’il traite, ce qui lui permet d’expliquer les décisions prises par le système d’IA à la personne concernée conformément à l’article 68, point c).
Amendement 301 Proposition de règlement Article 13 – paragraphe 2
2. Les systèmes d’IA à haut risque sont accompagnés d’une notice d’utilisation dans un format numérique approprié ou autre, contenant des informations concises, complètes, exactes et claires, qui soient pertinentes, accessibles et compréhensibles pour les utilisateurs.
2. Les systèmes d’IA à haut risque sont accompagnés d’une notice d’utilisation intelligible dans un format numérique approprié ou mise à disposition sur un support durable, contenant des informations concises, exactes, claires et, dans la mesure du possible, complètes, qui aident les utilisateurs à faire fonctionner et à entretenir le système d’IA et à prendre des décisions éclairées, et qui soient raisonnablement pertinentes, accessibles et compréhensibles pour les utilisateurs.
Amendement 302 Proposition de règlement Article 13 – paragraphe 3 – partie introductive
3. Les informations visées au paragraphe 2 comprennent:
3. Pour obtenir les résultats visés au paragraphe 1, les informations visées au paragraphe 2 comprennent:
Amendement 303 Proposition de règlement Article 13 –paragraphe 3 – point a
a) l’identité et les coordonnées du fournisseur et, le cas échéant, de son mandataire;
a) l’identité et les coordonnées du fournisseur et, le cas échéant, de ses mandataires;
Amendement 304 Proposition de règlement Article 13 – paragraphe 3 – point a bis (nouveau)
a bis) lorsqu’elles diffèrent de celles du fournisseur, l’identité et les coordonnées de l’entité qui a procédé à l’évaluation de la conformité et, le cas échéant, de son mandataire;
Amendement 305 Proposition de règlement Article 13 – paragraphe 3 – point b – partie introductive
b) les caractéristiques, les capacités et les limites de performance du système d’IA à haut risque, notamment:
b) les caractéristiques, les capacités et les limites de performance du système d’IA à haut risque, notamment, s’il y a lieu:
Amendement 306 Proposition de règlement Article 13 – paragraphe 3 – point b – sous-point ii
ii) le niveau d’exactitude, de robustesse et de cybersécurité visé à l’article 15 qui a servi de référence pour les tests et la validation du système d’IA à haut risque et qui peut être attendu, ainsi que toutes circonstances connues et prévisibles susceptibles d’avoir une incidence sur le niveau attendu d’exactitude, de robustesse et de cybersécurité;
ii) le niveau d’exactitude, de robustesse et de cybersécurité visé à l’article 15 qui a servi de référence pour les tests et la validation du système d’IA à haut risque et qui peut être attendu, ainsi que toutes circonstances clairement connues et prévisibles susceptibles d’avoir une incidence sur le niveau attendu d’exactitude, de robustesse et de cybersécurité;
Amendement 307 Proposition de règlement Article 13 – paragraphe 3 – point b – sous-point iii
iii) toutes circonstances connues ou prévisibles liées à l’utilisation du système d’IA à haut risque conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, susceptibles d’entraîner des risques pour la santé et la sécurité ou pour les droits fondamentaux;
iii) toutes circonstances clairement connues ou prévisibles liées à l’utilisation du système d’IA à haut risque conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, susceptibles d’entraîner des risques pour la santé et la sécurité, pour les droits fondamentaux ou pour l’environnement, y compris, le cas échéant, des exemples de ces limitations et des scénarios pour lesquels le système ne devrait pas être utilisé;
Amendement 308 Proposition de règlement Article 13 – paragraphe 3 – point b – sous-point iii bis (nouveau)
iii bis) la mesure dans laquelle le système d’IA peut fournir une explication des décisions qu’il prend;
Amendement 309 Proposition de règlement Article 13 – paragraphe 3 – point b – sous-point v
v) le cas échéant, les spécifications relatives aux données d’entrée, ou toute autre information pertinente concernant les jeux de données d’entraînement, de validation et de test utilisés, compte tenu de la destination du système d’IA.
v) les informations pertinentes au sujet des actions de l’utilisateur susceptibles d’influencer les performances du système, notamment le type ou la qualité des données d’entrée, ou toute autre information pertinente concernant les jeux de données d’entraînement, de validation et de test utilisés, compte tenu de la destination du système d’IA.
Amendement 310 Proposition de règlement Article 13 – paragraphe 3 – point e
e) la durée de vie attendue du système d’IA à haut risque et toutes les mesures de maintenance et de suivi nécessaires pour assurer le bon fonctionnement de ce système d’IA, notamment en ce qui concerne les mises à jour logicielles.
e) toutes les mesures de maintenance et de suivi nécessaires pour assurer le bon fonctionnement de ce système d’IA, notamment en ce qui concerne les mises à jour logicielles, tout au long de sa durée de vie attendue.
Amendement 311 Proposition de règlement Article 13 – paragraphe 3 – point e bis (nouveau)
e bis) la description des mécanismes à l’œuvre dans le système d’IA permettant aux utilisateurs de collecter, stocker et interpréter correctement les journaux visés à l’article 12, paragraphe 1.
Amendement 312 Proposition de règlement Article 13 – paragraphe 3 – point e ter (nouveau)
e ter) les informations sont fournies au moins dans la langue du pays dans lequel le système d’IA est utilisé.
Amendement 313 Proposition de règlement Article 13 – paragraphe 3 bis (nouveau)
3 bis. Les fournisseurs et les utilisateurs veillent à disposer d’un niveau suffisant de maîtrise de l’IA conformément à l’article 4 ter afin de respecter les obligations énoncées dans le présent article.
Amendement 314 Proposition de règlement Article 14 – paragraphe 1
1. La conception et le développement des systèmes d’IA à haut risque permettent, notamment au moyen d’interfaces homme-machine appropriées, un contrôle effectif par des personnes physiques pendant la période d’utilisation du système d’IA.
1. La conception et le développement des systèmes d’IA à haut risque peuvent être, notamment au moyen d’interfaces homme-machine appropriées, contrôlés efficacement par des personnes physiques de manière proportionnée aux risques associés à ces systèmes. Les personnes physiques chargées d’assurer le contrôle humain disposent d’un niveau suffisant de maîtrise de l’IA conformément à l’article 4 ter, ainsi que du soutien et de l’autorité nécessaires pour exercer cette fonction, pendant la période d’utilisation du système d’IA et pour permettre une enquête approfondie après un incident.
Amendement 315 Proposition de règlement Article 14 – paragraphe 2
2. Le contrôle humain vise à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsqu’un système d’IA à haut risque est utilisé conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, en particulier lorsque de tels risques persistent nonobstant l’application d’autres exigences énoncées dans le présent chapitre.
2. Le contrôle humain vise à prévenir ou à réduire au minimum les risques pour la santé, la sécurité, les droits fondamentaux ou l’environnement qui peuvent apparaître lorsqu’un système d’IA à haut risque est utilisé conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, en particulier lorsque de tels risques persistent nonobstant l’application d’autres exigences énoncées dans le présent chapitre et lorsque des décisions basées exclusivement sur un traitement automatisé par des systèmes d’IA produisent des effets juridiques ou autrement significatifs sur les personnes ou groupes de personnes à l’égard desquels le système doit être utilisé.
Amendement 316 Proposition de règlement Article 14 – paragraphe 3 – partie introductive
3. Le contrôle humain est assuré au moyen d’une ou de la totalité des mesures suivantes:
3. Le contrôle humain tient compte des risques spécifiques, du niveau d’automatisation et du contexte du système d’IA, et il est assuré au moyen d’une ou de la totalité des types de mesures suivants:
Amendement 317 Proposition de règlement Article 14 – paragraphe 4 – partie introductive
4. Les mesures prévues au paragraphe 3donnent aux personnes chargées d’effectuer un contrôle humain, en fonction des circonstances, la possibilité:
4. Aux fins de la mise en œuvre des dispositions des paragraphes 1 à 3, le système d’IA à haut risque est fourni à l’utilisateur de telle manière que les personnes physiques chargées d’effectuer un contrôle humain, en fonction des circonstances et dans la mesure où cela est proportionné, ont la possibilité:
Amendement 318 Proposition de règlement Article 14 –paragraphe 4 – point a
a) d’appréhender totalement les capacités et les limites du système d’IA à haut risque et d’être en mesure de surveiller correctement son fonctionnement, afin de pouvoir détecter et traiter dès que possible les signes d’anomalies, de dysfonctionnements et de performances inattendues;
a) d’avoir connaissance et d’appréhender suffisamment les capacités pertinentes et les limites du système d’IA à haut risque et d’être en mesure de surveiller correctement son fonctionnement, afin de pouvoir détecter et traiter dès que possible les signes d’anomalies, de dysfonctionnements et de performances inattendues;
Amendement 319 Proposition de règlement Article 14 – paragraphe 4 – point e
e) d’être capable d’intervenir sur le fonctionnement du système d’IA à haut risque ou d’interrompre ce fonctionnement au moyen d’un bouton d’arrêt ou d’une procédure similaire.
e) d’être capable d’intervenir sur le fonctionnement du système d’IA à haut risque ou d’interrompre ce fonctionnement au moyen d’un bouton d’arrêt ou d’une procédure similaire qui permette au système de s’arrêter de manière sécurisée, sauf si l’intervention humaine est susceptible d’accroître les risques ou d’avoir une incidence négative sur les performances du système, compte tenu de l’état de la technique généralement reconnu.
Amendement 320 Proposition de règlement Article 14 – paragraphe 5
5. Pour les systèmes d’IA à haut risque visés à l’annexe III, point 1 a), les mesures prévues au paragraphe 3 sont de nature à garantir qu’en outre, aucune mesure ou décision n’est prise par l’utilisateur sur la base de l’identification résultant du système sans vérification et confirmation par au moins deux personnes physiques.
5. Pour les systèmes d’IA à haut risque visés à l’annexe III, point 1 a), les mesures prévues au paragraphe 3 sont de nature à garantir qu’en outre, aucune mesure ou décision n’est prise par l’utilisateur sur la base de l’identification résultant du système sans vérification et confirmation par au moins deux personnes physiques disposant des compétences, de la formation et de l’autorité nécessaires.
Amendement 321 Proposition de règlement Article 15 – paragraphe 1
1. La conception et le développement des systèmes d’IA à haut risque sont tels qu’ils leur permettent, compte tenu de leur destination, d’atteindre un niveau approprié d’exactitude, de robustesse et de cybersécurité, et de fonctionner de manière cohérente à cet égard tout au long de leur cycle de vie.
1. Les systèmes d’IA à haut risque sont conçus et développés conformément au principe de sécurité dès la conception et par défaut.Ils devraient atteindre, compte tenu de leur destination, un niveau approprié de précision, de robustesse, de sécurité et de cybersécurité, et fonctionner de manière cohérente à cet égard tout au long de leur cycle de vie. Le respect de ces exigences doit être soumis à la mise en œuvre de mesures conformes à l’état de la technique, en fonction du segment de marché ou du champ d’application spécifique.
Amendement 322 Proposition de règlement Article 15 – paragraphe 1 bis (nouveau)
1 bis. Pour examiner les aspects techniques de la manière de mesurer les niveaux appropriés de précision et de robustesse énoncés au paragraphe 1 du présent article, le Bureau de l’IA réunit les autorités nationales et internationales spécialisées en matière de définition de référentiels et en métrologie et fournit des orientations non contraignantes dans ces domaines, comme prévu à l’article 56, paragraphe 2, point a).
Amendement 323 Proposition de règlement Article 15 – paragraphe 1 ter (nouveau)
1 ter. L’Agence de l’Union européenne pour la cybersécurité (ENISA) traite toute question émergente dans l’ensemble du marché intérieur en ce qui concerne la cybersécurité, en association avec le comité européen de l’intelligence artificielle, conformément à l’article 56, paragraphe 2, point b).
Amendement 324 Proposition de règlement Article 15 – paragraphe 2
2. Les niveaux d’exactitude et les métriques pertinents en matière d’exactitude des systèmes d’IA à haut risque sont indiqués dans la notice d’utilisation jointe.
2. Les niveaux d’exactitude et les métriques pertinents en matière d’exactitude des systèmes d’IA à haut risque sont indiqués dans la notice d’utilisation jointe. Les formulations doivent être claires et ne prêter à aucun malentendu ou confusion.
Les systèmes d’IA à haut risque font preuve de résilience en cas d’erreurs, de défaillances ou d’incohérences pouvant survenir au sein des systèmes eux-mêmes ou de l’environnement dans lequel ils fonctionnent, notamment en raison de leur interaction avec des personnes physiques ou d’autres systèmes.
Il convient de prendre des mesures techniques et organisationnelles pour veiller à ce que les systèmes d’IA à haut risque fassent preuve d’un maximum de résilience en cas d’erreurs, de défaillances ou d’incohérences pouvant survenir au sein des systèmes eux-mêmes ou de l’environnement dans lequel ils fonctionnent, notamment en raison de leur interaction avec des personnes physiques ou d’autres systèmes.
Des solutions techniques redondantes, telles que des plans de sauvegarde ou des mesures de sécurité après défaillance, permettent de garantir la robustesse des systèmes d’IA à haut risque.
Des solutions techniques redondantes, telles que des plans de sauvegarde ou des mesures de sécurité après défaillance, proposées par le fournisseur concerné sur conseil éventuel de l’utilisateur permettent de garantir la robustesse des systèmes d’IA à haut risque.
Les systèmes d’IA à haut risque qui continuent leur apprentissage après leur mise sur le marché ou leur mise en service sont développés de telle sorte que les éventuels biais dus à l’utilisation de résultats comme données d’entrée pour les opérations futures («boucles de rétroaction») fassent l’objet d’un traitement adéquat au moyen de mesures d’atténuation appropriées.
Les systèmes d’IA à haut risque qui continuent leur apprentissage après leur mise sur le marché ou leur mise en service sont développés de telle sorte que les éventuels résultats biaisés influençant les données d’entrées pour les opérations futures («boucles de rétroaction») et la manipulation frauduleuse desdites données utilisées en opération aux fins d’apprentissage fassent l’objet d’un traitement adéquat au moyen de mesures d’atténuation appropriées.
Les systèmes d’IA à haut risque résistent aux tentatives de tiers non autorisés visant à modifier leur utilisation ou leurs performances en exploitant les vulnérabilités du système.
Les systèmes d’IA à haut risque résistent aux tentatives de tiers non autorisés visant à modifier leur utilisation, leur comportement, leurs résultats ou leurs performances en exploitant les vulnérabilités du système.
Les solutions techniques destinées à remédier aux vulnérabilités spécifiques à l’IA comprennent, le cas échéant, des mesures ayant pour but de prévenir et de maîtriser les attaques visant à manipuler le jeu de données d’entraînement («empoisonnement des données»), les données d’entrée destinées à induire le modèle en erreur («exemples adverses») ou les défauts du modèle.
Les solutions techniques destinées à remédier aux vulnérabilités spécifiques à l’IA comprennent, le cas échéant, des mesures ayant pour but de prévenir, de détecter, de contrer, de résoudre et de maîtriser les attaques visant à manipuler le jeu de données d’entraînement («empoisonnement des données») ou les composants préentraînés utilisés en entraînement («empoisonnement de modèle»), les données d’entrée destinées à induire le modèle en erreur («exemples adverses» ou «invasion de modèle»), les attaques visant la confidentialité ou les défauts du modèle, qui pourraient aboutir à des décisions préjudiciables.
Amendement 330 Proposition de règlement Titre III – chapitre 3 – titre
OBLIGATIONS INCOMBANT AUX FOURNISSEURS ET AUX UTILISATEURS DE SYSTÈMES D’IA À HAUT RISQUE ET À D’AUTRES PARTIES
OBLIGATIONS INCOMBANT AUX FOURNISSEURS ET AUX DÉPLOYEURS DE SYSTÈMES D’IA À HAUT RISQUE ET À D’AUTRES PARTIES
Amendement 331 Proposition de règlement Article 16 – titre
Obligations incombant aux fournisseurs de systèmes d’IA à haut risque
Obligations incombant aux fournisseurs et aux déployeurs de systèmes d’IA à haut risque et à d’autres parties
Amendement 332 Proposition de règlement Article 16 –alinéa 1 – point a
a) veillent à ce que leurs systèmes d’IA à haut risque soient conformes aux exigences énoncées au chapitre 2 du présent titre;
a) veillent à ce que leurs systèmes d’IA à haut risque soient conformes aux exigences énoncées au chapitre 2 du présent titre avant leur mise sur le marché ou leur mise en service;
Amendement 333 Proposition de règlement Article 16 – alinéa 1 – point a bis (nouveau)
a bis) indiquent leur nom, raison sociale ou marque déposée, ainsi que leur adresse et coordonnées, sur le système d’IA à haut risque ou, lorsque cela n’est pas possible, dans la documentation l’accompagnant, selon le cas.
Amendement 334 Proposition de règlement Article 16 – alinéa 1 – point a ter (nouveau)
a ter) veillent à ce que les personnes physiques chargées d’assurer le contrôle humain des systèmes d’IA à haut risque soient explicitement informées du risque de biais d’automatisation ou de confirmation;
Amendement 335 Proposition de règlement Article 16 – alinéa 1 – point a quater (nouveau)
a quater) fournissent les spécifications relatives aux données d’entrée, ou tout autre information pertinente concernant les jeux de données utilisés, y compris leur limitation et leurs hypothèses, compte tenu de la destination ou de la mauvaise utilisation prévisible et raisonnablement prévisible du système d’IA;
Amendement 336 Proposition de règlement Article 16 – alinéa 1 – point c
c) établissent la documentation technique du système d’IA à haut risque;
c) établissent et conservent la documentation technique du système d’IA à haut risque visée à l’article 11;
Amendement 337 Proposition de règlement Article 16 – alinéa 1 – point d
d) assurent la tenue des journaux générés automatiquement par leurs systèmes d’IA à haut risque, dans la mesure où ces journaux se trouvent sous leur contrôle;
d) assurent la tenue des journaux générés automatiquement par leurs systèmes d’IA à haut risque, dans la mesure où ces journaux se trouvent sous leur contrôle, qui sont exigés pour garantir et prouver le respect du présent règlement, conformément à l’article 20;
Amendement 338 Proposition de règlement Article 16 – alinéa 1 – point e
e) veillent à ce que le système d’IA à haut risque soit soumis à la procédure d’évaluation de la conformité applicable, avant sa mise sur le marché ou sa mise en service;
e) veillent à ce que le système d’IA à haut risque soit soumis à la procédure d’évaluation de la conformité applicable, avant sa mise sur le marché ou sa mise en service, conformément à l’article 43;
Amendement 339 Proposition de règlement Article 16 – alinéa 1 – point e bis (nouveau)
e bis) élaborent une déclaration «UE» de conformité conformément à l’article 48;
Amendement 340 Proposition de règlement Article 16 – alinéa 1 – point e ter (nouveau)
e ter) apposent le marquage CE sur le système d’IA à haut risque afin d’indiquer la conformité au présent règlement, conformément à l’article 49;
Amendement 341 Proposition de règlement Article 16 – alinéa 1 – point g
g) prennent les mesures correctives nécessaires si le système d’IA à haut risque n’est pas conforme aux exigences énoncées au chapitre 2 du présent titre;
g) prennent les mesures correctives nécessaires telles que visées à l’article 21 et fournissent des informations à cet égard;
Amendement 342 Proposition de règlement Article 16 – alinéa 1– point h
h) informent les autorités nationales compétentes des États membres dans lesquels ils ont mis le système d’IA à disposition ou en service et, le cas échéant, l’organisme notifié, de la non-conformité et de toute mesure corrective prise;
supprimé
Amendement 343 Proposition de règlement Article 16 – alinéa 1 – point i
i) apposent le marquage CE sur leurs systèmes d’IA à haut risque afin d’indiquer la conformité au présent règlement, conformément à l’article 49;
supprimé
Amendement 344 Proposition de règlement Article 16 – alinéa 1 – point j
j) à la demande d’une autorité nationale compétente, apportent la preuve de la conformité du système d’IA à haut risque aux exigences énoncées au chapitre 2 du présent titre.
j) à la demande motivée d’une autorité de contrôle nationale, apportent la preuve de la conformité du système d’IA à haut risque aux exigences énoncées au chapitre 2 du présent titre.
Amendement 345 Proposition de règlement Article 16 – alinéa 1 – point j bis (nouveau)
j bis) garantir que le système d’IA à haut risque est conforme aux exigences en matière d’accessibilité.
Amendement 346 Proposition de règlement Article 17 – paragraphe 1 – partie introductive
1. Les fournisseurs de systèmes d’IA à haut risque mettent en place un système de gestion de la qualité garantissant le respect du présent règlement. Ce système est documenté de manière méthodique et ordonnée sous la forme de politiques, de procédures et d’instructions écrites, et comprend au moins les aspects suivants:
1. Les fournisseurs de systèmes d’IA à haut risque ont en place un système de gestion de la qualité garantissant le respect du présent règlement. Celui-ci est documenté de manière méthodique et ordonnée sous la forme de politiques, de procédures ou d’instructions écrites, et peut être intégré dans un système de gestion de la qualité existant en vertu des actes législatifs sectoriels de l’Union. Il comprend au moins les aspects suivants:
Amendement 347 Proposition de règlement Article 17 –paragraphe 1 – point a
a) une stratégie de respect de la réglementation, notamment le respect des procédures d’évaluation de la conformité et des procédures de gestion des modifications apportées aux systèmes d’IA à haut risque;
supprimé
Amendement 348 Proposition de règlement Article 17 – paragraphe 1 – point e
e) des spécifications techniques, notamment des normes, à appliquer et, lorsque les normes harmonisées pertinentes ne sont pas appliquées intégralement, les moyens à utiliser pour faire en sorte que le système d’IA à haut risque satisfasse aux exigences énoncées au chapitre 2 du présent titre;
e) des spécifications techniques, notamment des normes, à appliquer et, lorsque les normes harmonisées pertinentes ne sont pas appliquées intégralement, ou ne couvrent pas toutes les exigences pertinentes, les moyens à utiliser pour faire en sorte que le système d’IA à haut risque satisfasse aux exigences énoncées au chapitre 2 du présent titre;
Amendement 349 Proposition de règlement Article 17 – paragraphe 1 – point f
f) les systèmes et procédures de gestion des données, notamment la collecte, l’analyse, l’étiquetage, le stockage, la filtration, l’exploration, l’agrégation, la conservation des données et toute autre opération concernant les données qui est effectuée avant la mise sur le marché ou la mise en service de systèmes d’IA à haut risque et aux fins de celles-ci;
f) les systèmes et procédures de gestion des données, notamment l’acquisition, la collecte, l’analyse, l’étiquetage, le stockage, la filtration, l’exploration, l’agrégation, la conservation des données et toute autre opération concernant les données qui est effectuée avant la mise sur le marché ou la mise en service de systèmes d’IA à haut risque et aux fins de celles-ci;
Amendement 350 Proposition de règlement Article 17 – paragraphe 1 – point j
j) la gestion des communications avec les autorités nationales compétentes, les autorités compétentes, y compris les autorités sectorielles, fournissant ou facilitant l’accès aux données, les organismes notifiés, les autres opérateurs, les clients ou d’autres parties intéressées;
j) la gestion des communications avec les autorités compétentes concernées, y compris les autorités sectorielles;
Amendement 351 Proposition de règlement Article 17 – paragraphe 2
2. La mise en œuvre des aspects visés au paragraphe 1 est proportionnée à la taille de l’organisation du fournisseur.
2. La mise en œuvre des aspects visés au paragraphe 1 est proportionnée à la taille de l’organisation du fournisseur. Les fournisseurs doivent systématiquement respecter le degré de rigueur et le niveau de protection requis afin de garantir la conformité des systèmes d’IA avec le présent règlement.
Amendement 352 Proposition de règlement Article 18 – titre
Obligation d’établir une documentation technique
supprimé
Amendement 353 Proposition de règlement Article 18 – paragraphe 1
1. Les fournisseurs de systèmes d’IA à haut risque établissent la documentation technique prévue à l’article 11 conformément à l’annexe IV.
supprimé
Amendement 354 Proposition de règlement Article 18 – paragraphe 2
2. Si les fournisseurs sont des établissements de crédit régis par la directive 2013/36/UE, ils tiennent à jour la documentation technique dans le cadre de la documentation à établir sur les dispositifs, processus et mécanismes de gouvernance interne au sens de l’article 74 de ladite directive.
supprimé
Amendement 355 Proposition de règlement Article 19
Article 19
supprimé
Évaluation de la conformité
1. Les fournisseurs de systèmes d’IA à haut risque veillent à ce que leurs systèmes soient soumis à la procédure d’évaluation de la conformité applicable conformément à l’article 43, avant leur mise sur le marché ou leur mise en service. Lorsqu’il a été démontré, à la suite de cette évaluation de la conformité, que les systèmes d’IA satisfont aux exigences énoncées au chapitre 2 du présent titre, les fournisseurs établissent une déclaration UE de conformité conformément à l’article 48 et apposent le marquage «CE» de conformité conformément à l’article 49.
2. Pour les systèmes d’IA à haut risque visés à l’annexe III, point 5 b), mis sur le marché ou mis en service par des fournisseurs qui sont des établissements de crédit régis par la directive 2013/36/UE, l’évaluation de la conformité est effectuée dans le cadre de la procédure visée aux articles 97 à 101 de ladite directive.
Amendement 356 Proposition de règlement Article 20 – paragraphe 1
1. Les fournisseurs de systèmes d’IA à haut risque assurent la tenue des journaux générés automatiquement par leurs systèmes d’IA à haut risque, dans la mesure où ces journaux se trouvent sous leur contrôle en vertu d’un arrangement contractuel avec l’utilisateur ou d’autres modalités prévues par la loi. Les journaux sont conservés pendant une période appropriéeau regard de la destination du système d’IA à haut risque et des obligations légales applicables en vertu du droit de l’Union ou du droit national.
1. Les fournisseurs de systèmes d’IA à haut risque assurent la tenue des journaux générés automatiquement par leurs systèmes d’IA à haut risque, dans la mesure où ces journaux se trouvent sous leur contrôle. Sans préjudice du droit de l’Union ou du droit national applicable, les journaux sont conservés pendant une période d’au moins 6 mois. La période de conservation est conforme aux normes industrielles et appropriée à la destination du système d’IA à haut risque.
Amendement 357 Proposition de règlement Article 21 – alinéa 1
Les fournisseurs de systèmes d’IA à haut risque qui considèrent ou ont des raisons de considérer qu’un système d’IA à haut risque qu’ils ont mis sur le marché ou mis en service n’est pas conforme au présent règlement prennent immédiatement les mesures correctives nécessaires pour le mettre en conformité, le retirer ou le rappeler, selon le cas. Ils informent les distributeurs du système d’IA à haut risque en question et, le cas échéant, le mandataire et les importateurs en conséquence.
Les fournisseurs de systèmes d’IA à haut risque qui considèrent ou ont des raisons de considérer qu’un système d’IA à haut risque qu’ils ont mis sur le marché ou mis en service n’est pas conforme au présent règlement prennent immédiatement les mesures correctives nécessaires pour le mettre en conformité, le retirer, le mettre hors service ou le rappeler, selon le cas.
Dans les cas visés au premier paragraphe, les fournisseurs informent immédiatement:
a) les distributeurs;
b) les importateurs;
c) les autorités nationales compétentes des États membres dans lesquels ils ont mis le système d’IA à disposition ou en service; et
d) dans la mesure du possible, le déployeur.
Amendement 358 Proposition de règlement Article 21 – alinéa 1 bis (nouveau)
Les fournisseurs informent également le mandataire, s’il a été désigné conformément à l’article 25, ainsi que l’organisme notifié, au cas où le système d’IA à haut risque a dû faire l’objet d’une évaluation de la conformité par un tiers conformément à l’article 43. Le cas échéant, ils mènent également une enquête sur les causes en collaboration avec le déployeur.
Amendement 359 Proposition de règlement Article 22 – alinéa 1
Lorsque le système d’IA à haut risque présente un risque au sens de l’article 65, paragraphe 1, et que ce risque est connu du fournisseur du système, celui-ci en informe immédiatement les autorités nationales compétentes des États membres dans lesquels il a mis le système à disposition et, le cas échéant, l’organisme notifié qui a délivré un certificat pour le système d’IA à haut risque, en précisant notamment le cas de non-conformité et les éventuelles mesures correctives prises.
Lorsque le système d’IA à haut risque présente un risque au sens de l’article 65, paragraphe 1, et que le fournisseur du système prend conscience de ce risque, celui-ci en informe immédiatement les autorités de contrôle nationales des États membres dans lesquels il a mis le système à disposition et, le cas échéant, l’organisme notifié qui a délivré un certificat pour le système d’IA à haut risque, en précisant notamment la nature du cas de non-conformité et les éventuelles mesures correctives pertinentes prises.
Amendement 360 Proposition de règlement Article 22 – alinéa 1 bis (nouveau)
Dans les cas visés au premier paragraphe, les fournisseurs du système d’IA à haut risque informent immédiatement:
a) les distributeurs;
b) les importateurs;
c) les autorités nationales compétentes des États membres dans lesquels ils ont mis le système d’IA à disposition ou en service; et
d) dans la mesure du possible, les déployeurs.
Amendement 361 Proposition de règlement Article 22 – alinéa 1 ter (nouveau)
Les fournisseurs informent également le mandataire, s’il a été désigné conformément à l’article 25.
Amendement 362 Proposition de règlement Article 23 – titre
Coopération avec les autorités compétentes
Coopération avec les autorités compétentes, le Bureau et la Commission
Amendement 363 Proposition de règlement Article 23 – alinéa 1
À la demande d’une autorité nationale compétente, les fournisseurs de systèmes d’IA à haut risque fournissent à ladite autorité toutes les informations et tous les documents nécessaires pour démontrer la conformité du système d’IA à haut risque avec les exigences énoncées au chapitre 2 du présent titre, dans une langue officielle de l’Union définie par l’État membre concerné. À la demande motivée d’une autorité nationale compétente, les fournisseurs accordent également à cette autorité l’accès aux journaux générés automatiquement par le système d’IA à haut risque, dans la mesure où ces journaux se trouvent sous leur contrôle en vertu d’un arrangement contractuel avec l’utilisateur ou d’autres modalités prévues par la loi.
À la demande motivée d’une autorité nationale compétente ou, le cas échéant, duBureau de l’IA ou de la Commission, les fournisseurs et, le cas échéant, les déployeurs de systèmes d’IA à haut risque leur fournissent toutes les informations et tous les documents nécessaires pour démontrer la conformité du système d’IA à haut risque avec les exigences énoncées au chapitre 2 du présent titre, dans une langue officielle de l’Union définie par l’État membre concerné.
Amendement 364 Proposition de règlement Article 23 – alinéa 1 bis (nouveau)
Sur demande motivée d’une autorité nationale compétente ou, le cas échéant, de la Commission, les fournisseurs et, le cas échéant, les déployeurs accordent également à l’autorité nationale compétente ou, selon le cas, à la Commission qui le demande, l’accès aux journaux générés automatiquement par le système d’IA à haut risque, dans la mesure où ces journaux se trouvent sous leur contrôle.
Amendement 365 Proposition de règlement Article 23 – alinéa 1 ter (nouveau)
Les informations obtenues par une autorité nationale compétente ou par la Commission conformément aux dispositions du présent article sont considérées comme des secrets d’affaires et traitées dans le respect des obligations de confidentialité énoncées à l’article 70.
Amendement 366 Proposition de règlement Article 25 – paragraphe 1
1. Avant de mettre leurs systèmes à disposition sur le marché de l’Union, si aucun importateur ne peut être identifié, les fournisseurs établis en dehors de l’Union désignent, par mandat écrit, un mandataire établi dans l’Union.
1. Avant de mettre leurs systèmes à disposition sur le marché de l’Union, les fournisseurs établis en dehors de l’Union désignent, par mandat écrit, un mandataire établi dans l’Union.
Amendement 367 Proposition de règlement Article 25 – paragraphe 1 bis (nouveau)
1 bis. Le mandataire réside ou est établi dans l’un des États membres où sont menées les activités visées à l’article 2, paragraphe 1 point c ter.
Amendement 368 Proposition de règlement Article 25 – paragraphe 1 ter (nouveau)
1 ter. Le fournisseur donne à son mandataire les pouvoirs et les ressources nécessaires pour s’acquitter des tâches qui lui incombent en vertu du présent règlement.
Amendement 369 Proposition de règlement Article 25 – paragraphe 2 – partie introductive
2. Le mandataire exécute les tâches indiquées dans le mandat que lui a confié le fournisseur. Le mandat habilite le mandataire à exécuter les tâches suivantes:
2. Le mandataire exécute les tâches indiquées dans le mandat que lui a confié le fournisseur. Il fournit une copie du mandat aux autorités de surveillance du marché à leur demande, dans l’une des langues officielles des institutions de l’Union précisée par l’autorité nationale compétente. Aux fins du présent règlement, le mandat habilite le mandataire à exécuter les tâches suivantes:
Amendement 370 Proposition de règlement Article 25 – paragraphe 2 – point a
a) tenirà la disposition des autorités nationales compétentes et des autorités nationales visées à l’article 63, paragraphe 7, une copie de la déclaration de conformité UE et de la documentation technique;
a) s’assurer que la déclaration de conformité UE et la documentation technique ont été établies et qu’une procédure d’évaluation de la conformité appropriée a été appliquée par le fournisseur;
Amendement 371 Proposition de règlement Article 25 – paragraphe 2 – point a bis (nouveau)
a bis) tenir à la disposition des autorités nationales compétentes et des autres autorités nationales visées à l’article 63, paragraphe 7, une copie de la déclaration de conformité UE et de la documentation technique et, le cas échéant, du certificat délivré par l’organisme notifié;
Amendement 372 Proposition de règlement Article 25 – paragraphe 2 – point b
b) à la demande motivée d’une autorité nationale compétente, communiquer à cette dernière toutes les informations et tous les documents nécessaires à la démonstration de la conformité d’un système d’IA à haut risque avec les exigences énoncées au chapitre 2 du présent titre, et notamment lui donner accès aux journaux automatiquement générés par le système d’IA à haut risque, dans la mesure où ces journaux se trouvent sous le contrôle du fournisseur en vertu d’un arrangement contractuel avec l’utilisateur ou d’autres modalités prévues par la loi;
b) à la demande motivée d’une autorité nationale compétente, communiquer à cette dernière toutes les informations et tous les documents nécessaires à la démonstration de la conformité d’un système d’IA à haut risque avec les exigences énoncées au chapitre 2 du présent titre, et notamment lui donner accès aux journaux automatiquement générés par le système d’IA à haut risque, dans la mesure où ces journaux se trouvent sous le contrôle du fournisseur;
Amendement 373 Proposition de règlement Article 25 – paragraphe 2 – point c
c) à la demande motivée des autorités nationales compétentes, coopérer avec elles à toute mesure prise par ces dernièresà l’égard du système d’IA à haut risque.
c) à la demande motivée des autorités de contrôle nationales, coopérer avec elles à toute mesure prise par l’autoritépour réduire et atténuer les risques posés par un système d’IA à haut risque;
Amendement 374 Proposition de règlement Article 25 – paragraphe 2 – point c bis (nouveau)
c bis) le cas échéant, respecter les obligations en matière d’enregistrement prévues à l’article 51 ou, si le fournisseur assure lui-même l’enregistrement, s’assurer que les informations visées à l’annexe VIII, point 3) sont exactes.
Amendement 375 Proposition de règlement Article 25 – paragraphe 2 bis (nouveau)
2 bis. Le mandataire est mandaté pour servir d’interlocuteur en plus ou à la place du fournisseur, en particulier à l’autorité de contrôle nationale ou aux autorités nationales compétentes et aux personnes concernées, pour toutes les questions liées au respect du présent règlement.
Amendement 376 Proposition de règlement Article 25 – paragraphe 2 ter (nouveau)
2 ter. Le mandataire met fin au mandat s’il considère ou a des raisons de considérer que le fournisseur ne respecte pas les obligations qui lui incombent en vertu du présent règlement. Dans ce cas, le mandataire informe immédiatement l’autorité de contrôle nationale de l’État membre dans lequel il est établi ainsi que, le cas échéant, l’organisme notifié compétent de sa décision de mettre fin au mandat et des motifs qui la sous-tendent.
Amendement 377 Proposition de règlement Article 26 – paragraphe 1 – partie introductive
1. Avant de mettre sur le marché un système d’IA à haut risque, les importateurs de ce système s’assurent que:
1. Avant de mettre sur le marché un système d’IA à haut risque, les importateurs de ce système s’assurent qu’il est conforme au présent règlement en garantissant que:
Amendement 378 Proposition de règlement Article 26 –paragraphe 1 – point a
a) le fournisseur de ce système d’IA a suivi la procédure appropriée d’évaluation de la conformité;
a) le fournisseur de ce système d’IA a suivi la procédure pertinente d’évaluation de la conformité visée à l’article 43;
Amendement 379 Proposition de règlement Article 26 – paragraphe 1 – point b
b) le fournisseur a établi la documentation technique conformément à l’annexe IV;
b) le fournisseur a établi la documentation technique conformément à l’article 11 et à l’annexe IV;
Amendement 380 Proposition de règlement Article 26 – paragraphe 1 – point c bis (nouveau)
c bis) le fournisseur, le cas échéant, a nommé un mandataire conformément à l’article 25, paragraphe 1.
Amendement 381 Proposition de règlement Article 26 – paragraphe 2
2. Lorsqu’un importateur considère ou a des raisons de considérer qu’un système d’IA à haut risque n’est pas conforme au présent règlement, il ne met ce système sur le marché qu’après sa mise en conformité. Lorsque le système d’IA à haut risque présente un risque au sens de l’article 65, paragraphe 1, l’importateur en informe le fournisseur du système d’IA et les autorités de surveillance du marché.
2. Lorsqu’un importateur considère ou a des raisons de considérer qu’un système d’IA à haut risque n’est pas conforme au présent règlement, a été falsifié ou s’accompagne d’une documentation falsifiée, il ne met ce système sur le marché qu’après sa mise en conformité. Lorsque le système d’IA à haut risque présente un risque au sens de l’article 65, paragraphe 1, l’importateur en informe le fournisseur du système d’IA et les autorités de surveillance du marché.
Amendement 382 Proposition de règlement Article 26 – paragraphe 3
3. Les importateurs indiquent leur nom, raison sociale ou marque déposée, ainsi que l’adresse à laquelle ils peuvent être contactés, sur le système d’IA à haut risque ou, lorsque cela n’est pas possible, sur son emballage ou dans la documentation l’accompagnant, selon le cas.
3. Les importateurs indiquent leur nom, raison sociale ou marque déposée, ainsi que l’adresse à laquelle ils peuvent être contactés, sur le système d’IA à haut risque et, le cas échéant, sur son emballage ou dans la documentation l’accompagnant.
Amendement 383 Proposition de règlement Article 26 – paragraphe 5
5. À la demande motivée des autorités nationales compétentes, les importateurs communiquent à ces dernières toutes les informations et tous les documents nécessaires pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées au chapitre 2 du présent titre, dans une langue aisément compréhensible par cette autorité nationale compétente, et leur accordent notamment l’accès aux journaux automatiquement générés par le système d’IA à haut risque, dans la mesure où ces journaux se trouvent sous le contrôle du fournisseur en vertu d’un arrangement contractuel avec l’utilisateur ou d’autres modalités prévues par la loi. Ils coopèrent également avec ces autorités à toute mesure prise par l’autorité nationale compétente à l’égard de ce système.
5. À la demande motivée des autorités nationales compétentes, les importateurs communiquent à ces dernières toutes les informations et tous les documents nécessaires pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées au chapitre 2 du présent titre, dans une langue aisément compréhensible par celles-ci, et leur accordent notamment l’accès aux journaux automatiquement générés par le système d’IA à haut risque, dans la mesure où ces journaux se trouvent sous le contrôle du fournisseur conformément à l’article 20.
Amendement 384 Proposition de règlement Article 26 – paragraphe 5 bis (nouveau)
5 bis. Les importateurs coopèrent avec les autorités nationales compétentes à toute mesure prise par ces autorités pour réduire et atténuer les risques posés par le système d’IA à haut risque;
Amendement 385 Proposition de règlement Article 27 – paragraphe 1
1. Avant de mettre un système d’IA à haut risque à disposition sur le marché, les distributeurs vérifient que le système d’IA à haut risque porte le marquage de conformité CE requis, qu’il est accompagné de la documentation et de la notice d’utilisation requises et que le fournisseur et l’importateur du système, selon le cas, ont respecté les obligations énoncées dans le présent règlement.
1. Avant de mettre un système d’IA à haut risque à disposition sur le marché, les distributeurs vérifient que le système d’IA à haut risque porte le marquage de conformité CE requis, qu’il est accompagné de la documentation et de la notice d’utilisation requises et que le fournisseur et l’importateur du système, selon le cas, ont respecté leurs obligations énoncées dans le présent règlement à l’article 16 et à l’article 26 respectivement.
Amendement 386 Proposition de règlement Article 27 – paragraphe 2
2. Lorsqu’un distributeur considère ou a des raisons de considérer qu’un système d’IA à haut risque n’est pas conforme aux exigences énoncées au chapitre 2 du présent titre, il ne met ce système sur le marché qu’après la mise en conformité de celui-ci avec lesdites exigences. De plus, lorsque le système présente un risque au sens de l’article 65, paragraphe 1, le distributeur en informe le fournisseur ou l’importateur du système, selon le cas.
2. Lorsqu’un distributeur considère ou a des raisons de considérer, sur la base des informations en sa possession, qu’un système d’IA à haut risque n’est pas conforme aux exigences énoncées au chapitre 2 du présent titre, il ne met ce système sur le marché qu’après la mise en conformité de celui-ci avec lesdites exigences. De plus, lorsque le système présente un risque au sens de l’article 65, paragraphe 1, le distributeur en informe le fournisseur ou l’importateur du système et l’autorité nationale compétente pertinente, selon le cas.
Amendement 387 Proposition de règlement Article 27 – paragraphe 4
4. Lorsqu’un distributeur considère ou a des raisons de considérer qu’un système d’IA à haut risque qu’il a mis à disposition sur le marché n’est pas conforme aux exigences énoncées au chapitre 2 du présent titre, il prend les mesures correctives nécessaires pour mettre ce système en conformité avec lesdites exigences, le retirer ou le rappeler ou veille à ce que le fournisseur, l’importateur ou tout opérateur concerné, selon le cas, prenne ces mesures correctives. Lorsque le système d’IA à haut risque présente un risque au sens de l’article 65, paragraphe 1, le distributeur en informe immédiatement les autorités nationales compétentes des États membres dans lesquels il a mis le produit à disposition et précise, notamment, le cas de non-conformité et les éventuelles mesures correctives prises.
4. Lorsqu’un distributeur considère ou a des raisons de considérer, sur la base des informations en sa possession, qu’un système d’IA à haut risque qu’il a mis à disposition sur le marché n’est pas conforme aux exigences énoncées au chapitre 2 du présent titre, il prend les mesures correctives nécessaires pour mettre ce système en conformité avec lesdites exigences, le retirer ou le rappeler ou veille à ce que le fournisseur, l’importateur ou tout opérateur concerné, selon le cas, prenne ces mesures correctives. Lorsque le système d’IA à haut risque présente un risque au sens de l’article 65, paragraphe 1, le distributeur en informe immédiatement le fournisseur ou l’importateur du système ainsi queles autorités nationales compétentes des États membres dans lesquels il a mis le produit à disposition et précise, notamment, le cas de non-conformité et les éventuelles mesures correctives prises.
Amendement 388 Proposition de règlement Article 27 – paragraphe 5
5. À la demande motivée d’une autorité nationale compétente, les distributeurs de systèmes d’IA à haut risque communiquent à cette autorité toutes les informations et tous les documents nécessaires pour démontrer la conformité d’un système à haut risque avec les exigences énoncées au chapitre 2 du présent titre. Les distributeurs coopèrent également avec cette autorité nationale compétente à toute mesure prise par cette autorité.
5. À la demande motivée d’une autorité nationale compétente, les distributeurs de systèmes d’IA à haut risque communiquent à cette autorité toutes les informations et tous les documents en leur possession ou dont ils disposent, conformément aux obligations des distributeurs énoncées au paragraphe 1, qui sont nécessaires pour démontrer la conformité d’un système à haut risque avec les exigences énoncées au chapitre 2 du présent titre.
Amendement 389 Proposition de règlement Article 27 – paragraphe 5 bis (nouveau)
5 bis. Les distributeurs coopèrent avec les autorités nationales compétentes à toute mesure prise par ces autorités pour réduire et atténuer les risques posés par le système d’IA à haut risque;
Amendement 390 Proposition de règlement Article 28 – titre
Obligations des distributeurs, des importateurs, des utilisateurs ou de tout autre tiers
Responsabilités des fournisseurs, des distributeurs, des importateurs, des déployeurs ou d’autres tierstout au long de la chaîne de valeur de l’IA
Amendement 391 Proposition de règlement Article 28 – paragraphe 1 – partie introductive
1. Tout distributeur, importateur, utilisateur ou autre tiers est considéré comme un fournisseur aux fins du présent règlement et est soumis aux obligations incombant au fournisseur au titre de l’article 16 dans toutes les circonstances suivantes:
1. Tout distributeur, importateur, déployeur ou autre tiers est considéré comme un fournisseur d’un système d’IA à haut risque aux fins du présent règlement et est soumis aux obligations incombant au fournisseur au titre de l’article 16 dans toutes les circonstances suivantes:
Amendement 392 Proposition de règlement Article 28 – paragraphe 1 – point a
a) il met sur le marché ou met en service un système d’IA à haut risque sous son propre nom ou sa propre marque;
a) il met sous son propre nom ou sa propre marque un système d’IA à haut risque déjà mis sur le marché ou mis en service;
Amendement 393 Proposition de règlement Article 28 – paragraphe 1 – point b
b) il modifie la destination d’un système d’IA à haut risque déjà mis sur le marché ou mis en service;
b) il apporte une modification substantielle à un système d’IA à haut risque qui a déjà été mis sur le marché ou a déjà été mis en service afin qu’il reste un système d’IA à haut risque conformément à l’article 6;
Amendement 394 Proposition de règlement Article 28 – paragraphe 1 – point b bis (nouveau)
b bis) il apporte une modification substantielle à un système d’IA, y compris à un système d’IA à usage général, qui n’a pas été classé à haut risque et a déjà été mis sur le marché ou mis en service de telle manière que le système d’IA devient un système d’IA à haut risque conformément l’article 6;
Amendement 395 Proposition de règlement Article 28 – paragraphe 2
2. Lorsque les circonstances visées au paragraphe 1, point b) ou c), se produisent, le fournisseur qui a initialement mis sur le marché ou mis en service le système d’IA à haut risque n’est plus considéré comme un fournisseur aux fins du présent règlement.
2. Lorsque les circonstances visées au paragraphe 1, point a) à b bis), se produisent, le fournisseur qui a initialement mis sur le marché ou mis en service le système d’IA n’est plus considéré comme un fournisseur de ce système d’IA spécifique aux fins du présent règlement. Ce fournisseur initial transmet au nouveau fournisseur la documentation technique et toutes les autres informations pertinentes et raisonnablement attendues relatives aux capacités du système d’IA, l’accès technique ou toute autre assistance fondée sur l’état de la technique généralement reconnu qui sont nécessaires au respect des obligations énoncées dans le présent règlement.
Le présent paragraphe s’applique également aux fournisseurs de systèmes d’IA à finalité générale tels que définis à l’article 3 lorsque le système d’IA à finalité générale est directement intégré dans un système d’IA à haut risque.
Amendement 396 Proposition de règlement Article 28 – paragraphe 2 bis (nouveau)
2 bis. Le fournisseur d’un système d’IA à haut risque et le tiers qui fournit des outils, services, composants ou processus qui sont utilisés ou intégrés dans le système d’IA à haut risque précisent, par accord écrit, les informations, les capacités, l’accès technique et toute autre assistance, sur la base de l’état de la technique généralement reconnu, que le tiers est tenu de fournir pour permettre au fournisseur du système d’IA à haut risque de se conformer pleinement aux obligations prévues par le présent règlement.
La Commission élabore et recommande des clauses contractuelles types non contraignantes entre les fournisseurs de systèmes d’IA à haut risque et les tiers qui fournissent des outils, services, composants ou processus qui sont utilisés ou intégrés dans des systèmes d’IA à haut risque afin d’aider les deux parties à rédiger et à négocier des contrats assortis de droits et d’obligations contractuels équilibrés, en accord avec le niveau de contrôle de chaque partie. Lorsqu’elle élabore des clauses contractuelles types non contraignantes, la Commission tient compte des éventuelles exigences contractuelles applicables dans des secteurs ou des activités spécifiques. Les clauses contractuelles non contraignantes sont publiées et mises à disposition gratuitement dans un format électronique facile d’utilisation sur le site web du Bureau de l’IA.
Amendement 397 Proposition de règlement Article 28 – paragraphe 2 ter (nouveau)
2 ter. Aux fins du présent article, les secrets d’affaires sont préservés et ne sont divulgués qu’à condition que toutes les mesures spécifiques nécessaires au titre de la directive (UE) 2016/943 soient prises à l’avance pour préserver leur confidentialité, en particulier en ce qui concerne les tiers. Si nécessaire, des dispositions techniques et organisationnelles appropriées peuvent être convenues afin de protéger les droits de propriété intellectuelle ou les secrets d’affaires.
Amendement 398 Proposition de règlement Article 28 bis (nouveau)
Article 28 bis
Clauses contractuelles abusives imposées unilatéralement à une PME ou à une jeune entreprise
1. Une clause contractuelle concernant la fourniture d’outils, de services, de composants ou de processus qui sont utilisés ou intégrés dans un système d’IA à haut risque ou les voies de recours en cas de violation ou de résiliation d’obligations connexes imposées unilatéralement par une entreprise à une PME ou à une jeune entreprise ne lie pas cette dernière entreprise si elle est abusive.
2. Une clause contractuelle n’est pas considérée comme abusive lorsqu’elle découle du droit de l’Union applicable.
3. Une clause contractuelle est abusive si elle est d’une nature telle qu’elle porte objectivement atteinte à la capacité de la partie à laquelle la clause a été imposée unilatéralement de protéger son intérêt commercial légitime dans les informations en question ou si son utilisation s’écarte fortement des bonnes pratiques commerciales en matière de fourniture d’outils, de services, de composants ou de processus qui sont utilisés ou intégrés dans un système d’IA à haut risque, et qu’elle est contraire à la bonne foi et à la loyauté, ou qu’elle crée un déséquilibre significatif entre les droits et les obligations des parties au contrat. Une clause contractuelle est également abusive si elle a pour effet de transférer les sanctions visées à l’article 71 ou les coûts associés aux litiges entre les parties au contrat, conformément à l’article 71, paragraphe 8.
4. Aux fins du présent article, une clause contractuelle est abusive si elle a pour objet ou pour effet:
a) d’exclure ou de limiter la responsabilité de la partie qui a unilatéralement imposé la clause en cas d’actes intentionnels ou de négligence grave;
b) d’exclure les voies de recours dont dispose la partie à laquelle la clause a été unilatéralement imposée en cas d’inexécution d’obligations contractuelles ou la responsabilité de la partie qui l’a imposée unilatéralement en cas de manquement à ces obligations;
c) de donner à la partie qui a unilatéralement imposé la clause le droit exclusif de déterminer si la documentation technique et les informations fournies sont conformes au contrat ou d’interpréter toute clause du contrat.
5. Une clause contractuelle est considérée comme imposée unilatéralement au sens du présent article si elle a été fournie par une partie contractante et si l’autre partie contractante n’a pas été en mesure d’influencer son contenu malgré une tentative de négociation. Il appartient à la partie contractante qui a fourni une clause contractuelle de prouver que cette clause n’a pas été imposée unilatéralement.
6. Lorsque la clause contractuelle abusive est dissociable des autres clauses du contrat, ces dernières restent contraignantes. La partie qui a fourni la clause faisant l’objet d’une contestation n’invoque pas le caractère abusif de la clause.
7. Le présent article s’applique à tout nouveau contrat entré en vigueur après le... [date d’entrée en vigueur du présent règlement]. Les entreprises réexaminent les obligations contractuelles existantes qui sont soumises au présent règlement au plus tard le... [trois ans après la date d’entrée en vigueur du présent règlement].
8. Compte tenu de la fréquence des innovations sur les marchés, la liste des clauses contractuelles abusives visées à l’article 28 bis est réexaminée régulièrement par la Commission et actualisée, le cas échéant, au vu des nouvelles pratiques commerciales.
Amendement 399 Proposition de règlement Article 28 ter (nouveau)
Article 28 ter
Obligations du fournisseur d’un système d’IA à finalité générale
1. Avant de le mettre à disposition sur le marché ou de le mettre en service, le fournisseur d’un système d’IA à finalité générale veille à ce qu’il soit conforme aux exigences énoncées dans le présent article, qu’il soit fourni en tant que modèle autonome ou intégré dans un système d’IA ou un produit, ou fourni sous licence libre et ouverte, en tant que service, ainsi que d’autres canaux de distribution.
2. Aux fins du paragraphe 1 le fournisseur d’un système d’IA à finalité générale:
a) démontre, par une conception, des essais et une analyse appropriés, que l’identification, la réduction et l’atténuation des risques raisonnablement prévisibles pour la santé, la sécurité, les droits fondamentaux, l’environnement, la démocratie et l’état de droit avant et tout au long du développement sont effectuées, au moyen de méthodes appropriées telles que la participation d’experts indépendants, ainsi que de la documentation sur les risques non atténuables restants après développement;
b) traite et intègre uniquement des jeux de données qui font l’objet de mesures appropriées de gouvernance des données pour les systèmes d’IA à finalité générale, en particulier de mesures visant à examiner l’adéquation des sources de données, les éventuels biais et l’atténuation appropriée.
c) conçoit et développe le système d’IA à finalité générale afin d’atteindre, tout au long de son cycle de vie, des niveaux appropriés de performance, de prévisibilité, d’interprétabilité, de possibilité d’apporter des corrections, de sécurité et de cybersécurité évalués au moyen de méthodes appropriées telles que l’évaluation des modèles avec la participation d’experts indépendants et en s’appuyant sur des analyses documentées et des essais approfondis lors de la conceptualisation, de la conception et du développement;
d) conçoit et développe le système d’IA à finalité générale, en s’appuyant sur les normes applicables pour réduire la consommation d’énergie, l’utilisation des ressources et les déchets, ainsi que pour accroître l’efficacité énergétique et l’efficacité globale du système, sans préjudice du droit de l’Union et du droit national en vigueur en la matière. Cette obligation ne s’applique pas avant la publication des normes visées à l’article 40. Ces systèmes d’IA à finalité générale sont conçus avec des fonctionnalités permettant de mesurer et d’enregistrer la consommation d’énergie et de ressources, et, lorsque c’est techniquement possible, d’autres incidences sur l’environnement que le déploiement et l’utilisation des systèmes pourraient avoir tout au long de leur cycle de vie;
e) rédige une documentation technique détaillée et des instructions d’utilisation intelligibles, afin de permettre aux fournisseurs en aval de se conformer aux obligations qui leur incombent au titre de l’article 16 et de l’article 28, paragraphe 1;
f) établit un système de gestion de la qualité pour garantir et attester pleinement par des documents son respect du présent article, avec la possibilité d’expérimenter pour satisfaire à cette exigence,
g) enregistre ce système d’IA à finalité générale dans la base de données de l’Union visée à l’article 60, conformément aux instructions énoncées à l’annexe VIII, point C.
Pour satisfaire à ces exigences, il est tenu compte de l’état de la technique généralement reconnu, y compris tel qu’il ressort des normes harmonisées ou des spécifications communes pertinentes, ainsi que des méthodes d’évaluation et de mesure les plus récentes, qui figurent notamment dans les orientations et les capacités en matière d’analyse comparative visées à l’article 58 bis;
3. Pendant une période prenant fin 10 ans après la mise sur le marché ou la mise en service de leur système d’IA à finalité générale, les fournisseurs tiennent la documentation technique visée au paragraphe 2 point e) à la disposition des autorités nationales compétentes
4. En outre, les fournisseurs de systèmes d’IA à finalité générale utilisés dans des systèmes d’IA destinés spécifiquement à générer, avec différents niveaux d’autonomie, des contenus tels que des textes, des images, des contenus audio ou des vidéos complexes («IA générative») et les fournisseurs spécialisés dans la transformation d’un système d’IA à finalité générale en un système d’IA générative:
a) respectent les obligations en matière de transparence énoncées à l’article 52, paragraphe 1,
b) forment et, le cas échéant, conçoivent et développent le système d’IA à finalité générale de manière à assurer des garanties appropriées contre la production de contenus qui sont en violation du droit de l’Union, conformément à l’état de la technique généralement reconnu, et sans préjudice des droits fondamentaux, notamment de la liberté d’expression,
c) documentent et mettent à la disposition du public un résumé suffisamment détaillé de l’utilisation des données d’entraînement protégées par la législation sur le droit d’auteur, sans préjudice de la législation de l’Union ou nationale en matière de droit d’auteur.
Amendement 400 Proposition de règlement Article 29 – paragraphe 1
1. Les utilisateurs de systèmes d’IA à haut risque utilisent ces systèmes conformément aux notices d’utilisation accompagnant les systèmes, conformément aux paragraphes 2 et 5.
1. Les déployeurs de systèmes d’IA à haut risque prennent des mesures techniques et organisationnelles appropriées afin de garantir qu’ils utilisent ces systèmes conformément aux notices d’utilisation accompagnant les systèmes, conformément aux paragraphes 2 et 5 du présent article.
Amendement 401 Proposition de règlement Article 29 – paragraphe 1 bis (nouveau)
1 bis. Dans la mesure où les déployeurs exercent un contrôle sur le système d’IA à haut risque, ils:
i) mettent en œuvre un contrôle humain conformément aux exigences énoncées dans le présent règlement;
ii) garantissent que les personnes physiques chargées de veiller au contrôle humain des systèmes d’IA à haut risque sont compétentes, suffisamment qualifiées et formées et qu’elles disposent des ressources nécessaires pour assurer le contrôle efficace des systèmes d’IA, conformément à l’article 14;
iii) veillent à ce que l’efficacité des mesures pertinentes et appropriées en matière de robustesse et de cybersécurité fasse l’objet d’un suivi régulier et soit régulièrement ajustée ou mise à jour.
Amendement 402 Proposition de règlement Article 29 – paragraphe 2
2. Les obligations énoncées au paragraphe 1 sont sans préjudice des autres obligations de l’utilisateur prévues par le droit de l’Union ou le droit national et de la faculté de l’utilisateur d’organiser ses propres ressources et activités aux fins de la mise en œuvre des mesures de contrôle humain indiquées par le fournisseur.
2. Les obligations énoncées aux paragraphes 1 et 1 bis sont sans préjudice des autres obligations du déployeur prévues par le droit de l’Union ou le droit national et de la faculté du déployeur d’organiser ses propres ressources et activités aux fins de la mise en œuvre des mesures de contrôle humain indiquées par le fournisseur.
Amendement 403 Proposition de règlement Article 29 – paragraphe 3
3. Sans préjudice du paragraphe 1, pour autant que l’utilisateur exerce un contrôle sur les données d’entrée, il veille à ce que ces dernières soient pertinentes au regard de la destination du système d’IA à haut risque.
3. Sans préjudice du paragraphe 1 et 1 bis, pour autant que le déployeur exerce un contrôle sur les données d’entrée, il veille à ce que ces dernières soient pertinentes et suffisamment représentatives au regard de la destination du système d’IA à haut risque.
Amendement 404 Proposition de règlement Article 29 – paragraphe 4 – partie introductive
4. Les utilisateurs surveillent le fonctionnement du système d’IA à haut risque sur la base de la notice d’utilisation. Lorsqu’ils ont des raisons de considérer que l’utilisation conformément à la notice d’utilisation peut avoir pour effet que le système d’IA présente un risque au sens de l’article 65, paragraphe 1, ils en informent le fournisseur ou le distributeur et suspendent l’utilisation du système. Ils informent également le fournisseur ou le distributeur lorsqu’ils constatent un incident grave ou un dysfonctionnement au sens de l’article 62 et ils interrompent l’utilisation du système d’IA. Si l’utilisateur n’est pas en mesure de joindre le fournisseur, l’article 62 s’applique par analogie.
4. Les déployeurs surveillent le fonctionnement du système d’IA à haut risque sur la base de la notice d’utilisation et, le cas échéant, fournissent des informations aux fournisseurs conformément à l’article 61. Lorsqu’ils ont des raisons de considérer que l’utilisation conformément à la notice d’utilisation peut avoir pour effet que le système d’IA présente un risque au sens de l’article 65, paragraphe 1, ils en informent le fournisseur ou le distributeur ainsi que l’autorité de contrôle nationale concernée, dans les meilleurs délais, et suspendent l’utilisation du système. Ils informent également immédiatement le fournisseur en premier lieu, puis l’importateur ou le distributeur ainsi que les autorités de contrôle nationale lorsqu’ils constatent un incident grave ou un dysfonctionnement au sens de l’article 62 et ils interrompent l’utilisation du système d’IA. Si le déployeur n’est pas en mesure de joindre le fournisseur, l’article 62 s’applique par analogie.
Si les utilisateurs sont des établissements de crédit régis par la directive 2013/36/UE, la conformité avec les règles relatives aux dispositifs, processus et mécanismes de gouvernance interne prévues à l’article 74 de ladite directive vaut respect de l’obligation de surveillance énoncée au premier alinéa.
Si les déployeurs sont des établissements de crédit régis par la directive 2013/36/UE, la conformité avec les règles relatives aux dispositifs, processus et mécanismes de gouvernance interne prévues à l’article 74 de ladite directive vaut respect de l’obligation de surveillance énoncée au premier alinéa.
Amendement 406 Proposition de règlement Article 29 – paragraphe 5 – partie introductive
5. Les utilisateurs de systèmes d’IA à haut risque assurent la tenue des journaux générés automatiquement par ce système d’IA à haut risque, dans la mesure où ces journaux se trouvent sous leur contrôle. Les journaux sont conservés pendant une période appropriéeau regard de la destination du système d’IA à haut risque et des obligations légales applicables en vertu du droit de l’Union ou du droit national.
5. Les déployeurs de systèmes d’IA à haut risque assurent la tenue des journaux générés automatiquement par ce système d’IA à haut risque, dans la mesure où ces journaux se trouvent sous leur contrôle, et sont exigés pour garantir et prouver le respect du présent règlement, aux fins des contrôles ex post concernant d’éventuels dysfonctionnements, des incidents ou des mauvaises utilisations raisonnablement prévisibles du système, ou pour garantir et contrôler le bon fonctionnement du système tout au long de son cycle de vie.Sans préjudice du droit de l’Union ou du droit national applicable, les journaux sont conservés pendant une période d’au moins 6 mois. La période de conservation est conforme aux normes industrielles et appropriée à la destination du système d’IA à haut risque.
Si les utilisateurs sont des établissements de crédit régis par la directive 2013/36/UE, ils assurent la tenue des journaux dans le cadre de la documentation à établir sur les dispositifs, processus et mécanismes de gouvernance interne au sens de l’article 74 de ladite directive.
Si les déployeurs sont des établissements de crédit régis par la directive 2013/36/UE, ils assurent la tenue des journaux dans le cadre de la documentation à établir sur les dispositifs, processus et mécanismes de gouvernance interne au sens de l’article 74 de ladite directive.
Amendement 408 Proposition de règlement Article 29 – paragraphe 5 bis (nouveau)
5 bis. Avant la mise en service ou l’utilisation d’un système d’IA à haut risque sur le lieu de travail, les déployeurs consultent les représentants des travailleurs en vue de parvenir à un accord conformément à la directive 2002/14/CE, et informent les employés concernés qu’ils seront soumis à l’utilisation du système.
Amendement 409 Proposition de règlement Article 29 – paragraphe 5 ter (nouveau)
5 ter. Les déployeurs de systèmes d’IA à haut risque qui sont des autorités publiques ou des institutions, organes et organismes de l’Union ou des entreprises visées à l’article 51, paragraphe 1 bis et 1 ter, respectent les obligations en matière d’enregistrement prévues à l’article 51.
Amendement 410 Proposition de règlement Article 29 – paragraphe 6
6. Les utilisateurs de systèmes d’IA à haut risque utilisent les informations fournies en application de l’article 13 pour se conformer à leur obligation de procéder à une analyse d’impact relative à la protection des données en vertu de l’article 35 du règlement (UE) 2016/679 ou de l’article 27 de la directive (UE) 2016/680, le cas échéant.
6. Le cas échéant, les déployeurs de systèmes d’IA à haut risque utilisent les informations fournies en application de l’article 13 pour se conformer à leur obligation de procéder à une analyse d’impact relative à la protection des données en vertu de l’article 35 du règlement (UE) 2016/679 ou de l’article 27 de la directive (UE) 2016/680, dont un résumé est publié, eu égard à l’utilisation spécifique et au contexte particulier dans lequel le système d’IA est censé être utilisé. Les déployeurs peuvent se fonder en partie sur ces analyses d’impact relatives à la protection des données pour s’acquitter de certaines des obligations énoncées au présent article, dans la mesure où l’analyse remplit ces obligations.
Amendement 411 Proposition de règlement Article 29 – paragraphe 6 bis (nouveau)
6 bis. Sans préjudice de l’article 52, les déployeurs de systèmes d’IA à haut risque visés à l’annexe III, qui prennent des décisions ou facilitent les prises de décision concernant des personnes physiques, informent lesdites personnes physiques qu’elles sont soumises à l’utilisation du système d’IA à haut risque. Cette information comprend la destination et le type de décisions qu’il prend. Le déployeur informe également la personne physique de son droit à une explication visée à l’article 68 quater.
Amendement 412 Proposition de règlement Article 29 – paragraphe 6 ter (nouveau)
6 ter. Les déployeurs coopèrent avec les autorités nationales compétentes concernées à toute mesure prise par ces autorités à l’égard du système d’IA à haut risque en vue de mettre en œuvre le présent règlement.
Amendement 413 Proposition de règlement Article 29 bis (nouveau)
Article 29 bis
Analyse d’impact des systèmes d’IA à haut risque sur les droits fondamentaux
Avant de mettre en service un système d’IA à haut risque, tel que défini à l’article 6, paragraphe 2, à l’exception des systèmes d’IA destinés à être utilisés dans le domaine 2 de l’annexe III, les déployeurs effectuent une analyse d’impact du système dans le contexte spécifique de son utilisation. Cette analyse comprend au moins les éléments suivants:
a) une description claire de la destination pour laquelle le système sera utilisé;
b) une description claire du contexte géographique et temporel dans lequel le système sera utilisé;
c) les catégories de personnes physiques et les groupes susceptibles d’être concernés par l’utilisation du système;
d) la vérification de la conformité de l’utilisation du système au droit de l’Union et au droit national pertinents concernant les droits fondamentaux;
e) l’incidence raisonnablement prévisible sur les droits fondamentaux de la mise en œuvre du système d’IA à haut risque;
f) les risques spécifiques de préjudice susceptible d’affecter des personnes marginalisées ou des groupes vulnérables;
g) l’estimation de l’incidence négative raisonnablement prévisible de l’utilisation du système sur l’environnement;
h) un plan détaillant la manière dont l’incidence négative sur les droits fondamentaux et les préjudices identifiés seront atténués;
j) le système de gouvernance que le déployeur mettra en place, y compris contrôle humain, le traitement des réclamations et les voies de recours.
2. S’il est impossible de définir un plan détaillé visant à atténuer les risques décrits au cours de l’analyse visée au paragraphe 1, le déployeur s’abstient de mettre en service le système d’IA à haut risque et en informe le fournisseur et les autorités de contrôle nationales dans les meilleurs délais. Les autorités de contrôle nationales, au titre des articles 65 et 67, tiennent compte de ces informations dans le cadre de leurs enquêtes sur les systèmes qui présentent un risque au niveau national.
3. L’obligation visée au paragraphe 1 s’applique pour la première utilisation du système d’IA à haut risque. Le déployeur peut, dans des cas similaires, s’appuyer sur une analyse d’impact sur les droits fondamentaux effectuée précédemment ou sur une analyse existante réalisée par les fournisseurs. Si, pendant l’utilisation du système d’IA à haut risque, le déployeur estime que les critères énumérés au paragraphe 1 ne sont plus remplis, il procède à une nouvelle analyse d’impact sur les droits fondamentaux.
4. Au cours de l’analyse d’impact, le déployeur, à l’exception des PME, informe les autorités de contrôle nationales et les parties prenantes concernées, et, dans la mesure du possible, associe des représentants des personnes ou groupes de personnes susceptibles d’être concernées par le système d’IA à haut risque, telles que définies au paragraphe 1, y compris, mais pas uniquement: les organismes chargés des questions d’égalité, les organismes de protection des consommateurs, les partenaires sociaux et les organismes de protection des données, en vue de recevoir leur contribution à l’analyse d’impact. Le déployeur accorde un délai de réponse de six semaines aux organismes. Les PME peuvent appliquer volontairement les dispositions du présent paragraphe.
Dans le cas visé à l’article 47, paragraphe 1, les autorités publiques peuvent être exemptées de ces obligations.
5. Le déployeur, dès lors qu’il s’agit d’une autorité publique ou d’une entreprise visée à l’article 51, paragraphes 1 bis et 1 ter, publie un résumé des résultats de l’analyse d’impact dans le cadre de l’enregistrement de l’utilisation, conformément à l’obligation qui lui incombe en vertu de l’article 51, paragraphe 2.
6. Lorsque le déployeur est déjà tenu d’effectuer une analyse d’impact relative à la protection des données en vertu de l’article 35 du règlement (UE) 2016/679 ou de l’article 27 de la directive (UE) 2016/680, l’analyse d’impact sur les droits fondamentaux décrite au paragraphe 1 est menée conjointement avec l’analyse d’impact relative à la protection des données. L’analyse d’impact relative à la protection des données doit être publiée dans un addendum.
Amendement 414 Proposition de règlement Article 30 – paragraphe 1
1. Chaque État membre désigne ou établit une autorité notifiante chargée de mettre en place et d’accomplir les procédures nécessaires à l’évaluation, à la désignation et à la notification des organismes d’évaluation de la conformité et à leur contrôle.
1. Chaque État membre désigne ou établit une autorité notifiante chargée de mettre en place et d’accomplir les procédures nécessaires à l’évaluation, à la désignation et à la notification des organismes d’évaluation de la conformité et à leur contrôle. Ces procédures sont élaborées en coopération entre les autorités notifiantes de tous les États membres.
Amendement 415 Proposition de règlement Article 30 – paragraphe 7
7. Les autorités notifiantes disposent d’un personnel compétent en nombre suffisant pour la bonne exécution de leurs tâches.
7. Les autorités notifiantes disposent d’un personnel compétent en nombre suffisant pour la bonne exécution de leurs tâches. Le cas échéant, le personnel compétent possède l’expertise nécessaire, par exemple un diplôme dans un domaine juridique approprié, en matière de surveillance des droits fondamentaux consacrés par la charte des droits fondamentaux de l’Union européenne.
Amendement 416 Proposition de règlement Article 30 – paragraphe 8
8. Les autorités notifiantes veillent à ce que les évaluations de la conformité soient effectuées de manière proportionnée, en évitant les charges inutiles pour les fournisseurs, et à ce que les organismes notifiés accomplissent leurs activités en tenant dûment compte de la taille des entreprises, du secteur dans lequel elles exercent leurs activités, de leur structure et du degré de complexité du système d’IA en question.
8. Les autorités notifiantes veillent à ce que les évaluations de la conformité soient effectuées de manière proportionnée et en temps utile, en évitant les charges inutiles pour les fournisseurs, et à ce que les organismes notifiés accomplissent leurs activités en tenant dûment compte de la taille des entreprises, du secteur dans lequel elles exercent leurs activités, de leur structure et du degré de complexité du système d’IA en question. Une attention particulière est accordée à la réduction au minimum des charges administratives et des coûts de mise en conformité pour les micro et petites entreprises, telles que définies dans l’annexe de la recommandation 2003/361/CE de la Commission.
Amendement 417 Proposition de règlement Article 32 – paragraphe 1
1. Les autorités notifiantes ne peuvent notifier que les organismes d’évaluation de la conformité qui ont satisfait aux exigences énoncées à l’article 33.
1. Les autorités notifiantes ne notifient que les organismes d’évaluation de la conformité qui ont satisfait aux exigences énoncées à l’article 33.
Amendement 418 Proposition de règlement Article 32 – paragraphe 2
2. Les autorités notifiantes les notifient à la Commission et aux autres États membres à l’aide de l’outil de notification électronique mis au point et géré par la Commission.
2. Les autorités notifiantes les notifient à la Commission et aux autres États membres à l’aide de l’outil de notification électronique mis au point et géré par la Commission de chaque organisme d’évaluation de la conformité visé au paragraphe 1.
Amendement 419 Proposition de règlement Article 32 – paragraphe 3
3. La notification comprend des informations complètes sur les activités d’évaluation de la conformité, le ou les modules d’évaluation de la conformité et les technologies d’intelligence artificielle concernées.
3. La notification visée au paragraphe 2 comprend des informations complètes sur les activités d’évaluation de la conformité, le ou les modules d’évaluation de la conformité et les technologies d’intelligence artificielle concernées ainsi que l’attestation de compétence correspondante.
Amendement 420 Proposition de règlement Article 32 – paragraphe 4
4. L’organisme d’évaluation de la conformité concerné ne peut effectuer les activités propres à un organisme notifié que si aucune objection n’est émise par la Commission ou les autres États membres dans le mois qui suit la notification.
4. L’organisme d’évaluation de la conformité ne peut effectuer les activités propres à un organisme notifié que si aucune objection n’est émise par la Commission ou les autres États membres dans les deux semaines suivant la validation de la notification, si celle-ci comprend le certificat d’accréditation visé à l’article 31, paragraphe 2, ou dans les deux mois suivant la notification si elle comprend les preuves documentaires visées à l’article 31, paragraphe 3.
Amendement 421 Proposition de règlement Article 32 – paragraphe 4 bis (nouveau)
4 bis. En cas d’objections, la Commission entame sans délai des consultations avec les États membres et l’organisme d’évaluation de la conformité concernés. Sur cette base, la Commission décide si l’autorisation est justifiée ou non. La Commission adresse sa décision à l’État membre et à l’organisme d’évaluation de la conformité concernés.
Amendement 422 Proposition de règlement Article 32 – paragraphe 4 ter (nouveau)
4 ter. Les États membres notifient les organismes d’évaluation de la conformité à la Commission et aux autres États membres.
Amendement 423 Proposition de règlement Article 33 – paragraphe 2
2. Les organismes notifiés se conforment aux exigences en matière d’organisation, de gestion de la qualité, de ressources et de procédures qui sont nécessaires à l’exécution de leurs tâches.
2. Les organismes notifiés se conforment aux exigences en matière d’organisation, de gestion de la qualité, de ressources et de procédures qui sont nécessaires à l’exécution de leurs tâches, ainsi qu’aux exigences minimales en matière de cybersécurité applicables aux entités de l’administration publique définies comme des opérateurs de services essentiels conformément à la directive (UE) 2022/2555.
Amendement 424 Proposition de règlement Article 33 – paragraphe 4
4. Les organismes notifiés sont indépendants du fournisseur du système d’IA à haut risque pour lequel ils mènent les activités d’évaluation de la conformité. Les organismes notifiés sont également indépendants de tout autre opérateur ayant un intérêt économique dans le système d’IA à haut risque qui fait l’objet de l’évaluation, ainsi que de tout concurrent du fournisseur.
4. Les organismes notifiés sont indépendants du fournisseur du système d’IA à haut risque pour lequel ils mènent les activités d’évaluation de la conformité. Les organismes notifiés sont également indépendants de tout autre opérateur ayant un intérêt économique dans le système d’IA à haut risque qui fait l’objet de l’évaluation, ainsi que de tout concurrent du fournisseur. Cela n’exclut pas l’utilisation de systèmes d’IA évalués qui sont nécessaires au fonctionnement de l’organisme d’évaluation de la conformité ou l’utilisation de ces systèmes à des fins personnelles.
Amendement 425 Proposition de règlement Article 33 – paragraphe 4 bis (nouveau)
4 bis. Une évaluation de la conformité au titre du paragraphe 1 est effectuée par des employés d’organismes notifiés qui n’ont fourni aucun autre service lié à la question évaluée autre que l’évaluation de la conformité au fournisseur d’un système d’IA à haut risque ou à toute personne morale liée à ce fournisseur au cours des douze mois précédant l’évaluation et qui se sont engagés à ne pas leur fournir ces services au cours des douze mois suivant l’achèvement de l’évaluation.
Amendement 426 Proposition de règlement Article 33 – paragraphe 6
6. Les organismes notifiés disposent de procédures documentées pour veiller à ce que leur personnel, leurs comités, leurs filiales, leurs sous-traitants et tout organisme associé ou le personnel d’organismes externes respectent la confidentialité des informations auxquelles ils accèdent durant l’exercice de leurs activités d’évaluation de la conformité, sauf lorsque leur divulgation est requise par la loi. Le personnel des organismes notifiés est lié par le secret professionnel pour toutes les informations dont il a connaissance dans l’exercice de ses fonctions au titre du présent règlement, sauf à l’égard des autorités notifiantes de l’État membre où il exerce ses activités.
6. Les organismes notifiés disposent de procédures documentées pour veiller à ce que leur personnel, leurs comités, leurs filiales, leurs sous-traitants et tout organisme associé ou le personnel d’organismes externes respectent la confidentialité des informations auxquelles ils accèdent durant l’exercice de leurs activités d’évaluation de la conformité, sauf lorsque leur divulgation est requise par la loi. Le personnel des organismes notifiés est lié par le secret professionnel pour toutes les informations dont il a connaissance dans l’exercice de ses fonctions au titre du présent règlement, sauf à l’égard des autorités notifiantes de l’État membre où il exerce ses activités. Les informations et documentations obtenues par des organismes notifiés conformément aux dispositions du présent article sont traitées dans le respect des obligations de confidentialité énoncées à l’article 70.
Amendement 427 Proposition de règlement Article 34 – paragraphe 3
3. Des activités ne peuvent être sous-traitées ou réalisées par une filiale qu’avec l’accord du fournisseur.
3. Des activités ne peuvent être sous-traitées ou réalisées par une filiale qu’avec l’accord du fournisseur. Les organismes notifiés rendent publique une liste de leurs filiales.
Amendement 428 Proposition de règlement Article 34 – paragraphe 4
4. Les organismes notifiés tiennent à la disposition de l’autorité notifiante les documents pertinents concernant l’évaluation des qualifications du sous-traitant ou de la filiale et le travail exécuté par celui-ci ou celle-ci en vertu du présent règlement.
4. Les organismes notifiés tiennent à la disposition de l’autorité notifiante les documents pertinents concernant la vérification des qualifications du sous-traitant ou de la filiale et le travail exécuté par celui-ci ou celle-ci en vertu du présent règlement.
Amendement 429 Proposition de règlement Article 35 – titre
Numéros d’identification et listes des organismes notifiés désignés au titre du présent règlement
Numéros d’identification et listes des organismes notifiés
Amendement 430 Proposition de règlement Article 36 – paragraphe 1
1. Lorsqu’une autorité notifiante soupçonne ou a été informée qu’un organisme notifié ne répond plus aux exigences définies à l’article 33, ou qu’il ne s’acquitte pas de ses obligations, elle procède immédiatement à une enquête avec la plus grande diligence. Dans ce contexte, elle informe l’organisme notifié concerné des objections soulevées et lui donne la possibilité de faire valoir son point de vue. Si l’autorité notifiante conclut que l’organisme notifié faisant l’objet de l’enquête ne répond plus aux exigences définies à l’article 33, ou qu’il ne s’acquitte pas de ses obligations, elle soumet la notification à des restrictions, la suspend ou la retire, selon le cas, en fonction de la gravité du manquement. De plus, elle en informe immédiatement la Commission et les autres États membres.
1. Lorsqu’une autorité notifiante soupçonne ou a été informée qu’un organisme notifié ne répond plus aux exigences définies à l’article 33, ou qu’il ne s’acquitte pas de ses obligations, elle procède immédiatement à une enquête avec la plus grande diligence. Dans ce contexte, elle informe l’organisme notifié concerné des objections soulevées et lui donne la possibilité de faire valoir son point de vue. Si l’autorité notifiante conclut que l’organisme notifié ne répond plus aux exigences définies à l’article 33, ou qu’il ne s’acquitte pas de ses obligations, elle soumet la notification à des restrictions, la suspend ou la retire, selon le cas, en fonction de la gravité du manquement. De plus, elle en informe immédiatement la Commission et les autres États membres.
Amendement 431 Proposition de règlement Article 36 – paragraphe 2
2. En cas de restriction, de suspension ou de retrait d’une notification, ou lorsque l’organisme notifié a cessé ses activités, l’autorité notifiante prend les mesures qui s’imposent pour faire en sorte que les dossiers dudit organisme notifié soient pris en charge par un autre organisme notifié ou tenus à la disposition des autorités notifiantes qui en font la demande.
2. En cas de restriction, de suspension ou de retrait d’une notification, ou lorsque l’organisme notifié a cessé ses activités, l’autorité notifiante prend les mesures qui s’imposent pour faire en sorte que les dossiers dudit organisme notifié soient pris en charge par un autre organisme notifié ou tenus à la disposition des autorités notifiantes et des autorités de surveillance du marché qui en font la demande.
Amendement 432 Proposition de règlement Article 37 – paragraphe 1
1. La Commission enquête, s’il y a lieu, sur tous les cas où il existe des raisons de douter dela conformité d’un organisme notifié avec les exigences énoncées à l’article 33.
1. La Commission enquête, s’il y a lieu, sur tous les cas où il existe des raisons de douter de la compétence d’un organisme notifié ou du respect continu, par un organisme notifié, des exigences et responsabilités applicables.
Amendement 433 Proposition de règlement Article 37 – paragraphe 2
2. L’autorité notifiante fournit à la Commission, sur demande, toutes les informations utiles relatives à la notification de l’organisme notifié concerné.
2. L’autorité notifiante fournit à la Commission, sur demande, toutes les informations utiles relatives à la notification ou au maintien de la compétence de l’organisme notifié concerné.
Amendement 434 Proposition de règlement Article 37 – paragraphe 3
3. La Commission veille à ce que toutes les informations confidentielles obtenues au cours des enquêtes qu’elle mène au titre du présent article soient traitées de manière confidentielle.
3. La Commission veille à ce que toutes les informations sensibles obtenues au cours des enquêtes qu’elle mène au titre du présent article soient traitées de manière confidentielle.
Amendement 435 Proposition de règlement Article 37 – paragraphe 4
4. Lorsque la Commission établit qu’un organisme notifié ne répond pas ou ne répond plus aux exigences fixées à l’article 33, elle adopte une décision motivée demandant à l’État membre notifiant de prendre les mesures correctives qui s’imposent, y compris le retrait de la notification si nécessaire. Cet acte d’exécution est adopté en conformité avec la procédure d’examen visée à l’article 74, paragraphe 2.
4. Lorsque la Commission établit qu’un organisme notifié ne répond pas ou ne répond plus aux exigences relatives à sa notification, elle en informe l’État membre notifiant et l’invite à prendre les mesures correctives qui s’imposent, y compris la suspension ou le retrait de la notification si nécessaire. Si l’État membre ne prend pas les mesures correctives qui s’imposent, la Commission peut, au moyen d’actes d’exécution, suspendre, restreindre ou retirer la désignation. Cet acte d’exécution est adopté en conformité avec la procédure d’examen visée à l’article 74, paragraphe 2.
Amendement 436 Proposition de règlement Article 38 – paragraphe 2 bis (nouveau)
2 bis. La Commission veille à l’échange des connaissances et des bonnes pratiques entre les autorités nationales des États membres responsables de la politique de notification.
Amendement 437 Proposition de règlement Article 40 – alinéa 1
Les systèmes d’IA à haut risque conformes à des normes harmonisées ou à des parties de normes harmonisées dont les références ont été publiées au Journal officiel de l’Union européenne sont présumés conformes aux exigences visées au chapitre 2 du présent titre, dans la mesure où celles-ci sont couvertes par ces normes.
Les systèmes d’IA à haut risque et les systèmes d’IA à finalité générale conformes à des normes harmonisées ou à des parties de normes harmonisées dont les références ont été publiées au Journal officiel de l’Union européenne conformément au règlement (UE) 1025/2012 sont présumés conformes aux exigences visées au chapitre 2 du présent titre ou à l’article 28 ter, dans la mesure où celles-ci sont couvertes par ces normes.
Amendement 438 Proposition de règlement Article 40 – alinéa 1 bis (nouveau)
La Commission présente, conformément à l’article 10 du règlement (UE) nº 1025/2012, des demandes de normalisation tenant compte de toutes les exigences du présent règlement... [2 mois après la date d’entrée en vigueur du présent règlement]. Lors de l’élaboration de ces demandes de normalisation, la Commission consulte le Bureau de l’IA et le forum consultatif;
Amendement 439 Proposition de règlement Article 40 – alinéa 1 ter (nouveau)
Lorsqu’elle présente une demande de normalisation aux organisations européennes de normalisation, la Commission précise que les normes doivent être cohérentes, y compris avec la législation sectorielle énumérée à l’annexe II, et viser à garantir que les systèmes d’IA ou les systèmes d’IA à finalité générale mis sur le marché ou mis en service dans l’Union satisfont aux exigences pertinentes énoncées dans le présent règlement;
Les acteurs qui participent au processus de normalisation tiennent compte des principes généraux pour une IA digne de confiance visés à l’article 4 bis, s’efforcent de favoriser les investissements et l’innovation dans le domaine de l’IA ainsi que la compétitivité et la croissance du marché de l’Union, contribuent à renforcer la coopération mondiale en matière de normalisation et tiennent compte des normes internationales existantes dans le domaine de l’IA tout en préservant les valeurs, les droits fondamentaux et les intérêts de l’Union, et garantissent une représentation équilibrée des intérêts et la participation effective de toutes les parties prenantes concernées conformément aux articles 5, 6 et 7 du règlement (UE) nº 1025/2012.
Amendement 441 Proposition de règlement Article 41 – paragraphe 1
1. S’il n’existe pas de normes harmonisées au sens de l’article 40 ou si la Commission estime que les normes harmonisées pertinentes sont insuffisantes ou qu’il est nécessaire de pallier des difficultés particulières en matière de sécurité ou de droits fondamentaux, la Commission peut, au moyen d’actes d’exécution, adopter des spécifications communes en ce qui concerne les exigences énoncées au chapitre 2 du présent titre. Ces actes d’exécution sont adoptés en conformité avec la procédure d’examen visée à l’article 74, paragraphe 2.
supprimé
Amendement 442 Proposition de règlement Article 41 – paragraphe 1 bis (nouveau)
1 bis. La Commission peut, par voie d’un acte d’exécution adopté conformément à la procédure d’examen visée à l’article 74, paragraphe 2, et après consultation du bureau de l’IA et du forum consultatif sur l’IA, adopter des spécifications communes en ce qui concerne les exigences énoncées au chapitre 2 du présent titre ou à l’article 28 ter, lorsque toutes les conditions suivantes sont remplies:
a) il n’existe aucune référence à des normes harmonisées déjà publiées au Journal officiel de l’Union européenne liée aux exigences essentielles, sauf si la norme harmonisée en question est une norme existante qui doit être révisée;
b) la Commission a demandé à une ou plusieurs organisations européennes de normalisation de rédiger une norme harmonisée pour les exigences essentielles énoncées au chapitre 2;
c) la demande visée au point b) n’a été acceptée par aucune des organisations européennes de normalisation; ou il existe des retards excessifs dans l’établissement d’une norme harmonisée appropriée; ou la norme fournie ne satisfait pas aux exigences du droit de l’Union applicable ou ne se conforme pas à la demande de la Commission.
Amendement 443 Proposition de règlement Article 41 – paragraphe 1 ter (nouveau)
1 ter. Lorsque la Commission estime qu’il est nécessaire de pallier des préoccupations particulières en matière de droits fondamentaux, les spécifications communes adoptées par la Commission conformément au paragraphe 1 bis tiennent également compte de ces préoccupations particulières en matière de droits fondamentaux.
1 quater. La Commission élabore des spécifications communes pour la méthode permettant de satisfaire aux exigences en matière de rapports et de documentation concernant la consommation d’énergie et de ressources pendant le développement, la formation et le déploiement du système d’IA à haut risque.
Amendement 445 Proposition de règlement Article 41 – paragraphe 2
2. Lorsqu’elle élabore les spécifications communes visées au paragraphe 1, la Commission recueille les avis des organismes ou groupes d’experts concernés établis en vertu de la législation sectorielle pertinente de l’Union.
2. Tout au long du processus d’élaboration des spécifications communes visées aux paragraphes 1 bis et 1 ter, la Commission consulte régulièrement le bureau de l’IA et le forum consultatif, les organisations et organismes européens de normalisationou les groupes d’experts établis en vertu de la législation sectorielle pertinente de l’Union, ainsi que d’autres parties prenantes concernées.La Commission atteint les objectifs visés à l’article 40, paragraphe 1 quater, et justifie dûment sa décision de recourir à des spécifications communes.
Lorsque la Commission a l’intention d’adopter des spécifications communes conformément au paragraphe 1 bis du présent article, elle identifie également clairement les préoccupations spécifiques en matière de droits fondamentaux à pallier.
Lorsqu’elle adopte des spécifications communes conformément aux paragraphes 1 bis et 1 ter du présent article, la Commission tient compte de l’avis émis par le Bureau de l’IA visé à l’article 56 sexies, point b), du présent règlement. Lorsque la Commission décide de ne pas suivre l’avis du Bureau de l’IA, elle lui fournit une explication motivée.
Amendement 446 Proposition de règlement Article 41 – paragraphe 3
3. Les systèmes d’IA à haut risque conformes aux spécifications communes visées au paragraphe 1 sont présumés conformes aux exigences énoncées au chapitre 2 du présent titre, dans la mesure où celles-ci sont couvertes par ces spécifications communes.
3. Les systèmes d’IA à haut risque conformes aux spécifications communes visées au paragraphe 1 bis et 1 ter sont présumés conformes aux exigences énoncées au chapitre 2 du présent titre, dans la mesure où celles-ci sont couvertes par ces spécifications communes
Amendement 447 Proposition de règlement Article 41 – paragraphe 3 bis (nouveau)
3 bis. Lorsqu’une norme harmonisée est adoptée par une organisation européenne de normalisation et proposée à la Commission en vue de la publication de sa référence au Journal officiel de l’Union européenne, la Commission procède à l’évaluation de cette norme harmonisée conformément au règlement (UE) nº°1025/2012. Lorsque la référence d’une norme harmonisée est publiée au Journal officiel de l’Union européenne, la Commission abroge les actes visés au paragraphe 1 et 1 ter, ou des parties de ces actes qui couvrent les mêmes exigences énoncées au chapitre 2 du présent titre.
Amendement 448 Proposition de règlement Article 41 – paragraphe 4
4. Lorsque les fournisseurs ne respectent pas les spécifications communes visées au paragraphe 1, ils justifient dûment avoir adopté des solutions techniques au moins équivalentes auxdites spécifications.
4. Lorsque les fournisseurs de systèmes d’IA à haut risque ne respectent pas les spécifications communes visées au paragraphe 1, ils justifient dûment avoir adopté des solutions techniques qui satisfont aux exigences visées au chapitre II à un niveau au moins équivalent auxdites spécifications;
Amendement 449 Proposition de règlement Article 42 – paragraphe 1
1. Compte tenu de leur destination, les systèmes d’IA à haut risque qui ont été entraînés et testés avec les données relatives au contexte géographique, comportemental et fonctionnel spécifique dans lequel ils sont destinés à être utilisés sont présumés conformes à l’exigence énoncée à l’article 10, paragraphe 4.
1. Compte tenu de leur destination, les systèmes d’IA à haut risque qui ont été entraînés et testés avec les données relatives au contexte géographique, comportemental, normatif et fonctionnel spécifique dans lequel ils sont destinés à être utilisés sont présumés conformes aux exigences correspondantes énoncées à l’article 10, paragraphe 4.
Amendement 450 Proposition de règlement Article 43 – paragraphe 1 – partie introductive
1. Pour les systèmes d’IA à haut risque énumérés à l’annexe III, point 1, lorsque, pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées au chapitre 2 du présent titre, le fournisseur a appliqué les normes harmonisées visées à l’article 40 ou, le cas échéant, les spécifications communes visées à l’article 41, il suit l’une des procédures suivantes:
1. Pour les systèmes d’IA à haut risque énumérés à l’annexe III, point 1, lorsque, pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées au chapitre 2 du présent titre, le fournisseur a appliqué les normes harmonisées visées à l’article 40 ou, le cas échéant, les spécifications communes visées à l’article 41, il opte pour l’une des procédures suivantes;
Amendement 451 Proposition de règlement Article 43 –paragraphe 1 – point a
a) la procédure d’évaluation de la conformité fondée sur le contrôle interne visée à l’annexe VI;
a) la procédure d’évaluation de la conformité fondée sur le contrôle interne visée à l’annexe VI; ou
Amendement 452 Proposition de règlement Article 43 – paragraphe 1 – point b
b) la procédure d’évaluation de la conformité fondée sur l’évaluation du système de gestion de la qualité et l’évaluation de la documentation technique, avec l’intervention d’un organisme notifié, visée à l’annexe VII.
b) la procédure d’évaluation de la conformité fondée sur l’évaluation de la qualité du système de gestion et de la documentation technique, avec l’intervention d’un organisme notifié, visée à l’annexe VII;
Lorsque, pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées au chapitre 2 du présent titre, le fournisseur n’a pas appliqué ou n’a appliqué qu’en partie les normes harmonisées visées à l’article 40, ou lorsque ces normes harmonisées n’existent pas et que les spécifications communes visées à l’article 41 font défaut, le fournisseur suit la procédure d’évaluation de la conformité prévue à l’annexe VII.
Pour démontrer la conformité d’un système d’IA à haut risque avec les exigences énoncées au chapitre 2 du présent titre, le fournisseur suit la procédure d’évaluation de la conformité prévue à l’annexe VII dans les cas suivants:
a) lorsque les normes harmonisées visées à l’article 40, dont le numéro de référence a été publié au Journal officiel de l’Union européenne, couvrant toutes les exigences de sécurité requises pour le système d’IA, n’existent et que les spécifications communes visées à l’article 41 font défaut;
b) lorsque les spécifications techniques visées au point a) existent, mais que le fournisseur ne les a pas appliquées ou seulement en partie;
c) lorsque l’une ou plusieurs des spécifications techniques visées au point a), ont été publiées assorties d’une restriction et seulement sur la partie de la norme qui a été soumise à une restriction;
d) lorsque le fournisseur estime que la nature, la conception, la construction ou la destination du système d’IA nécessitent une vérification par un tiers, indépendamment de son niveau de risque.
Aux fins de la procédure d’évaluation de la conformité visée à l’annexe VII, le fournisseur peut choisir n’importe lequel des organismes notifiés. Toutefois, lorsque le système est destiné à être mis en service par les autorités répressives, les services de l’immigration ou les autorités compétentes en matière d’asile ainsi que les institutions, organes ou agences de l’UE, l’autorité de surveillance du marché visée à l’article 63, paragraphe 5 ou 6, selon le cas, agit en tant qu’organisme notifié.
(Ne concerne pas la version française.)
Amendement 455 Proposition de règlement Article 43 – paragraphe 4 – partie introductive
4. Les systèmes d’IA à haut risque sont soumis à une nouvelle procédure d’évaluation de la conformité lorsqu’ils font l’objet de modifications substantielles, que le système modifié soit destiné à être distribué plus largement ou reste utilisé par l’utilisateur actuel.
4. Les systèmes d’IA à haut risque dont la conformité a déjà été évaluée sont soumis à une nouvelle procédure d’évaluation de la conformité lorsqu’ils font l’objet de modifications substantielles, que le système modifié soit destiné à être distribué plus largement ou reste utilisé par le déployeur actuel;
Amendement 456 Proposition de règlement Article 43 – paragraphe 4 bis (nouveau)
4 bis. Les intérêts et besoins spécifiques des petites et moyennes entreprises sont pris en considération lors de la fixation des frais liés à l’évaluation de la conformité par un tiers visée au présent article, ces frais étant réduits proportionnellement à leur taille et à leur part de marché.
Amendement 457 Proposition de règlement Article 43 – paragraphe 5
5. La Commission est habilitée à adopter des actes délégués conformément à l’article 73 aux fins de la mise à jour des annexes VI et VII en vue d’introduire des éléments des procédures d’évaluation de la conformité qui s’avèrent nécessaires compte tenu du progrès technique.
5. La Commission est habilitée à adopter des actes délégués conformément à l’article 73 aux fins de la mise à jour des annexes VI et VII en vue d’introduire des éléments des procédures d’évaluation de la conformité qui s’avèrent nécessaires compte tenu du progrès technique. Lors de l’élaboration de ces actes délégués, la Commission consulte le Bureau de l’IA et les parties prenantes concernées;
Amendement 458 Proposition de règlement Article 43 – paragraphe 6
6. La Commission est habilitée à adopter des actes délégués visant à modifier les paragraphes 1 et 2 afin de soumettre les systèmes d’IA à haut risque visés à l’annexe III, points 2 à 8, à tout ou partie de la procédure d’évaluation de la conformité visée à l’annexe VII. La Commission adopte ces actes délégués en tenant compte de l’efficacité de la procédure d’évaluation de la conformité fondée sur le contrôle interne visée à l’annexe VI pour prévenir ou réduire au minimum les risques que ces systèmes font peser sur la santé et la sécurité et sur la protection des droits fondamentaux, ainsi que de la disponibilité de capacités et de ressources suffisantes au sein des organismes notifiés.
6. La Commission est habilitée à adopter des actes délégués visant à modifier les paragraphes 1 et 2 afin de soumettre les systèmes d’IA à haut risque visés à l’annexe III, points 2 à 8, à tout ou partie de la procédure d’évaluation de la conformité visée à l’annexe VII. La Commission adopte ces actes délégués en tenant compte de l’efficacité de la procédure d’évaluation de la conformité fondée sur le contrôle interne visée à l’annexe VI pour prévenir ou réduire au minimum les risques que ces systèmes font peser sur la santé et la sécurité et sur la protection des droits fondamentaux, ainsi que de la disponibilité de capacités et de ressources suffisantes au sein des organismes notifiés. Lors de l’élaboration de ces actes délégués, la Commission consulte le Bureau de l’IA et les parties prenantes concernées;
Amendement 459 Proposition de règlement Article 44 – paragraphe 1
1. Les certificats délivrés par les organismes notifiés conformément à l’annexe VII sont établis dans une langue officielle de l’Union déterminée par l’État membre d’établissement de l’organisme notifié ou, à défaut, dans une langue officielle de l’Union acceptée par l’organisme notifié.
1. Les certificats délivrés par les organismes notifiés conformément à l’annexe VII sont établis dans une ou plusieurs langues officielles de l’Union déterminées par l’État membre d’établissement de l’organisme notifié ou, à défaut, dans une ou plusieurs langues officielles de l’Union acceptées par l’organisme notifié.
Amendement 460 Proposition de règlement Article 44 – paragraphe 2
2. Les certificats sont valables pendant la période indiquée sur ceux-ci, qui n’excède pas cinq ans. À la demande du fournisseur, la durée de validité d’un certificat peut être prolongée d’une durée maximale de cinq ans à chaque fois, sur la base d’une nouvelle évaluation suivant les procédures d’évaluation de la conformité applicables.
2. Les certificats sont valables pendant la période indiquée sur ceux-ci, qui n’excède pas quatre ans. À la demande du fournisseur, la durée de validité d’un certificat peut être prolongée d’une durée maximale de quatre ans à chaque fois, sur la base d’une nouvelle évaluation suivant les procédures d’évaluation de la conformité applicables;
Amendement 461 Proposition de règlement Article 44 – paragraphe 3
3. Lorsqu’un organisme notifié constate qu’un système d’IA ne répond plus aux exigences énoncées au chapitre 2 du présent titre, il suspend ou retire le certificat délivré ou l’assortit de restrictions, en tenant compte du principe de proportionnalité, sauf si le fournisseur applique, en vue du respect de ces exigences, des mesures correctives appropriées dans le délai imparti à cet effet par l’organisme notifié. L’organisme notifié motive sa décision.
3. Lorsqu’un organisme notifié constate qu’un système d’IA ne répond plus aux exigences énoncées au chapitre 2 du présent titre, il suspend ou retire le certificat délivré ou l’assortit de restrictions, sauf si le fournisseur applique, en vue du respect de ces exigences, des mesures correctives appropriées dans le délai imparti à cet effet par l’organisme notifié. L’organisme notifié motive sa décision.
Amendement 462 Proposition de règlement Article 45 – alinéa 1
Les États membres veillent à ce qu’une procédure de recours contre les décisions des organismes notifiés soit disponible pour les parties ayant un intérêt légitime dans ces décisions.
Les États membres veillent à ce qu’une procédure de recours contre les décisions des organismes notifiés, y compris les décisions concernant la délivrance des certificats de conformité, soit disponible pour les parties ayant un intérêt légitime dans ces décisions.
Amendement 463 Proposition de règlement Article 46 – paragraphe 3
3. Chaque organisme notifié fournit aux autres organismes notifiés qui accomplissent des activités similaires d’évaluation de la conformité portant sur les mêmes technologies d’intelligence artificielle des informations pertinentes sur les aspects liés à des résultats négatifs et, sur demande, à des résultats positifs d’évaluation de la conformité.
3. Chaque organisme notifié fournit aux autres organismes notifiés qui accomplissent des activités similaires d’évaluation de la conformité des informations pertinentes sur les aspects liés à des résultats négatifs et, sur demande, à des résultats positifs d’évaluation de la conformité.
Amendement 464 Proposition de règlement Article 47 – paragraphe 1
1. Par dérogation à l’article 43, toute autorité de surveillance du marché peut, pour des raisons exceptionnelles de sécurité publique ou pour assurer la protection de la vie et de la santé humaines, la protection de l’environnement et la protection d’actifs industriels et d’infrastructures d’importance majeure, autoriser la mise sur le marché ou la mise en service de systèmes d’IA à haut risque spécifiques sur le territoire de l’État membre concerné. Cette autorisation est accordée pour un laps de temps limité, pendant la durée des procédures d’évaluation de la conformité nécessaires, et prend fin lorsque ces procédures sont achevées. Ces procédures sont menées à bien dans les meilleurs délais.
1. Par dérogation à l’article 43, toute autorité de contrôle nationale peut, pour des raisons exceptionnelles de sécurité publique ou pour assurer la protection de la vie et de la santé humaines, la protection de l’environnement et la protection d’infrastructures critiques, demander à une autorité judiciaire d’autoriser la mise sur le marché ou la mise en service de systèmes d’IA à haut risque spécifiques sur le territoire de l’État membre concerné. Cette autorisation est accordée pour un laps de temps limité, pendant la durée des procédures d’évaluation de la conformité nécessaires, et prend fin lorsque ces procédures sont achevées. Ces procédures sont menées à bien dans les meilleurs délais;
Amendement 465 Proposition de règlement Article 47 – paragraphe 2
2. L’autorisation visée au paragraphe 1 n’est délivrée que si l’autorité de surveillance du marché conclut que le système d’IA à haut risque satisfait aux exigences du chapitre 2 du présent titre. L’autorité de surveillance du marché informe la Commission et les autres États membres de toute autorisation délivrée conformément au paragraphe 1.
2. L’autorisation visée au paragraphe 1 n’est délivrée que si l’autorité de contrôle nationale et l’autorité judiciaire concluent que le système d’IA à haut risque satisfait aux exigences du chapitre 2 du présent titre. L’autorité de contrôle nationale informe la Commission, le Bureau de l’IA et les autres États membres de toute demande introduite et de toute autorisation subséquente délivrée conformément au paragraphe 1;
Amendement 466 Proposition de règlement Article 47 – paragraphe 3
3. Si aucune objection n’est émise, dans un délai de quinze jours civils suivant la réception des informations visées au paragraphe 2, par un État membre ou par la Commission à l’encontre d’une autorisation délivrée par une autorité de surveillance du marché d’un État membre conformément au paragraphe 1, cette autorisation est réputée justifiée.
3. Si aucune objection n’est émise, dans un délai de quinze jours civils suivant la réception des informations visées au paragraphe 2, par un État membre ou par la Commission à l’encontre de la demande, formulée par l’autorité de contrôle nationale, d’une autorisation délivrée par une autorité de contrôle nationale d’un État membre conformément au paragraphe 1, cette autorisation est réputée justifiée;
Amendement 467 Proposition de règlement Article 47 – paragraphe 4
4. Si, dans un délai de quinze jours civils suivant la réception de la notification visée au paragraphe 2, un État membre soulève des objections à l’encontre d’une autorisation délivrée par une autorité de surveillance du marché d’un autre État membre, ou si la Commission estime que l’autorisation est contraire au droit de l’Union ou que la conclusion des États membres quant à la conformité du système visée au paragraphe 2 n’est pas fondée, la Commission entame sans délai des consultations avec l’État membre concerné; le ou les opérateurs concernés sont consultés et ont la possibilité de présenter leur point de vue. Sur cette base, la Commission décide si l’autorisation est justifiée ou non. La Commission adresse sa décision à l’État membre concerné ainsi qu’à l’opérateur ou aux opérateurs concernés.
4. Si, dans un délai de quinze jours civils suivant la réception de la notification visée au paragraphe 2, un État membre soulève des objections à l’encontre d’une demande délivrée par une autorité de contrôle nationale d’un autre État membre, ou si la Commission estime que l’autorisation est contraire au droit de l’Union ou que la conclusion des États membres quant à la conformité du système visée au paragraphe 2 n’est pas fondée, la Commission entame sans délai des consultations avec l’État membre concerné et le Bureau de l’IA; le ou les opérateurs concernés sont consultés et ont la possibilité de présenter leur point de vue. Sur cette base, la Commission décide si l’autorisation est justifiée ou non. La Commission adresse sa décision à l’État membre concerné ainsi qu’à l’opérateur ou aux opérateurs concernés;
Amendement 468 Proposition de règlement Article 47 – paragraphe 5
5. Si l’autorisation est jugée injustifiée, elle est retirée par l’autorité de surveillance du marché de l’État membre concerné.
5. Si l’autorisation est jugée injustifiée, elle est retirée par l’autorité de contrôle nationale de l’État membre concerné.
Amendement 469 Proposition de règlement Article 48 – paragraphe 1
1. Le fournisseur établit, par écrit, une déclaration UE de conformité concernant chaque système d’IA et la tient à la disposition des autorités nationales compétentes pendant une durée de dix ans à partir du moment où le système d’IA a été mis sur le marché ou mis en service. La déclaration UE de conformité identifie le système d’IA pour lequel elle a été établie. Une copie de la déclaration UE de conformité est communiquée, sur demande, aux autorités nationales compétentes concernées.
1. Le fournisseur établit, par écrit, une déclaration UE de conformité lisible par machine, physique ou électronique concernant chaque système d’IA à haut risque et la tient à la disposition de l’autorité de contrôle nationale et des autorités nationales compétentes pendant une durée de dix ans à partir du moment où le système d’IA à haut risque a été mis sur le marché ou mis en service. Une copie de la déclaration UE de conformité est présentée, sur demande, à l’autorité de contrôle nationale et aux autorités nationales compétentes concernées.
Amendement 470 Proposition de règlement Article 48 – paragraphe 2
2. La déclaration UE de conformité atteste que le système d’IA à haut risque en question satisfait aux exigences énoncées au chapitre 2 du présent titre. Ladéclaration UE de conformité contient les informations qui figurent à l’annexe V et est traduite dans une ou des langues officielles de l’Union requises par le ou les États membres dans lesquels le système d’IA à haut risque est mis à disposition.
2. La déclaration UE de conformité atteste que le système d’IA à haut risque en question satisfait aux exigences énoncées au chapitre 2 du présent titre. La déclaration UE de conformité contient les informations qui figurent à l’annexe V et est traduite dans une ou des langues officielles de l’Union requises par le ou les États membres dans lesquels le système d’IA à haut risque est mis sur le marché ou à disposition;
Amendement 471 Proposition de règlement Article 48 – paragraphe 3
3. Si des systèmes d’IA à haut risque sont soumis à d’autres actes législatifs d’harmonisation de l’Union qui exigent également une déclaration UE de conformité, une seule déclaration UE de conformité est établie au titre de tous les actes législatifs de l’Union applicables aux systèmes d’IA à haut risque. La déclaration contient toutes les informations nécessaires à l’identification de la législation d’harmonisation de l’Union à laquelle la déclaration se rapporte.
3. Si des systèmes d’IA à haut risque sont soumis à d’autres actes législatifs d’harmonisation de l’Union qui exigent également une déclaration UE de conformité, une seule déclaration UE de conformité peut être établie au titre de tous les actes législatifs de l’Union applicables aux systèmes d’IA à haut risque. La déclaration contient toutes les informations nécessaires à l’identification de la législation d’harmonisation de l’Union à laquelle la déclaration se rapporte.
Amendement 472 Proposition de règlement Article 48 – paragraphe 5
5. La Commission est habilitée à adopter des actes délégués conformément à l’article 73 pour mettre à jour le contenu de la déclaration UE de conformité prévu à l’annexe V afin d’y introduire les éléments devenus nécessaires compte tenu des progrès techniques.
5. Après consultation du Bureau de l’IA, la Commission est habilitée à adopter des actes délégués conformément à l’article 73 pour mettre à jour le contenu de la déclaration UE de conformité prévu à l’annexe V afin d’y introduire les éléments devenus nécessaires compte tenu des progrès techniques.
Amendement 473 Proposition de règlement Article 49 – paragraphe 1
1. Le marquage CE est apposé de façon visible, lisible et indélébile sur les systèmes d’AI à haut risque. Si cela est impossible ou injustifié étant donné la nature du système d’IA à haut risque, il est apposé sur l’emballage ou sur les documents d’accompagnement, selon le cas.
1. Le marquage CE physique est apposé de façon visible, lisible et indélébile sur les systèmes d’AI à haut risque avant la mise sur le marché du système d’IA. Si cela est impossible ou injustifié étant donné la nature du système d’IA à haut risque, il est apposé sur l’emballage ou sur les documents d’accompagnement, selon le cas. Il peut être suivi d’un pictogramme ou de tout autre marquage indiquant un risque particulier d’utilisation.
Amendement 474 Proposition de règlement Article 49 – paragraphe 1 bis (nouveau)
1 bis. Pour les systèmes d’IA numériques à haut risque uniquement, un marquage CE numérique n’est utilisé que s’il est facile d’y accéder par l’interface à partir de laquelle l’accès au système d’IA s’effectue ou au moyen d’un code facilement accessible lisible par machine ou d’autres moyens électroniques.
Amendement 475 Proposition de règlement Article 49 – paragraphe 3
3. Le cas échéant, le marquage CE est suivi du numéro d’identification de l’organisme notifié responsable des procédures d’évaluation de la conformité prévues à l’article 43. Le numéro d’identification est également indiqué dans tous les documents publicitaires mentionnant que le système d’IA à haut risque est conforme aux exigences applicables au marquage CE.
3. Le cas échéant, le marquage CE est suivi du numéro d’identification de l’organisme notifié responsable des procédures d’évaluation de la conformité prévues à l’article 43. Le numéro d’identification de l’organisme notifié est apposé par l’organisme lui-même ou, sur instruction de celui-ci, par le mandataire du fournisseur. Le numéro d’identification est également indiqué dans tous les documents publicitaires mentionnant que le système d’IA à haut risque est conforme aux exigences applicables au marquage CE;
Amendement 476 Proposition de règlement Article 49 – paragraphe 3 bis (nouveau)
3 bis. Lorsque des systèmes d’IA à haut risque sont régis par d’autres actes législatifs de l’Union qui prévoient aussi l’apposition du marquage CE, ce marquage indique que les systèmes d’IA à haut risque satisfont également aux exigences de ces autres actes législatifs.
Amendement 477 Proposition de règlement Article 50 – alinéa 1 – partie introductive
Pendant une période prenant fin 10 ans après la mise sur le marché ou la mise en service du système d’IA, le fournisseur tient à la disposition des autorités nationales compétentes:
Pendant une période prenant fin 10 ans après la mise sur le marché ou la mise en service du système d’IA, le fournisseur tient à la disposition des autorités de contrôle nationales et des autorités nationales compétentes:
Amendement 478 Proposition de règlement Article 51 – alinéa 1
Avant de mettre sur le marché ou de mettre en service un système d’IA à haut risque visé à l’article 6, paragraphe 2, le fournisseur ou, le cas échéant, le mandataire enregistre ce système dans la base de données de l’UE visée à l’article 60.
Avant de mettre sur le marché ou de mettre en service un système d’IA à haut risque visé à l’article 6, paragraphe 2, le fournisseur ou, le cas échéant, le mandataire enregistre ce système dans la base de données de l’UE visée à l’article 60, conformément à l’article 60, paragraphe 2;
Amendement 479 Proposition de règlement Article 51 – alinéa 1 bis (nouveau)
Avant de mettre en service ou d’utiliser un système d’IA à haut risque conformément à l’article 6, paragraphe 2, les catégories de déployeurs suivantes enregistrent l’utilisation de ce système d’IA dans la base de données de l’Union visée à l’article 60:
a) a) les déployeurs qui sont des autorités publiques ou des institutions, organes ou organismes de l’Union, ou des déployeurs agissant pour leur compte;
b) b) les déployeurs qui sont des entreprises désignées comme contrôleurs d’accès en vertu du règlement (UE) 2022/1925.
Amendement 480 Proposition de règlement Article 51 – alinéa 1 ter (nouveau)
Les déployeurs qui ne relèvent pas de l’alinéa 1 bis sont autorisés à enregistrer volontairement l’utilisation d’un système d’IA à haut risque visé à l’article 6, paragraphe 2, dans la base de données de l’Union visée à l’article 60.
Une mise à jour de l’enregistrement est à réaliser immédiatement après chaque modification substantielle.
Amendement 482 Proposition de règlement Titre IV
OBLIGATIONS DE TRANSPARENCE POUR CERTAINS SYSTÈMES D’IA
OBLIGATIONS DE TRANSPARENCE
Amendement 483 Proposition de règlement Article 52 – titre
Obligations de transparence pour certains systèmes d’IA
Obligations de transparence
Amendement 484 Proposition de règlement Article 52 – paragraphe 1
1. Les fournisseurs veillent à ce que les systèmes d’IA destinés à interagir avec des personnes physiques soient conçus et développés de manière à ce que les personnes physiques soient informées qu’elles interagissent avec un système d’IA, sauf si cela ressort clairement des circonstances et du contexte d’utilisation.Cette obligation ne s’applique pas aux systèmes d’IA dont la loi autorise l’utilisation à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière, sauf si ces systèmes sont mis à la disposition du public pour permettre le signalement d’une infraction pénale.
1. Les fournisseurs veillent à ce que les systèmes d’IA destinés à interagir avec des personnes physiques soient conçus et développés de manière à ce que le système d’IA, le fournisseur lui-même ou l’utilisateur informe les personnes physiques exposées à un système d’IA du fait qu’elles interagissent avec un tel système de manière claire, intelligible et en temps utile, sauf si cela ressort clairement des circonstances et du contexte d’utilisation.
Le cas échéant et s’il y a lieu, ces informations indiquent également quelles fonctions reposent sur une IA, s’il existe un contrôle humain, et qui est responsable du processus décisionnel, ainsi que les droits et processus existants qui, conformément au droit de l’Union et au droit national, permettent aux personnes physiques ou à leurs représentants de s’opposer à l’application de ces systèmes à leur égard et de former un recours juridictionnel contre les décisions prises par les systèmes d’IA ou le préjudice causé par ceux-ci, y compris leur droit de demander une explication. Cette obligation ne s’applique pas aux systèmes d’IA dont la loi autorise l’utilisation à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière, sauf si ces systèmes sont mis à la disposition du public pour permettre le signalement d’une infraction pénale.
Amendement 485 Proposition de règlement Article 52 – paragraphe 2
2. Les utilisateurs d’un système de reconnaissance des émotions ou d’un système de catégorisation biométrique informent du fonctionnement du système les personnes physiques qui y sont exposées. Cette obligation ne s’applique pas aux systèmes d’IA de catégorisation biométrique dont la loi autorise l’utilisation à des fins de prévention et de détection des infractions pénales et d’enquêtes en la matière.
2. Les utilisateurs d’un système de reconnaissance des émotions ou d’un système de catégorisation biométrique qui n’est pas interdit en vertu de l’article 5 informent de manière claire, intelligible et en temps utile du fonctionnement du système les personnes physiques qui y sont exposées et obtiennent leur consentement avant de traiter leur données biométriques et autres données à caractère personnel conformément au règlement (UE) 2016/679, au règlement (UE) 2016/1725 et à la directive (UE) 2016/280, selon le cas. Cette obligation ne s’applique pas aux systèmes d’IA de catégorisation biométrique dont la loi autorise l’utilisation à des fins de prévention et de détection des infractions pénales et d’enquêtes en la matière.
3. Les utilisateurs d’un système d’IA qui génère ou manipule des images ou des contenus audio ou vidéo présentant une ressemblance avec des personnes, des objets, des lieux ou d’autres entités ou événements existants et pouvant être perçus à tort comme authentiques ou véridiques («hypertrucage») précisent que les contenus ont été générés ou manipulés artificiellement.
3. Les utilisateurs d’un système d’IA qui génère ou manipule du texte, des contenus audio ou visuels pouvant être perçus à tort comme authentiques ou véridiques et représentant des personnes semblant tenir des propos qu’elles n’ont pas tenus ou commettre des actes qu’elles n’ont pas commis («hypertrucage») précisent, de manière appropriée, claire, visible et en temps utile que les contenus ont été générés ou manipulés artificiellement et, si possible, indiquent le nom de la personne physique ou morale qui les a générés ou manipulés.À cet égard, les contenus sont étiquetés d’une manière qui signale clairement leur caractère non authentique aux personnes auxquelles ils sont destinés. Aux fins de l’étiquetage des contenus, les utilisateurs prennent en considération l’état de la technique généralement reconnu et les normes harmonisées et spécifications pertinentes.
Toutefois, le premier alinéa ne s’applique pas lorsque l’utilisation est autorisée par la loi à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière, ou lorsqu’elle est nécessaire à l’exercice du droit à la liberté d’expression et du droit à la liberté des arts et des sciences garantis par la charte des droits fondamentaux de l’UE, et sous réserve de garanties appropriées pour les droits et libertés des tiers.
3 bis. Le paragraphe 3 ne s’applique pas lorsque l’utilisation d’un système d’IA qui génère ou manipule du texte, des contenus audio ou visuels est autorisée par la loi ou si elle est nécessaire à l’exercice du droit à la liberté d’expression et du droit à la liberté des arts et des sciences garantis par la charte des droits fondamentaux de l’UE, et sous réserve de garanties appropriées pour les droits et libertés des tiers. Lorsque le contenu fait partie d’un programme cinématographique manifestement créatif, satirique, artistique ou fictif, de jeux vidéo et de travaux ou programmes analogues, les obligations de transparence énoncées au paragraphe 3 se limitent à la divulgation de l’existence de tels contenus générés ou manipulés d’une manière claire et visible appropriée qui n’entrave pas l’affichage de l’œuvre et à la divulgation des droits d’auteur applicables, le cas échéant. Cela n’empêche pas non plus les autorités répressives d’utiliser des systèmes d’IA destinés à détecter les hypertrucages et à prévenir les infractions pénales liées à leur utilisation ni enquêter sur ces infractions ou mener des poursuites à leur sujet.
Amendement 488 Proposition de règlement Article 52 – paragraphe 3 ter (nouveau)
3 ter. Les informations visées aux paragraphes 1 à 3 sont fournies aux personnes physiques concernées au plus tard au moment de la première interaction ou exposition. Elles sont accessibles aux personnes vulnérables, comme les personnes handicapées ou les enfants, et complétées, lorsque cela est pertinent et approprié, par des procédures permettant à la personne physique d’intervenir ou de signaler les contenus auxquels elle est exposée, en tenant compte de l’état de la technique généralement reconnu et des normes harmonisées et spécifications communes pertinentes.
Amendement 489 Proposition de règlement Article 53 – paragraphe 1
1. Les bacs à sable réglementaires de l’IA créés par une ou plusieurs autorités compétentes des États membres ou par le Contrôleur européen de la protection des données offrent un environnement contrôlé qui facilite le développement, la mise à l’essai et la validation de systèmes d’IA innovants pendant une durée limitée avant leur mise sur le marché ou leur mise en service conformément à un plan spécifique. Cela se fait sous la surveillance et le contrôle directs des autorités compétentes afin de garantir le respect des exigences du présent règlement et, le cas échéant, d’autres dispositions législatives de l’Union et des États membres contrôlées au sein du bac à sable.
1. Les États membres mettent en place au moins un bac à sable réglementaire de l’IA au niveau national, qui est opérationnel au plus tard le jour de l’entrée en application du présent règlement. Ce bac à sable peut également être mis en place conjointement avec un ou plusieurs autres États membres;
Amendement 490 Proposition de règlement Article 53 – paragraphe 1 bis (nouveau)
1 bis. Des bacs à sable réglementaires de l’IA supplémentaires ou au niveau régional ou local ou conjointement avec d’autres États membres peuvent également être mis en place;
Amendement 491 Proposition de règlement Article 53 – paragraphe 1 ter (nouveau)
1 ter. La Commission et le Contrôleur européen de la protection des données, seuls, conjointement ou en collaboration avec un ou plusieurs États membres, peuvent également mettre en place des bacs à sable réglementaires de l’IA au niveau de l’Union;
1 quater. Les autorités d’établissement allouent des ressources suffisantes pour se conformer au présent article de manière efficace et en temps utile;
1 quinquies. Les bacs à sable réglementaires de l’IA, conformément aux critères prévus à l’article 53 bis, offrent un environnement strictement contrôlé qui favorise l’innovation et facilite le développement, la mise à l’essai et la validation de systèmes d’IA innovants pendant une durée limitée avant leur mise sur le marché ou leur mise en service conformément à un plan spécifique convenu entre les fournisseurs potentiels et l’autorité d’établissement.
1 sexies. La mise en place de bacs à sable réglementaires de l’IA vise à contribuer aux objectifs suivants:
a) a) en ce qui concerne les autorités compétentes, fournir des orientations aux fournisseurs potentiels de systèmes d’IA afin qu’ils se conforment au présent règlement ou, le cas échéant, à ou d’autres dispositions législatives applicables de la législation de l’Union ou des États membres;
b) b) en ce qui concerne les fournisseurs potentiels, permettre et faciliter les tests et le développement de solutions innovantes liées aux systèmes d’IA;
c) assurer l’apprentissage réglementaire dans un environnement contrôlé.
1 septies. Les autorités d’établissement fournissent des orientations et assurent une surveillance au sein du bac à sable en vue de recenser les risques, en particulier en ce qui concerne les droits fondamentaux, la démocratie et l’état de droit, la santé et la sécurité et l’environnement, de mettre à l’essai et de démontrer les mesures d’atténuation des risques identifiés, ainsi que leur efficacité, et de garantir le respect des exigences du présent règlement et, le cas échéant, d’autres dispositions législatives de l’Union et des États membres;
1 octies. Les autorités d’établissement fournissent aux fournisseurs potentiels de bacs à sable réglementaires qui développent des systèmes d’IA à haut risque des orientations et une supervision concernant la manière de satisfaire aux exigences prévues dans le présent règlement, de sorte que les systèmes d’IA puissent quitter le bac à sable étant dans une situation de présomption de conformité aux exigences spécifiques du présent règlement qui ont été évaluées dans le bac à sable. Dans la mesure où le système d’IA satisfait aux exigences lors de la sortie du bac à sable, il est présumé conforme au présent règlement. À cet égard, les rapports de sortie établis par l’autorité d’établissement sont pris en compte par les autorités de surveillance du marché ou les organismes notifiés, le cas échéant, dans le cadre des procédures d’évaluation de la conformité ou des vérifications dans le cadre de la surveillance du marché;
Amendement 497 Proposition de règlement Article 53 – paragraphe 2
2. Les États membres veillent à ce que, dans la mesure où les systèmes d’IA innovants impliquent le traitement de données à caractère personnel ou relèvent à d’autres titres de la surveillance d’autres autorités nationales ou autorités compétentes assurant ou encadrant l’accès aux données, les autorités nationales chargées de la protection des données et ces autres autorités nationales soient associées au fonctionnement du bac à sable réglementaire de l’IA.
2. Les autorités d’établissement veillent à ce que, dans la mesure où les systèmes d’IA innovants impliquent le traitement de données à caractère personnel, ou relèvent à d’autres titres de la surveillance d’autres autorités nationales ou autorités compétentes assurant ou encadrant l’accès aux données à caractère personnel, les autorités nationales chargées de la protection des données, ou dans les cas visés au paragraphe 1 ter le CEPD, et ces autres autorités nationales soient associées au fonctionnement du bac à sable réglementaire de l’IA et participent, dans toute l’étendue de leurs pouvoirs respectifs, au contrôle des aspects du bac à sable qui relèvent de leur responsabilité.
Amendement 498 Proposition de règlement Article 53 – paragraphe 3
3. Les bacs à sable réglementaires de l’IA n’ont pas d’incidence sur les pouvoirs des autorités compétentes en matière de contrôle et de mesures correctives. Tout risque significatif pour la santé, la sécurité et les droits fondamentaux constaté lors du développement et des tests de ces systèmes donne lieu à des mesures d’atténuation immédiates et, à défaut, à la suspension du processus de développement et d’essai jusqu’à ce que cette atténuation soit effective.
3. Les bacs à sable réglementaires de l’IA n’ont pas d’incidence sur les pouvoirs des autorités compétentes en matière de contrôle et de mesures correctives, notamment au niveau régional ou local. Tout risque significatif pour les droits fondamentaux, la démocratie, l’état de droit, la santé et la sécurité ou l’environnement constaté lors du développement et des tests de ces systèmes donne lieu à des mesures d’atténuation immédiates et appropriées. Les autorités compétentes sont habilitées à suspendre temporairement ou définitivement le processus d’essai ou la participation au bac à sable si aucune atténuation efficace n’est possible et d’informer le Bureau de l’IA de cette décision;
Amendement 499 Proposition de règlement Article 53 – paragraphe 4
4. Les participants au bac à sable réglementaire de l’IA demeurent responsables, en vertu de la législation applicable de l’Union et des États membres en matière de responsabilité, de tout préjudice infligé à des tiers en raison de l’expérimentation menée dans le bac à sable.
4. Les fournisseurs potentiels au bac à sable réglementaire de l’IA demeurent responsables, en vertu de la législation applicable de l’Union et des États membres en matière de responsabilité, de tout préjudice infligé à des tiers en raison de l’expérimentation menée dans le bac à sable. Toutefois, sous réserve du respect par le ou les fournisseurs potentiels du plan du bac à sable réglementaire visé au paragraphe 1 ter ainsi que des modalités de leur participation et de leur disposition à suivre de bonne foi les orientations fournies par les autorités d’établissement, aucune amende administrative n’est infligée par les autorités en cas de violation du présent règlement.
Amendement 500 Proposition de règlement Article 53 – paragraphe 5
5. Les autorités compétentes des États membres qui ont mis en place des bacs à sable réglementaires de l’IA coordonnent leurs activités et coopèrent dans le cadre du Comité européen de l’intelligence artificielle. Ils soumettent au Comité et à la Commission des rapports annuels sur les résultats de la mise en œuvre de ce dispositif, y compris les bonnes pratiques, les enseignements et les recommandations à suivre sur leur mise en place et, le cas échéant, sur l’application du présent règlement et d’autres actes législatifs de l’Union contrôlés dans le bac à sable.
5. Les autorités d’établissement coordonnent leurs activités et coopèrent dans le cadre du Bureau de l’IA.
Amendement 501 Proposition de règlement Article 53 – paragraphe 5 bis (nouveau)
5 bis. Les autorités d’établissement informent le Bureau de l’IA de la mise en place d’un bac à sable et peuvent demander un soutien et des orientations. Une liste des bacs à sable prévus et existants est mise à la disposition du public par le Bureau de l’IA et tenue à jour afin d’encourager une meilleure interaction dans les bacs à sable réglementaires et la coopération transnationale;
Amendement 502 Proposition de règlement Article 53 – paragraphe 5 ter (nouveau)
5 ter. Les autorités d’établissement présentent au Bureau de l’IA et, à moins que la Commission ne soit la seule autorité d’établissement, à la Commission des rapports annuels, dont le premier est élaboré un an après la mise en place du bac à sable, puis tous les ans jusqu’à son terme, et un rapport final. Ces rapports annuels fournissent des informations sur les progrès et les résultats de la mise en œuvre de ces bacs à sable, y compris les bonnes pratiques, les incidents, les enseignements et les recommandations concernant leur mise en place et, le cas échéant, l’application du présent règlement et une révision éventuelle du présent règlement et d’autres dispositions législatives de l’Union contrôlés dans le bac à sable. Ces rapports annuels ou leurs ésumés sont mis à la disposition du public en ligne;
Amendement 503 Proposition de règlement Article 53 – paragraphe 6
6. Les modalités et les conditions de fonctionnement des bacs à sable réglementaires de l’IA, y compris les critères d’admissibilité et la procédure de demande, de sélection, de participation et de sortie du bac à sable, ainsi que les droits et obligations des participants sont définis dans des actes d’exécution. Ces actes d’exécution sont adoptés en conformité avec la procédure d’examen visée à l’article 74, paragraphe 2.
6. La Commission crée une interface unique et spéciale contenant toutes les informations pertinentes relatives aux bacs à sable, ainsi qu’un point de contact unique au niveau de l’Union afin d’interagir avec les bacs à sable réglementaires et de permettre aux parties prenantes de s’informer auprès des autorités compétentes et de demander des orientations non contraignantes sur la conformité des produits, services et modèles commerciaux innovants intégrant les technologies de l’IA;
La Commission assure une coordination proactive avec les autorités nationales et régionales ainsi qu’avec les autorités locales, le cas échéant.
Amendement 504 Proposition de règlement Article 53 – paragraphe 6 bis (nouveau)
6 bis. Aux fins des paragraphes 1 et 1 bis, la Commission joue un rôle complémentaire en permettant aux États membres de s’appuyer sur leur expertise, d’une part, et en fournissant une assistance ainsi qu’une compréhension et des ressources techniques aux États membres en quête d’orientations sur la mise en place et l’exploitation de ces bacs à sable réglementaires;
Amendement 505 Proposition de règlement Article 53 bis (nouveau)
Article 53 bis
Modalités et fonctionnement des bacs à sable réglementaires de l’IA
1. Afin d’éviter une fragmentation dans l’ensemble de l’Union, la Commission, en consultation avec le Bureau de l’IA, adopte un acte délégué détaillant les modalités de mise en place, de développement, de mise en œuvre, de fonctionnement et de surveillance des bacs à sable réglementaires de l’IA, y compris les critères d’éligibilité et la procédure de demande, de sélection, de participation et de sortie dans le cadre du bac à sable, ainsi que les droits et obligations des participants sur la base des dispositions énoncées dans le présent article;
2. La Commission est habilitée à adopter des actes délégués conformément à la procédure visée à l’article 73, au plus tard douze mois après l’entrée en vigueur du présent règlement, et s’assurent des éléments suivants:
a) les bacs à sable réglementaires sont ouverts à tout fournisseur potentiel d’un système d’IA qui remplit les critères d’éligibilité et de sélection. Les critères d’accès au bac à sable réglementaire sont transparents et équitables et les autorités d’établissement informent les demandeurs de leur décision dans un délai de trois mois à compter de la demande;
b) les bacs à sable réglementaires permettent un accès étendu et égale et suivent la demande de participation;
c) l’accès aux bacs à sable réglementaires de l’IA est gratuit pour les PME et les jeunes entreprises sans préjudice des coûts exceptionnels que les autorités d’établissement peuvent recouvrer de manière équitable et proportionnée.
d) les bacs à sable réglementaires facilitent la participation d’autres acteurs concernés au sein de l’écosystème de l’IA, tels que les organismes notifiés et les organisations de normalisation (PME, jeunes entreprises, entreprises, innovateurs, installations d’expérimentation et d’essai, laboratoires de recherche et d’expérimentation et pôles d’innovation numérique, centres d’excellence, chercheurs individuels), afin de permettre et de faciliter la coopération avec les secteurs public et privé;
e) ils permettent aux fournisseurs potentiels de remplir, dans un environnement contrôlé, les obligations d’évaluation de la conformité du présent règlement ou de l’application volontaire des codes de conduite visés à l’article 69;
f) les procédures, processus et exigences administratives applicables à la demande, à la sélection, à la participation et à la sortie du bac à sable sont simples, facilement compréhensibles, clairement communiqués afin de faciliter la participation des PME et des jeunes entreprises disposant de capacités juridiques et administratives limitées et sont rationalisés dans toute l’Union, afin d’éviter la fragmentation et que la participation à un bac à sable réglementaire mis en place par un État membre, par la Commission ou par le CEPD soit mutuellement et uniformément reconnue et produise les mêmes effets juridiques dans l’ensemble de l’Union;
g) la participation au bac à sable réglementaire de l’IA est limitée à une période adaptée à la complexité et à l’envergure du projet;
h) les bacs à sable facilitent le développement d’outils et d’infrastructures pour la mise à l’essai, l’évaluation comparative, l’évaluation et l’explication des aspects des systèmes d’IA qui relèvent des bacs à sable, tels que la précision, la solidité et la cybersécurité, ainsi que l’atténuation des risques d’atteinte aux droits fondamentaux, à l’environnement et à la société au sens large.
3. Les fournisseurs potentiels dans les bacs à sable, en particulier les PME et les jeunes pousses, bénéficient d’un accès facilité aux services préalables au déploiement, tels que les orientations sur la mise en œuvre du présent règlement, à d’autres services à valeur ajoutée tels que l’aide aux documents de normalisation et à la certification et à la consultation, ainsi qu’à d’autres initiatives du marché unique numérique telles que les installations d’expérimentation des technologies d’essai, les pôles numériques, les centres d’excellence et les capacités d’évaluation comparative de l’UE;
Amendement 506 Proposition de règlement Article 54 – titre
Traitement ultérieur de données à caractère personnel en vue du développement de certains systèmes d’IA dans l’intérêt public dans le cadre du bac à sable réglementaire de l’IA
Traitement ultérieur de données en vue du développement de certains systèmes d’IA dans l’intérêt public dans le cadre du bac à sable réglementaire de l’IA
Amendement 507 Proposition de règlement Article 54 – paragraphe 1 – partie introductive
1. Dans le cadre du bac à sable réglementaire de l’IA, des données à caractère personnel collectées légalement à d’autres fins sont traitées aux fins du développement et du test de certains systèmes d’IA innovants dans le bac à sable, dans les conditions suivantes:
1. Dans le cadre du bac à sable réglementaire de l’IA, des données à caractère personnel collectées légalement à d’autres fins peuvent être traitées uniquement aux fins du développement et du test de certains systèmes d’IA dans le bac à sable lorsque toutes les conditions suivantes sont remplies:
Amendement 508 Proposition de règlement Article 54 – paragraphe 1 – point a – partie introductive
a) les systèmes d’IA innovants sont développés pour préserver des intérêts publics importants dans un ou plusieurs des domaines suivants:
a) les systèmes d’IA sont développés pour préserver des intérêts publics importants dans un ou plusieurs des domaines suivants:
ii) la sécurité publique et la santé publique, y compris la détection, le diagnostic, la prévention, le contrôle et le traitement des maladies,
iii) un niveau élevé de protection et d’amélioration de la qualité de l’environnement, la protection de la biodiversité ainsi que l’atténuation de la pollution et du changement climatique et l’adaptation à celui-ci;
iii bis) la sécurité et la résilience des systèmes, des infrastructures critiques et des réseaux de transport.
Amendement 509 Proposition de règlement Article 54 – paragraphe 1 – point a – sous-point i
i) la prévention et la détection d’infractions pénales, ainsi que les enquêtes et les poursuites en la matière ou l’exécution de sanctions pénales, y compris la protection contre les menaces pour la sécurité publique et la prévention de telles menaces, sous le contrôle et la responsabilité des autorités compétentes. Le traitement est fondé sur le droit des États membres ou de l’Union,
supprimé
Amendement 510 Proposition de règlement Article 54 – paragraphe 1 – point c
c) il existe des mécanismes de suivi efficaces pour déterminer si des risques élevés pour les droits fondamentaux des personnes concernées sont susceptibles de survenir lors de l’expérimentation menée dans le cadre du bac à sable, ainsi qu’un mécanisme de réponse permettant d’atténuer rapidement ces risques et, le cas échéant, de faire cesser le traitement des données;
c) il existe des mécanismes de suivi efficaces pour déterminer si des risques élevés pour les droits et les libertés des personnes concernées, tels que visés à l’article 35 du règlement (UE) 2016/679 et à l’article 35 du règlement (UE) 2018/1725, sont susceptibles de survenir lors de l’expérimentation menée dans le cadre du bac à sable, ainsi qu’un mécanisme de réponse permettant d’atténuer rapidement ces risques et, le cas échéant, de faire cesser le traitement des données;
Amendement 511 Proposition de règlement Article 54 – paragraphe 1 – point d
d) les données à caractère personnel à traiter dans le cadre du bac à sable se trouvent dans un environnement de traitement des données séparé, isolé et protégé sur le plan fonctionnel, placé sous le contrôle des participants, et seules les personnes autorisées ont accès à ces données;
d) les données à caractère personnel à traiter dans le cadre du bac à sable se trouvent dans un environnement de traitement des données séparé, isolé et protégé sur le plan fonctionnel, placé sous le contrôle du fournisseur potentiel, et seules les personnes autorisées ont accès à ces données;
Amendement 512 Proposition de règlement Article 54 – paragraphe 1 – point f
f) aucun traitement de données à caractère personnel effectué dans le cadre du bac à sable ne débouche sur des mesures ou des décisions affectant les personnes concernées;
f) aucun traitement de données à caractère personnel effectué dans le cadre du bac à sable ne débouche sur des mesures ou des décisions affectant les personnes concernées et n’a pas d’incidence sur l’application des droits que leur confère le droit de l’Union relatif à la protection des données à caractère personnel;
Amendement 513 Proposition de règlement Article 54 – paragraphe 1 – point g
g) les données à caractère personnel traitées dans le cadre du bac à sable sont supprimées une fois que la participation au bac à sable a cessé ou que la période de conservation de ces données a expiré;
g) les données à caractère personnel traitées dans le cadre du bac à sable sont protégées par des techniques appropriées et des mesures concernant l’organisation et supprimées une fois que la participation au bac à sable a cessé ou que la période de conservation de ces données a expiré;
Amendement 514 Proposition de règlement Article 54 – paragraphe 1 – point h
h) les journaux du traitement des données à caractère personnel effectué dans le cadre du bac à sable sont conservés pendant la durée de la participation au bac à sable et 1 an après son expiration, aux seules fins de satisfaire aux obligations en matière de responsabilité et de documentation prévues par le présent article ou d’autres dispositions applicatives de la législation de l’Union ou des États membres, et uniquement pour la durée nécessaire à cette satisfaction;
h) les journaux du traitement des données à caractère personnel effectué dans le cadre du bac à sable sont conservés pendant la durée de la participation au bac à sable;
Amendement 515 Proposition de règlement Article 54 – paragraphe 1 – point j
j) un résumé succinct du projet d’IA développé dans le cadre du bac à sable, de ses objectifs et des résultats escomptés est publié sur le site web des autorités compétentes.
j) un résumé succinct du système d’IA développé dans le cadre du bac à sable, de ses objectifs, des hypothèses et des résultats escomptés est publié sur le site web des autorités compétentes.
Amendement 516 Proposition de règlement Article 54 bis (nouveau)
Article 54 bis
Promotion de la recherche et du développement de l’IA au profit de résultats bénéfiques sur les plans sociaux et environnementaux
1. Les États membres promeuvent la recherche et le développement de solutions d’IA au profit de résultats bénéfiques sur les plans sociaux et environnementaux, y compris, mais pas seulement, le développement de solutions fondées sur l’IA pour améliorer l’accessibilité pour les personnes handicapées, réduire les inégalités socio-économiques, et atteindre des objectifs en matière de durabilité et d’environnement:
a) en proposant des projets pertinents avec un accès prioritaire aux bacs à sable réglementaires dans la mesure où ils remplissent les conditions d’éligibilité;
b) en affectant des fonds publics, y compris des fonds de l’UE correspondants, pour la recherche et le développement de l’IA au profit de résultats bénéfiques sur les plans sociaux et environnementaux;
c) en organisant des activités spécifiques de sensibilisation à l’application du présent règlement, de la disponibilité et des procédures de candidature pour les fonds réservés, adaptées aux besoins de ces projets;
d) le cas échéant, en établissant des canaux de communication privilégiés, y compris au sein des bacs à sable, avec les projets afin de fournir des orientations et de répondre aux questions relatives à la mise en œuvre du présent règlement.
Les États membres aident la société civile et les acteurs sociaux à diriger de tels projets ou à y participer;
Amendement 517 Proposition de règlement Article 55 – titre
Mesures en faveur des petits fournisseurs et utilisateurs
Mesures en faveur des PME, jeunes entreprises et utilisateurs
Amendement 518 Proposition de règlement Article 55 –paragraphe 1 – point a
a) accordent aux petits fournisseurs et aux jeunes entreprises un accès prioritaire aux bacs à sable réglementaires de l’IA dans la mesure où ils remplissent les conditions d’éligibilité;
a) accordent aux PME et aux jeunes entreprises établies dans l’Union un accès prioritaire aux bacs à sable réglementaires de l’IA dans la mesure où ils remplissent les conditions d’éligibilité;
Amendement 519 Proposition de règlement Article 55 – paragraphe 1 – point b
b) organisent des activités spécifiques de sensibilisation à l’application du présent règlement, adaptées aux besoins des petits fournisseurs et utilisateurs;
b) organisent des activités spécifiques de sensibilisation et de développement des compétences numériques avancées à l’application du présent règlement, adaptées aux besoins des PME, des jeunes entreprises et des utilisateurs;
Amendement 520 Proposition de règlement Article 55 – paragraphe 1 – point c
c) le cas échéant, établissent un canal de communication privilégié avec les petits fournisseurs et utilisateurs et d’autres innovateurs afin de fournir des orientations et de répondre aux questions relatives à la mise en œuvre du présent règlement.
c) utilisent des canaux privilégiés existants et le cas échéant, établissent de nouveaux canaux de communication privilégiés avec les PME, les jeunes entreprises, les utilisateurs et d’autres innovateurs afin de fournir des orientations et de répondre aux questions relatives à la mise en œuvre du présent règlement;
Amendement 521 Proposition de règlement Article 55 – paragraphe 1 – point c bis (nouveau)
c bis) encourager la participation des PME et d’autres parties concernées au processus d’élaboration de la normalisation.
Amendement 522 Proposition de règlement Article 55 – paragraphe 2
2. Les intérêts et besoins spécifiques des petits fournisseurs sont pris en considération lors de la fixation des frais liés à l’évaluation de la conformité visée à l’article 43, ces frais étant réduits proportionnellement à la taille et à la taille du marché des petits fournisseurs.
2. Les intérêts et besoins spécifiques des PME, des jeunes entreprises et des utilisateurs sont pris en considération lors de la fixation des frais liés à l’évaluation de la conformité visée à l’article 43, ces frais étant réduits proportionnellement à leur niveau de développement, à la taille de ces fournisseurs ainsi qu’à la taille et à la demande du marché.La Commission évalue régulièrement les coûts de certification et de mise en conformité pour les PME et les jeunes entreprises, y compris par des consultations transparentes avec les PME, les jeunes entreprises et les utilisateurs, et collabore avec les États membres pour réduire ces coûts dans la mesure du possible. La Commission rend compte de ses observations au Parlement européen et au Conseil dans le cadre du rapport sur l’évaluation et le réexamen du présent règlement prévu à l’article 84, paragraphe 2.
Amendement 523 Proposition de règlement Article 56 – section 1 – titre
Titre
SECTION 1: Dispositions générales relatives au Bureau européen de l’intelligence artificielle
Amendement 524 Proposition de règlement Article 56 – titre
Création du Comité européen de l’intelligence artificielle
Création du Bureau européen de l’intelligence artificielle
Amendement 525 Proposition de règlement Article 56 – paragraphe 1
1. Un «Comité européen de l’intelligence artificielle» (ci-après le «Comité») est créé.
1. Le «Bureau européen de l’intelligence artificielle» (ci-après le «Bureau de l’IA») est créé. Le Bureau de l’IA est un organe indépendant de l’Union. Elle est dotée d’une personnalité juridique.
Amendement 526 Proposition de règlement Article 56 – paragraphe 2 – partie introductive
2. Le Comité fournit des conseils et une assistance à la Commission afin:
2. Le Bureau de l’IA dispose d’un secrétariat et est doté de ressources financières et humaines suffisantes aux fins de l’exécution des missions qui lui incombent en vertu du présent règlement.
Amendement 527 Proposition de règlement Article 56 – paragraphe 2 bis (nouveau)
2 bis. Le siège du Bureau de l’IA se trouve à Luxembourg.
Amendement 528 Proposition de règlement Article 56 bis (nouveau)
Article 56 bis
Structure
La structure administrative et de gestion du Bureau de l’IA comprend:
a) un conseil d’administration, dont l’un des membres est président,
b) un secrétariat géré par le directeur exécutif,
c) un forum consultatif.
Amendement 529 Proposition de règlement Article 56 ter (nouveau)
Article 56 ter
Missions du Bureau de l’IA
Le Bureau de l’IA accomplit les missions suivantes:
a) soutenir, conseiller les États membres, les autorités de surveillance nationales, la Commission et les autres institutions, organes ou organismes de l’Union et coopérer avec eux en ce qui concerne la mise en œuvre du présent règlement;
b) contrôler et s’assurer de l’application effective et cohérente du présent règlement, sans préjudice des missions des autorités nationales de surveillance;
c) contribuer à la coordination entre les autorités nationales de surveillance chargées de l’application du présent règlement;
d) jouer le rôle de médiateur dans les discussions sur les différends graves qui peuvent survenir entre les autorités compétentes en ce qui concerne l’application du règlement;
e) coordonner les enquêtes conjointes en application de l’article 66 bis;
f) contribuer à une coopération efficace avec les autorités compétentes de pays tiers et des organisations internationales;
g) recueillir et partager l’expertise et les meilleures pratiques des États membres et aider les autorités nationales de surveillance des États membres et la Commission à développer l’expertise organisationnelle et technique nécessaire à la mise en œuvre du présent règlement, y compris en facilitant la création et le maintien d’une réserve d’experts de l’Union;
h) examiner, de sa propre initiative ou à la demande de son comité de gestion ou de la Commission, les questions relatives à la mise en œuvre du présent règlement et formuler des avis, des recommandations ou des contributions écrites, y compris en ce qui concerne:
i) les spécifications techniques et les normes existantes; ii) les lignes directrices de la Commission;
iii) les codes de conduite et leur application, en étroite coopération avec l’industrie et d’autres parties intéressées concernées;
iv) la révision éventuelle du règlement, la préparation des actes délégués et l’alignement éventuel du présent règlement sur les actes juridiques énumérés à l’annexe II;
v) les tendances, telles que la compétitivité mondiale de l’Europe dans le domaine de l’intelligence artificielle, l’adoption de l’intelligence artificielle dans l’Union, le développement des compétences numériques et les menaces systémiques émergentes liées à l’intelligence artificielle;
vi) les orientations sur la manière dont le présent règlement s’applique à la typologie en constante évolution des chaînes de valeur de l’IA, en particulier sur les conséquences qui en découlent en termes de responsabilité de toutes les entités concernées;
i) publier:
i) un rapport annuel comprenant une évaluation de la mise en œuvre du présent règlement, un examen des rapports sur les incidents graves visés à l’article 62 et le fonctionnement de la base de données visée à l’article 60 et
ii) des recommandations à la Commission concernant la catégorisation des pratiques interdites, des systèmes d’IA à haut risque visés à l’annexe III, les codes de conduite visés à l’article 69 et l’application des principes généraux énoncés à l’article 4 bis;
j) aider les autorités à mettre en place et à développer des bacs à sables réglementaires et à faciliter la coopération entre bacs à sable réglementaires;
k) organiser des réunions avec les agences de l’Union et les organes de gouvernance dont les tâches sont liées à l’intelligence artificielle et à la mise en œuvre du présent règlement;
l) organiser des consultations trimestrielles avec le forum consultatif et, le cas échéant, des consultations publiques avec d’autres parties prenantes, et publier les résultats de ces consultations sur son site internet;
m) favoriser la sensibilisation du public et sa compréhension des avantages, des risques, des règles et des garanties ainsi que des droits relatifs à l’utilisation des systèmes d’IA;
n) faciliter l’élaboration de critères communs et d’une interprétation commune, entre les opérateurs du marché et les autorités compétentes, des concepts pertinents prévus par le présent règlement;
o) assurer le suivi des systèmes d’IA à finalité générale et organiser un dialogue régulier avec les développeurs de systèmes d’IA à finalité générale en ce qui concerne leur conformité ainsi que les systèmes d’IA qui utilisent ces modèles d’IA;
p) fournir des orientations interprétatives sur la manière dont la législation sur l’IA s’applique à la typologie en constante évolution des chaînes de valeur de l’IA, et sur les conséquences qui en résulteront sur le plan des responsabilité de l’ensemble des entités concernées dans le cadre des différents scénarios fondés sur l’état de la technique généralement reconnu, y compris comme en témoignent les normes harmonisées pertinentes;
q) assurer une surveillance et un suivi particuliers et institutionnaliser un dialogue régulier avec les fournisseurs de systèmes d’IA à finalité générale sur la conformité des systèmes d’IA à finalité générale ainsi que des systèmes d’IA qui utilisent ces systèmes d’IA à finalité générale avec l’article 28 ter du présent règlement, et sur les meilleures pratiques de l’industrie en matière d’autonomie. Toutes ces réunions sont ouvertes aux autorités de surveillance nationales, aux organismes notifiés et aux autorités de surveillance du marché pour participation et contribution;
r) publier et mettre à jour périodiquement des lignes directrices sur les seuils qui qualifient l’entraînement d’un système d’IA à finalité générale en tant que vaste cycle d’entraînement enregistrer et suivre les exemples connus de vastes cycles d’entraînement, et publier un rapport annuel sur l’état d’avancement du développement, de la prolifération et de l’utilisation de systèmes d’IA à finalité générale parallèlement aux options stratégiques pour faire face aux risques et aux possibilités propres aux systèmes d’IA à finalité générale;
s) promouvoir la maîtrise de l’IA conformément à l’article 4 ter.
Amendement 530 Proposition de règlement Article 56 quater (nouveau)
Article 56 quater
Responsabilité, indépendance et transparence
1. Le Bureau de l’IA:
a) est responsable devant le Parlement européen et le Conseil conformément au présent règlement.
b) agit en toute indépendance dans l’accomplissement de ses missions ou dans l’exercice de ses pouvoirs; et
c) assure un niveau élevé de transparence en ce qui concerne ses activités et développe de bonnes pratiques administratives à cet égard.
Le règlement (CE) nº 1049/2001 s’applique aux documents qu’il détient.
Amendement 531 Proposition de règlement Article 57 bis (nouveau) – section 2 – titre
Titre
SECTION 2: Conseil d’administration
Amendement 532 Proposition de règlement Article 57 bis (nouveau)
Article 57 bis
Composition du conseil d’administration
1. Le conseil d’administration est composé des membres suivants:
a) un représentant de l’autorité de contrôle nationale de chaque État membre,
b) un représentant de la Commission,
c) un représentant du Contrôleur européen de la protection des données (CEPD),
d) un représentant de l’Agence de l’Union européenne pour la cybersécurité (ENISA),
e) un représentant de l’Agence des droits fondamentaux de l’Union européenne (FRA).
Chaque représentant d’une autorité de contrôle nationale dispose d’une voix. Les représentants de la Commission, du CEPD et la FRA ne disposent pas du droit de vote. Chaque membre dispose d’un suppléant. La nomination des membres et des membres suppléants du conseil d’administration tient compte de la nécessité d’assurer l’équilibre entre les hommes et les femmes. Les membres du conseil d’administration et leurs suppléants sont rendus publics.
2. Les membres et les membres suppléants du conseil d’administration ne défendent pas de positions ni d’intérêts commerciaux contradictoires sur les questions liées à l’application du présent règlement.
3. Les règles régissant les réunions et le vote au sein du conseil d’administration ainsi que la nomination et la révocation du directeur exécutif sont fixées dans le règlement intérieur visé à l’article – 57 ter, point a).
Amendement 533 Proposition de règlement Article 57 ter (nouveau)
Article 57 ter
Fonctions du conseil d’administration
1. Le conseil d’administration s’acquitte des missions suivantes:
a) prendre des décisions stratégiques sur les activités du Bureau de l’IA et adopter son règlement intérieur à la majorité des deux tiers de ses membres;
b) mettre en œuvre les dispositions de son règlement intérieur;
c) adopter le document unique de programmation du Bureau de l’IA ainsi que son rapport public annuel et le transmettre au Parlement européen, au Conseil, à la Commission et à la Cour des comptes;
d) adopter le budget du Bureau de l’IA;
e) nommer le directeur exécutif et, le cas échéant, prolonger ou écourter son mandat ou mettre fin à ses fonctions;
f) décider de la mise en place des structures internes du Bureau de l’IA et, le cas échéant, de la modification des structures internes nécessaires à l’accomplissement des missions du Bureau de l’IA;
Amendement 534 Proposition de règlement Article 57 quater (nouveau)
Article 57 quater
Présidence du conseil d’administration
1. Le conseil d’administration élit son président et deux vice-présidents parmi ses membres votants à la majorité simple.
2. La durée du mandat du président et des vice-présidents est fixée à trois ans. Leur mandat est renouvelable une seule fois.
Amendement 535 Proposition de règlement Article 57 – section 3 – titre
Structure du Comité
Secrétariat
Amendement 536 Proposition de règlement Article 57 – paragraphe 1
1. Le Comité est composé des autorités de contrôle nationales, qui sont représentées par leur directeur ou un de leurs hauts fonctionnaires de niveau équivalent, et du Contrôleur européen de la protection des données.D’autres autorités nationales peuvent être invitées aux réunions, lorsque les questions examinées relèvent de leurs compétences.
1. Les activités du secrétariat sont gérées par le directeur exécutif.Le directeur exécutif rend compte au conseil d’administration. Sans préjudice des compétences respectives du conseil d’administration et des institutions de l’Union, le directeur exécutif ne sollicite ni n’accepte d’instructions d’aucun gouvernement ni d’aucun autre organisme.
Amendement 537 Proposition de règlement Article 57 – paragraphe 2
2. Le Comité adopte son règlement intérieur à la majorité simple de ses membres une fois celui-ci approuvé par la Commission. Le règlement intérieur contient également les aspects opérationnels en rapport avec l’exécution des tâches du Comité telles qu’énumérées à l’article 58.Le Comité peut créer des sous-groupes, s’il y a lieu, afin d’examiner des questions spécifiques.
2. Le directeur exécutif assiste aux auditions sur toute question liée aux activités du Bureau de l’IA et rend compte de l’exécution de ses missions lorsqu’il y est invité par le Parlement européen ou le Conseil.
Amendement 538 Proposition de règlement Article 57 – paragraphe 3
3. Le Comité est présidé par la Commission. La Commission convoque les réunions et prépare l’ordre du jour conformément aux tâches du Comité au titre du présent règlement et à son règlement intérieur. La Commission apporte un appui administratif et analytique aux activités du Comité au titre du présent règlement.
3. Le directeur exécutif représente le Bureau de l’IA, y compris dans les enceintes internationales de coopération en matière d’intelligence artificielle;
Amendement 539 Proposition de règlement Article 57 – paragraphe 4
4. Le Comité peut inviter des experts et des observateurs externes à participer à ses réunions, et peut organiser des échanges avec des tiers intéressés afin d’éclairer ses activités dans une mesure appropriée. À cette fin, la Commission peut faciliter les échanges entre le Comité et d’autres organes, bureaux, agences et groupes consultatifs de l’Union.
4. Le secrétariat fournit au conseil d’administration et au forum consultatif le soutien analytique, administratif et logistique nécessaire à l’accomplissement des missions du Bureau de l’IA, notamment:
a) préparer les décisions, les programmes et les activités adoptés par le conseil d’administration.
b) (b) préparer chaque année le projet de document unique de programmation, le projet de budget, le rapport d’activité annuel du Bureau de l’IA, les projets d’avis et les projets de position du Bureau de l’IA, et les soumettre au conseil d’administration.
c) assurer la coordination avec les forums internationaux de coopération sur l’intelligence artificielle;
Amendement 540 Proposition de règlement Article 58 – section 4 – titre
Tâches du Comité
Forum consultatif
Amendement 541 Proposition de règlement Article 58 – alinéa 1 – partie introductive
Lorsqu’il fournit des conseils et une assistance à la Commission dans le cadre de l’article 56, paragraphe 2, le Comité, en particulier:
Le forum consultatif fournit au Bureau de l’IA les contributions des parties prenantes sur les questions relatives au présent règlement, en particulier en ce qui concerne les tâches énoncées à l’article 56 ter, point l).
La composition du forum consultatif présente une représentation équilibrée de parties prenantes, y compris l’industrie, les jeunes pousses, les PME, la société civile, les partenaires sociaux et le monde universitaire. La composition du forum consultatif est équilibrée sur le plan des intérêts commerciaux et non commerciaux et, dans la catégorie des intérêts commerciaux, en ce qui concerne les PME et les autres entreprises.
Le conseil d’administration nomme les membres du forum consultatif conformément à la procédure de sélection établie dans le règlement intérieur du Bureau de l’IA et en veillant à la nécessité de transparence et conformément aux critères énoncés au paragraphe 2;
Le Comité européen de normalisation (CEN), le Comité européen de normalisation électrotechnique (CENELEC) et l’Institut européen de normalisation des télécommunications (ETSI) sont membres permanents du forum consultatif. Le Centre commun de recherche en est membre permanent, sans droit de vote.
Le forum consultatif établit son règlement intérieur. Il élit parmi ses membres deux coprésidents, conformément aux critères énoncés au paragraphe 2. Leur mandat est d’une durée de deux ans, renouvelable une fois.
Le forum consultatif tient des réunions régulières au moins quatre fois par an. Il peut inviter des experts et d’autres parties prenantes à ses réunions. Le directeur exécutif peut assister, de droit, aux réunions du forum consultatif.
Dans l’exercice de son rôle tel que défini au paragraphe 1, le forum consultatif peut préparer des avis, des recommandations ou des contributions écrites.
Le forum consultatif peut créer des sous-groupes permanents ou temporaires, s’il y a lieu, afin d’examiner des questions spécifiques liées aux objectifs du présent règlement.
Le forum consultatif prépare un rapport annuel de ses activités. Ce rapport est rendu public.
Amendement 551 Proposition de règlement Article 58 bis – section 5 – titre
Autorités européennes en matière d’analyse comparative
Amendement 552 Proposition de règlement Article 58 bis (nouveau)
Article 58 bis
Analyse comparative
Les autorités européennes en matière d’analyse comparative visées à l’article 15, paragraphe 1 bis, et le Bureau de l’IA élaborent conjointement, en étroite coopération avec les partenaires internationaux, des orientations et des capacités efficaces et économiques pour mesurer et comparer les aspects des systèmes d’IA et des composants d’IA, et en particulier des systèmes d’IA à finalité générale, pertinents pour la conformité et l’application du présent règlement sur la base de l’état de la technique généralement reconnu, y compris tel qu’il ressort des normes harmonisées pertinentes.
Amendement 553 Proposition de règlement Article 59 – titre
Désignation des autorités nationales compétentes
Désignation des autorités de contrôle nationales
Amendement 554 Proposition de règlement Article 59 – paragraphe 1
1. Des autorités nationales compétentes sont établies ou désignées par chaque État membre aux fins d’assurer l’application et la mise en œuvre du présent règlement.Les autorités nationales compétentes sont organisées de manière à garantir l’objectivité et l’impartialité de leurs activités et de leurs tâches.
1. Chaque État membre désigne une autorité de contrôle nationale, qui est organisée de manière à garantir l’objectivité et l’impartialité de ses activités et de ses tâches d’ici le … [trois mois après la date d’entrée en vigueur du présent règlement].
Amendement 555 Proposition de règlement Article 59 – paragraphe 2
2. Chaque État membre désigne une autorité de contrôle nationale parmi les autorités nationales compétentes. L’autorité de contrôle nationale agit en tant qu’autorité notifiante et autorité de surveillance du marché, sauf si un État membre a des raisons organisationnelles et administratives de désigner plus d’une autorité.
2. L’autorité de contrôle nationale veille à l’application et à la mise en œuvre du présent règlement. Pour les systèmes d’IA à haut risque, liés aux produits auxquels s’appliquent les actes juridiques énumérés à l’annexe II, les autorités compétentes désignées en vertu de ces actes juridiques continuent à mener les procédures administratives. Toutefois, dans la mesure où certains aspects d’un cas relèvent exclusivement du champ d’application du présent règlement, ces autorités compétentes sont tenues de respecter les mesures relatives à ces aspects prises par l’autorité de contrôle nationale désignée en vertu du présent règlement.L’autorité de contrôle nationale agit en tant qu’autorité de surveillance du marché.
Amendement 556 Proposition de règlement Article 59 – paragraphe 3
3. Les États membres font connaître à la Commission le ou les noms de la ou des autorités désignées et, le cas échéant, les raisons pour lesquelles ils ont désigné plusieurs autorités.
3. Les États membres rendent public et communiquent au Bureau de l’IA et à la Commission le nom de leur autorité de contrôle nationale, ainsi que ses coordonnées, au plus tard le... [trois mois après la date d’entrée en vigueur du présent règlement]. L’autorité de contrôle nationale fait office de point de contact unique pour le présent règlement et devrait pouvoir être contactée par des moyens de communications électroniques.
Amendement 557 Proposition de règlement Article 59 – paragraphe 4
4. Les États membres veillent à ce que les autorités nationales compétentes disposent de ressources financières et humaines suffisantes pour mener à bien les tâches qui leur sont confiées en vertu du présent règlement. En particulier, les autorités nationales compétentes disposent en permanence d’un personnel en nombre suffisant, qui possède, parmi ses compétences et son expertise, une compréhension approfondie des technologies de l’intelligence artificielle, des données et du traitement de données, des droits fondamentaux, des risques pour la santé et la sécurité, et une connaissance des normes et exigences légales en vigueur.
4. Les États membres veillent à ce que l’autorité de contrôle nationale dispose de ressources techniques, financières et humaines suffisantes, ainsi que d’infrastructures pour mener à bien efficacement les tâches qui leur sont confiées en vertu du présent règlement. En particulier, l’autorité de contrôle nationale dispose en permanence d’un personnel en nombre suffisant, qui possède, parmi ses compétences et son expertise, une compréhension approfondie des technologies de l’intelligence artificielle, des données et du traitement de données, de la protection des données à caractère personnel, de la cybersécurité, du droit de la concurrencedes droits fondamentaux, des risques pour la santé et la sécurité, et une connaissance des normes et exigences légales en vigueur. Les États membres évaluent et, si nécessaire, mettent à jour les exigences portant sur les compétences et les ressources visées au présent paragraphe.
Amendement 558 Proposition de règlement Article 59 – paragraphe 4 bis (nouveau)
4 bis. Chaque autorité de contrôle nationale exerce ses pouvoirs et exécute ses fonctions de manière indépendante, impartiale et objective. Dans le cadre de l’accomplissement de leurs tâches et de l’exercice de leurs pouvoirs conformément au présent règlement, les membres de chaque autorité de contrôle nationale ne sollicitent ni n’acceptent d’instructions d’aucun autre organisme et s’abstiennent de tout acte incompatible avec leurs fonctions.
Amendement 559 Proposition de règlement Article 59 – paragraphe 4 ter (nouveau)
4 ter. Les autorités de contrôle nationales se conforment aux exigences minimales en matière de cybersécurité applicables aux entités de l’administration publique définies comme des opérateurs de services essentiels conformément à la directive (UE) 2022/2555.
4 quater. Dans le cadre de l’accomplissement de leurs tâches, l’autorité de contrôle nationale agit dans le respect des obligations de confidentialité énoncées à l’article 70.
Amendement 561 Proposition de règlement Article 59 – paragraphe 5
5. Les États membres font annuellement rapport à la Commission sur l’état des ressources financières et humaines des autorités nationales compétentes, et lui présentent une évaluation de l’adéquation de ces ressources. La Commission transmet ces informations au Comité pour discussion et recommandations éventuelles.
5. Les États membres font annuellement rapport à la Commission sur l’état des ressources financières et humaines de l’autorité de contrôle nationale, et lui présentent une évaluation de l’adéquation de ces ressources. La Commission transmet ces informations au Bureau de l’IA pour discussion et recommandations éventuelles.
Amendement 562 Proposition de règlement Article 59 – paragraphe 6
6. La Commission facilite les échanges d’expériences entre les autorités nationales compétentes.
supprimé
Amendement 563 Proposition de règlement Article 59 – paragraphe 7
7. Les autorités nationales compétentes peuvent fournir des orientations et des conseils sur la mise en œuvre du présent règlement, y compris aux petits fournisseurs. Chaque fois que les autorités nationales compétentes ont l’intention de fournir des orientations et des conseils concernant un système d’IA dans des domaines relevant d’autres actes législatifs de l’Union, les autorités nationales compétentes en vertu de ces actes législatifs de l’Union sont consultées, le cas échéant. Les États membres peuvent également établir un point de contact central pour la communication avec les opérateurs.
7. Les autorités de contrôle nationales peuvent fournir des orientations et des conseils sur la mise en œuvre du présent règlement, y compris aux PME et aux jeunes entreprises, en tenant compte des orientations et conseils du bureau de l’IA ou de la Commission. Chaque fois que l’autorité de contrôle nationale a l’intention de fournir des orientations et des conseils concernant un système d’IA dans des domaines relevant d’autres actes législatifs de l’Union, les orientations sont élaborées en consultation avec les autorités nationales compétentes en vertu de ces actes législatifs de l’Union, le cas échéant.
Amendement 564 Proposition de règlement Article 59 – paragraphe 8
8. Lorsque les institutions, agences et organes de l’Union relèvent du champ d’application du présent règlement, le Contrôleur européen de la protection des données agit en tant qu’autorité compétente responsable de leur surveillance.
8. Lorsque les institutions, agences et organes de l’Union relèvent du champ d’application du présent règlement, le Contrôleur européen de la protection des données agit en tant qu’autorité compétente responsable de leur surveillance et de leur coordination.
Amendement 565 Proposition de règlement Article 59 bis (nouveau)
Article 59 bis
Mécanisme de coopération entre les autorités de contrôle nationales dans les cas où interviennent deux États membres ou plus
1. Chaque autorité de contrôle nationale exerce les missions et les pouvoirs qui lui ont été conférés conformément au présent règlement sur le territoire de l’État membre dont elle relève.
2. Dans les cas concernant deux autorités de contrôle nationales ou plus, l’autorité de contrôle nationale de l’État membre dans lequel la violation a été commise est considérée comme l’autorité de contrôle nationale chef de file.
3. Dans les cas visés au paragraphe 2, les autorités de contrôle concernées coopèrent et échangent toutes les informations pertinentes en temps utile. Les autorités de contrôle nationales coopèrent dans le but de parvenir à un consensus.
Amendement 566 Proposition de règlement Titre VII
VII BASE DE DONNÉES DE L’UE POUR LES SYSTÈMES D’IA À HAUT RISQUE AUTONOMES
BASE DE DONNÉES DE L’UE POUR LES SYSTÈMES D’IA À HAUT RISQUE
Amendement 567 Proposition de règlement Article 60 – titre
Base de données de l’UE pour les systèmes d’IA à haut risque autonomes
Base de données de l’UE pour les systèmes d’IA à haut risque
Amendement 568 Proposition de règlement Article 60 – paragraphe 1
1. La Commission, en collaboration avec les États membres, crée et tient à jour une base de données de l’UE contenant les informations visées au paragraphe 2 en ce qui concerne les systèmes d’IA à haut risque visés à l’article 6, paragraphe 2, qui sont enregistrés conformément à l’article 51.
1. La Commission, en collaboration avec les États membres, crée et tient à jour une base de données de l’UE publique contenant les informations visées aux paragraphes 2 et 2 bis en ce qui concerne les systèmes d’IA à haut risque visés à l’article 6, paragraphe 2, qui sont enregistrés conformément à l’article 51.
Amendement 569 Proposition de règlement Article 60 – paragraphe 2
2. Les données énumérées à l’annexe VIII sont introduites dans la base de données de l’UE par les fournisseurs. Ces derniers bénéficient du soutien technique et administratif de la Commission.
2. Les données énumérées à l’annexe VIII, section A, sont introduites dans la base de données de l’UE par les fournisseurs.
Amendement 570 Proposition de règlement Article 60 – paragraphe 2 bis (nouveau)
2 bis. Les informations énumérées à l’annexe VIII, section B, sont enregistrées dans la base de données de l’UE par les déployeurs qui sont des autorités publiques ou des institutions, organes ou organismes de l’Union ou qui agissent pour leur compte, et par les déployeurs qui sont des entreprises visées à l’article 51, paragraphe 1 bis et 1 ter.
Amendement 571 Proposition de règlement Article 60 – paragraphe 3
3. Les informations contenues dans la base de données de l’UE sont accessibles au public.
3. Les informations contenues dans la base de données de l’UE sont librement disponibles et accessibles au public, conviviales, consultables grâce à une navigation aisée et lisibles par machine contenant des données numériques structurées sur la base d’un protocole normalisée.
Amendement 572 Proposition de règlement Article 60 – paragraphe 4
4. La base de données de l’UE ne contient des données à caractère personnel que dans la mesure où celles-ci sont nécessaires à la collecte et au traitement d’informations conformément au présent règlement. Ces informations incluent les noms et les coordonnées des personnes physiques qui sont responsables de l’enregistrement du système et légalement autorisées à représenter le fournisseur.
4. La base de données de l’UE ne contient des données à caractère personnel que dans la mesure où celles-ci sont nécessaires à la collecte et au traitement d’informations conformément au présent règlement. Ces informations incluent les noms et les coordonnées des personnes physiques qui sont responsables de l’enregistrement du système et légalement autorisées à représenter le fournisseur ou le déployeur qui est une autorité publique ou une institution, un organe ou un organisme de l’Union ou un déployeur agissant en leur nom ou un déployeur qui est une entreprise visée à l’article 51, paragraphe 1 bis et 1 ter.
Amendement 573 Proposition de règlement Article 60 – paragraphe 5
5. La Commission est la responsable du traitement pour la base de données de l’UE. Elle veille également à apporter un soutien technique et administratif approprié aux fournisseurs.
5. La Commission est la responsable du traitement pour la base de données de l’UE. Elle veille également à apporter un soutien technique et administratif approprié aux fournisseurs et aux déployeurs.
La base de données répond aux exigences en matière d’accessibilité visées à l’annexe I de la directive (UE) 2019/882.
Amendement 574 Proposition de règlement Article 61 – paragraphe 2
2. Le système de surveillance après commercialisation collecte, documente et analyse, de manière active et systématique, les données pertinentes fournies par les utilisateurs ou collectées via d’autres sources sur les performances des systèmes d’IA à haut risque tout au long de leur cycle de vie, et permet au fournisseur d’évaluer si les systèmes d’IA respectent en permanence les exigences énoncées au titre III, chapitre 2.
2. Le système de surveillance après commercialisation collecte, documente et analyse, de manière active et systématique, les données pertinentes fournies par les déployeurs ou collectées via d’autres sources sur les performances des systèmes d’IA à haut risque tout au long de leur cycle de vie, et permet au fournisseur d’évaluer si les systèmes d’IA respectent en permanence les exigences énoncées au titre III, chapitre 2. Le cas échéant, la surveillance consécutive à la mise sur le marché comprend une analyse de l’interaction avec d’autres systèmes d’IA, y compris d’autres dispositifs et logiciels, en tenant compte des règles applicables dans des domaines tels que la protection des données, les droits de propriété intellectuelle et le droit de la concurrence.
Amendement 575 Proposition de règlement Article 61 – paragraphe 3
3. Le système de surveillance après commercialisation repose sur un plan de surveillance après commercialisation. Le plan de surveillance après commercialisation fait partie de la documentation technique visée à l’annexe IV. La Commission adopte un acte d’exécution fixant des dispositions détaillées établissant un modèle pour le plan de surveillance après commercialisation et la liste des éléments à inclure dans le plan.
3. Le système de surveillance après commercialisation repose sur un plan de surveillance après commercialisation. Le plan de surveillance après commercialisation fait partie de la documentation technique visée à l’annexe IV. La Commission adopte un acte d’exécution fixant des dispositions détaillées établissant un modèle pour le plan de surveillance après commercialisation et la liste des éléments à inclure dans le plan au plus tard le... [douze mois après la date d’entrée en vigueur du présent règlement].
Amendement 576 Proposition de règlement Article 62 – titre
Notification des incidents graves et des dysfonctionnements
Notification des incidents graves
Amendement 577 Proposition de règlement Article 62 – paragraphe 1 – partie introductive
1. Les fournisseurs de systèmes d’IA à haut risque mis sur le marché de l’Union notifient tout incident grave ou tout dysfonctionnement de ces systèmes qui constitue une violation des obligations au titre du droit de l’Union visant à protéger les droits fondamentaux aux autorités de surveillance du marché des États membres où a eu lieu cet incident ou cette violation.
1. Les fournisseurs et, lorsque les déployeurs ont détecté un incident grave, les déployeurs de systèmes d’IA à haut risque mis sur le marché de l’Union notifient tout incident grave de ces systèmes qui constitue une violation des obligations au titre du droit de l’Union visant à protéger les droits fondamentaux à l’autorité de contrôle nationale des États membres où a eu lieu cet incident ou cette violation.
Cette notification est effectuée immédiatement après que le fournisseur a établi un lien de causalité, ou la probabilité raisonnable qu’un tel lien existe, entre le système d’IA et l’incident ou le dysfonctionnement et, en tout état de cause, au plus tard 15jours après que le fournisseur a eu connaissance de l’incident grave ou du dysfonctionnement.
Cette notification est effectuée dans les meilleurs délais après que le fournisseur ou, le cas échéant, le déployeur a établi un lien de causalité, ou la probabilité raisonnable qu’un tel lien existe, entre le système d’IA et l’incident, et, en tout état de cause, au plus tard 72heures après que le fournisseur ou, le cas échéant, le déployeur a eu connaissance de l’incident grave ou du dysfonctionnement.
Amendement 579 Proposition de règlement Article 62 – paragraphe 1 bis (nouveau)
1 bis. Après avoir établi un lien de causalité, ou la probabilité raisonnable qu’un tel lien existe, entre le système d’IA et l’incident grave, les fournisseurs prennent les mesures correctives appropriées conformément à l’article 21.
Amendement 580 Proposition de règlement Article 62 – paragraphe 2
2. Dès réception d’une notification relative à une violation des obligations au titre du droit de l’Union visant à protéger les droits fondamentaux, l’autorité de surveillance du marché informe les autorités ou organismes publics nationaux visés à l’article 64, paragraphe 3. La Commission élabore des orientations spécifiques pour faciliter le respect des obligations énoncées au paragraphe 1. Ces orientations sont publiées au plus tard 12 mois après l’entrée en vigueur du présent règlement.
2. Dès réception d’une notification relative à une violation des obligations au titre du droit de l’Union visant à protéger les droits fondamentaux, l’autorité de contrôle nationale informe les autorités ou organismes publics nationaux visés à l’article 64, paragraphe 3. La Commission élabore des orientations spécifiques pour faciliter le respect des obligations énoncées au paragraphe 1. Ces orientations sont publiées au plus tard le … [la date d’entrée en vigueur du présent règlement] et font l’objet d’une évaluation régulière.
Amendement 581 Proposition de règlement Article 62 – paragraphe 2 bis (nouveau)
2 bis. L’autorités de contrôle nationale prend les mesures appropriées dans un délai de sept jours à compter de la date de réception de la notification visée au paragraphe 1. Lorsque l’infraction a lieu ou est susceptible d’avoir lieu dans d’autres États membres, l’autorité de contrôle nationale en informe le Bureau de l’IA et les autorités de contrôle nationales concernées de ces États membres.
Amendement 582 Proposition de règlement Article 62 – paragraphe 3
3. Pour les systèmes d’IA à haut risque visés à l’annexe III, point 5 b), qui sont mis sur le marché ou mis en service par des fournisseurs qui sont des établissements de crédit régis par la directive 2013/36/UE et pour les systèmes d’IA à haut risque qui sont des composants de sécurité de dispositifs, ou qui sont eux-mêmes des dispositifs, relevant du règlement (UE) 2017/745 et du règlement (UE) 2017/746, la notification des incidents graves ou des dysfonctionnements est limitée à ceux qui constituent une violation des obligations au titre du droit de l’Union visant à protéger les droits fondamentaux.
3. Pour les systèmes d’IA à haut risque visés à l’annexe III, point 5 b), qui sont mis sur le marché ou mis en service par des fournisseurs qui sont soumis à des instruments législatifs de l’Union établissant des obligations de notification équivalentes à celles énoncées dans le présent règlement, l’obligation de notifier des incidents graves constitutifs d’une violation des droits fondamentaux au titre du droit de l’Union est transférée à l’autorité de contrôle nationale.
Amendement 583 Proposition de règlement Article 62 – paragraphe 3 bis (nouveau)
3 bis. Les autorités de contrôle nationales notifient annuellement au Bureau de l’IA les incidents graves qui leur sont notifiés conformément au présent article.
Amendement 584 Proposition de règlement Article 63 – paragraphe 1 – partie introductive
1. Le règlement (UE) 2019/1020 s’applique aux systèmes d’IA relevant du présent règlement. Toutefois, aux fins du contrôle effectif de l’application du présent règlement:
1. Le règlement (UE) 2019/1020 s’applique aux systèmes d’IA et aux systèmes d’IA à finalité générale relevant du présent règlement. Toutefois, aux fins du contrôle effectif de l’application du présent règlement:
Amendement 585 Proposition de règlement Article 63 – paragraphe 1 – point b bis (nouveau)
b bis) les autorités de contrôle nationales agissent en tant qu’autorités de surveillance du marché au titre du présent règlement et sont investies des mêmes pouvoirs et soumises aux mêmes obligations que les autorités de surveillance du marché en vertu du règlement (UE) 2019/1020.
Amendement 586 Proposition de règlement Article 63 – paragraphe 2
2. L’autorité de contrôle nationale communique régulièrement à la Commission les résultats des activités de surveillance du marché pertinentes. L’autorité de contrôle nationale communique sans retard à la Commission et aux autorités nationales de la concurrence concernées toute information recueillie dans le cadre des activités de surveillance du marché qui pourrait présenter un intérêt potentiel pour l’application du droit de l’Union relatif aux règles de concurrence.
2. L’autorité de contrôle nationale communique chaque année à la Commission à et au Bureau de l’IA les résultats des activités de surveillance du marché pertinentes. L’autorité de contrôle nationale communique sans retard à la Commission et aux autorités nationales de la concurrence concernées toute information recueillie dans le cadre des activités de surveillance du marché qui pourrait présenter un intérêt potentiel pour l’application du droit de l’Union relatif aux règles de concurrence.
Amendement 587 Proposition de règlement Article 63 – paragraphe 3 bis (nouveau)
3 bis. Afin de garantir l’application effective du présent règlement, les autorités nationales de surveillance peuvent:
a) procéder à des inspections inopinées des systèmes d’IA à haut risque sur place et à distance;
b) acquérir des échantillons liés aux systèmes d’IA à haut risque, notamment au moyen d’inspections à distance, pour soumettre les systèmes d’IA à l’ingénierie inverse et obtenir des preuves pour identifier la non-conformité.
Amendement 588 Proposition de règlement Article 63 – paragraphe 5
5. Pour les systèmes d’IA énumérés à l’annexe III, point 1 a), dans la mesure où ils sont utilisés à des fins répressives, et points 6 et 7, les États membres désignent comme autorités de surveillance du marché aux fins du présent règlement soit les autorités compétentes en matière de contrôle de la protection des données en vertu de la directive (UE) 2016/680 ou du règlement (UE) 2016/679, soit les autorités nationales compétentes pour surveiller les activités des autorités répressives, des services de l’immigration ou des autorités compétentes en matière d’asile qui mettent en service ou utilisent ces systèmes.
5. Pour les systèmes d’IA qui sont utilisés à des fins répressives, les États membres désignent comme autorités de surveillance du marché aux fins du présent règlement les autorités compétentes en matière de contrôle de la protection des données en vertu de la directive (UE) 2016/680.
Amendement 589 Proposition de règlement Article 63 – paragraphe 7
7. Les États membres facilitent la coordination entre les autorités de surveillance du marché désignées en vertu du présent règlement et les autres autorités ou organismes nationaux compétents pour surveiller l’application des législations d’harmonisation de l’Union énumérées à l’annexe II ou d’autres législations de l’Union susceptibles d’être pertinentes pour les systèmes d’IA à haut risque visés à l’annexe III.
7. Les autorités de contrôle nationales désignées en vertu du présent règlement se concertent avec les autres autorités ou organismes nationaux compétents pour surveiller l’application de la législation d’harmonisation de l’Union figurant à l’annexe II ou d’autres actes législatifs de l’Union susceptibles d’être pertinents pour les systèmes d’IA à haut risque visés à l’annexe III.
Amendement 590 Proposition de règlement Article 64 – paragraphe 1
1. En ce qui concerne l’accès aux données et à la documentation dans le cadre de leurs activités, les autorités de surveillance du marché ont pleinement accès aux jeux de données d’entraînement, de validation et de test utilisés par le fournisseur, y compris par l’intermédiaire d’interfaces de programmation d’applications (API) ou d’autres moyens et outils techniques appropriés permettant d’octroyer un accès à distance.
1. Dans le cadre de leurs activités, et sur demande motivée, l’autorité de contrôle nationale a pleinement accès aux jeux de données d’entraînement, de validation et de test utilisés par le fournisseur, ou, le cas échéant, par le déployeur, qui sont pertinents et strictement nécessaires aux fins de sa demande par des moyens et outils techniques appropriés.
Amendement 591 Proposition de règlement Article 64 – paragraphe 2
2. Lorsque cela est nécessaire pour évaluer la conformité du système d’IA à haut risque avec les exigences énoncées au titre III, chapitre 2, et sur demande motivée, les autorités de surveillance du marché ont accès au code source du système d’IA.
2. Lorsque cela est nécessaire pour évaluer la conformité du système d’IA à haut risque avec les exigences énoncées au titre III, chapitre 2, après que tous les autres moyens raisonnables de vérifier la conformité, y compris au paragraphe 1, ont été épuisés et se sont révélés insuffisants, et sur demande motivée, l’accès à l’entraînement de modèles et de modèles entraînés du système d’IA, y compris aux paramètres pertinents des modèles, est aussi accordé à l’autorité de contrôle nationale. Toutes les informations, conformément à l’article 70, sont traitées comme des informations confidentielles et sont soumises au droit de l’Union en vigueur en matière de protection de la propriété intellectuelle et des secrets d’affaires et sont supprimées à l’issue de l’enquête pour laquelle les informations ont été demandées.
Amendement 592 Proposition de règlement Article 64 – paragraphe 2 bis (nouveau)
2 bis. Les paragraphes 1 et 2 sont sans préjudice des droits procéduraux de l’opérateur concerné conformément à l’article 18 du règlement (UE) 2019/1020.
Amendement 593 Proposition de règlement Article 64 – paragraphe 3
3. Les autorités ou organismes publics nationaux qui supervisent ou font respecter les obligations au titre du droit de l’Union visant à protéger les droits fondamentaux en ce qui concerne l’utilisation des systèmes d’IA à haut risque visés à l’annexe III sont habilités à demander et à avoir accès à toute documentation créée ou conservée en vertu du présent règlement lorsque l’accès à cette documentation est nécessaire à l’exercice des attributions prévues par leur mandat dans les limites de leurs compétences. L’autorité ou l’organisme public concerné informe l’autorité de surveillance du marché de l’État membre concerné de toute demande de ce type.
3. Les autorités ou organismes publics nationaux qui supervisent ou font respecter les obligations au titre du droit de l’Union visant à protéger les droits fondamentaux en ce qui concerne l’utilisation des systèmes d’IA à haut risque visés à l’annexe III sont habilités à demander et à avoir accès à toute documentation créée ou conservée en vertu du présent règlement lorsque l’accès à cette documentation est nécessaire à l’exercice des attributions prévues par leur mandat dans les limites de leurs compétences. L’autorité ou l’organisme public concerné informe l’autorité de de contrôle nationale de l’État membre concerné de toute demande de ce type.
Amendement 594 Proposition de règlement Article 64 – paragraphe 4
4. Au plus tard 3 mois après l’entrée en vigueur du présent règlement, chaque État membre identifie les autorités ou organismes publics visés au paragraphe 3 et met une liste à la disposition du public sur le site web de l’autorité de contrôle nationale. Les États membres notifient la liste à la Commission et à tous les autres États membres et tiennent cette liste à jour.
4. Au plus tard 3 mois après l’entrée en vigueur du présent règlement, chaque État membre identifie les autorités ou organismes publics visés au paragraphe 3 et met une liste à la disposition du public sur le site web de l’autorité de contrôle nationale. Les autorités de contrôle nationales notifient la liste à la Commission, au Bureau de l’IA et à toutes les autres autorités de contrôle nationales et tiennent cette liste à jour. La Commission publie sur un site internet dédié la liste de toutes les autorités compétentes désignées par les États membres conformément au présent article.
Amendement 595 Proposition de règlement Article 64 – paragraphe 5
5. Lorsque la documentation visée au paragraphe 3 ne suffit pas pour établir l’existence d’une violation des obligations au titre du droit de l’Union visant à protéger les droits fondamentaux, l’autorité ou l’organisme public visé au paragraphe 3 peut présenter à l’autorité de surveillance du marché une demande motivée d’organiser des tests du système d’IA à haut risque par des moyens techniques. L’autorité de surveillance du marché organise les tests avec la participation étroite de l’autorité ou organisme public ayant présenté la demande dans un délai raisonnable après celle-ci.
5. Lorsque la documentation visée au paragraphe 3 ne suffit pas pour établir l’existence d’une violation des obligations au titre du droit de l’Union visant à protéger les droits fondamentaux, l’autorité ou l’organisme public visé au paragraphe 3 peut présenter à l’autorité de contrôle nationale une demande motivée d’organiser des tests du système d’IA à haut risque par des moyens techniques. L’autorité de contrôle nationale organise les tests avec la participation étroite de l’autorité ou organisme public ayant présenté la demande dans un délai raisonnable après celle-ci.
Amendement 596 Proposition de règlement Article 65 – paragraphe 1
1. On entend par systèmes d’IA présentant un risque, un produit présentant un risque au sens de l’article 3, point19, du règlement (UE) 2019/1020, dans la mesure où les risques concernent la santé ou la sécurité ou la protection des droits fondamentaux des personnes.
1. On entend par «systèmes d’IA présentant un risque», un système d’IA susceptible de porter atteinte à la santé et à la sécurité et aux droits fondamentaux des personnes en général, y compris sur le lieu de travail, à la protection des consommateurs, à l’environnement, à la sécurité publique et à d’autres intérêts publics, qui sont protégés par la législation d’harmonisation applicable de l’Union, dans une mesure qui va au-delà de ce qui est considéré comme raisonnable et acceptable eu égard à sa destination ou dans des conditions d’utilisation normales ou raisonnablement prévisibles, y compris la durée d’utilisation et, le cas échéant, sa mise en service, son installation et ses exigences d’entretien.
Amendement 597 Proposition de règlement Article 65 – paragraphe 2 – partie introductive
2. Lorsque l’autorité de surveillance du marché d’un État membre a des raisons suffisantes de considérer qu’un système d’IA présente un risque au sens du paragraphe 1, elle procède à une évaluation de la conformité du système d’IA concerné avec l’ensemble des exigences et obligations énoncées dans le présent règlement. Lorsqu’il existe un risque pour la protection des droits fondamentaux, l’autorité de surveillance du marché informe également les autorités ou organismes publics nationaux concernés visés à l’article 64, paragraphe 3.Les opérateurs concernés coopèrent, en tant que de besoin, avec les autorités de surveillance du marché et les autres autorités ou organismes publics nationaux visés à l’article 64, paragraphe 3.
2. Lorsque l’autorité de contrôle nationale d’un État membre a des raisons suffisantes de considérer qu’un système d’IA présente un risque au sens du paragraphe 1, elle procède à une évaluation de la conformité du système d’IA concerné avec l’ensemble des exigences et obligations énoncées dans le présent règlement. Lorsqu’il existe un risque pour la protection des droits fondamentaux, l’autorité de contrôle nationale informe également immédiatement les autorités ou organismes publics nationaux concernés visés à l’article 64, paragraphe 3, et coopère pleinement avec eux.Lorsqu’il existe des raisons suffisantes de considérer qu’un système d’IA exploite les vulnérabilités de groupes vulnérables ou viole leurs droits de manière intentionnelle ou non, l’autorité de contrôle nationale est tenue d’enquêter sur les objectifs de conception, les entrées de données, la sélection de modèles, l’exécution et les résultats du système d’IA. Les opérateurs concernés coopèrent, en tant que de besoin, avec les autorités de contrôle nationales et les autres autorités ou organismes publics nationaux visés à l’article 64, paragraphe 3.
Si, au cours de cette évaluation, l’autorité de surveillance du marché constate que le système d’IA ne respecte pas les exigences et obligations énoncées dans le présent règlement, elle invite sans tarder l’opérateur concerné à prendre toutes les mesures correctives appropriées pour mettre le système d’IA en conformité, le retirer du marché ou le rappeler dans un délai raisonnable et proportionné à la nature du risque, qu’elle prescrit.
Si, au cours de cette évaluation, l’autorité de contrôle nationale ou, le cas échéant, l’autorité publique nationale visée à l’article 64, paragraphe 3, constate que le système d’IA ne respecte pas les exigences et obligations énoncées dans le présent règlement, elle invite sans tarder l’opérateur concerné à prendre toutes les mesures correctives appropriées pour mettre le système d’IA en conformité, le retirer du marché ou le rappeler dans un délai raisonnable et proportionné à la nature du risque, qu’elle prescrit, et dans tous les cas au plus tard dans les 15 jours ouvrables ou dans les conditions prévues dans la législation d’harmonisation de l’Union concernée applicable.
L’autorité de surveillance du marché informe l’organisme notifié concerné en conséquence. L’article 18 du règlement (UE) 2019/1020 s’applique aux mesures visées au deuxième alinéa.
L’autorité de de contrôle nationale informe l’organisme notifié concerné en conséquence. L’article 18 du règlement (UE) 2019/1020 s’applique aux mesures visées au deuxième alinéa.
Amendement 600 Proposition de règlement Article 65 – paragraphe 3
3. Lorsque l’autorité de surveillance du marché considère que la non-conformité n’est pas limitée à son territoire national, elle informe la Commission et les autres États membres des résultats de l’évaluation et des mesures qu’elle a exigées de l’opérateur.
3. Lorsque l’autorité de contrôle nationale du marché considère que la non-conformité n’est pas limitée à son territoire national, elle informe dans les meilleurs délais la Commission, le Bureau de l’IA et l’autorité de contrôle nationale des autres États membres des résultats de l’évaluation et des mesures qu’elle a exigées de l’opérateur.
Amendement 601 Proposition de règlement Article 65 – paragraphe 5
5. Lorsque l’opérateur d’un système d’IA ne prend pas de mesures correctives adéquates dans le délai visé au paragraphe 2, l’autorité de surveillance du marché adopte toutes les mesures provisoires appropriées pour interdire ou restreindre la mise à disposition du système d’IA sur son marché national, pour le retirer de ce marché ou pour le rappeler. L’autorité informe sans retard la Commission et les autres États membres de ces mesures.
5. Lorsque l’opérateur d’un système d’IA ne prend pas de mesures correctives adéquates dans le délai visé au paragraphe 2, l’autorité de contrôle nationale adopte toutes les mesures provisoires appropriées pour interdire ou restreindre la mise à disposition du système d’IA sur son marché national ou sa mise en service, pour le retirer de ce marché ou pour le rappeler. L’autorité informe immédiatement la Commission, le Bureau de l’IA et l’autorité de contrôle nationale des autres États membres de ces mesures.
Amendement 602 Proposition de règlement Article 65 – paragraphe 6 – partie introductive
6. Les informations visées au paragraphe 5 contiennent toutes les précisions disponibles, notamment en ce qui concerne les données nécessaires pour identifier le système d’IA non conforme, son origine, la nature de la non-conformité alléguée et du risque encouru, ainsi que la nature et la durée des mesures nationales adoptées et les arguments avancés par l’opérateur concerné. En particulier, l’autorité de surveillance du marché indique si la non-conformité découle d’une ou plusieurs des causes suivantes:
6. Les informations visées au paragraphe 5 contiennent toutes les précisions disponibles, notamment en ce qui concerne les données nécessaires pour identifier le système d’IA non conforme, son origine et la chaîne d’approvisionnement, la nature de la non-conformité alléguée et du risque encouru, ainsi que la nature et la durée des mesures nationales adoptées et les arguments avancés par l’opérateur concerné. En particulier, l’autorité de contrôle nationale indique si la non-conformité découle d’une ou plusieurs des causes suivantes:
Amendement 603 Proposition de règlement Article 65 – paragraphe 6 – point a
a) le non-respect, par le système d’IA, des exigences énoncées au titre III, chapitre 2;
a) le non-respect, par le système d’IA à haut risque, des exigences énoncées dans le présent règlement;
Amendement 604 Proposition de règlement Article 65 – paragraphe 6 – point b bis (nouveau)
b bis) le non-respect de l’interdiction frappant les pratiques en matière d’intelligence artificielle visées à l’article 5;
Amendement 605 Proposition de règlement Article 65 – paragraphe 6 – point b ter (nouveau)
b ter) le non-respect des dispositions énoncées à l’article 52.
Amendement 606 Proposition de règlement Article 65 – paragraphe 7
7. Les autorités de surveillance du marché des États membres autres que l’autorité de surveillance du marché de l’État membre qui a entamé la procédure informent sans retard la Commission et les autres États membres de toute mesure adoptée et de toute information supplémentaire dont elles disposent à propos de la non-conformité du système d’IA concerné et, en cas de désaccord avec la mesure nationale notifiée, de leurs objections.
7. Les autorités de contrôle nationales des États membres autres que l’autorité de contrôle nationale de l’État membre qui a entamé la procédure informent sans retard la Commission, le Bureau de l’IA et les autres États membres de toute mesure adoptée et de toute information supplémentaire dont elles disposent à propos de la non-conformité du système d’IA concerné et, en cas de désaccord avec la mesure nationale notifiée, de leurs objections.
Amendement 607 Proposition de règlement Article 65 – paragraphe 8
8. Lorsque, dans les trois mois suivant la réception des informations visées au paragraphe 5, aucune objection n’a été émise par un État membre ou par la Commission à l’encontre d’une mesure provisoire prise par un État membre, cette mesure est réputée justifiée. Cette disposition est sans préjudice des droits procéduraux de l’opérateur concerné conformément à l’article 18 du règlement (UE) 2019/1020.
8. Lorsque, dans les trois mois suivant la réception des informations visées au paragraphe 5, aucune objection n’a été émise par l’autorité de contrôle nationale d’un État membre ou par la Commission à l’encontre d’une mesure provisoire prise par l’autorité de contrôle nationale d’un autre État membre, cette mesure est réputée justifiée. Cette disposition est sans préjudice des droits procéduraux de l’opérateur concerné conformément à l’article 18 du règlement (UE) 2019/1020. Le délai visé à la première phrase du présent paragraphe passe à trente jours en cas de non-respect de l’interdiction frappant les pratiques en matière d’intelligence artificielle visées à l’article 5.
Amendement 608 Proposition de règlement Article 65 – paragraphe 9
9. Les autorités de surveillance du marché de tous les États membres veillent à ce que les mesures restrictives appropriées soient prises sans retard à l’égard du produit concerné, par exemple son retrait de leur marché.
9. Les autorités de contrôle nationales de tous les États membres veillent à ce que les mesures restrictives appropriées soient prises sans retard à l’égard du système d’IA concerné, par exemple son retrait de leur marché.
Amendement 609 Proposition de règlement Article 65 – paragraphe 9 bis (nouveau)
9 bis. Les autorités de contrôle nationales font annuellement rapport au Bureau de l’IA du recours à des pratiques interdites survenues au cours de l’année, ainsi que des mesures prises pour éliminer ou atténuer les risques conformément au présent article.
Amendement 610 Proposition de règlement Article 66 – paragraphe 1
1. Lorsque, dans un délai de trois mois suivant la réception de la notification visée à l’article 65, paragraphe 5, un État membre soulève des objections à l’encontre d’une mesure prise par un autre État membre ou que la Commission estime que cette mesure est contraire au droit de l’Union, la Commission entame sans tarder des consultations avec l’État membre et le ou les opérateurs concernés et procède à l’évaluation de la mesure nationale. En fonction des résultats de cette évaluation, la Commission décide si la mesure nationale est justifiée ou non dans un délai de 9 mois suivant la notification visée à l’article 65, paragraphe 5, et communique sa décision à l’État membre concerné.
1. Lorsque, dans un délai de troismois suivant la réception de la notification visée à l’article 65, paragraphe 5, ou de 30 jours en cas de non-respect de l’interdiction frappant les pratiques en matière d’intelligence artificielle visées à l’article 5, l’autorité de contrôle nationale d’un État membre soulève des objections à l’encontre d’une mesure prise par une autre autorité de contrôle nationale ou que la Commission estime que cette mesure est contraire au droit de l’Union, la Commission entame sans tarder des consultations avec l’autorité de contrôle nationale de l’État membre et le ou les opérateurs concernés et procède à l’évaluation de la mesure nationale. En fonction des résultats de cette évaluation, la Commission décide si la mesure nationale est justifiée ou non dans un délai de trois mois, ou de 60 jours en cas de non-respect de l’interdiction frappant les pratiques en matière d’intelligence artificielle visées à l’article 5, suivant la notification visée à l’article 65, paragraphe 5, et communique sa décision à l’autorité de contrôle nationale de l’État membre concerné. La Commission informe également toutes les autres autorités de contrôle nationales de cette décision.
Amendement 611 Proposition de règlement Article 66 – paragraphe 2
2. Si la mesure nationale est jugée justifiée, tous les États membres prennent les mesures nécessaires pour s’assurer du retrait du système d’IA non conforme de leur marché et ils en informent la Commission. Si la mesure nationale est jugée non justifiée, l’État membre concerné la retire.
2. Si la mesure nationale est jugée justifiée, toutes les autorités de contrôle nationales désignées au titre du présent règlement prennent les mesures nécessaires pour s’assurer du retrait sans délai du système d’IA non conforme de leur marché et ils en informent la Commission et le Bureau de l’IA. Si la mesure nationale est jugée injustifiée, l’autorité de contrôle nationale de l’État membre concerné la retire.
Amendement 612 Proposition de règlement Article 66 bis (nouveau)
Article 66 bis
Enquêtes conjointes
Lorsqu’une autorité de contrôle nationale a des raisons de soupçonner que l’infraction au présent règlement commise par le fournisseur ou le déployeur d’un système d’IA à haut risque ou d’un système d’IA à finalité générale dans le cadre du présent règlement constitue une infraction de grande ampleur à l’échelle de l’Union, ou porte atteinte ou est susceptible de porter atteinte à au moins 45 millions de personnes, dans plus d’un État membre, cette autorité de contrôle nationale en informe le Bureau de l’IA et peut demander aux autorités de contrôle nationales des États membres dans lesquels cette infraction a été commise d’ouvrir une enquête conjointe. Le Bureau de l’IA assure la coordination centrale de l’enquête conjointe. Les pouvoirs d’enquête continuent de relever de la compétence des autorités de contrôle nationales.
Amendement 613 Proposition de règlement Article 67 – paragraphe 1
1. Lorsque l’autorité de surveillance du marché d’un État membre constate, après avoir réalisé une évaluation au titre de l’article 65, qu’un système d’IA conforme au présent règlement comporte néanmoins un risque pour la santé ou la sécurité des personnes, pour le respect des obligations au titre du droit de l’Union ou du droit national visant à protéger les droits fondamentaux ou pour d’autres aspects relatifs à la protection de l’intérêt public, elle invite l’opérateur concerné à prendre toutes les mesures appropriées pour faire en sorte que le système d’IA concerné, une fois mis sur le marché ou mis en service, ne présente plus ce risque, ou pour le retirer du marché ou le rappeler dans un délai raisonnable, proportionné à la nature du risque, qu’elle prescrit.
1. Lorsque l’autorité de contrôle nationale d’un État membre constate, en étroite collaboration avec l’autorité publique nationale compétente visée à l’article 64, paragraphe 3, après avoir réalisé une évaluation au titre de l’article 65, qu’un système d’IA conforme au présent règlement comporte néanmoins un risque grave pour la santé ou la sécurité des personnes, pour le respect des obligations au titre du droit de l’Union ou du droit national visant à protéger les droits fondamentaux, l’environnement, la démocratie et l’état de droit ou pour d’autres aspects relatifs à la protection de l’intérêt public, elle invite l’opérateur concerné à prendre toutes les mesures appropriées pour faire en sorte que le système d’IA concerné, une fois mis sur le marché ou mis en service, ne présente plus ce risque.
Amendement 614 Proposition de règlement Article 67 – paragraphe 2
2. Le fournisseur ou les autres opérateurs concernés s’assurent que des mesures correctives sont prises pour tous les systèmes d’IA concernés qu’ils ont mis à disposition sur le marché dans toute l’Union dans le délai prescrit par l’autorité de surveillance du marché de l’État membre visée au paragraphe 1.
2. Le fournisseur ou les autres opérateurs concernés s’assurent que des mesures correctives sont prises pour tous les systèmes d’IA concernés qu’ils ont mis à disposition sur le marché dans toute l’Union dans le délai prescrit par l’autorité de contrôle nationale de l’État membre visée au paragraphe 1.
Amendement 615 Proposition de règlement Article 67 – paragraphe 2 bis (nouveau)
2 bis. Lorsque le fournisseur ou d’autres opérateurs concernés ne prennent pas les mesures correctives visées au paragraphe 2 et que le système d’IA continue à présenter un risque au sens du paragraphe 1, l’autorité de contrôle nationale peut, en dernier ressort, exiger de l’opérateur concerné qu’il retire le système d’IA du marché ou qu’il le rappelle dans un délai raisonnable, selon la nature du risque.
Amendement 616 Proposition de règlement Article 67 – paragraphe 3
3. L’État membre informe immédiatement la Commission et les autres États membres. Les informations fournies incluent toutes les précisions disponibles, notamment les données nécessaires à l’identification du système d’IA concerné, l’origine et la chaîne d’approvisionnement de ce système d’IA, la nature du risque encouru, ainsi que la nature et la durée des mesures nationales adoptées.
3. L’autorité de contrôle nationale informe immédiatement la Commission, le Bureau de l’IA et les autres autorités de contrôle nationales. Les informations fournies incluent toutes les précisions disponibles, notamment les données nécessaires à l’identification du système d’IA concerné, l’origine et la chaîne d’approvisionnement de ce système d’IA, la nature du risque encouru, ainsi que la nature et la durée des mesures nationales adoptées.
Amendement 617 Proposition de règlement Article 67 – paragraphe 4
4. La Commission entame sans retard des consultations avec les États membres et l’opérateur concerné et évalue les mesures nationales prises. En fonction des résultats de cette évaluation, la Commission décide si la mesure est justifiée ou non et, si nécessaire, propose des mesures appropriées.
4. La Commission, en consultation avec le Bureau de l’IA, entame sans retard des consultations avec les autorités de contrôle nationales concernées et l’opérateur concerné, et évalue les mesures nationales prises. En fonction des résultats de cette évaluation, le Bureau de l’IA décide si la mesure est justifiée ou non et, si nécessaire, propose des mesures appropriées.
Amendement 618 Proposition de règlement Article 67 – paragraphe 5
5. La Commission communique sa décision aux États membres.
5. La Commission, en consultation avec le Bureau de l’IA, communique immédiatement sa décision aux autorités de contrôle nationales des États membres concernées et aux opérateurs concernés. Elle informe également toutes les autres autorités de contrôle nationales de la décision.
Amendement 619 Proposition de règlement Article 67 – paragraphe 5 bis (nouveau)
5 bis. La Commission adopte des lignes directrices destinées à aider les autorités nationales compétentes à détecter et à résoudre, le cas échéant, tout problème similaire observé dans d’autres systèmes d’IA.
Amendement 620 Proposition de règlement Article 68 – paragraphe 1 – partie introductive
1. Lorsque l’autorité de surveillance du marché d’un État membre fait l’une des constatations ci-après, elle invite le fournisseur concerné à mettre un terme à la non-conformité en question:
1. Lorsque l’autorité de de contrôle nationale d’un État membre fait l’une des constatations ci-après, elle invite le fournisseur concerné à mettre un terme à la non-conformité en question:
Amendement 621 Proposition de règlement Article 68 – paragraphe 1 – point a
a) le marquage de conformité a été apposé en violation de l’article 49;
a) le marquage CE a été apposé en violation de l’article 49;
Amendement 622 Proposition de règlement Article 68 – paragraphe 1 – point b
b) le marquage de conformité n’a pas été apposé;
b) le marquage CE n’a pas été apposé;
Amendement 623 Proposition de règlement Article 68 – paragraphe 1 – point e bis (nouveau)
e bis) la documentation technique n’est pas disponible;
Amendement 624 Proposition de règlement Article 68 – paragraphe 1 – point e ter (nouveau)
e ter) l’enregistrement dans la base de données de l’UE n’a pas été effectué;
Amendement 625 Proposition de règlement Article 68 – paragraphe 1 – point e quater (nouveau)
e quater) le cas échéant, le mandataire n’a pas été désigné.
Amendement 626 Proposition de règlement Article 68 – paragraphe 2
2. Si le cas de non-conformité visé au paragraphe 1 persiste, l’État membre concerné prend toutes les mesures appropriées pour restreindre ou interdire la mise à disposition du système d’IA à haut risque sur le marché ou pour assurer son rappel ou son retrait du marché.
2. Si le cas de non-conformité visé au paragraphe 1 persiste, l’autorité de contrôle de l’État membre concerné prend toutes les mesures appropriées et proportionnées pour restreindre ou interdire la mise à disposition du système d’IA à haut risque sur le marché ou pour assurer son rappel ou son retrait sans délai du marché. L’autorité de contrôle nationale de l’État membre concerné informe immédiatement le Bureau de l’IA de la non-conformité et des mesures qu’il a prises.
Amendement 627 Proposition de règlement Article 68 – chapitre 3 bis (nouveau)
3 bis. Recours
Amendement 628 Proposition de règlement Article 68 bis (nouveau)
Article 68 bis
Droit d’introduire une réclamation auprès d’une autorité de contrôle nationale
1. Sans préjudice de tout autre recours administratif ou juridictionnel, les personnes physiques ou les groupes de personnes physiques ont le droit d’introduire une réclamation auprès d’une autorité de contrôle nationale, en particulier dans l’État membre dans lequel se trouve leur résidence habituelle, leur lieu de travail ou le lieu où la violation aurait été commise, s’ils considèrent que le système d’IA les concernant viole le présent règlement.
2. L’autorité de contrôle nationale auprès de laquelle la réclamation a été introduite informe l’auteur de la réclamation de l’état d’avancement et de l’issue de la réclamation, y compris de la possibilité d’un recours juridictionnel en vertu de l’article 78.
Amendement 629 Proposition de règlement Article 68 ter (nouveau)
Article 68 ter
Droit à un recours juridictionnel effectif contre une autorité de contrôle nationale
1. Sans préjudice de tout autre recours administratif ou non judiciaire, toute personne physique ou morale a le droit de former un recours juridictionnel effectif contre une décision juridiquement contraignante d’une autorité de contrôle nationale qui la concerne.
2. Sans préjudice de tout autre recours administratif ou extrajudiciaire, toute personne physique ou morale est habilitée à former un recours juridictionnel effectif lorsque l’autorité de contrôle nationale qui est compétente en vertu de l’article 59 omet de traiter une réclamation ou d’informer la personne concernée dans un délai de trois mois, de l’état d’avancement ou de l’issue de la réclamation introduite au titre de l’article 68 bis.
3. Toute action contre une autorité de contrôle nationale est intentée devant les juridictions de l’État membre dans lequel l’autorité de contrôle est établie.
4. Dans le cas d’une action intentée contre une décision d’une autorité de contrôle nationale qui a été précédée d’un avis ou d’une décision de la Commission dans le cadre de la procédure de sauvegarde de l’Union, l’autorité de contrôle transmet l’avis ou la décision en question à la juridiction concernée.
Amendement 630 Proposition de règlement Article 68 quater (nouveau)
Article 68 quater
Droit à l’explication des décisions individuelles
1. Toute personne concernée faisant l’objet d’une décision prise par un déployeur sur la base du résultat d’un système d’IA à haut risque qui produit des effets juridiques les concernant ou les affectant de manière significative de façon similaire qu’elle considère comme ayant des conséquences négatives sur sa santé, sa sécurité, ses droits fondamentaux, son bien-être socioéconomique ou tout autre droit découlant des obligations énoncées dans le présent règlement, a le droit de demander au déployeur une explication claire et pertinente, conformément à l’article 13, paragraphe 1, du rôle du système d’IA dans la procédure décisionnelle, des principaux paramètres de la décision prise et des données d’entrée concernées.
2. Le paragraphe|1 ne s’applique pas à l’utilisation de systèmes d’IA pour lesquels des exceptions ou des restrictions à l’obligation prévue au paragraphe 1 découlent du droit de l’Union ou du droit national, dans la mesure où ces exceptions ou restrictions respectent l’essence des libertés et droits fondamentaux et constituent une mesure nécessaire et proportionnée dans une société démocratique.
3. Le présent article s’applique sans préjudice des articles 13, 14, 15 et 22 du règlement 2016/679.
Amendement 631 Proposition de règlement Article 68 quinquies (nouveau)