Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD))(1)
(Procedimiento legislativo ordinario: primera lectura)
Texto de la Comisión
Enmienda
Enmienda 1 Propuesta de Reglamento Visto 4 bis (nuevo)
Visto el dictamen del Banco Central Europeo,
Enmienda 2 Propuesta de Reglamento Visto 4 ter (nuevo)
Visto el dictamen conjunto del Comité Europeo de Protección de Datos y el Supervisor Europeo de Protección de Datos,
Enmienda 3 Propuesta de Reglamento Considerando 1
(1) El objetivo del presente Reglamento es mejorar el funcionamiento del mercado interno mediante el establecimiento de un marco jurídico uniforme, en particular en lo que respecta al desarrollo, la comercialización y la utilización de la inteligencia artificial de conformidad con los valores de la Unión. El presente Reglamento persigue varios fines imperiosos de interés general, tales como asegurar un nivel elevado de protección de la salud, la seguridad y los derechos humanos, y garantiza la libre circulación transfronteriza de bienes y servicios basados en la IA, con lo que impide que los Estados miembros impongan restricciones al desarrollo, la comercialización y la utilización de sistemas de IA, a menos que el presente Reglamento lo autorice expresamente.
(1) El objetivo del presente Reglamento es promover en la Unión la adopción de una inteligencia artificial fiable y centrada en el ser humano y garantizar un elevado nivel de protección de la salud, la seguridad, los derechos fundamentales, la democracia y el Estado de Derecho y del medio ambiente frente a los efectos nocivos de los sistemas de inteligencia artificial, apoyando al mismo tiempo la innovación y mejorando el funcionamiento del mercado interno.El presente Reglamento establece un marco jurídico uniforme, en particular en lo que respecta al desarrollo, la introducción en el mercado, la puesta en servicio y la utilización de la inteligencia artificial de conformidad con los valores de la Unión y garantiza la libre circulación transfronteriza de bienes y servicios basados en la IA, con lo que impide que los Estados miembros impongan restricciones al desarrollo, la comercialización y la utilización de sistemas de inteligencia artificial (sistemas de IA), a menos que el presente Reglamento lo autorice expresamente. Algunos sistemas de AI pueden afectar asimismo a la democracia, el Estado de Derecho y el medio ambiente. Esas preocupaciones se abordan específicamente en los sectores y los casos de uso críticos enumerados en los anexos del presente Reglamento.
Enmienda 4 Propuesta de Reglamento Considerando 1 bis (nuevo)
(1 bis) El presente Reglamento debe preservar los valores de la Unión, facilitando la distribución de los beneficios de la inteligencia artificial para toda la sociedad y protegiendo a las personas, las empresas, la democracia y el Estado de Derecho y el medio ambiente frente a diversos riesgos, al tiempo que se impulsa la innovación y el empleo y se convierte a la Unión en un líder en este ámbito de actividad.
Enmienda 5 Propuesta de Reglamento Considerando 2
(2) Los sistemas de inteligencia artificial («sistemas de IA») pueden emplearse con facilidad en múltiples sectores de la economía y la sociedad, también a escala transfronteriza, y circular por toda la Unión. Algunos Estados miembros ya han estudiado la posibilidad de adoptar normas nacionales destinadas a garantizar que la inteligencia artificial sea segura y se desarrolle y utilice de conformidad con las obligaciones relativas a los derechos fundamentales. La existencia de distintas normas nacionales puede dar lugar a la fragmentación del mercado interior y reducir la seguridad jurídica de los operadores que desarrollan o utilizan sistemas de IA. Por lo tanto, es preciso garantizar un nivel elevado y coherente de protección en toda la Unión y evitar las divergencias que obstaculizan la libre circulación en el mercado interior de los sistemas de IA y los productos y servicios conexos mediante el establecimiento de obligaciones uniformes para todos los operadores y la garantía de una protección uniforme de los fines imperiosos de interés general y de los derechos de las personas en todo el mercado interior, sobre la base del artículo 114 del Tratado de Funcionamiento de la Unión Europea (TFUE). En la medida en que el presente Reglamento contiene normas específicas para la protección de las personas en relación con el tratamiento de datos personales que restringen el uso de sistemas de IA para la identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley, resulta adecuado basar este Reglamento, en lo que atañe a dichas normas específicas, en el artículo 16 del TFUE. A la luz de dichas normas específicas y de la invocación del artículo 16 del TFUE, conviene consultar al Comité Europeo de Protección de Datos.
(2) Los sistemas de IA pueden emplearse con facilidad en múltiples sectores de la economía y la sociedad, también a escala transfronteriza, y circular por toda la Unión. Algunos Estados miembros ya han estudiado la posibilidad de adoptar normas nacionales destinadas a garantizar que la inteligencia artificial sea fiable y segura y se desarrolle y utilice de conformidad con las obligaciones relativas a los derechos fundamentales. La existencia de distintas normas nacionales puede dar lugar a la fragmentación del mercado interior y reducir la seguridad jurídica de los operadores que desarrollan o utilizan sistemas de IA. Por lo tanto, es preciso garantizar un nivel elevado y coherente de protección en toda la Unión, a fin de lograr una IA fiable, y evitar las divergencias que obstaculizan la libre circulación, la innovación, la implementación y la adopción en el mercado interior de los sistemas de IA y los productos y servicios conexos mediante el establecimiento de obligaciones uniformes para todos los operadores y la garantía de una protección uniforme de los fines imperiosos de interés general y de los derechos de las personas en todo el mercado interior, sobre la base del artículo 114 del Tratado de Funcionamiento de la Unión Europea (TFUE).
Enmienda 6 Propuesta de Reglamento Considerando 2 bis (nuevo)
(2 bis) Habida cuenta de que la inteligencia artificial a menudo se basa en el tratamiento de grandes volúmenes de datos y los muchos sistemas y aplicaciones de IA para el tratamiento de datos personales, conviene que el presente Reglamento se fundamente en el artículo 16 del TFUE, que consagra el derecho de toda persona física a la protección respecto al tratamiento de los datos de carácter personal y prevé la adopción de normas para la protección de las personas en relación con el tratamiento de datos personales.
Enmienda 7 Propuesta de Reglamento Considerando 2 ter (nuevo)
(2 ter) El derecho fundamental a la protección de los datos personales está garantizado, en particular, por los Reglamentos (UE) 2016/679 y (UE) 2018/1725 y la Directiva 2016/680. La Directiva 2002/58/CE protege, además, la vida privada y la confidencialidad de las comunicaciones, también estableciendo condiciones para la conservación de los datos personales y no personales en los equipos terminales y el acceso desde estos a los datos. Estos actos jurídicos constituyen la base para un tratamiento de datos sostenible y responsable, incluso cuando los conjuntos de datos incluyan una combinación de datos personales y no personales. El presente Reglamento no pretende afectar a la aplicación del Derecho de la Unión vigente que regula el tratamiento de datos personales, incluidas las funciones y competencias de las autoridades de supervisión independientes competentes para vigilar el cumplimiento de dichos instrumentos. El presente Reglamento no afecta a los derechos fundamentales a la vida privada y a la protección de datos personales tal como han sido establecidos en el Derecho de la Unión en materia de protección de datos y privacidad y consagrados en la Carta de los Derechos Fundamentales de la Unión Europea (en lo sucesivo, «Carta»).
Enmienda 8 Propuesta de Reglamento Considerando 2 quater (nuevo)
(2 quater) Los sistemas de inteligencia artificial de la Unión están sujetos a la legislación pertinente en materia de seguridad de los productos que proporciona un marco de protección de los consumidores frente a los productos peligrosos en general, y dicha legislación debe seguir aplicándose. El presente Reglamento se entiende asimismo sin perjuicio de las normas establecidas en otros actos jurídicos de la Unión relativos a la protección de los consumidores y a la seguridad de los productos, como el Reglamento (UE) 2017/2394, el Reglamento (UE) 2019/1020, la Directiva 2001/95/CE relativa a la seguridad general de los productos y la Directiva 2013/11/UE.
Enmienda 9 Propuesta de Reglamento Considerando 2 quinquies (nuevo)
(2 quinquies) De conformidad con el artículo 114, apartado 2, del TFUE, el presente Reglamento complementa y no debe menoscabar los derechos e intereses de los trabajadores por cuenta ajena. El presente Reglamento no debe afectar al Derecho de la Unión en materia de política social ni a la legislación y las prácticas laborales nacionales, es decir, a cualquier disposición legal y contractual relativa a las condiciones de empleo, las condiciones de trabajo, incluidas la salud y la seguridad en el trabajo y las relaciones entre empresarios y trabajadores, en particular la información, la consulta y la participación. El presente Reglamento no debe afectar en modo alguno al ejercicio de los derechos fundamentales reconocidos en los Estados miembros y a escala de la Unión, incluido el derecho o la libertad de huelga o de emprender otras acciones contempladas en los sistemas de relaciones laborales específicos de los Estados miembros, de conformidad con la legislación o las prácticas nacionales. Tampoco debe afectar a las prácticas concertadas, al derecho a negociar, concluir y hacer cumplir convenios colectivos o llevar a cabo acciones colectivas conforme a la legislación o las prácticas nacionales. En ningún caso debe impedir que la Comisión proponga una legislación específica sobre los derechos y libertades de los trabajadores afectados por los sistemas de IA.
Enmienda 10 Propuesta de Reglamento Considerando 2 sexies (nuevo)
(2 sexies) El presente Reglamento no debe afectar a las disposiciones destinadas a mejorar las condiciones de trabajo en las plataformas de trabajo establecidas en la Directiva ... [COD 2021/414/CE].
Enmienda 11 Propuesta de Reglamento Considerando 2 septies (nuevo)
(2 septies) El presente Reglamento debe contribuir a apoyar la investigación y la innovación, no perjudicar las actividades de investigación y desarrollo y respetar la libertad de investigación científica. Por consiguiente, es necesario excluir de su ámbito de aplicación los sistemas de IA desarrollados específicamente con el fin exclusivo de la investigación y el desarrollo científicos y garantizar que el presente Reglamento no afecte a la actividad de investigación y desarrollo científicos sobre los sistemas de IA. En cualquier circunstancia, toda actividad de investigación y desarrollo debe llevarse a cabo de conformidad con la Carta, el Derecho de la Unión y el Derecho nacional.
Enmienda 12 Propuesta de Reglamento Considerando 3
(3) La inteligencia artificial es un conjunto de tecnologías de rápida evolución que puede generar un amplio abanico de beneficios económicos y sociales en todos los sectores y actividades sociales. El uso de la inteligencia artificial puede proporcionar ventajas competitivas esenciales a las empresas y facilitar la obtención de resultados positivos desde el punto de vista social y medioambiental en los ámbitos de la asistencia sanitaria, la agricultura, la educación y la formación, la administración de infraestructuras, la energía, el transporte y la logística, los servicios públicos, la seguridad, la justicia, la eficiencia de los recursos y la energía, y la mitigación del cambio climático y la adaptación a él, entre otros, al mejorar la predicción, optimizar las operaciones y la asignación de los recursos, y personalizar las soluciones digitales que se encuentran a disposición de la población y las organizaciones.
(3) La inteligencia artificial es un conjunto de tecnologías de rápida evolución que puede aportar, y de hecho ya aporta, un amplio abanico de beneficios económicos, medioambientales y sociales en todos los sectores y actividades sociales, si se desarrolla de conformidad con los principios generales pertinentes con arreglo a la Carta y los valores en los que está fundada la Unión. El uso de la inteligencia artificial, al mejorar la predicción, optimizar las operaciones y la asignación de los recursos, y personalizar las soluciones digitales que se encuentran a disposición de la población y de las organizaciones, puede proporcionar ventajas competitivas esenciales a las empresas y facilitar la obtención de resultados positivos desde el punto de vista social y medioambiental en los ámbitos de la asistencia sanitaria, la agricultura, la seguridad alimentaria, la educación y la formación, los medios de comunicación, los deportes, la cultura, la administración de infraestructuras, la energía, el transporte y la logística, la gestión de crisis, los servicios públicos, la seguridad, la justicia, la eficiencia energética y de los recursos, la supervisión medioambiental, la conservación y restauración de la biodiversidad y los ecosistemas y la mitigación del cambio climático y la adaptación a él, entre otros.
Enmienda 13 Propuesta de Reglamento Considerando 3 bis (nuevo)
(3 bis) Para contribuir a alcanzar los objetivos de neutralidad en carbono, las empresas europeas deben tratar de utilizar todos los avances tecnológicos disponibles que puedan ayudarles a lograr este objetivo. La inteligencia artificial es una tecnología que puede ser utilizada para procesar la cantidad cada vez mayor de datos creados durante los procesos industriales, medioambientales, sanitarios, etc. A fin de facilitar las inversiones en herramientas de optimización y análisis basados en la IA, el presente Reglamento debe proporcionar un entorno predecible y proporcionado para las soluciones industriales de bajo riesgo.
Enmienda 14 Propuesta de Reglamento Considerando 4
(4) Al mismo tiempo, dependiendo de las circunstancias de su aplicación y utilización concretas, la inteligencia artificial puede generar riesgos y menoscabar los intereses públicos y los derechos que protege el Derecho de la Unión, de manera tangible o intangible.
(4) Al mismo tiempo, dependiendo de las circunstancias de su aplicación y utilización concretas, así como del nivel de desarrollo tecnológico, la inteligencia artificial puede generar riesgos y menoscabar los intereses públicos o privados y los derechos fundamentales de las personas físicas que protege el Derecho de la Unión, de manera tangible o intangible, incluidos daños físicos, psíquicos, sociales y económicos.
Enmienda 15 Propuesta de Reglamento Considerando 4 bis (nuevo)
(4 bis) Dado el gran impacto que la inteligencia artificial puede tener en la sociedad y la necesidad de generar confianza, es fundamental que la inteligencia artificial y su marco reglamentario se desarrollen de conformidad con los valores de la Unión consagrados en el artículo 2 del TUE, los derechos y libertades fundamentales consagrados en los Tratados, la Carta y el Derecho internacional de los derechos humanos. Como requisito previo, la inteligencia artificial debe ser una tecnología centrada en el ser humano. No debe sustituir a la autonomía humana ni asumir la pérdida de la libertad individual y ha de atender principalmente a las necesidades de la sociedad y el bien común. Deben establecerse salvaguardias para garantizar el desarrollo y la utilización de una inteligencia artificial integrada de forma ética que respete los valores de la Unión y la Carta.
Enmienda 16 Propuesta de Reglamento Considerando 5
(5) Por este motivo, se necesita un marco jurídico de la Unión que defina unas normas armonizadas en materia de inteligencia artificial orientadas a impulsar el desarrollo, la utilización y la adopción en el mercado interior de la inteligencia artificial y que, al mismo tiempo, ofrezca un nivel elevado de protección de los intereses públicos, como la salud y la seguridad, y de los derechos fundamentales reconocidos y protegidos por el Derecho de la Unión. Para alcanzar dicho objetivo, conviene establecer normas que regulen la introducción en el mercado y la puesta en servicio de determinados sistemas de IA, lo que garantizará el buen funcionamiento del mercado interior y permitirá que dichos sistemas se beneficien del principio de la libre circulación de bienes y servicios. Al establecer tales normas, el presente Reglamento respalda el objetivo de la Unión de ser un líder mundial en el desarrollo de inteligencia artificial segura, digna de confianza y ética, como indicó el Consejo Europeo33, y garantiza la protección de los principios éticos, como solicitó específicamente el Parlamento Europeo34.
(5) Por este motivo, se necesita un marco jurídico de la Unión que defina unas normas armonizadas en materia de inteligencia artificial orientadas a impulsar el desarrollo, la utilización y la adopción en el mercado interior de la inteligencia artificial y que, al mismo tiempo, ofrezca un nivel elevado de protección de los intereses públicos, como la salud y la seguridad, la protección de los derechos fundamentales, la democracia y el Estado de Derecho y el medio ambiente, reconocidos y protegidos por el Derecho de la Unión. Para alcanzar dicho objetivo, conviene establecer normas que regulen la introducción en el mercado, la puesta en servicio y la utilización de determinados sistemas de IA, lo que garantizará el buen funcionamiento del mercado interior y permitirá que dichos sistemas se beneficien del principio de la libre circulación de bienes y servicios. Estas normas deben ser claras y firmes a la hora de proteger los derechos fundamentales, apoyar nuevas soluciones innovadoras y posibilitar un ecosistema europeo de agentes públicos y privados que creen sistemas de IA en consonancia con los valores de la Unión. Al establecer tales normas, así como medidas de fomento de la innovación, haciendo especial hincapié en las pymes y las empresas emergentes, el presente Reglamento respalda el objetivo de la Unión de promover la IA creada en Europa, ser un líder mundial en el desarrollo de inteligencia artificial segura, digna de confianza y ética, como indicó el Consejo Europeo33, y garantiza la protección de los principios éticos, como solicitó específicamente el Parlamento Europeo34.
__________________
__________________
33 Consejo Europeo, Reunión extraordinaria del Consejo Europeo (1 y 2 de octubre de 2020) – Conclusiones, EUCO 13/20, 2020, p. 6.
33 Consejo Europeo, Reunión extraordinaria del Consejo Europeo (1 y 2 de octubre de 2020) – Conclusiones, EUCO 13/20, 2020, p. 6.
34 Resolución del Parlamento Europeo, de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas, 2020/2012(INL).
34 Resolución del Parlamento Europeo, de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas, 2020/2012(INL).
Enmienda 17 Propuesta de Reglamento Considerando 5 bis (nuevo)
(5 bis) Además, con el fin de fomentar el desarrollo de los sistemas de IA en consonancia con los valores de la Unión, esta debe abordar las principales lagunas y barreras que bloquean el potencial de la transformación digital, incluida la escasez de trabajadores con competencias digitales, las preocupaciones en materia de ciberseguridad, la falta de inversión y de acceso a la inversión, y las lagunas existentes y potenciales entre las grandes empresas, las pymes y las empresas emergentes. Debe prestarse especial atención para garantizar que los beneficios de la IA y la innovación en las nuevas tecnologías se dejen sentir en todas las regiones de la Unión y que se proporcionen inversiones y recursos suficientes, especialmente a aquellas regiones que puedan estar rezagadas en algunos indicadores digitales.
Enmienda 18 Propuesta de Reglamento Considerando 6
(6) Resulta necesario definir con claridad la noción de sistema de IA para ofrecer seguridad jurídica, al mismo tiempo que se proporciona la flexibilidad necesaria para adaptarse a los futuros avances tecnológicos. La definición debe basarse en las principales características funcionales del software, y en particular en su capacidad para generar, en relación con un conjunto concreto de objetivos definidos por seres humanos, contenidos, predicciones, recomendaciones, decisiones u otra información de salida que influyan en el entorno con el que interactúa el sistema, ya sea en una dimensión física o digital. Los sistemas de IA pueden diseñarse para operar con distintos niveles de autonomía y utilizarse de manera independiente o como componentes de un producto, con independencia de si el sistema forma parte físicamente de él (integrado) o tiene una funcionalidad en el producto sin formar parte de él (no integrado). La definición de «sistema de IA» debe complementarse con una lista de las técnicas y estrategias concretas que se usan en su desarrollo. Dicha lista debe estar actualizada atendiendo a los avances tecnológicos y del mercado, para lo cual la Comisión debe adoptar actos delegados que la modifiquen.
(6) Resulta necesario definir con claridad la noción de sistema de IA en el presente Reglamento y armonizarla estrechamente con el trabajo de las organizaciones internacionales que trabajan en el ámbito de la inteligencia artificial para ofrecer seguridad jurídica, armonización y una amplia aceptación, al mismo tiempo que se proporciona la flexibilidad necesaria para adaptarse a los rápidos avances tecnológicos en este campo. Además, debe basarse en las principales características de la inteligencia artificial, como su capacidad de aprendizaje, de razonamiento o de modelización, diferenciándola así de otros sistemas de software y planteamientos de programación más sencillos.Los sistemas de IA están diseñados para operar con distintos niveles de autonomía, lo que significa que tienen al menos cierto grado de independencia de las acciones de los controles humanos y ciertas capacidades para operar sin intervención humana. El término «basado en máquinas» se refiere al hecho de que todo sistema de IA funciona con máquinas. La referencia a objetivos explícitos o implícitos subraya que los sistemas de IA pueden operar con arreglo a objetivos explícitos definidos por el ser humano o a objetivos implícitos. Los objetivos del sistema de IA pueden ser diferentes de la finalidad prevista del sistema de IA en un contexto específico. La referencia a las predicciones incluye el contenido, que en el presente Reglamento se considera una forma de predicción en tanto unaposible información de salida producida por un sistema de IA. A efectos del presente Reglamento, los entornos deben entenderse como los contextos en los que operan los sistemas de IA, mientras que la información de salida generada por el sistema de IA, es decir, las predicciones, recomendaciones o decisiones, responden a los objetivos del sistema, sobre la base de las entradas de dicho entorno.Dicha información de salida influye a su vez en el entorno, por el simple hecho de introducir nueva información en él.
Enmienda 19 Propuesta de Reglamento Considerando 6 bis (nuevo)
(6 bis) Los sistemas de IA suelen incorporar capacidades de aprendizaje automático, que les permite adaptarse y realizar nuevas funciones de manera autónoma. El aprendizaje automático se refiere al proceso informático de optimizar los parámetros del modelo a partir de los datos, que es un constructo matemático que genera una información de salida a partir de los datos de entrada. Entre las estrategias de aprendizaje automático se encuentran, entre otras, el aprendizaje supervisado, el no supervisado y el realizado por refuerzo, que emplean diversos métodos, entre ellos, el aprendizaje profundo con redes neuronales. El presente Reglamento tiene por objeto abordar los nuevos riesgos potenciales que puedan surgir al delegar el control en los sistemas de IA, en particular en aquellos capaces de evolucionar tras su implantación. La función y la información de salida de muchos de estos sistemas de IA se basan en relaciones matemáticas abstractas que para los seres humanos son difíciles de comprender, supervisar y rastrear hasta los datos de entrada concretos. Estas complejas y opacas características (elemento de caja negra) repercuten en la rendición de cuentas y la explicabilidad. Técnicas comparativamente más sencillas, como los enfoques basados en el conocimiento, la estimación bayesiana o los árboles de decisión, también pueden dar lugar a lagunas jurídicas que deben abordarse en el presente Reglamento, en particular cuando se utilizan en combinación con enfoques de aprendizaje automático en sistemas híbridos.
Enmienda 20 Propuesta de Reglamento Considerando 6 ter (nuevo)
(6 ter) Los sistemas de IA pueden utilizarse en un sistema de software de manera independiente, formar parte de un producto físico (integrado), utilizarse para cumplir la funcionalidad de un producto físico sin formar parte de él (no integrado) o como un componente de IA de un sistema mayor. Si ese sistema más amplio no funciona sin el componente de IA en cuestión, todo el sistema de mayor tamaño debe considerarse un único sistema de IA con arreglo al presente Reglamento.
Enmienda 21 Propuesta de Reglamento Considerando 7
(7) La noción de «datos biométricos» empleada en el presente Reglamento coincide con la noción de «datos biométricos» definida en el artículo 4, punto 14, del Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo35; en el artículo 3, punto 18, del Reglamento (UE) 2018/1725 del Parlamento Europeo y del Consejo36; y en el artículo 3, punto 13, de la Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo37, y debe interpretarse en consonancia con ella.
(7) La noción de «datos biométricos» empleada en el presente Reglamento está en consonancia y debe ser interpretada de acuerdo con la noción de datos biométricos definida en el artículo 4, punto 14, del Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo35. Los datos basados en técnicas biométricas son nuevos datos resultantes de un procesamiento técnico específico relativo a señales físicas, fisiológicas o conductuales de una persona física, como las expresiones faciales, los movimientos, la frecuencia cardíaca, la voz, las pulsaciones de tecla o el modo de andar, que pueden, en algunos casos, permitir identificar o confirmar la identificación unívoca de una persona física.
__________________
__________________
35 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos) (DO L 119 de 4.5.2016, p. 1).
35 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos) (DO L 119 de 4.5.2016, p. 1).
36 Reglamento (UE) 2018/1725 del Parlamento Europeo y del Consejo, de 23 de octubre de 2018, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales por las instituciones, órganos y organismos de la Unión, y a la libre circulación de esos datos, y por el que se derogan el Reglamento (CE) n.º 45/2001 y la Decisión n.º 1247/2002/CE (DO L 295 de 21.11.2018, p. 39).
37 Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativa a la protección de las personas físicas en lo que respecta al tratamiento de datos personales por parte de las autoridades competentes para fines de prevención, investigación, detección o enjuiciamiento de infracciones penales o de ejecución de sanciones penales, y a la libre circulación de dichos datos y por la que se deroga la Decisión Marco 2008/977/JAI del Consejo (Directiva sobre protección de datos en el ámbito penal) (DO L 119 de 4.5.2016, p. 89).
Enmienda 22 Propuesta de Reglamento Considerando 7 bis (nuevo)
(7 bis) La noción de «identificación biométrica» tal como se utiliza en el presente Reglamento debe definirse como el reconocimiento automatizado de rasgos físicos, fisiológicos, conductuales y psicológicos humanos, como la cara, el movimiento ocular, las expresiones faciales, la forma del cuerpo, la voz, el habla, el modo de andar, la postura, la frecuencia cardíaca, la presión arterial, el olor, las pulsaciones de tecla, las reacciones psicológicas (ira, angustia, dolor, etc.) a efectos del establecimiento de la identidad de una persona mediante la comparación de los datos biométricos de esa persona con datos biométricos de personas almacenados en una base de datos (identificación mediante comparación «uno respecto a muchos»).
Enmienda 23 Propuesta de Reglamento Considerando 7 ter (nuevo)
(7 ter) La noción de «categorización biométrica» según se utiliza en el presente Reglamento debe definirse como la asignación de personas físicas a categorías concretas o la inferencia de sus características y atributos, como género, sexo, edad, color de pelo, color de ojos, tatuajes, origen étnico o social, estado de salud, capacidad mental o física, rasgos conductuales o de personalidad, lengua, religión o pertenencia a una minoría nacional, u orientación sexual o política, en función de sus datos biométricos o de datos basados en técnicas biométricas, o que puedan deducirse razonablemente de dichos datos.
Enmienda 24 Propuesta de Reglamento Considerando 8
(8) La noción de «sistema de identificación biométrica remota» que se utiliza en este Reglamento debe definirse de manera funcional, como un sistema de IA destinado a identificar a distancia a personas físicas comparando sus datos biométricos con los que figuren en una base de datos de referencia, sin saber de antemano si la persona en cuestión se encontrará en dicha base de datos y podrá ser identificada, con independencia de la tecnología, los procesos o los tipos de datos biométricos concretos que se usen. Es preciso distinguir entre los sistemas de identificación biométrica remota «en tiempo real» y «en diferido», dado que tienen características distintas, se utilizan de manera diferente y entrañan riesgos distintos. En el caso de los sistemas «en tiempo real», la recogida de los datos biométricos, la comparación y la identificación se producen de manera instantánea, casi instantánea o, en cualquier caso, sin una demora significativa. En este sentido, no debe existir la posibilidad de eludir las normas contempladas en el presente Reglamento en relación con el uso «en tiempo real» de los sistemas de IA en cuestión generando demoras mínimas. Los sistemas «en tiempo real» implican el uso de material «en directo» o «casi en directo», como grabaciones de vídeo generadas por una cámara u otro dispositivo con funciones similares. En cambio, en los sistemas «en diferido» los datos ya se han recabado y la comparación e identificación se producen con una demora significativa. A tal fin se utilizan materiales, como imágenes o grabaciones de vídeo captadas por cámaras de televisión en circuito cerrado o dispositivos privados, que se han generado antes de aplicar el sistema a las personas físicas en cuestión.
(8) La noción de «sistema de identificación biométrica remota» que se utiliza en este Reglamento debe definirse de manera funcional, como un sistema de IA destinado a identificar a distancia a personas físicas comparando sus datos biométricos con los que figuren en una base de datos de referencia, sin saber de antemano si la persona en cuestión se encontrará en dicha base de datos y podrá ser identificada, con independencia de la tecnología, los procesos o los tipos de datos biométricos concretos que se usen, excluyendo los sistemas de verificación que se limitan a comparar los datos biométricos de una persona con sus datos biométricos facilitados previamente («uno respecto a uno»). Es preciso distinguir entre los sistemas de identificación biométrica remota «en tiempo real» y «en diferido», dado que tienen características distintas, se utilizan de manera diferente y entrañan riesgos distintos. En el caso de los sistemas «en tiempo real», la recogida de los datos biométricos, la comparación y la identificación se producen de manera instantánea, casi instantánea o, en cualquier caso, sin una demora significativa. En este sentido, no debe existir la posibilidad de eludir las normas contempladas en el presente Reglamento en relación con el uso «en tiempo real» de los sistemas de IA en cuestión generando demoras mínimas. Los sistemas «en tiempo real» implican el uso de material «en directo» o «casi en directo», como grabaciones de vídeo generadas por una cámara u otro dispositivo con funciones similares. En cambio, en los sistemas «en diferido» los datos ya se han recabado y la comparación e identificación se producen con una demora significativa. A tal fin se utilizan materiales, como imágenes o grabaciones de vídeo captadas por cámaras de televisión en circuito cerrado o dispositivos privados, que se han generado antes de aplicar el sistema a las personas físicas en cuestión. Habida cuenta de que la noción de identificación biométrica es independiente del consentimiento individual, esta definición se aplica incluso cuando se colocan avisos de advertencia en el lugar sujeto a la vigilancia del sistema de identificación biométrica remota, y no queda anulada de facto por un registro previo.
Enmienda 25 Propuesta de Reglamento Considerando 8 bis (nuevo)
(8 bis) Se entiende que la identificación a distancia de personas físicas distingue entre los sistemas de identificación biométrica remota de los sistemas de verificación individual de cerca que utilizan medios de identificación biométrica, cuya única finalidad es confirmar si una persona física concreta que se presenta para su identificación está autorizada, por ejemplo, a acceder a un servicio, dispositivo o local.
Enmienda 26 Propuesta de Reglamento Considerando 9
(9) A los efectos del presente Reglamento, se entenderá que «espacio de acceso público» se refiere a cualquier lugar físico al que tenga acceso el público, con independencia de si es de propiedad privada o pública. Por consiguiente, esta noción no abarca aquellos lugares de carácter privado a los que, por lo general, no pueden acceder libremente terceros, incluidas las fuerzas o cuerpos de seguridad, a menos que hayan sido invitados o autorizados específicamente, como viviendas, clubes privados, oficinas, almacenes y fábricas. Tampoco cubre los espacios en línea, ya que no son espacios físicos. No obstante, el simple hecho de que deban cumplirse determinadas condiciones para acceder a un espacio concreto, como la adquisición de entradas o las restricciones en relación con la edad, no significa que este no sea de acceso público en el sentido del presente Reglamento. En consecuencia, además de espacios públicos como las calles, las zonas pertinentes de edificios gubernamentales y la mayoría de las infraestructuras de transporte, normalmente también se consideran de acceso público espacios como cines, teatros, tiendas y centros comerciales. No obstante, se debe determinar caso por caso si un espacio es de acceso público o no teniendo en cuenta las particularidades de la situación concreta.
(9) A los efectos del presente Reglamento, se entenderá que «espacio de acceso público» se refiere a cualquier lugar físico al que tenga acceso el público, con independencia de si es de propiedad privada o pública y de las posibles limitaciones de capacidad. Por consiguiente, esta noción no abarca aquellos lugares de carácter privado a los que, por lo general, no pueden acceder libremente terceros, incluidas las fuerzas o cuerpos de seguridad, a menos que hayan sido invitados o autorizados específicamente, como viviendas, clubes privados, oficinas, almacenes y fábricas. Tampoco cubre los espacios en línea, ya que no son espacios físicos. No obstante, el simple hecho de que deban cumplirse determinadas condiciones para acceder a un espacio concreto, como la adquisición de entradas o las restricciones en relación con la edad, no significa que este no sea de acceso público en el sentido del presente Reglamento. En consecuencia, además de espacios públicos, como las calles, las zonas pertinentes de edificios gubernamentales y la mayoría de las infraestructuras de transporte, normalmente también se consideran de acceso público espacios como cines, teatros, recintos deportivos, escuelas, universidades, las zonas pertinentes de los hospitales y los bancos, parques de atracciones, festivales, tiendas y centros comerciales. No obstante, se debe determinar caso por caso si un espacio es de acceso público o no teniendo en cuenta las particularidades de la situación concreta.
Enmienda 27 Propuesta de Reglamento Considerando 9 bis (nuevo)
(9 bis) Es importante señalar que los sistemas de IA deben hacer todo lo posible para respetar los principios generales que establecen un marco de alto nivel que promueva un enfoque coherente centrado en el ser humano con respecto a una IA ética y fiable, en consonancia con la Carta de los Derechos Fundamentales de la Unión Europea y los valores en los que se fundamenta la Unión, como la protección de los derechos fundamentales, la intervención y vigilancia humanas, la solidez técnica y la seguridad, la privacidad y la gobernanza de datos, la transparencia, la no discriminación y la equidad y el bienestar social y medioambiental.
Enmienda 28 Propuesta de Reglamento Considerando 9 ter (nuevo)
(9 ter) La alfabetización en materia de IA se refiere a las capacidades, los conocimientos y la comprensión que permiten a los proveedores, usuarios y demás personas afectadas, teniendo en cuenta sus respectivos derechos y obligaciones en el contexto del presente Reglamento, realizar un despliegue informado de los sistemas de IA y comprender las oportunidades y los riesgos que la inteligencia artificial plantea, así como el daño que puede causar, y de este modo promover su control democrático. La alfabetización en materia de IA no debe limitarse al aprendizaje sobre herramientas y tecnologías, sino que también debe aspirar a dotar a los proveedores y usuarios de los conceptos y capacidades necesarios para garantizar el cumplimiento y la aplicación del presente Reglamento. Por consiguiente, es necesario que la Comisión y los Estados miembros, así como los proveedores y los usuarios de sistemas de IA, en cooperación con todas las partes interesadas pertinentes, promuevan el desarrollo de un nivel suficiente de alfabetización en materia de IA en todos los sectores de la sociedad para los ciudadanos de todas las edades, incluidas las mujeres y las niñas, y que se lleve a cabo un estrecho seguimiento de los avances en este ámbito.
Enmienda 29 Propuesta de Reglamento Considerando 10
(10) Con el objetivo de garantizar la igualdad de condiciones y la protección efectiva de los derechos y libertades de las personas en toda la Unión, las normas establecidas en el presente Reglamento deben aplicarse a los proveedores de sistemas de IA sin discriminación, con independencia de si están establecidos en la Unión o en un tercer país, y a los usuarios de sistemas de IA establecidos en la Unión.
(10) Con el objetivo de garantizar la igualdad de condiciones y la protección efectiva de los derechos y libertades de las personas en toda la Unión y a nivel internacional, las normas establecidas en el presente Reglamento deben aplicarse a los proveedores de sistemas de IA sin discriminación, con independencia de si están establecidos en la Unión o en un tercer país, y a los implementadores de sistemas de IA establecidos en la Unión. Con vistas a que la Unión permanezca fiel a sus valores fundamentales, los sistemas de IA destinados a utilizarse para prácticas consideradas inaceptables por el presente Reglamento también deben considerarse inaceptables fuera de la Unión debido a su efecto especialmente perjudicial para los derechos fundamentales consagrados en la Carta. Procede, por tanto, prohibir a los proveedores residentes en la Unión que exporten tales sistemas de IA a terceros países.
Enmienda 30 Propuesta de Reglamento Considerando 11
(11) Debido a su carácter digital, algunos sistemas de IA deben entrar en el ámbito de aplicación del presente Reglamento aunque no se introduzcan en el mercado, se pongan en servicio ni se utilicen en la Unión. Tal es el caso, por ejemplo, de un operador establecido en la Unión que contrate determinados servicios a otro operador establecido fuera de la Unión en relación con una actividad que llevará a cabo un sistema de IA que se consideraría de alto riesgo y que tiene repercusiones para las personas físicas ubicadas en la Unión. En dichas circunstancias, el sistema de IA usado por el operador de fuera de la Unión podría tratar datos recabados legalmente en la UE y transferidos desde su territorio, y proporcionar al operador contratante ubicado en la Unión la información de salida generada por dicho sistema de IA a raíz de su tratamiento, sin que el sistema de IA en cuestión se introduzca en el mercado, se ponga en servicio o se utilice en la Unión. Para evitar la elusión de este Reglamento y asegurar la protección efectiva de las personas físicas ubicadas en la Unión, el presente Reglamento también debe aplicarse a los proveedores y usuarios de sistemas de IA establecidos en un tercer país, en la medida en que la información de salida generada por dichos sistemas se utilice en la Unión. No obstante, con el objetivo de tener en cuenta los acuerdos existentes y las necesidades especiales de cooperación con socios extranjeros con los que se intercambian información y pruebas, el presente Reglamento no debe aplicarse a las autoridades públicas de un tercer país ni a las organizaciones internacionales cuando actúen en el marco de acuerdos internacionales celebrados a escala nacional o europea con fines de cooperación policial y judicial con la Unión o sus Estados miembros. Dichos acuerdos se han celebrado bilateralmente entre los Estados miembros y terceros países o entre la Unión Europea, Europol y otras agencias de la UE y terceros países y organizaciones internacionales.
(11) Debido a su carácter digital, algunos sistemas de IA deben entrar en el ámbito de aplicación del presente Reglamento aunque no se introduzcan en el mercado, se pongan en servicio ni se utilicen en la Unión. Tal es el caso, por ejemplo, de un operador establecido en la Unión que contrate determinados servicios a otro operador establecido fuera de la Unión en relación con una actividad que llevará a cabo un sistema de IA que se consideraría de alto riesgo y que tiene repercusiones para las personas físicas ubicadas en la Unión. En dichas circunstancias, el sistema de IA usado por el operador de fuera de la Unión podría tratar datos recabados legalmente en la UE y transferidos desde su territorio, y proporcionar al operador contratante ubicado en la Unión la información de salida generada por dicho sistema de IA a raíz de su tratamiento, sin que el sistema de IA en cuestión se introduzca en el mercado, se ponga en servicio o se utilice en la Unión. Para evitar la elusión de este Reglamento y asegurar la protección efectiva de las personas físicas ubicadas en la Unión, el presente Reglamento también debe aplicarse a los proveedores y usuarios implementadores de sistemas de IA establecidos en un tercer país, en la medida en que la información de salida generada por dichos sistemas esté destinada a ser utilizada en la Unión. No obstante, con el objetivo de tener en cuenta los acuerdos existentes y las necesidades especiales de cooperación con socios extranjeros con los que se intercambian información y pruebas, el presente Reglamento no debe aplicarse a las autoridades públicas de un tercer país ni a las organizaciones internacionales cuando actúen en el marco de acuerdos internacionales celebrados a escala nacional o europea con fines de cooperación policial y judicial con la Unión o sus Estados miembros. Dichos acuerdos se han celebrado bilateralmente entre los Estados miembros y terceros países o entre la Unión Europea, Europol y otras agencias de la UE y terceros países y organizaciones internacionales. No obstante, esta excepción debe limitarse a los países y organizaciones internacionales de confianza que comparten los valores de la Unión.
Enmienda 31 Propuesta de Reglamento Considerando 12
(12) El presente Reglamento debe aplicarse igualmente a las instituciones, las oficinas, los organismos y las agencias de la Unión cuando actúen como proveedores o usuarios de un sistema de IA. Los sistemas de IA desarrollados o utilizados exclusivamente con fines militares deben quedar excluidos del ámbito de aplicación del presente Reglamento cuando su uso sea competencia exclusiva de la política exterior y de seguridad común regulada en el título V del Tratado de la Unión Europea (TUE). El presente Reglamento debe interpretarse sin perjuicio de las disposiciones de la Directiva 2000/31/CE del Parlamento Europeo y el Consejo (en su versión modificada por la Ley de Servicios Digitales) relativas a la responsabilidad de los prestadores de servicios intermediarios.
(12) El presente Reglamento debe aplicarse igualmente a las instituciones, las oficinas, los organismos y las agencias de la Unión cuando actúen como proveedores o implementadores de un sistema de IA. Los sistemas de IA desarrollados o utilizados exclusivamente con fines militares deben quedar excluidos del ámbito de aplicación del presente Reglamento cuando su uso sea competencia exclusiva de la política exterior y de seguridad común regulada en el título V del Tratado de la Unión Europea (TUE). El presente Reglamento debe interpretarse sin perjuicio de las disposiciones de la Directiva 2000/31/CE del Parlamento Europeo y el Consejo (en su versión modificada por la Ley de Servicios Digitales) relativas a la responsabilidad de los prestadores de servicios intermediarios.
Enmienda 32 Propuesta de Reglamento Considerando 12 bis (nuevo)
(12 bis) Los programas informáticos y los datos que se comparten abiertamente, en los casos en los que los usuarios, libremente, pueden acceder a los mismos, o utilizarlos, modificarlos o redistribuirlos, pueden contribuir a la investigación y la innovación en el mercado. Los estudios llevados a cabo por la Comisión también ponen de relieve que los programas informáticos libres y de código abierto pueden aportar al PIB de la Unión entre 65 000 y 95 000 millones de euros, y que pueden proporcionar oportunidades de crecimiento significativas a la economía europea. A los usuarios se les permite ejecutar, copiar, distribuir, estudiar, modificar y mejorar programas informáticos y datos, incluidos modelos, mediante licencias libres y de código abierto. A fin de impulsar el desarrollo y el despliegue de la inteligencia artificial, especialmente entre las pymes, las empresas emergentes y la investigación académica, pero también entre los particulares, el presente Reglamento no se aplicará a los componentes de IA proporcionados en el marco de licencias libres y de código abierto, salvo en la medida en que sean comercializados o puestos en servicio por un proveedor como parte de un sistema de IA de alto riesgo o de un sistema de IA incluido en el ámbito de aplicación de los títulos II o IV.
Enmienda 33 Propuesta de Reglamento Considerando 12 ter (nuevo)
(12 ter) Ni el desarrollo colaborativo de componentes de inteligencia artificial libres y de código abierto ni su puesta a disposición en repositorios abiertos deben constituir actividades de comercialización o puesta en servicio. No obstante, una actividad comercial, en el sentido de una introducción en el mercado, podría caracterizarse por la aplicación de un precio, con la excepción de las transacciones entre microempresas por un componente de inteligencia artificial libre y de código abierto, así como por la aplicación de un precio a los servicios de asistencia técnica, por el suministro de una plataforma de programas informáticos a través de la cual el proveedor monetiza otros servicios, o por el uso de datos personales por razones distintas de las relacionadas exclusivamente con la mejora de la seguridad, la compatibilidad o la interoperabilidad del programa informático.
Enmienda 34 Propuesta de Reglamento Considerando 12 quater (nuevo)
(12 quater) A los desarrolladores de componentes de inteligencia artificial libres y de código abierto no se les debe obligar con arreglo al presente Reglamento a cumplir requisitos relativos a las cadenas de valor de la inteligencia artificial y, en particular, que no se dirigen al proveedor que haya utilizado componentes de inteligencia artificial libres y de código abierto. No obstante, debe alentarse a los desarrolladores de componentes de inteligencia artificial libres y de código abierto a que apliquen prácticas de documentación ampliamente adoptadas, como modelos y tarjetas de datos, como una forma de acelerar el intercambio de información a lo largo de la cadena de valor de la inteligencia artificial, permitiendo la promoción de sistemas de IA fiables en la Unión.
Enmienda 35 Propuesta de Reglamento Considerando 13
(13) Conviene establecer normas comunes para todos los sistemas de IA de alto riesgo al objeto de garantizar un nivel elevado y coherente de protección de los intereses públicos en lo que respecta a la salud, la seguridad y los derechos fundamentales. Dichas normas deben ser coherentes con la Carta de los Derechos Fundamentales de la Unión Europea («la Carta»), no deben ser discriminatorias y deben estar en consonancia con los compromisos de la Unión en materia de comercio internacional.
(13) Conviene establecer normas comunes para todos los sistemas de IA de alto riesgo al objeto de garantizar un nivel elevado y coherente de protección de los intereses públicos en lo que respecta a la salud, la seguridad y los derechos fundamentales, así como a la democracia y el Estado de Derecho y el medio ambiente. Dichas normas deben ser coherentes con la Carta, el Pacto Verde Europeo, la Declaración Conjunta sobre los Derechos Digitales de la Unión y las Directrices éticas para una inteligencia artificial (IA) fiable del grupo de expertos de alto nivel sobre inteligencia artificial, no deben ser discriminatorias y deben estar en consonancia con los compromisos de la Unión en materia de comercio internacional.
Enmienda 36 Propuesta de Reglamento Considerando 14
(14) Con el fin de introducir un conjunto proporcionado y eficaz de normas vinculantes para los sistemas de IA, es preciso aplicar un enfoque basado en los riesgos claramente definido, que adapte el tipo de las normas y su contenido a la intensidad y el alcance de los riesgos que puedan generar los sistemas de IA en cuestión. Por consiguiente, es necesario prohibir determinadas prácticas de inteligencia artificial, definir los requisitos que deben cumplir los sistemas de IA de alto riesgo y las obligaciones aplicables a los operadores pertinentes, e imponer obligaciones de transparencia a determinados sistemas de IA.
(14) Con el fin de introducir un conjunto proporcionado y eficaz de normas vinculantes para los sistemas de IA, es preciso aplicar un enfoque basado en los riesgos claramente definido, que adapte el tipo de las normas y su contenido a la intensidad y el alcance de los riesgos que puedan generar los sistemas de IA en cuestión. Por consiguiente, es necesario prohibir determinadas prácticas de inteligencia artificial inaceptables, definir los requisitos que deben cumplir los sistemas de IA de alto riesgo y las obligaciones aplicables a los operadores pertinentes, e imponer obligaciones de transparencia a determinados sistemas de IA.
Enmienda 37 Propuesta de Reglamento Considerando 15
(15) Al margen de los múltiples usos beneficiosos de la inteligencia artificial, dicha tecnología también puede utilizarse indebidamente y proporcionar nuevas y poderosas herramientas para llevar a cabo prácticas de manipulación, explotación y control social. Dichas prácticas son sumamente perjudiciales y deben estar prohibidas, pues van en contra de los valores de la Unión de respeto de la dignidad humana, libertad, igualdad, democracia y Estado de Derecho y de los derechos fundamentales que reconoce la UE, como el derecho a la no discriminación, la protección de datos y la privacidad, y los derechos del niño.
(15) Al margen de los múltiples usos beneficiosos de la inteligencia artificial, dicha tecnología también puede utilizarse indebidamente y proporcionar nuevas y poderosas herramientas para llevar a cabo prácticas de manipulación, explotación y control social. Dichas prácticas son sumamente perjudiciales y abusivas y deben estar prohibidas, pues van en contra de los valores de la Unión de respeto de la dignidad humana, libertad, igualdad, democracia y Estado de Derecho y de los derechos fundamentales que reconoce la UE, como el derecho a la no discriminación, la protección de datos y la privacidad, y los derechos del niño.
Enmienda 38 Propuesta de Reglamento Considerando 16
(16) Debe prohibirse la introducción en el mercado, la puesta en servicio o el uso de determinados sistemas de IA destinados a alterar la conducta humana que es probable que provoquen perjuicios físicos o psicológicos. Dichos sistemas de IA despliegan componentes subliminales imperceptibles para el ser humano o se aprovechan de las vulnerabilidades de los menores y las personas por razones de edad o incapacidad física o mental. Lo hacen con la intención de alterar sustancialmente el comportamiento de una persona y de un modo que perjudique o es probable que perjudique a esa misma persona o a otra. Dicha intención no puede darse por supuesta si la alteración del comportamiento humano es el resultado de factores externos al sistema de IA que escapan al control del proveedor o el usuario. Su prohibición no debe impedir la investigación relacionada con esos sistemas de IA con fines legítimos, siempre que tal investigación no implique usar el sistema de IA en cuestión en relaciones entre seres humanos y máquinas que expongan a personas físicas a perjuicios, y siempre que se lleve a cabo con arreglo a las normas éticas reconocidas para la investigación científica.
(16) Debe prohibirse la introducción en el mercado, la puesta en servicio o el uso de determinados sistemas de IA que tengan por finalidad o efecto provocar alteraciones sustanciales de la conducta humana que es bastante probable que provoquen perjuicios físicos o psicológicos. Debe entenderse que esta limitación comprende las neurotecnologías asistidas mediante sistemas de IA que se utilizan para supervisar, utilizar o influir en los datos neuronales recopilados a través de interfaces cerebro-ordenador, en la medida en que alteren sustancialmente el comportamiento de una persona física de una manera que cause o pueda probablemente causar un perjuicio significativo a esa misma persona o a otra. Dichos sistemas de IA despliegan componentes subliminales imperceptibles para el ser humano o se aprovechan de las vulnerabilidades de las personas y de grupos específicos de personas por razones de sus rasgos conocidos o previstos de personalidad, edad, incapacidad física o mental, situación social o económica. Actúan así con la finalidad o el efecto de alterar sustancialmente el comportamiento de una persona y de un modo que perjudique o es probable que perjudique de forma significativa a nivel físico o psicológico a esa misma persona o a otra, o a grupos de personas, incluyendo perjuicios que pueden acumularse con el tiempo. La intención de alterar el comportamiento no puede darse por supuesta si la alteración es el resultado de factores externos al sistema de IA que escapan al control del proveedor o el usuario, factores que el proveedor o el implementador del sistema de IA no puedan prever ni mitigar razonablemente.En cualquier caso, no es necesario que el proveedor o el implementador tengan la intención de causar perjuicios significativos, siempre y cuando el perjuicio se derive de las prácticas de manipulación o explotación que permite la inteligencia artificial. Las prohibiciones de tales prácticas de inteligencia artificial son complementarias de las disposiciones de la Directiva 2005/29/CE, según las cuales se prohíben las prácticas comerciales desleales, con independencia de si han recurrido o no a sistemas de IA. En ese contexto, por ejemplo, no debe considerarse que las prácticas comerciales legítimas con arreglo al Derecho de la Unión en el ámbito de la publicidad infringen la prohibición. Su prohibición no debe impedir la investigación relacionada con esos sistemas de IA con fines legítimos, siempre que tal investigación no implique usar el sistema de IA en cuestión en relaciones entre seres humanos y máquinas que expongan a personas físicas a perjuicios, y siempre que se lleve a cabo con arreglo a las normas éticas reconocidas para la investigación científica y sobre la base del consentimiento informado específico de las personas que estén expuestas a ellos o, en su caso, de su tutor legal.
Enmienda 39 Propuesta de Reglamento Considerando 16 bis (nuevo)
(16 bis) Los sistemas de IA que clasifican a las personas físicas asignándolas a categorías específicas, en función de ciertas características sensibles o protegidas, ya sean conocidas o inferidas, son especialmente intrusivos, vulneran la dignidad humana y presentan un gran riesgo de discriminación. Dichas características comprenden el género y la identidad de género, la raza, el origen étnico, la condición de migrante o ciudadanía, la orientación política, la orientación sexual, la religión, la discapacidad o cualquier otro motivo por el que la discriminación esté prohibida en virtud del artículo 21 de la Carta de los Derechos Fundamentales de la UE, así como en virtud del artículo 9 del Reglamento (UE) 2016/769. Por lo tanto, dichos sistemas deben prohibirse.
Enmienda 40 Propuesta de Reglamento Considerando 17
(17) Los sistemas de IA que proporcionan calificaciones sociales de personas físicas para su uso con fines generales por parte de las autoridades públicas o en representación de estas pueden tener resultados discriminatorios y abocar a la exclusión a determinados grupos. Pueden menoscabar el derecho a la dignidad y la no discriminación y los valores de igualdad y justicia. Dichos sistemas de IA evalúan o clasifican la fiabilidad de las personas físicas en función de su comportamiento social en múltiples contextos o de características personales o de su personalidad conocidas o predichas. La calificación social resultante de dichos sistemas de IA puede dar lugar a un trato perjudicial o desfavorable de personas físicas o colectivos enteros en contextos sociales que no guardan relación con el contexto donde se generaron o recabaron los datos originalmente, o a un trato perjudicial desproporcionado o injustificado en relación con la gravedad de su comportamiento social. Por lo tanto, dichos sistemas de IA deben prohibirse.
(17) Los sistemas de IA que proporcionan calificaciones sociales de personas físicas para su uso con fines generales pueden tener resultados discriminatorios y abocar a la exclusión a determinados grupos. Menoscaban el derecho a la dignidad y la no discriminación y los valores de igualdad y justicia. Dichos sistemas de IA evalúan o clasifican a las personas físicas o grupos en función de varios puntos de datos y sucesos temporales relacionados con su comportamiento social en múltiples contextos o de características personales o de su personalidad conocidas, inferidas o predichas. La calificación social resultante de dichos sistemas de IA puede dar lugar a un trato perjudicial o desfavorable de personas físicas o colectivos enteros en contextos sociales que no guardan relación con el contexto donde se generaron o recabaron los datos originalmente, o a un trato perjudicial desproporcionado o injustificado en relación con la gravedad de su comportamiento social. Por lo tanto, dichos sistemas de IA deben prohibirse.
Enmienda 41 Propuesta de Reglamento Considerando 18
(18) Se considera que el uso de sistemas de IA para la identificación biométrica remota «en tiempo real» de personas físicas en espacios de acceso público con fines de aplicación de la ley invade especialmente los derechos y las libertades de las personas afectadas, en la medida en que puede afectar a la vida privada de una gran parte de la población, provocar la sensación de estar bajo una vigilancia constante y disuadir indirectamente a los ciudadanos de ejercer su libertad de reunión y otros derechos fundamentales. Además, la inmediatez de las consecuencias y las escasas oportunidades para realizar comprobaciones o correcciones adicionales en relación con el uso de sistemas que operan «en tiempo real» acrecientan el riesgo para los derechos y las libertades de las personas afectadas por las actividades de aplicación de la ley.
(18) El uso de sistemas de IA para la identificación biométrica remota «en tiempo real» de personas físicas en espacios de acceso público invade especialmente los derechos y las libertades de las personas afectadas, y puede en última instancia afectar a la vida privada de una gran parte de la población, provocar la sensación de estar bajo una vigilancia constante, otorgar a las partes que implementan los sistemas de identificación biométrica en espacios de acceso público una posición de poder incontrolable y disuadir indirectamente a los ciudadanos de ejercer su libertad de reunión y otros derechos fundamentales esenciales para el Estado de Derecho. Las imprecisiones técnicas de los sistemas de IA destinados a la identificación biométrica remota de las personas físicas pueden dar lugar a resultados sesgados y tener consecuencias discriminatorias. Esto es especialmente importante en lo que respecta a la edad, la etnia, el sexo o la discapacidad. Además, la inmediatez de las consecuencias y las escasas oportunidades para realizar comprobaciones o correcciones adicionales en relación con el uso de sistemas que operan «en tiempo real» acrecientan el riesgo para los derechos y las libertades de las personas afectadas por las actividades de aplicación de la ley. En consecuencia, debe prohibirse el uso de dichos sistemas en los espacios de acceso público. Del mismo modo, los sistemas de IA utilizados para el análisis de las imágenes grabadas de espacios de acceso público a través de sistemas de identificación biométrica remota «en diferido» también deben prohibirse, a menos que exista una autorización judicial previa para su uso en el contexto de la aplicación de la ley, cuando sea estrictamente necesario para la investigación específica de un delito grave que ya haya tenido lugar, y solo previa autorización judicial.
Enmienda 42 Propuesta de Reglamento Considerando 19
(19) En consecuencia, debe prohibirse el uso de dichos sistemas con fines de aplicación de la ley, salvo en tres situaciones enumeradas de manera limitativa y definidas con precisión en las que su utilización es estrictamente necesaria para lograr un interés público esencial cuya importancia es superior a los riesgos. Estas situaciones son la búsqueda de posibles víctimas de un delito, incluidos menores desaparecidos; determinadas amenazas para la vida o la seguridad física de las personas físicas o amenazas de atentado terrorista; y la detección, la localización, la identificación o el enjuiciamiento de los autores o sospechosos de los delitos mencionados en la Decisión Marco 2002/584/JAI del Consejo38, si la normativa del Estado miembro implicado señala una pena o una medida de seguridad privativas de libertad cuya duración máxima sea de al menos de tres años, tal como se definan en el Derecho de dicho Estado miembro. Fijar ese umbral para la pena o la medida de seguridad privativas de libertad con arreglo al Derecho nacional contribuye a garantizar que el delito sea lo suficientemente grave como para llegar a justificar el uso de sistemas de identificación biométrica remota «en tiempo real». Por otro lado, en la práctica, algunos de los treinta y dos delitos enumerados en la Decisión Marco 2002/584/JAI del Consejo son probablemente más relevantes que otros en el sentido de que, previsiblemente, recurrir a la identificación biométrica remota «en tiempo real» se considerará necesario y proporcionado en grados muy distintos para llevar a cabo la detección, la localización, la identificación o el enjuiciamiento de los autores o sospechosos de tales delitos, como también habrá enormes diferencias en la gravedad, la probabilidad y la magnitud de los perjuicios o las posibles consecuencias negativas que se deriven de ellos.
suprimido
__________________
38 Decisión Marco 2002/584/JAI del Consejo, de 13 de junio de 2002, relativa a la orden de detención europea y a los procedimientos de entrega entre Estados miembros (DO L 190 de 18.7.2002, p. 1).
Enmienda 43 Propuesta de Reglamento Considerando 20
(20) Para velar por que dichos sistemas se utilicen de manera responsable y proporcionada, también es importante establecer que, en esas tres situaciones enumeradas de manera limitativa y definidas con precisión, deben tenerse en cuenta determinados elementos, en particular en lo que se refiere a la naturaleza de la situación que dé lugar a la solicitud, a las consecuencias que su uso puede tener sobre los derechos y las libertades de todas las personas implicadas, y a las salvaguardias y condiciones que acompañen a su uso. Además, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley debe estar sujeto a límites temporales y espaciales adecuados que tengan en cuenta, en particular, las pruebas o indicios relativos a las amenazas, las víctimas o los autores. La base de datos de personas de referencia debe ser adecuada para cada caso de uso en cada una de las tres situaciones antes mencionadas.
suprimido
Enmienda 44 Propuesta de Reglamento Considerando 21
(21) Todo uso de un sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley debe estar autorizado de manera expresa y específica por una autoridad judicial o por una autoridad administrativa independiente de un Estado miembro. En principio, dicha autorización debe obtenerse con anterioridad al uso, excepto en situaciones de urgencia debidamente justificadas, es decir, aquellas en las que la necesidad de utilizar los sistemas en cuestión sea tan imperiosa que imposibilite, de manera efectiva y objetiva, obtener una autorización antes de iniciar el uso. En tales situaciones de urgencia, el uso debe limitarse al mínimo imprescindible y cumplir las salvaguardias y las condiciones oportunas, conforme a lo estipulado en el Derecho interno y según corresponda en cada caso concreto de uso urgente por parte de las fuerzas o cuerpos de seguridad. Además, en esas situaciones las fuerzas o cuerpos de seguridad deben tratar de obtener una autorización lo antes posible e indicar los motivos por los que no han podido hacerlo antes.
suprimido
Enmienda 45 Propuesta de Reglamento Considerando 22
(22) Por otro lado, conviene estipular, en el marco exhaustivo que establece este Reglamento, que dicho uso en el territorio de un Estado miembro conforme a lo dispuesto en el presente Reglamento solo debe ser posible cuando el Estado miembro en cuestión haya decidido contemplar expresamente la posibilidad de autorizarlo en las normas detalladas de su Derecho interno, y en la medida en que lo haya contemplado. En consecuencia, con el presente Reglamento los Estados miembros siguen siendo libres de no ofrecer esta posibilidad en absoluto o de ofrecerla únicamente en relación con algunos de los objetivos que pueden justificar un uso autorizado conforme al presente Reglamento.
suprimido
Enmienda 46 Propuesta de Reglamento Considerando 23
(23) La utilización de sistemas de IA para la identificación biométrica remota «en tiempo real» de personas físicas en espacios de acceso público con fines de aplicación de la ley implica, necesariamente, el tratamiento de datos biométricos. Las normas del presente Reglamento que prohíben, con algunas excepciones, ese uso, basadas en el artículo 16 del TFUE, deben aplicarse como lex specialis con respecto a las normas sobre el tratamiento de datos biométricos que figuran en el artículo 10 de la Directiva (UE) 2016/680, con lo que se regula de manera exhaustiva dicho uso y el tratamiento de los datos biométricos conexos. Por lo tanto, ese uso y tratamiento solo deben ser posibles en la medida en que sean compatibles con el marco establecido por el presente Reglamento, sin que exista un margen, fuera de dicho marco, para que las autoridades competentes, cuando actúen con fines de aplicación de la ley, utilicen tales sistemas y traten los datos conexos en los supuestos previstos en el artículo 10 de la Directiva (UE) 2016/680. En este contexto, el presente Reglamento no pretende sentar la base jurídica para el tratamiento de datos personales en virtud del artículo 8 de la Directiva (UE) 2016/680. Sin embargo, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines distintos de la aplicación de la ley, incluso por parte de las autoridades competentes, no debe estar cubierto por el marco específico establecido por el presente Reglamento en lo que respecta al uso de dichos sistemas con fines de aplicación de la ley. Por consiguiente, su uso con fines distintos de la aplicación de la ley no debe supeditarse al requisito de obtener una autorización previsto en este Reglamento ni a las normas detalladas del Derecho interno aplicables que pudieran hacerlo efectivo.
suprimido
Enmienda 47 Propuesta de Reglamento Considerando 24
(24) Todo tratamiento de datos biométricos y datos personales de otra índole asociado al uso de sistemas de IA con fines de identificación biométrica distinto del uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley regulado por el presente Reglamento debe seguir cumpliendo todos los requisitos derivados del artículo 9, apartado 1, del Reglamento (UE) 2016/679; el artículo 10, apartado 1, del Reglamento (UE) 2018/1725, y el artículo 10 de la Directiva (UE) 2016/680, según corresponda, incluso cuando las autoridades competentes sean quienes usen dichos sistemas en espacios de acceso público con fines distintos de la aplicación de la ley.
(24) Todo tratamiento de datos biométricos o datos personales de otra índole asociado al uso de sistemas de IA con fines de identificación biométrica distinto del uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público regulado por el presente Reglamento debe seguir cumpliendo todos los requisitos derivados del artículo 9, apartado 1, del Reglamento (UE) 2016/679; el artículo 10, apartado 1, del Reglamento (UE) 2018/1725, y el artículo 10 de la Directiva (UE) 2016/680, según corresponda.
Enmienda 48 Propuesta de Reglamento Considerando 25
(25) De conformidad con el artículo 6 bis del Protocolo n.º 21 sobre la posición del Reino Unido y de Irlanda respecto del espacio de libertad, seguridad y justicia, anejo al TUE y al TFUE, Irlanda no queda obligada por las normas establecidas en el artículo 5, apartado 1, letra d), y el artículo 5, apartados 2 y 3, del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE, que se refieren al tratamiento de datos personales por parte de los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación del capítulo 4 o el capítulo 5 del título V de la tercera parte del TFUE, en la medida en que no Irlanda no quede obligada por las normas que regulen formas de cooperación judicial en materia penal o de cooperación policial en cuyo marco deban respetarse las disposiciones establecidas sobre la base del artículo 16 del TFUE.
(25) De conformidad con el artículo 6 bis del Protocolo n.º 21 sobre la posición del Reino Unido y de Irlanda respecto del espacio de libertad, seguridad y justicia, anejo al TUE y al TFUE, Irlanda no queda obligada por las normas establecidas en el artículo 5, apartado 1, letra d), del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE, que se refieren al tratamiento de datos personales por parte de los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación del capítulo 4 o el capítulo 5 del título V de la tercera parte del TFUE, en la medida en que no Irlanda no quede obligada por las normas que regulen formas de cooperación judicial en materia penal o de cooperación policial en cuyo marco deban respetarse las disposiciones establecidas sobre la base del artículo 16 del TFUE.
Enmienda 49 Propuesta de Reglamento Considerando 26
(26) De conformidad con lo dispuesto en los artículos 2 y 2 bis del Protocolo n.º 22 sobre la posición de Dinamarca, anejo al TUE y al TFUE, Dinamarca no queda obligada las normas establecidas en el artículo 5, apartado 1, letra d), y el artículo 5, apartados 2 y 3, del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE, que se relacionen con el tratamiento de datos personales por parte de los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación del capítulo 4 o el capítulo 5 del título V de la tercera parte del TFUE, ni está sujeta a su aplicación.
(26) De conformidad con lo dispuesto en los artículos 2 y 2 bis del Protocolo n.º 22 sobre la posición de Dinamarca, anejo al TUE y al TFUE, Dinamarca no queda obligada por las normas establecidas en el artículo 5, apartado 1, letra d), del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE, que se relacionen con el tratamiento de datos personales por parte de los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación del capítulo 4 o el capítulo 5 del título V de la tercera parte del TFUE, ni está sujeta a su aplicación.
Enmienda 50 Propuesta de Reglamento Considerando 26 bis (nuevo)
(26 bis) Los sistemas de IA utilizados por las autoridades encargadas de la aplicación de la ley o en nombre de estas para realizar predicciones, perfiles o evaluaciones de riesgo a partir de la elaboración de perfiles de personas físicas o del análisis de datos basados en rasgos y características de la personalidad, incluida la ubicación de la persona, o en comportamientos delictivos pasados de personas físicas o grupos de personas con el fin de predecir la comisión o reiteración de uno o varios delitos reales o potenciales u otro tipo de comportamientos sociales criminalizados o infracciones administrativas, incluidos los sistemas de predicción del fraude, entrañan un riesgo particular de discriminación contra determinadas personas o grupos de personas, ya que vulneran la dignidad humana, así como el principio jurídico clave de presunción de inocencia. Por lo tanto, dichos sistemas de IA deben prohibirse.
Enmienda 51 Propuesta de Reglamento Considerando 26 ter (nuevo)
(26 ter) La extracción indiscriminada y no selectiva de datos biométricos procedentes de las redes sociales o de las imágenes captadas por cámaras de televisión en circuito cerrado para crear o ampliar bases de datos de reconocimiento facial agrava el sentimiento de vigilancia masiva y puede dar lugar a graves violaciones de los derechos fundamentales, incluido el derecho a la intimidad. En consecuencia, debe prohibirse el uso de los sistemas de IA con dicho propósito.
Enmienda 52 Propuesta de Reglamento Considerando 26 quater (nuevo)
(26 quater) Existe una gran preocupación respecto a la base científica de los sistemas de IA que procuran detectar las emociones, los rasgos físicos o psicológicos, como las expresiones faciales, los movimientos, la frecuencia cardíaca o la voz. Las emociones o sus formas de expresión y su percepción varían de forma considerable entre culturas y situaciones, e incluso en una misma persona. Algunas de las deficiencias principales de estas tecnologías son la fiabilidad limitada (las categorías de emociones no se expresan de forma coherente a través de un conjunto común de movimientos físicos o psicológicos ni se asocian de forma inequívoca a estos), la falta de especificidad (las expresiones físicas o psicológicas no se corresponden totalmente con las categorías de emociones) y la limitada posibilidad de generalizar (los efectos del contexto y la cultura no se tienen debidamente en cuenta). Los problemas de fiabilidad y, por consiguiente, los principales riesgos de abuso, pueden surgir especialmente cuando se implanta el sistema en situaciones de la vida real relacionadas con la aplicación de la ley, la gestión de fronteras, el lugar de trabajo y las instituciones educativas. Por tanto, debe prohibirse la introducción en el mercado, la puesta en servicio y el uso de sistemas de IA diseñados para utilizarse en dichos contextos a fin de detectar el estado emocional de las personas físicas.
Enmienda 53 Propuesta de Reglamento Considerando 26 quinquies (nuevo)
(26 quinquies) El presente Reglamento no debe afectar a las prácticas prohibidas por el Derecho de la Unión, incluida la legislación en materia de protección de datos, de no discriminación, de protección de los consumidores y sobre competencia.
Enmienda 54 Propuesta de Reglamento Considerando 27
(27) La introducción en el mercado o la puesta en servicio de sistemas de IA de alto riesgo en la Unión debe supeditarse al cumplimiento por su parte de determinados requisitos obligatorios, los cuales deben garantizar que los sistemas de IA de alto riesgo disponibles en la Unión o cuya información de salida se utilice en la Unión no entrañen riesgos inaceptables para intereses públicos importantes de la UE, reconocidos y protegidos por el Derecho de la Unión. La calificación «de alto riesgo» debe limitarse a aquellos sistemas de IA que tengan consecuencias perjudiciales importantes para la salud, la seguridad y los derechos fundamentales de las personas de la Unión, y dicha limitación reduce al mínimo cualquier posible restricción del comercio internacional, si la hubiera.
(27) La introducción en el mercado o la puesta en servicio o utilización de sistemas de IA de alto riesgo en la Unión debe supeditarse al cumplimiento por su parte de determinados requisitos obligatorios, los cuales deben garantizar que los sistemas de IA de alto riesgo disponibles en la Unión o cuya información de salida se utilice en la Unión no entrañen riesgos inaceptables para intereses públicos importantes de la UE, reconocidos y protegidos por el Derecho de la Unión, incluidos los derechos fundamentales, la democracia, el Estado de Derecho y el medio ambiente. A fin de garantizar la coherencia con la legislación sectorial y evitar duplicaciones, los requisitos para los sistemas de IA de alto riesgo deben tener en cuenta la legislación sectorial que establece los requisitos para los sistemas de IA de alto riesgo que entran en el ámbito de aplicación del presente Reglamento, como el Reglamento (UE) 2017/745 sobre los productos sanitarios y el Reglamento (UE) 2017/746 sobre los productos sanitarios para diagnóstico in vitro o la Directiva 2006/42/CE relativa a las máquinas. La calificación «de alto riesgo» debe limitarse a aquellos sistemas de IA que tengan consecuencias perjudiciales importantes para la salud, la seguridad y los derechos fundamentales de las personas de la Unión, y dicha limitación reduce al mínimo cualquier posible restricción del comercio internacional, si la hubiera. Habida cuenta del rápido ritmo del desarrollo tecnológico, así como de los posibles cambios en el uso de los sistemas de IA, la lista de ámbitos y casos de uso de alto riesgo que figura en el anexo III debe someterse, no obstante, a una revisión permanente mediante el ejercicio de evaluaciones periódicas.
Enmienda 55 Propuesta de Reglamento Considerando 28
(28) Los sistemas de IA pueden tener efectos adversos para la salud y la seguridad de las personas, en particular cuando funcionan como componentes de productos. En consonancia con los objetivos de la legislación de armonización de la Unión de facilitar la libre circulación de productos en el mercado interior y velar por que solo lleguen al mercado aquellos productos que sean seguros y conformes, es importante prevenir y reducir debidamente los riesgos de seguridad que pueda generar un producto en su conjunto debido a sus componentes digitales, entre los que pueden figurar los sistemas de IA. Por ejemplo, los robots cada vez más autónomos que se utilizan en las fábricas o con fines de asistencia y cuidado personal deben poder funcionar y desempeñar sus funciones de manera segura en entornos complejos. Del mismo modo, en el sector sanitario, donde los riesgos para la vida y la salud son especialmente elevados, los sistemas de diagnóstico y de apoyo a las decisiones humanas, cuya sofisticación es cada vez mayor, deben ser fiables y precisos. La magnitud de las consecuencias adversas de un sistema de IA para los derechos fundamentales protegidos por la Carta es particularmente pertinente cuando este es clasificado como de alto riesgo. Entre dichos derechos se incluyen el derecho a la dignidad humana, el respeto de la vida privada y familiar, la protección de datos de carácter personal, la libertad de expresión y de información, la libertad de reunión y de asociación, la no discriminación, la protección de los consumidores, los derechos de los trabajadores, los derechos de las personas discapacitadas, el derecho a la tutela judicial efectiva y a un juez imparcial, los derechos de la defensa y la presunción de inocencia, y el derecho a una buena administración. Además de esos derechos, conviene poner de relieve que los menores poseen unos derechos específicos consagrados en el artículo 24 de la Carta de la UE y en la Convención sobre los Derechos del Niño de las Naciones Unidas, que se desarrollan en mayor profundidad en la observación general n.º 25 del Comité de los Derechos del Niño relativa a los derechos de los niños en relación con el entorno digital. Ambos instrumentos exigen que se tengan en consideración las vulnerabilidades de los menores y que se les brinde la protección y la asistencia necesarias para su bienestar. Cuando se evalúe la gravedad del perjuicio que puede ocasionar un sistema de IA, en particular en lo que respecta a la salud y la seguridad de las personas, también se debe tener en cuenta el derecho fundamental a un nivel elevado de protección del medio ambiente consagrado en la Carta y aplicado en las políticas de la Unión.
(28) Los sistemas de IA pueden tener un efecto adverso para la salud y la seguridad de las personas, en particular cuando funcionan como componentes de seguridad de productos. En consonancia con los objetivos de la legislación de armonización de la Unión de facilitar la libre circulación de productos en el mercado interior y velar por que solo lleguen al mercado aquellos productos que sean seguros y conformes, es importante prevenir y reducir debidamente los riesgos de seguridad que pueda generar un producto en su conjunto debido a sus componentes digitales, entre los que pueden figurar los sistemas de IA. Por ejemplo, los robots cada vez más autónomos que se utilizan en las fábricas o con fines de asistencia y cuidado personal deben poder funcionar y desempeñar sus funciones de manera segura en entornos complejos. Del mismo modo, en el sector sanitario, donde los riesgos para la vida y la salud son especialmente elevados, los sistemas de diagnóstico y de apoyo a las decisiones humanas, cuya sofisticación es cada vez mayor, deben ser fiables y precisos.
Enmienda 56 Propuesta de Reglamento Considerando 28 bis (nuevo)
(28 bis) A la hora de clasificar un sistema de IA como de alto riesgo resulta particularmente pertinente atender a la magnitud de las consecuencias adversas de dicho sistema de IA para los derechos fundamentales protegidos por la Carta. Entre dichos derechos se incluyen el derecho a la dignidad humana, el respeto de la vida privada y familiar, la protección de datos de carácter personal, la libertad de expresión y de información, la libertad de reunión y de asociación, la no discriminación, el derecho a la educación, la protección de los consumidores, los derechos de los trabajadores, los derechos de las personas discapacitadas, la igualdad entre hombres y mujeres, los derechos de propiedad intelectual, el derecho a la tutela judicial efectiva y a un juez imparcial, los derechos de la defensa y la presunción de inocencia, y el derecho a una buena administración. Además de esos derechos, conviene poner de relieve que los menores poseen unos derechos específicos consagrados en el artículo 24 de la Carta de la UE y en la Convención sobre los Derechos del Niño de las Naciones Unidas, que se desarrollan en mayor profundidad en la observación general n.º 25 del Comité de los Derechos del Niño relativa a los derechos de los niños en relación con el entorno digital. Ambos instrumentos exigen que se tengan en consideración las vulnerabilidades de los menores y que se les brinde la protección y la asistencia necesarias para su bienestar. Cuando se evalúe la gravedad del perjuicio que puede ocasionar un sistema de IA, en particular en lo que respecta a la salud y la seguridad de las personas o al medio ambiente, también se debe tener en cuenta el derecho fundamental a un nivel elevado de protección del medio ambiente consagrado en la Carta y aplicado en las políticas de la Unión.
Enmienda 57 Propuesta de Reglamento Considerando 29
(29) En cuanto a los sistemas de IA de alto riesgo que son componentes de seguridad de productos o sistemas, o que son en sí mismos productos o sistemas que entran en el ámbito de aplicación del Reglamento (CE) n.º 300/2008 del Parlamento Europeo y del Consejo39, el Reglamento (UE) n.º 167/2013 del Parlamento Europeo y del Consejo40, el Reglamento (UE) n.º 168/2013 del Parlamento Europeo y del Consejo41, la Directiva 2014/90/UE del Parlamento Europeo y del Consejo42, la Directiva (UE) 2016/797 del Parlamento Europeo y del Consejo43, el Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo44, el Reglamento (UE) 2018/1139 del Parlamento Europeo y del Consejo45, y el Reglamento (UE) 2019/2144 del Parlamento Europeo y del Consejo46, procede modificar dichos actos para garantizar que, cuando la Comisión adopte en el futuro adopte actos delegados o de ejecución pertinentes en la materia basándose en ellos, tenga en cuenta los requisitos obligatorios para los sistemas de IA de alto riesgo previstos en el presente Reglamento, atendiendo a las particularidades técnicas y reglamentarias de los distintos sectores y sin interferir con la gobernanza, los mecanismos de evaluación de la conformidad y supervisión, y las autoridades existentes en cada uno de ellos.
(29) En cuanto a los sistemas de IA de alto riesgo que son componentes de seguridad de productos o sistemas, o que son en sí mismos productos o sistemas que entran en el ámbito de aplicación del Reglamento (CE) n.º 300/2008 del Parlamento Europeo y del Consejo39, el Reglamento (UE) n.º 167/2013 del Parlamento Europeo y del Consejo40, el Reglamento (UE) n.º 168/2013 del Parlamento Europeo y del Consejo41, la Directiva 2014/90/UE del Parlamento Europeo y del Consejo42, la Directiva (UE) 2016/797 del Parlamento Europeo y del Consejo43, el Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo44, el Reglamento (UE) 2018/1139 del Parlamento Europeo y del Consejo45, y el Reglamento (UE) 2019/2144 del Parlamento Europeo y del Consejo46, procede modificar dichos actos para garantizar que, cuando la Comisión adopte en el futuro actos delegados o de ejecución pertinentes en la materia basándose en ellos, tenga en cuenta los requisitos obligatorios para los sistemas de IA de alto riesgo previstos en el presente Reglamento, atendiendo a las particularidades técnicas y reglamentarias de los distintos sectores y sin interferir con la gobernanza, los mecanismos de evaluación de la conformidad, vigilancia del mercado y supervisión, y las autoridades existentes en cada uno de ellos.
__________________
__________________
39 Reglamento (CE) n.º 300/2008 del Parlamento Europeo y del Consejo, de 11 de marzo de 2008, sobre normas comunes para la seguridad de la aviación civil y por el que se deroga el Reglamento (CE) n.º 2320/2002 (DO L 97 de 9.4.2008, p. 72).
39 Reglamento (CE) n.º 300/2008 del Parlamento Europeo y del Consejo, de 11 de marzo de 2008, sobre normas comunes para la seguridad de la aviación civil y por el que se deroga el Reglamento (CE) n.º 2320/2002 (DO L 97 de 9.4.2008, p. 72).
40 Reglamento (UE) n.º 167/2013 del Parlamento Europeo y del Consejo, de 5 de febrero de 2013, relativo a la homologación de los vehículos agrícolas o forestales, y a la vigilancia del mercado de dichos vehículos (DO L 60 de 2.3.2013, p. 1).
40 Reglamento (UE) n.º 167/2013 del Parlamento Europeo y del Consejo, de 5 de febrero de 2013, relativo a la homologación de los vehículos agrícolas o forestales, y a la vigilancia del mercado de dichos vehículos (DO L 60 de 2.3.2013, p. 1).
41 Reglamento (UE) n.º 168/2013 del Parlamento Europeo y del Consejo, de 15 de enero de 2013, relativo a la homologación de los vehículos de dos o tres ruedas y los cuatriciclos, y a la vigilancia del mercado de dichos vehículos (DO L 60 de 2.3.2013, p. 52).
41 Reglamento (UE) n.º 168/2013 del Parlamento Europeo y del Consejo, de 15 de enero de 2013, relativo a la homologación de los vehículos de dos o tres ruedas y los cuatriciclos, y a la vigilancia del mercado de dichos vehículos (DO L 60 de 2.3.2013, p. 52).
42 Directiva 2014/90/UE del Parlamento Europeo y del Consejo, de 23 de julio de 2014, sobre equipos marinos, y por la que se deroga la Directiva 96/98/CE del Consejo (DO L 257 de 28.8.2014, p. 146).
42 Directiva 2014/90/UE del Parlamento Europeo y del Consejo, de 23 de julio de 2014, sobre equipos marinos, y por la que se deroga la Directiva 96/98/CE del Consejo (DO L 257 de 28.8.2014, p. 146).
43 Directiva (UE) 2016/797 del Parlamento Europeo y del Consejo, de 11 de mayo de 2016, sobre la interoperabilidad del sistema ferroviario dentro de la Unión Europea (DO L 138 de 26.5.2016, p. 44).
43 Directiva (UE) 2016/797 del Parlamento Europeo y del Consejo, de 11 de mayo de 2016, sobre la interoperabilidad del sistema ferroviario dentro de la Unión Europea (DO L 138 de 26.5.2016, p. 44).
44 Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo, de 30 de mayo de 2018, sobre la homologación y la vigilancia del mercado de los vehículos de motor y sus remolques y de los sistemas, los componentes y las unidades técnicas independientes destinados a dichos vehículos, por el que se modifican los Reglamentos (CE) n.º 715/2007 y (CE) n.º 595/2009 y por el que se deroga la Directiva 2007/46/CE (DO L 151 de 14.6.2018, p. 1).
44 Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo, de 30 de mayo de 2018, sobre la homologación y la vigilancia del mercado de los vehículos de motor y sus remolques y de los sistemas, los componentes y las unidades técnicas independientes destinados a dichos vehículos, por el que se modifican los Reglamentos (CE) n.º 715/2007 y (CE) n.º 595/2009 y por el que se deroga la Directiva 2007/46/CE (DO L 151 de 14.6.2018, p. 1).
45 Reglamento (UE) 2018/1139 del Parlamento Europeo y del Consejo, de 4 de julio de 2018, sobre normas comunes en el ámbito de la aviación civil y por el que se crea una Agencia de la Unión Europea para la Seguridad Aérea y por el que se modifican los Reglamentos (CE) n.º 2111/2005 (CE), n.º 1008/2008, (UE) n.º 996/2010, (UE) n.º 376/2014 y las Directivas 2014/30/UE y 2014/53/UE del Parlamento Europeo y del Consejo y se derogan los Reglamentos (CE) n.º 552/2004 y (CE) n.º 216/2008 del Parlamento Europeo y del Consejo y el Reglamento (CEE) n.º 3922/91 del Consejo (DO L 212 de 22.8.2018, p. 1).
45 Reglamento (UE) 2018/1139 del Parlamento Europeo y del Consejo, de 4 de julio de 2018, sobre normas comunes en el ámbito de la aviación civil y por el que se crea una Agencia de la Unión Europea para la Seguridad Aérea y por el que se modifican los Reglamentos (CE) n.º 2111/2005 (CE), n.º 1008/2008, (UE) n.º 996/2010, (UE) n.º 376/2014 y las Directivas 2014/30/UE y 2014/53/UE del Parlamento Europeo y del Consejo y se derogan los Reglamentos (CE) n.º 552/2004 y (CE) n.º 216/2008 del Parlamento Europeo y del Consejo y el Reglamento (CEE) n.º 3922/91 del Consejo (DO L 212 de 22.8.2018, p. 1).
46 Reglamento (UE) 2019/2144 del Parlamento Europeo y del Consejo, de 27 de noviembre de 2019, relativo a los requisitos de homologación de tipo de los vehículos de motor y de sus remolques, así como los sistemas, componentes y unidades técnicas independientes destinados a esos vehículos, en lo que respecta a su seguridad general y a la protección de los ocupantes de los vehículos y de los usuarios vulnerables de la vía pública, por el que se modifica el Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo y se derogan los Reglamentos (CE) n.º 78/2009, (CE) n.º 79/2009 y (CE) n.º 661/2009 del Parlamento Europeo y del Consejo y los Reglamentos (CE) n.º 631/2009, (UE) n.º 406/2010, (UE) n.º 672/2010, (UE) n.º 1003/2010, (UE) n.º 1005/2010, (UE) n.º 1008/2010, (UE) n.º 1009/2010, (UE) n.º 19/2011, (UE) n.º 109/2011, (UE) n.º 458/2011, (UE) n.º 65/2012, (UE) n.º 130/2012, (UE) n.º 347/2012, (UE) n.º 351/2012, (UE) n.º 1230/2012 y (UE) 2015/166 de la Comisión (DO L 325 de 16.12.2019, p. 1).
46 Reglamento (UE) 2019/2144 del Parlamento Europeo y del Consejo, de 27 de noviembre de 2019, relativo a los requisitos de homologación de tipo de los vehículos de motor y de sus remolques, así como los sistemas, componentes y unidades técnicas independientes destinados a esos vehículos, en lo que respecta a su seguridad general y a la protección de los ocupantes de los vehículos y de los usuarios vulnerables de la vía pública, por el que se modifica el Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo y se derogan los Reglamentos (CE) n.º 78/2009, (CE) n.º 79/2009 y (CE) n.º 661/2009 del Parlamento Europeo y del Consejo y los Reglamentos (CE) n.º 631/2009, (UE) n.º 406/2010, (UE) n.º 672/2010, (UE) n.º 1003/2010, (UE) n.º 1005/2010, (UE) n.º 1008/2010, (UE) n.º 1009/2010, (UE) n.º 19/2011, (UE) n.º 109/2011, (UE) n.º 458/2011, (UE) n.º 65/2012, (UE) n.º 130/2012, (UE) n.º 347/2012, (UE) n.º 351/2012, (UE) n.º 1230/2012 y (UE) 2015/166 de la Comisión (DO L 325 de 16.12.2019, p. 1).
Enmienda 58 Propuesta de Reglamento Considerando 30
(30) En cuanto a los sistemas de IA que son componentes de seguridad de productos, o que son productos en sí mismos, y entran dentro del ámbito de aplicación de determinada legislación de armonización de la Unión, procede considerarlos de alto riesgo en virtud del presente Reglamento si el producto en cuestión es sometido al procedimiento de evaluación de la conformidad con un organismo de evaluación de la conformidad externo de acuerdo con dicha legislación de armonización pertinente de la Unión. Esos productos son, en concreto, máquinas, juguetes, ascensores, equipo y sistemas de protección para uso en atmósferas potencialmente explosivas, equipos radioeléctricos, equipos a presión, equipo de embarcaciones de recreo, instalaciones de transporte por cable, aparatos que queman combustibles gaseosos, productos sanitarios y productos sanitarios para diagnóstico in vitro.
(30) En cuanto a los sistemas de IA que son componentes de seguridad de productos, o que son productos en sí mismos, y entran dentro del ámbito de aplicación de determinada legislación de armonización de la Unión enumerada en la lista del Anexo II, procede considerarlos de alto riesgo en virtud del presente Reglamento si el producto en cuestión es sometido al procedimiento de evaluación de la conformidad a fin de garantizar el cumplimiento de los requisitos de seguridad esenciales con un organismo de evaluación de la conformidad externo de acuerdo con dicha legislación de armonización pertinente de la Unión. Esos productos son, en concreto, máquinas, juguetes, ascensores, equipo y sistemas de protección para uso en atmósferas potencialmente explosivas, equipos radioeléctricos, equipos a presión, equipo de embarcaciones de recreo, instalaciones de transporte por cable, aparatos que queman combustibles gaseosos, productos sanitarios y productos sanitarios para diagnóstico in vitro.
Enmienda 59 Propuesta de Reglamento Considerando 31
(31) Que un sistema de IA se considere de alto riesgo en virtud del presente Reglamento no significa necesariamente que el producto del que sea componente de seguridad, o el sistema de IA en sí mismo como producto, se considere de «alto riesgo» conforme a los criterios establecidos en la legislación de armonización de la Unión pertinente que se aplique al producto. Tal es el caso, en particular, del Reglamento (UE) 2017/745 del Parlamento Europeo y del Consejo47 y del Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo48, que prevén que un organismo independiente realice una evaluación de la conformidad de los productos de riesgo medio y alto.
(31) Que un sistema de IA se considere de alto riesgo en virtud del presente Reglamento no significa que el producto del que sea componente de seguridad, o el sistema de IA en sí mismo como producto, se considere de «alto riesgo» conforme a los criterios establecidos en la legislación de armonización de la Unión pertinente que se aplique al producto. Tal es el caso, en particular, del Reglamento (UE) 2017/745 del Parlamento Europeo y del Consejo47 y del Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo48, que prevén que un organismo independiente realice una evaluación de la conformidad de los productos de riesgo medio y alto.
__________________
__________________
47 Reglamento (UE) 2017/745 del Parlamento Europeo y del Consejo, de 5 de abril de 2017, sobre los productos sanitarios, por el que se modifican la Directiva 2001/83/CE, el Reglamento (CE) n.º 178/2002 y el Reglamento (CE) n.º 1223/2009 y por el que se derogan las Directivas 90/385/CEE y 93/42/CEE del Consejo (DO L 117 de 5.5.2017, p. 1).
47 Reglamento (UE) 2017/745 del Parlamento Europeo y del Consejo, de 5 de abril de 2017, sobre los productos sanitarios, por el que se modifican la Directiva 2001/83/CE, el Reglamento (CE) n.º 178/2002 y el Reglamento (CE) n.º 1223/2009 y por el que se derogan las Directivas 90/385/CEE y 93/42/CEE del Consejo (DO L 117 de 5.5.2017, p. 1).
48 Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo, de 5 de abril de 2017, sobre los productos sanitarios para diagnóstico in vitro y por el que se derogan la Directiva 98/79/CE y la Decisión 2010/227/UE de la Comisión (DO L 117 de 5.5.2017, p. 176).
48 Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo, de 5 de abril de 2017, sobre los productos sanitarios para diagnóstico in vitro y por el que se derogan la Directiva 98/79/CE y la Decisión 2010/227/UE de la Comisión (DO L 117 de 5.5.2017, p. 176).
Enmienda 60 Propuesta de Reglamento Considerando 32
(32) En cuanto a los sistemas de IA independientes, es decir, aquellos sistemas de IA de alto riesgo que no son componentes de seguridad de productos o no son productos en sí mismos, hay que considerarlos de alto riesgo si, a la luz de su finalidad prevista, presentan un alto riesgo de menoscabar la salud y la seguridad o los derechos fundamentales de las personas, teniendo en cuenta tanto la gravedad del posible perjuicio como la probabilidad de que se produzca, y se utilizan en varias esferas predefinidas especificadas en el presente Reglamento. Para identificar dichos sistemas se emplean la misma metodología y los mismos criterios previstos para la posible modificación futura de la lista de sistemas de IA de alto riesgo.
(32) En cuanto a los sistemas de IA independientes, es decir, aquellos sistemas de IA de alto riesgo que no son componentes de seguridad de productos o no son productos en sí mismos y que están recogidos en uno de los ámbitos y casos de uso del Anexo III, hay que considerarlos de alto riesgo si, a la luz de su finalidad prevista, presentan un riesgo significativo de menoscabar la salud y la seguridad o los derechos fundamentales de las personas y, cuando el sistema de IA se utiliza como componente de seguridad de una infraestructura crítica, el medio ambiente. Este riesgo significativo de perjuicio debe identificarse mediante la evaluación, por una parte, del efecto de dicho riesgo con respecto a su nivel de gravedad, intensidad, probabilidad de que se produzca y duración combinadas y, por otra, de si el riesgo puede afectar a una persona, a una pluralidad de ellas o a un grupo particular de personas. Dicha combinación podría dar lugar, por ejemplo, a una elevada gravedad, pero baja probabilidad, de afectar a una persona física, o a una alta probabilidad de afectar a un grupo de personas con baja intensidad durante un largo período de tiempo, dependiendo del contexto. Para identificar dichos sistemas se emplean la misma metodología y los mismos criterios previstos para la posible modificación futura de la lista de sistemas de IA de alto riesgo.
Enmienda 61 Propuesta de Reglamento Considerando 32 bis (nuevo)
(32 bis) Los proveedores cuyos sistemas de IA entren en uno de los ámbitos y casos de uso enumerados en el anexo III que consideren que su sistema no plantea un riesgo significativo de perjuicio para la salud, la seguridad, los derechos fundamentales o el medio ambiente deben informar a las autoridades nacionales de supervisión mediante la presentación de una notificación motivada, que podría adoptar la forma de un resumen de una página en el que se recoja la información pertinente sobre el sistema de IA en cuestión, incluida su finalidad prevista y las razones por las que no supondría un riesgo significativo de perjuicio para la salud, la seguridad, los derechos fundamentales o el medio ambiente. La Comisión debe especificar los criterios que permitan a las empresas evaluar si su sistema plantearía tales riesgos, así como desarrollar un modelo de notificación de uso sencillo y normalizado. Los proveedores deben presentar la notificación lo antes posible y, en todo caso, antes de la introducción del sistema de IA en el mercado o de su puesta en servicio, idealmente en la fase de desarrollo, y deben poder introducirlo en el mercado en cualquier momento después de la notificación. No obstante, si la autoridad considera que el sistema de IA en cuestión ha sido clasificado incorrectamente, debe oponerse a la notificación en un plazo de tres meses. La objeción debe ser motivada y explicar debidamente por qué el sistema de IA ha sido clasificado incorrectamente. El proveedor debe conservar el derecho de recurso mediante la alegación de nuevos argumentos. Las autoridades nacionales de supervisión conservan la posibilidad de intervenir si, transcurrido el plazo de tres meses sin objeciones a la notificación, el sistema de IA presenta un riesgo a nivel nacional, como en el caso de cualquier otro sistema de IA presente en el mercado. Las autoridades nacionales de supervisión deben presentar informes anuales a la Oficina de IA en los que detallen las notificaciones recibidas y las decisiones adoptadas.
Enmienda 62 Propuesta de Reglamento Considerando 33
(33) Las imprecisiones técnicas de los sistemas de IA destinados a la identificación biométrica remota de las personas físicas pueden dar lugar a resultados sesgados y tener consecuencias discriminatorias. Esto es especialmente importante en lo que respecta a la edad, la etnia, el sexo o la discapacidad. Por este motivo, debe considerarse que los sistemas de identificación biométrica remota «en tiempo real» y «en diferido» conllevan un alto riesgo. Debido a los riesgos que entrañan, deben aplicarse requisitos específicos referentes a las capacidades de registro y la vigilancia humana a ambos tipos de sistemas de identificación biométrica remota.
suprimido
Enmienda 63 Propuesta de Reglamento Considerando 33 bis (nuevo)
(33 bis) Dado que los datos biométricos constituyen una categoría especial de datos personales sensibles de conformidad con el Reglamento 2016/679, procede clasificar como de alto riesgo varios casos de uso críticos de sistemas biométricos y basados en la biometría. Por lo tanto, los sistemas de IA destinados a utilizarse para la identificación biométrica de personas físicas y los sistemas de IA destinados a ser utilizados para extraer conclusiones sobre las características personales de las personas físicas a partir de datos biométricos o basados en la biometría, incluidos los sistemas de reconocimiento de emociones, a excepción de los prohibidos en virtud del presente Reglamento, deben clasificarse como de alto riesgo. Esto no debe comprender los sistemas de IA destinados a utilizarse en la verificación biométrica, lo que incluye la autenticación, cuya única finalidad es confirmar que una persona física concreta es la persona que dice ser y confirmar la identidad de una persona física con el único fin de tener acceso a un servicio, un dispositivo o un local (verificación de uno respecto a uno). No debe considerarse que los sistemas biométricos y basados en la biometría previstos en el Derecho de la Unión para posibilitar la ciberseguridad y las medidas de protección de los datos personales supongan un riesgo significativo de perjuicio para la salud, la seguridad y los derechos fundamentales.
Enmienda 64 Propuesta de Reglamento Considerando 34
(34) En el caso de la gestión y el funcionamiento de infraestructuras críticas, conviene considerar de alto riesgo a los sistemas de IA destinados a ser componentes de seguridad en la gestión y el funcionamiento del tráfico rodado y el suministro de agua, gas, calefacción y electricidad, pues su fallo o defecto de funcionamiento puede poner en peligro la vida y la salud de las personas a gran escala y alterar de manera apreciable el desarrollo habitual de las actividades sociales y económicas.
(34) En el caso de la gestión y el funcionamiento de infraestructuras críticas, conviene considerar de alto riesgo a los sistemas de IA destinados a ser componentes de seguridad en la gestión y el funcionamiento del suministro de agua, gas, calefacción, electricidad e infraestructuras digitales críticas, pues su fallo o defecto de funcionamiento puede vulnerar la seguridad y la integridad de dichas infraestructuras críticas o poner en peligro la vida y la salud de las personas a gran escala y alterar de manera apreciable el desarrollo habitual de las actividades sociales y económicas. Los componentes de seguridad de las infraestructuras críticas, también de las infraestructuras digitales críticas, son sistemas utilizados para proteger directamente la integridad física de la infraestructura crítica o la salud y la seguridad de las personas y los bienes. Un fallo o un defecto de funcionamiento de esos componentes podría dar lugar directamente a riesgos para la integridad física de las infraestructuras críticas y, por tanto, a riesgos para la salud y la seguridad de las personas y los bienes. Los componentes destinados a ser utilizados exclusivamente con fines de ciberseguridad no deben considerarse componentes de seguridad. Entre dichos componentes de seguridad cabe señalar, por ejemplo, los sistemas de control de la presión del agua o los sistemas de control de las alarmas contraincendios en los centros de computación en nube.
Enmienda 65 Propuesta de Reglamento Considerando 35
(35) Deben considerarse de alto riesgo los sistemas de IA que se utilizan en la educación o la formación profesional, y en especial aquellos que determinan el acceso o distribuyen a las personas entre distintas instituciones educativas y de formación profesional o aquellos que evalúan a las personas a partir de pruebas realizadas en el marco de su educación o como condición necesaria para acceder a ella, ya que pueden decidir la trayectoria formativa y profesional de una persona y, en consecuencia, afectar a su capacidad para asegurar su subsistencia. Cuando no se diseñan y utilizan correctamente, estos sistemas pueden violar el derecho a la educación y la formación, y el derecho a no sufrir discriminación, además de perpetuar patrones históricos de discriminación.
(35) La implementación de sistemas de IA en la educación es importante para ayudar a modernizar completamente los sistemas educativos, aumentar la calidad de la educación, tanto en línea como fuera de línea, y acelerar la educación digital, poniéndola así también a disposición de un público más amplio. Deben clasificarse como de alto riesgo los sistemas de IA que se utilizan en la educación o la formación profesional, y en especial aquellos que determinan el acceso o influyen sustancialmente en las decisiones sobre admisión o distribuyen a las personas entre distintas instituciones educativas y de formación profesional o aquellos que evalúan a las personas a partir de pruebas realizadas en el marco de su educación o como condición necesaria para acceder a ella o para evaluar el nivel apropiado de educación de una persona e influir sustancialmente en el nivel de educación y formación que las personas recibirán o al que podrán acceder o supervisar y detectar comportamientos prohibidos de los estudiantes durante las pruebas, ya que pueden decidir la trayectoria formativa y profesional de una persona y, en consecuencia, afectar a su capacidad para asegurar su subsistencia. Cuando no se diseñan y utilizan correctamente, estos sistemas pueden invadir especialmente y violar el derecho a la educación y la formación, y el derecho a no sufrir discriminación, además de perpetuar patrones históricos de discriminación, por ejemplo contra las mujeres, los grupos de una edad determinada, las personas con discapacidad o las personas de cierto origen racial o étnico o con una determinada orientación sexual.
Enmienda 66 Propuesta de Reglamento Considerando 36
(36) También deben considerarse de alto riesgo los sistemas de IA que se utilizan en el empleo, la gestión de los trabajadores y el acceso al autoempleo, sobre todo para la contratación y la selección de personal; para la toma de decisiones relativas a la promoción y la rescisión de contratos; y para la asignación de tareas y el seguimiento o la evaluación de personas en relaciones contractuales de índole laboral, dado que pueden afectar de un modo considerable a las futuras perspectivas laborales y los medios de subsistencia de dichas personas. Las relaciones contractuales de índole laboral deben implicar a los empleados y las personas que prestan servicios a través de plataformas, como indica el Programa de trabajo de la Comisión para 2021. En principio, esas personas no deben ser consideradas usuarios en el sentido del presente Reglamento. Dichos sistemas pueden perpetuar patrones históricos de discriminación, por ejemplo contra las mujeres, ciertos grupos de edad, personas con discapacidad o personas de orígenes raciales o étnicos concretos o con una orientación sexual determinada, durante todo el proceso de contratación y en la evaluación, la promoción o la retención de personas en relaciones contractuales de índole laboral. Los sistemas de IA empleados para controlar el rendimiento y el comportamiento de estas personas también pueden afectar a sus derechos a la protección de los datos personales y a la privacidad.
(36) También deben considerarse de alto riesgo los sistemas de IA que se utilizan en el empleo, la gestión de los trabajadores y el acceso al autoempleo, sobre todo para la contratación y la selección de personal, para la toma de decisiones o que influyen sustancialmente en las decisiones relativas a la iniciación, la promoción y la rescisión de contratos y para la asignación personalizada de tareas basada en el comportamiento individual, los rasgos personales o los datos biométricos y el seguimiento o la evaluación de personas en relaciones contractuales de índole laboral, dado que pueden afectar de un modo considerable a las futuras perspectivas laborales y los medios de subsistencia de dichas personas y a los derechos laborales. Las relaciones contractuales de índole laboral deben implicar de manera significativa a los empleados y las personas que prestan servicios a través de plataformas, como indica el Programa de trabajo de la Comisión para 2021. Dichos sistemas pueden perpetuar patrones históricos de discriminación, por ejemplo contra las mujeres, ciertos grupos de edad, personas con discapacidad o personas de orígenes raciales o étnicos concretos o con una orientación sexual determinada, durante todo el proceso de contratación y en la evaluación, la promoción o la retención de personas en relaciones contractuales de índole laboral. Los sistemas de IA empleados para controlar el rendimiento y el comportamiento de estas personas también pueden socavar la esencia de sus derechos fundamentales a la protección de los datos personales y a la privacidad. El presente Reglamento se aplica sin perjuicio de las competencias de la Unión y de los Estados miembros para proporcionar normas más específicas para el uso de sistemas de IA en el contexto laboral.
Enmienda 67 Propuesta de Reglamento Considerando 37
(37) El acceso y el disfrute de determinados servicios y ayudas esenciales de carácter público y privado necesarios para que las personas participen en la sociedad o cuenten con unas condiciones de vida mejores es otro ámbito en el que conviene prestar especial atención a la utilización de sistemas de IA. En concreto, deben considerarse de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Los sistemas de IA usados con este fin pueden discriminar a personas o grupos y perpetuar patrones históricos de discriminación, por ejemplo, por motivos de origen racial o étnico, discapacidad, edad u orientación sexual, o generar nuevas formas de efectos discriminatorios. Habida cuenta del alcance sumamente limitado de su impacto y de las escasas alternativas disponibles en el mercado, conviene dejar exentos a los sistemas de IA destinados a evaluar la solvencia y la calificación crediticia cuando los pongan en servicio proveedores a pequeña escala para su propio uso. Las personas físicas que solicitan o reciben ayudas y servicios de autoridades públicas suelen depender de ellos y, por lo general, se encuentran en una posición de vulnerabilidad respecto de las autoridades responsables. Si se utilizan sistemas de IA para decidir si las autoridades deben denegar, reducir, revocar o reclamar dichas ayudas y servicios, estos sistemas pueden afectar de un modo considerable a los medios de subsistencia de las personas y podrían infringir sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a una tutela judicial efectiva. Por lo tanto, esos sistemas deben considerarse de alto riesgo. No obstante, el presente Reglamento no debe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración pública, que se beneficiarían de una mayor utilización de sistemas de IA conformes y seguros, siempre y cuando dichos sistemas no conlleven un alto riesgo para las personas jurídicas y físicas. Por último, los sistemas de IA empleados para el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia también deben considerarse de alto riesgo, dado que adoptan decisiones en situaciones sumamente críticas para la vida y la salud de las personas y de sus bienes.
(37) El acceso y el disfrute de determinados servicios y ayudas esenciales de carácter público y privado, incluidos los servicios de asistencia sanitaria y los servicios esenciales, como, entre otros, la vivienda, la electricidad, la calefacción y refrigeración, e internet, necesarios para que las personas participen en la sociedad o cuenten con unas condiciones de vida mejores es otro ámbito en el que conviene prestar especial atención a la utilización de sistemas de IA. En concreto, deben considerarse de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Los sistemas de IA usados con este fin pueden discriminar a personas o grupos y perpetuar patrones históricos de discriminación, por ejemplo, por motivos de origen racial o étnico, género, discapacidad, edad u orientación sexual, o generar nuevas formas de efectos discriminatorios. No obstante, los sistemas de IA previstos por el Derecho de la Unión con vistas a detectar fraudes en la oferta de servicios financieros no deben considerarse de alto riesgo en virtud del presente Reglamento. Las personas físicas que solicitan o reciben ayudas y servicios de autoridades públicas, también servicios de asistencia sanitaria y servicios esenciales, como, entre otros, la vivienda, la electricidad, la calefacción y refrigeración e internet, suelen depender de ellos y, por lo general, se encuentran en una posición de vulnerabilidad respecto de las autoridades responsables. Si se utilizan sistemas de IA para decidir si las autoridades deben denegar, reducir, revocar o reclamar dichas ayudas y servicios, estos sistemas pueden afectar de un modo considerable a los medios de subsistencia de las personas y podrían infringir sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a una tutela judicial efectiva. Del mismo modo, los sistemas de IA destinados a utilizarse para tomar decisiones o influir sustancialmente en decisiones sobre la elegibilidad de las personas físicas para acogerse al seguro de enfermedad y de vida también pueden tener un impacto significativo en los medios de subsistencia de las personas y pueden vulnerar sus derechos fundamentales, por ejemplo, al limitar el acceso a la asistencia sanitaria o perpetuar la discriminación basada en las características personales. Por lo tanto, esos sistemas deben considerarse de alto riesgo. No obstante, el presente Reglamento no debe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración pública, que se beneficiarían de una mayor utilización de sistemas de IA conformes y seguros, siempre y cuando dichos sistemas no conlleven un alto riesgo para las personas jurídicas y físicas. Por último, los sistemas de IA empleados para evaluar y clasificar llamadas de emergencia de personas físicas o el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia también deben considerarse de alto riesgo, dado que adoptan decisiones en situaciones sumamente críticas para la vida y la salud de las personas y de sus bienes.
Enmienda 68 Propuesta de Reglamento Considerando 37 bis (nuevo)
(37 bis) Habida cuenta del papel y la responsabilidad de las autoridades policiales y judiciales y del impacto de las decisiones que adoptan con fines de prevención, investigación, detección o enjuiciamiento de infracciones penales o de ejecución de sanciones penales, algunos casos de uso específico de aplicaciones de IA en la aplicación de la ley deben clasificarse como de alto riesgo, en particular en los casos en que tienen potencial para afectar significativamente a la vida o a los derechos fundamentales de las personas.
Enmienda 69 Propuesta de Reglamento Considerando 38
(38) Las actuaciones de las autoridades encargadas de la aplicación de la ley que implican determinados usos de sistemas de IA se caracterizan por un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona física, así como a otros efectos negativos sobre los derechos fundamentales que garantiza la Carta. En particular, si el sistema de IA no está entrenado con datos de buena calidad, no cumple los requisitos oportunos en términos de precisión o solidez, o no se diseña y prueba debidamente antes de introducirlo en el mercado o ponerlo en servicio, puede señalar a personas de manera discriminatoria, incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como los derechos de la defensa y la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén bien documentados. Por consiguiente, procede considerar de alto riesgo a múltiples sistemas de IA diseñados para usarse con fines de aplicación de la ley cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y una compensación efectiva. En vista de la naturaleza de las actividades en cuestión y de los riesgos conexos, entre dichos sistemas de IA de alto riesgo deben incluirse, en particular, los sistemas de IA que las autoridades encargadas de la aplicación de la ley utilicen para realizar evaluaciones del riesgo individuales, los polígrafos y herramientas similares, o los sistemas utilizados para detectar el estado emocional de una persona física; para detectar ultrafalsificaciones; para evaluar la fiabilidad de las pruebas en un proceso penal; para predecir la comisión o reiteración de un delito real o potencial mediante la elaboración de perfiles de personas físicas; para evaluar rasgos y características de la personalidad o conductas delictivas pasadas de personas físicas o grupos; para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de infracciones penales, y para realizar análisis penales en relación con personas físicas. No debe considerarse que los sistemas de IA destinados específicamente a que las autoridades fiscales y aduaneras los utilicen en procesos administrativos forman parte de los sistemas de IA de alto riesgo usados por las autoridades encargadas de la aplicación de la ley con el fin de prevenir, detectar, investigar y enjuiciar infracciones penales.
(38) Las actuaciones de las autoridades encargadas de la aplicación de la ley que implican determinados usos de sistemas de IA se caracterizan por un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona física, así como a otros efectos negativos sobre los derechos fundamentales que garantiza la Carta. En particular, si el sistema de IA no está entrenado con datos de buena calidad, no cumple los requisitos oportunos en términos de rendimiento, precisión o solidez, o no se diseña y prueba debidamente antes de introducirlo en el mercado o ponerlo en servicio, puede señalar a personas de manera discriminatoria, incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como los derechos de la defensa y la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén bien documentados. Por consiguiente, procede considerar de alto riesgo a múltiples sistemas de IA diseñados para usarse con fines de aplicación de la ley cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y una compensación efectiva. En vista de la naturaleza de las actividades en cuestión y de los riesgos conexos, entre dichos sistemas de IA de alto riesgo deben incluirse, en particular, los sistemas de IA que se utilicen por o en nombre de las autoridades encargadas de la aplicación de la ley o por las agencias, órganos u organismos de la Unión en apoyo de las primeras, como los polígrafos y herramientas similares, en la medida en que su uso esté permitido conforme a la legislación de la Unión y nacional pertinente, para evaluar la fiabilidad de las pruebas en un proceso penal; para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de infracciones penales, y para realizar análisis penales en relación con personas físicas. Los sistemas de IA destinados específicamente a que las autoridades fiscales y aduaneras los utilicen en procesos administrativos no deben clasificarse como parte de los sistemas de IA de alto riesgo usados por las autoridades encargadas de la aplicación de la ley con el fin de prevenir, detectar, investigar y enjuiciar infracciones penales. El uso de herramientas de IA por parte de las autoridades encargadas de la aplicación de la ley y judiciales no debe convertirse en un factor de desigualdad, fractura social o exclusión. No debe ignorarse el impacto del uso de herramientas de IA en los derechos de defensa de los sospechosos, en especial la dificultad para obtener información significativa sobre su funcionamiento y la consiguiente dificultad para impugnar sus resultados ante los tribunales, en particular por parte de las personas investigadas.
Enmienda 70 Propuesta de Reglamento Considerando 39
(39) Los sistemas de IA empleados en la gestión de la migración, el asilo y el control fronterizo afectan a personas que con frecuencia se encuentran en una situación especialmente vulnerable y dependen del resultado de las actuaciones de las autoridades públicas competentes. Por este motivo, es sumamente importante que los sistemas de IA que se utilizan en estos contextos sean precisos, no discriminatorios y transparentes, a fin de garantizar que se respeten los derechos fundamentales de las personas afectadas y, en particular, sus derechos a la libre circulación, la no discriminación, la intimidad personal y la protección de los datos personales, la protección internacional y la buena administración. Por lo tanto, procede considerar de alto riesgo a aquellos sistemas de IA destinados a que las autoridades públicas competentes que realizan tareas en el ámbito de la gestión de la migración, el asilo y el control fronterizo los utilicen como polígrafos y herramientas similares o para detectar el estado emocional de una persona física; para evaluar determinados riesgos que presenten personas físicas que entren en el territorio de un Estado miembro o soliciten un visado o asilo; para verificar la autenticidad de los documentos pertinentes de personas físicas; para ayudar a las autoridades públicas competentes a examinar las solicitudes de asilo, visado y permiso de residencia, así como las reclamaciones conexas en relación con el objetivo de determinar si las personas físicas solicitantes de un estatuto reúnen los requisitos necesarios para su obtención. Los sistemas de IA en el ámbito de la gestión de la migración, el asilo y el control fronterizo abarcados por el presente Reglamento deben cumplir los requisitos procedimentales pertinentes establecidos por la Directiva 2013/32/UE del Parlamento Europeo y del Consejo49, el Reglamento (UE) n.º 810/2009 del Parlamento Europeo y el Consejo50, y otra legislación en la materia.
(39) Los sistemas de IA empleados en la gestión de la migración, el asilo y el control fronterizo afectan a personas que con frecuencia se encuentran en una situación especialmente vulnerable y dependen del resultado de las actuaciones de las autoridades públicas competentes. Por este motivo, es sumamente importante que los sistemas de IA que se utilizan en estos contextos sean precisos, no discriminatorios y transparentes, a fin de garantizar que se respeten los derechos fundamentales de las personas afectadas y, en particular, sus derechos a la libre circulación, la no discriminación, la intimidad personal y la protección de los datos personales, la protección internacional y la buena administración. Por lo tanto, procede considerar de alto riesgo a aquellos sistemas de IA destinados a ser utilizados por o en nombre de las autoridades públicas competentes o por las agencias, órganos u organismos de la Unión que realizan tareas en el ámbito de la gestión de la migración, el asilo y el control fronterizo, como polígrafos y herramientas similares, en la medida en que su uso esté permitido en virtud de la legislación de la Unión o nacional pertinente, para evaluar determinados riesgos que presenten personas físicas que entren en el territorio de un Estado miembro o soliciten un visado o asilo; para verificar la autenticidad de los documentos pertinentes de personas físicas; para ayudar a las autoridades públicas competentes a examinar y evaluar la veracidad de las pruebas en relación con las solicitudes de asilo, visado y permiso de residencia, así como las reclamaciones conexas en relación con el objetivo de determinar si las personas físicas solicitantes de un estatuto reúnen los requisitos necesarios para su obtención; para realizar el seguimiento, la vigilancia o el tratamiento de datos personales en el contexto de actividades de gestión de fronteras, con el fin de detectar, reconocer o identificar a personas físicas; para la previsión o predicción de las tendencias relacionadas con los movimientos migratorios y los cruces de fronteras. Los sistemas de IA en el ámbito de la gestión de la migración, el asilo y el control fronterizo abarcados por el presente Reglamento deben cumplir los requisitos procedimentales pertinentes establecidos por la Directiva 2013/32/UE del Parlamento Europeo y del Consejo49, el Reglamento (UE) n.º 810/2009 del Parlamento Europeo y el Consejo50, y otra legislación en la materia. Los Estados miembros o las instituciones, órganos y organismos de la Unión no deben en ningún caso utilizar los sistemas de IA empleados en la gestión de la migración, el asilo y el control fronterizo como medio para eludir sus obligaciones internacionales en virtud de la Convención de Ginebra sobre el Estatuto de los Refugiados de 28 de julio de 1951, modificada por el Protocolo de 31 de enero de 1967, ni para infringir de cualquier modo el principio de no devolución o negar unas vías jurídicas seguras y efectivas de acceso al territorio de la Unión, incluido el derecho a la protección internacional.
__________________
__________________
49 Directiva 2013/32/UE del Parlamento Europeo y del Consejo, de 26 de junio de 2013, sobre procedimientos comunes para la concesión o la retirada de la protección internacional (DO L 180 de 29.6.2013, p. 60).
49 Directiva 2013/32/UE del Parlamento Europeo y del Consejo, de 26 de junio de 2013, sobre procedimientos comunes para la concesión o la retirada de la protección internacional (DO L 180 de 29.6.2013, p. 60).
50 Reglamento (CE) n.º 810/2009 del Parlamento Europeo y del Consejo, de 13 de julio de 2009, por el que se establece un Código comunitario sobre visados (Código de visados) (DO L 243 de 15.9.2009, p. 1).
50 Reglamento (CE) n.º 810/2009 del Parlamento Europeo y del Consejo, de 13 de julio de 2009, por el que se establece un Código comunitario sobre visados (Código de visados) (DO L 243 de 15.9.2009, p. 1).
Enmienda 71 Propuesta de Reglamento Considerando 40
(40) Deben considerarse de alto riesgo ciertos sistemas de IA destinados a la administración de justicia y los procesos democráticos, dado que pueden tener efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. En particular, a fin de evitar el riesgo de posibles sesgos, errores y opacidades, procede considerar de alto riesgo aquellos sistemas de IA cuyo objetivo es ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos. No obstante, dicha clasificación no debe hacerse extensiva a los sistemas de IA destinados a actividades administrativas meramente accesorias que no afectan a la administración de justicia en casos concretos, como la anonimización o seudonimización de las resoluciones judiciales, documentos o datos; la comunicación entre los miembros del personal; tareas administrativas, o la asignación de recursos.
(40) Deben considerarse de alto riesgo ciertos sistemas de IA destinados a la administración de justicia y los procesos democráticos, dado que pueden tener efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. En particular, a fin de evitar el riesgo de posibles sesgos, errores y opacidades, procede considerar de alto riesgo aquellos sistemas de IA cuyo objetivo es ser utilizados por una autoridad judicial o administrativa, o en su nombre, para ayudar a las autoridades judiciales u órganos administrativos a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos o ser utilizados de forma similar en la resolución alternativa de controversias. La utilización de herramientas de inteligencia artificial puede apoyar la toma de decisiones, pero no debe substituir el poder de toma de decisiones de los jueces o la independencia judicial, puesto que la toma de decisiones finales debe seguir siendo una actividad y una decisión de origen humano. No obstante, dicha clasificación no debe hacerse extensiva a los sistemas de IA destinados a actividades administrativas meramente accesorias que no afectan a la administración de justicia en casos concretos, como la anonimización o seudonimización de las resoluciones judiciales, documentos o datos; la comunicación entre los miembros del personal; tareas administrativas, o la asignación de recursos.
Enmienda 72 Propuesta de Reglamento Considerando 40 bis (nuevo)
(40 bis) A fin de evitar los riesgos de injerencia externa indebida en el derecho de voto consagrado en el artículo 39 de la Carta, y de efectos desproporcionados sobre los procesos democráticos, la democracia y el Estado de Derecho, los sistemas de IA destinados a utilizarse para influir en el resultado de una elección o un referendo o en el comportamiento electoral de las personas físicas en el ejercicio de su voto en las elecciones o los referendos deben clasificarse como sistemas de IA de alto riesgo, a excepción de los sistemas de IA a cuya información de salida las personas físicas no están directamente expuestas, como las herramientas utilizadas para organizar, optimizar y estructurar campañas políticas desde un punto de vista administrativo y logístico.
Enmienda 73 Propuesta de Reglamento Considerando 40 ter (nuevo)
(40 ter) Habida cuenta del volumen de personas físicas que utilizan los servicios prestados por las plataformas de las redes sociales designadas como plataformas en línea de muy gran tamaño, dichas plataformas en línea pueden emplearse de manera que influyan considerablemente en la seguridad en línea, en la configuración de la opinión y el discurso públicos, en los procesos electorales y democráticos y en las preocupaciones sociales. Procede, por tanto, que los sistemas de IA utilizados por dichas plataformas en línea en sus sistemas de recomendación estén sujetos al presente Reglamento, a fin de garantizar que dichos sistemas cumplan los requisitos establecidos en el presente Reglamento, incluidos los requisitos técnicos sobre la gobernanza de datos, la documentación técnica y la trazabilidad, la transparencia, la supervisión humana, la exactitud y la solidez. El cumplimiento del presente Reglamento debe permitir a las plataformas en línea de muy gran tamaño cumplir sus obligaciones más generales en materia de evaluación y reducción del riesgo conforme a los artículos 34 y 35 del Reglamento (UE) 2022/2065. Las obligaciones del presente Reglamento se entienden sin perjuicio del Reglamento (UE) 2022/2065 y deben complementar las obligaciones que este último impone cuando la plataforma de redes sociales haya sido designada como plataforma en línea de muy gran tamaño. Dado el impacto a escala europea de las plataformas de redes sociales designadas como plataformas en línea de muy gran tamaño, las autoridades designadas en virtud del Reglamento (UE) 2022/2065 deben actuar como autoridades encargadas de la aplicación de la ley a los efectos de hacer cumplir la presente disposición.
Enmienda 74 Propuesta de Reglamento Considerando 41
(41) El hecho de que un sistema de IA sea considerado de alto riesgo en virtud del presente Reglamento no debe interpretarse como indicador de que su uso sea legal con arreglo a otros actos del Derecho de la Unión o del Derecho interno compatible con el Derecho de la Unión relativo a la protección de los datos personales o a la utilización de polígrafos y herramientas similares u otros sistemas para detectar el estado emocional de las personas físicas. Todo uso de ese tipo debe seguir realizándose exclusivamente en consonancia con los requisitos oportunos derivados de la Carta y de los actos aplicables del Derecho derivado de la Unión y del Derecho interno. No debe entenderse que el presente Reglamento constituye el fundamento jurídico para el tratamiento de datos personales, incluidas categorías especiales de datos personales, cuando sea pertinente.
(41) El hecho de que un sistema de IA sea clasificado como un sistema de IA de alto riesgo en virtud del presente Reglamento no debe interpretarse como indicador de que su uso sea necesariamente legal o ilegal con arreglo a otros actos del Derecho de la Unión o del Derecho interno compatible con el Derecho de la Unión relativo a la protección de los datos personales. Todo uso de ese tipo debe seguir realizándose exclusivamente en consonancia con los requisitos oportunos derivados de la Carta y de los actos aplicables del Derecho derivado de la Unión y del Derecho interno.
Enmienda 75 Propuesta de Reglamento Considerando 41 bis (nuevo)
(41 bis) Diversas normas jurídicamente vinculantes a nivel europeo, nacional e internacional ya son aplicables o pertinentes respecto a los sistemas de IA hoy día, como, entre otros, el Derecho primario de la Unión (los Tratados de la Unión Europea y su Carta de los Derechos Fundamentales), el Derecho derivado de la Unión (como el Reglamento General de Protección de Datos, la Directiva sobre responsabilidad por los daños causados por productos defectuosos, el Reglamento sobre la libre circulación de datos no personales, las Directivas contra la discriminación, la legislación en materia de consumidores y las Directivas en materia de seguridad y salud en el trabajo), los tratados de las Naciones Unidas en materia de derechos humanos y los convenios del Consejo de Europa (por ejemplo, el Convenio Europeo de Derechos Humanos), así como el derecho nacional. Además de las normas de aplicación horizontal, existen diversas normas de carácter sectorial aplicables a determinados usos de la IA (por ejemplo, el Reglamento sobre productos sanitarios en el caso del sector sanitario).
Enmienda 76 Propuesta de Reglamento Considerando 42
(42) Con el objetivo de mitigar los riesgos que presentan para los usuarios y las personas afectadas los sistemas de IA de alto riesgo que se introducen en el mercado o ponen en servicio en la Unión, es preciso aplicar ciertos requisitos obligatorios que tengan en cuenta la finalidad prevista del uso del sistema y estén en consonancia con el sistema de gestión de riesgos que debe establecer el proveedor.
(42) Con el objetivo de mitigar los riesgos que presentan para los implementadores y las personas afectadas los sistemas de IA de alto riesgo que se introducen en el mercado o ponen en servicio en la Unión, es preciso aplicar ciertos requisitos obligatorios que tengan en cuenta la finalidad prevista o los usos indebidos razonablemente previsibles del sistema y estén en consonancia con el sistema de gestión de riesgos que debe establecer el proveedor. Estos requisitos deben estar orientados a objetivos y ser adecuados para su finalidad, razonables y eficaces, sin añadir cargas normativas o costes indebidos para los operadores.
Enmienda 77 Propuesta de Reglamento Considerando 43
(43) Deben aplicarse a los sistemas de IA de alto riesgo requisitos referentes a la calidad de los conjuntos de datos utilizados, la documentación técnica y el registro, la transparencia y la comunicación de información a los usuarios, la vigilancia humana, la solidez, la precisión y la ciberseguridad. Dichos requisitos son necesarios para mitigar de forma efectiva los riesgos para la salud, la seguridad y los derechos fundamentales, según corresponda en función de la finalidad prevista del sistema, y no se dispone razonablemente de otras medidas menos restrictivas del comercio, con lo que se evitan restricciones injustificadas de este.
(43) Deben aplicarse a los sistemas de IA de alto riesgo requisitos referentes a la calidad y la pertinencia de los conjuntos de datos utilizados, la documentación técnica y el registro, la transparencia y la comunicación de información a los implementadores, la vigilancia humana, la solidez, la precisión y la ciberseguridad. Dichos requisitos son necesarios para mitigar de forma efectiva los riesgos para la salud, la seguridad y los derechos fundamentales, así como para el medio ambiente, la democracia y el Estado de Derecho, según corresponda en función de la finalidad prevista o el uso indebido razonablemente previsible del sistema, y no se dispone razonablemente de otras medidas menos restrictivas del comercio, con lo que se evitan restricciones injustificadas de este.
Enmienda 78 Propuesta de Reglamento Considerando 44
(44) Muchos sistemas de IA necesitan datos de alta calidad para funcionar correctamente, en especial cuando se emplean técnicas que implican el entrenamiento de modelos, con vistas a garantizar que el sistema de IA de alto riesgo funciona del modo previsto y en condiciones de seguridad y no se convierte en la fuente de alguno de los tipos de discriminación prohibidos por el Derecho de la Unión. Es preciso instaurar prácticas adecuadas de gestión y gobernanza de datos para lograr que los conjuntos de datos de entrenamiento, validación y prueba sean de buena calidad. Los conjuntos de datos de entrenamiento, validación y prueba deben ser lo suficientemente pertinentes y representativos, carecer de errores y ser completos en vista de la finalidad prevista del sistema. Asimismo, deben tener las propiedades estadísticas adecuadas, también en lo que respecta a las personas o los grupos de personas en las que en un principio se usará el sistema de IA de alto riesgo. En concreto, los conjuntos de datos de entrenamiento, validación y prueba deben tener en cuenta, en la medida necesaria en función de su finalidad prevista, los rasgos, características o elementos particulares del entorno o contexto geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA. Con el fin de proteger los derechos de terceros frente a la discriminación que podría provocar el sesgo de los sistemas de IA, los proveedores deben ser capaces de tratar también categorías especiales de datos personales, como cuestión de interés público esencial, para garantizar que el sesgo de los sistemas de IA de alto riesgo se vigile, detecte y corrija.
(44) El acceso a datos de alta calidad es esencial a la hora de proporcionar una estructura y garantizar el funcionamiento de muchos sistemas de IA, en especial cuando se emplean técnicas que implican el entrenamiento de modelos, con vistas a garantizar que el sistema de IA de alto riesgo funciona del modo previsto y en condiciones de seguridad y no se convierte en una fuente de alguno de los tipos de discriminación prohibidos por el Derecho de la Unión. Es preciso instaurar prácticas adecuadas de gestión y gobernanza de datos para lograr que los conjuntos de datos de entrenamiento, validación y prueba sean de buena calidad. Los conjuntos de datos de entrenamiento y, en su caso, de validación y prueba, incluidas las etiquetas, deben ser lo suficientemente pertinentes y representativos, adecuadamente examinados en busca de errores y tan completos como sea posible en vista de la finalidad prevista del sistema. Asimismo, deben tener las propiedades estadísticas adecuadas, también en lo que respecta a las personas o los grupos de personas en relación con las que en un principio se usará el sistema de IA de alto riesgo, prestando especial atención a la mitigación de los posibles sesgos en los conjuntos de datos, que podrían poner en riesgo los derechos fundamentales o dar lugar a resultados discriminatorios para las personas afectadas por el sistema de IA de alto riesgo. Los sesgos, por ejemplo, pueden ser inherentes a los conjuntos de datos subyacentes, especialmente cuando se utilizan datos históricos, introducidos por los desarrolladores de los algoritmos o generados cuando los sistemas se aplican en entornos del mundo real. Los resultados de los sistemas de IA dependen de los sesgos inherentes que tienden a aumentar gradualmente y, por tanto, perpetúan y amplifican la discriminación existente, en particular con respecto a las personas pertenecientes a determinados grupos vulnerables o étnicos o comunidades racializadas. En concreto, los conjuntos de datos de entrenamiento, validación y prueba deben tener en cuenta, en la medida necesaria en función de su finalidad prevista, los rasgos, características o elementos particulares del entorno o contexto geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA. Con el fin de proteger los derechos de terceros frente a la discriminación que podría provocar el sesgo de los sistemas de IA, con carácter excepcional y tras la aplicación de todas las condiciones aplicables establecidas en el presente Reglamento y en el Reglamento (UE) 2016/679; la Directiva (UE) 2016/680 y el Reglamento (UE) 2018/1725, los proveedores deben ser capaces de tratar también categorías especiales de datos personales, como cuestión de interés público esencial, para garantizar que el sesgo negativo de los sistemas de IA de alto riesgo se detecte y corrija. Por sesgo negativo debe entenderse un sesgo que crea un efecto discriminatorio directo o indirecto contra una persona física. Los requisitos relacionados con la gobernanza de los datos pueden cumplirse recurriendo a terceros que ofrezcan servicios certificados de cumplimiento, incluida la verificación de la gobernanza de los datos, la integridad de los conjuntos de datos y las prácticas de entrenamiento, validación y ensayo de datos.
Enmienda 79 Propuesta de Reglamento Considerando 45
(45) Para poder desarrollar sistemas de IA de alto riesgo, determinados agentes, tales como proveedores, organismos notificados y otras entidades pertinentes, como centros de innovación digital, centros de ensayo y experimentación e investigadores, deben tener acceso a conjuntos de datos de alta calidad en sus respectivos campos de actividad relacionados con el presente Reglamento y poder utilizarlos. Los espacios comunes europeos de datos establecidos por la Comisión y la facilitación del intercambio de datos entre empresas y con los Gobiernos en aras del interés público serán esenciales para brindar un acceso fiable, responsable y no discriminatorio a datos de alta calidad con los que entrenar, validar y probar los sistemas de IA. Por ejemplo, en el ámbito de la salud, el espacio europeo de datos sanitarios facilitará el acceso no discriminatorio a datos sanitarios y el entrenamiento, a partir de esos conjuntos de datos, de algoritmos de inteligencia artificial de una manera segura, oportuna, transparente y fiable que respete la privacidad, y contando con la debida gobernanza institucional. Las autoridades competentes pertinentes, incluidas las sectoriales, que proporcionan acceso a datos o lo facilitan también pueden contribuir al suministro de datos de alta calidad orientados a entrenar, validar y probar sistemas de IA.
(45) Para poder desarrollar y evaluar sistemas de IA de alto riesgo, determinados agentes, tales como proveedores, organismos notificados y otras entidades pertinentes, como centros de innovación digital, centros de ensayo y experimentación e investigadores, deben tener acceso a conjuntos de datos de alta calidad en sus respectivos campos de actividad relacionados con el presente Reglamento y poder utilizarlos. Los espacios comunes europeos de datos establecidos por la Comisión y la facilitación del intercambio de datos entre empresas y con los Gobiernos en aras del interés público serán esenciales para brindar un acceso fiable, responsable y no discriminatorio a datos de alta calidad con los que entrenar, validar y probar los sistemas de IA. Por ejemplo, en el ámbito de la salud, el espacio europeo de datos sanitarios facilitará el acceso no discriminatorio a datos sanitarios y el entrenamiento, a partir de esos conjuntos de datos, de algoritmos de inteligencia artificial de una manera segura, oportuna, transparente y fiable que respete la privacidad, y contando con la debida gobernanza institucional. Las autoridades competentes pertinentes, incluidas las sectoriales, que proporcionan acceso a datos o lo facilitan también pueden contribuir al suministro de datos de alta calidad orientados a entrenar, validar y probar sistemas de IA.
Enmienda 80 Propuesta de Reglamento Considerando 45 bis (nuevo)
(45 bis) El derecho a la privacidad y a la protección de datos personales debe garantizarse a lo largo de todo el ciclo de vida del sistema de IA. A este respecto, los principios de minimización de datos y de protección de datos desde el diseño y por defecto, tal como se establecen en la legislación de la Unión en materia de protección de datos, son esenciales cuando el tratamiento de datos entraña riesgos significativos para los derechos fundamentales de las personas. Los proveedores y los usuarios de sistemas de IA deben aplicar medidas técnicas y organizativas conforme al estado de la técnica al objeto de proteger esos derechos. Dichas medidas deben incluir no solo la anonimización y el cifrado, sino también el uso de una tecnología cada vez más disponible que permite introducir algoritmos en los datos y obtener información valiosa sin la transmisión entre las partes ni la copia innecesaria de los propios datos en bruto o estructurados.
Enmienda 81 Propuesta de Reglamento Considerando 46
(46) Para verificar si los sistemas de IA de alto riesgo cumplen los requisitos previstos en el presente Reglamento, resulta esencial disponer de información sobre el modo en que se han desarrollado y sobre su funcionamiento durante todo su ciclo de vida. A tal fin, es preciso llevar registros y disponer de documentación técnica que contenga la información necesaria para evaluar si el sistema de IA en cuestión cumple los requisitos pertinentes. Dicha información debe incluir, en particular, las características, capacidades y limitaciones generales del sistema; los algoritmos; los datos; los procesos de entrenamiento, pruebo y validación empleados, y documentación sobre el sistema de gestión de riesgos pertinente. La documentación técnica debe mantenerse actualizada.
(46) Para verificar si los sistemas de IA de alto riesgo cumplen los requisitos previstos en el presente Reglamento, resulta esencial disponer de información comprensible sobre el modo en que se han desarrollado y sobre su funcionamiento durante toda su vida útil. A tal fin, es preciso llevar registros y disponer de documentación técnica que contenga la información necesaria para evaluar si el sistema de IA en cuestión cumple los requisitos pertinentes. Dicha información debe incluir, en particular, las características, capacidades y limitaciones generales del sistema; los algoritmos; los datos; los procesos de entrenamiento, pruebo y validación empleados, y documentación sobre el sistema de gestión de riesgos pertinente. La documentación técnica debe mantenerse adecuadamente actualizada a lo largo de todo el ciclo de vida del sistema de IA. Los sistemas de IA pueden tener un gran impacto medioambiental y un elevado consumo de energía durante su ciclo de vida. Con el fin de comprender mejor el impacto de los sistemas de IA en el medio ambiente, la documentación técnica elaborada por los proveedores debe incluir información sobre el consumo de energía del sistema de IA, también el consumo durante su desarrollo y el consumo previsto durante el uso. Dicha información debe tener en cuenta la legislación de la Unión y nacional pertinente. La información comunicada debe ser comprensible, comparable y verificable y, a tal fin, la Comisión debe elaborar directrices sobre una metodología armonizada para el cálculo y la notificación de esta información. Para garantizar que sea posible una única documentación, deberán armonizarse en la medida de lo posible los términos y definiciones relacionados con la documentación requerida y cualquier documentación exigida en la legislación sectorial pertinente de la Unión.
Enmienda 82 Propuesta de Reglamento Considerando 46 bis (nuevo)
(46 bis) Los sistemas de IA deben tener en cuenta los métodos correspondientes al estado de la técnica y las normas aplicables pertinentes para reducir el consumo de energía, el uso de recursos y la generación de residuos, así como para aumentar la eficiencia energética, y la eficiencia general del sistema. Los aspectos medioambientales de los sistemas de IA que son significativos a efectos del presente Reglamento son el consumo de energía del sistema de IA en la fase de desarrollo, entrenamiento e implantación, así como el registro y la notificación y la conservación de estos datos. El diseño de los sistemas de IA debe permitir medir y registrar el consumo energético y de recursos en cada fase de desarrollo, entrenamiento y despliegue. El control y la notificación de las emisiones de los sistemas de IA deben ser sólidos, transparentes, coherentes y precisos. La Comisión, a fin de garantizar la aplicación uniforme del presente Reglamento y un ecosistema jurídico estable para los proveedores e implementadores en el mercado único, debe elaborar una especificación común de la metodología para cumplir el requisito de notificación y documentación sobre el consumo energético y de recursos durante el desarrollo, el entrenamiento y el despliegue. Esas especificaciones comunes sobre la metodología de medición pueden desarrollar una base de referencia sobre la que la Comisión pueda decidir mejor si son necesarias futuras intervenciones reguladoras, tras realizar una evaluación de impacto que tenga en cuenta la legislación vigente.
Enmienda 83 Propuesta de Reglamento Considerando 46 ter (nuevo)
(46 ter) Con vistas a alcanzar los objetivos del presente Reglamento y contribuir a los objetivos medioambientales de la Unión, garantizando al mismo tiempo el buen funcionamiento del mercado interior, puede ser necesario establecer recomendaciones y directrices y, en su caso, objetivos de sostenibilidad. A tal fin, la Comisión tiene derecho a desarrollar una metodología para contribuir a la adopción de indicadores clave de rendimiento (ICR) y una referencia para los Objetivos de Desarrollo Sostenible (ODS). El objetivo debe ser, en primer lugar, permitir una comparación equitativa entre las diferentes opciones de aplicación de la IA, ofreciendo incentivos para promover el uso de tecnologías de IA más eficientes que aborden las preocupaciones en materia de energía y recursos. Para alcanzar dicho objetivo, el presente Reglamento debe proporcionar los medios para establecer una recopilación de referencia de los datos notificados sobre las emisiones procedentes del desarrollo y el entrenamiento, así como para el despliegue;
Enmienda 84 Propuesta de Reglamento Considerando 47 bis (nuevo)
(47 bis) Dichos requisitos en materia de transparencia y de explicabilidad de la toma de decisiones por la IA también deben ayudar a contrarrestar los efectos disuasorios de la asimetría digital y los llamados «patrones oscuros», dirigidos contra las personas y su consentimiento informado.
Enmienda 85 Propuesta de Reglamento Considerando 49
(49) Los sistemas de IA de alto riesgo deben funcionar de manera consistente durante todo su ciclo de vida y presentar un nivel adecuado de precisión, solidez y ciberseguridad con arreglo al estado de la técnica generalmente reconocido. En este sentido, debe comunicarse a los usuarios el nivel de precisión y los parámetros empleados para medirla.
(49) Los sistemas de IA de alto riesgo deben funcionar de manera consistente durante todo su ciclo de vida y presentar un nivel adecuado de precisión, solidez y ciberseguridad con arreglo al estado de la técnica generalmente reconocido. Deben definirse los parámetros de rendimiento y el nivel esperado con el objetivo primordial de mitigar los riesgos y las repercusiones negativas del sistema de IA. Debe comunicarse a los implementadores los parámetros empleados para medir el nivel de rendimiento esperado de manera clara, transparente, fácilmente comprensible e inteligible.La declaración de los parámetros de rendimiento no puede considerarse prueba de los niveles futuros, pero deben aplicarse métodos pertinentes para garantizar niveles coherentes durante su uso. Aunque existen organizaciones de normalización para establecer normas, es necesario coordinar la evaluación comparativa para establecer cómo deben medirse estos requisitos y características normalizados de los sistemas de IA. La Oficina Europea de Inteligencia Artificial debe reunir a las autoridades nacionales e internacionales de metrología y de evaluación comparativa y proporcionar orientaciones no vinculantes para abordar los aspectos técnicos de cómo medir los niveles adecuados de rendimiento y solidez.
Enmienda 86 Propuesta de Reglamento Considerando 50
(50) La solidez técnica es un requisito clave para los sistemas de IA de alto riesgo, que deben ser resilientes a los riesgos asociados a las limitaciones del sistema (p. ej., errores, fallos, incoherencias o situaciones inesperadas), así como a acciones maliciosas que pueden poner en peligro su seguridad y dar lugar a conductas perjudiciales o indeseables por otros motivos. La incapacidad de protegerlos frente a estos riesgos podría tener consecuencias para la seguridad o afectar de manera negativa a los derechos fundamentales, por ejemplo, debido a la adopción de decisiones equivocadas o a que el sistema de IA en cuestión genere una información de salida errónea o sesgada.
(50) La solidez técnica es un requisito clave para los sistemas de IA de alto riesgo, que deben ser resilientes a los riesgos asociados a las limitaciones del sistema (p. ej., errores, fallos, incoherencias o situaciones inesperadas), así como a acciones maliciosas que pueden poner en peligro su seguridad y dar lugar a conductas perjudiciales o indeseables por otros motivos. La incapacidad de protegerlos frente a estos riesgos podría tener consecuencias para la seguridad o afectar de manera negativa a los derechos fundamentales, por ejemplo, debido a la adopción de decisiones equivocadas o a que el sistema de IA en cuestión genere una información de salida errónea o sesgada. Los usuarios del sistema de IA deben tomar medidas para garantizar que la posible compensación entre solidez y precisión no conduzca a resultados discriminatorios o negativos para subgrupos minoritarios.
Enmienda 87 Propuesta de Reglamento Considerando 51
(51) La ciberseguridad es fundamental para garantizar que los sistemas de IA resistan a las actuaciones de terceros maliciosos que, aprovechando las vulnerabilidades del sistema, traten de alterar su uso, conducta o funcionamiento o de poner en peligro sus propiedades de seguridad. Los ciberataques contra sistemas de IA pueden dirigirse contra elementos específicos de la IA, como los conjuntos de datos de entrenamiento (p. ej., contaminación de datos) o los modelos entrenados (p. ej., ataques adversarios), o aprovechar las vulnerabilidades de los elementos digitales del sistema de IA o la infraestructura de TIC subyacente. Por lo tanto, para asegurar un nivel de ciberseguridad adecuado a los riesgos, los proveedores de sistemas de IA de alto riesgo deben adoptar medidas adecuadas teniendo también en cuenta, cuando proceda, la infraestructura de TIC subyacente.
(51) La ciberseguridad es fundamental para garantizar que los sistemas de IA resistan a las actuaciones de terceros maliciosos que, aprovechando las vulnerabilidades del sistema, traten de alterar su uso, conducta o funcionamiento o de poner en peligro sus propiedades de seguridad. Los ciberataques contra sistemas de IA pueden dirigirse contra elementos específicos de la IA, como los conjuntos de datos de entrenamiento (p. ej., contaminación de datos) o los modelos entrenados (p. ej., ataques adversarios o contra la confidencialidad), o aprovechar las vulnerabilidades de los elementos digitales del sistema de IA o la infraestructura de TIC subyacente. Por lo tanto, para asegurar un nivel de ciberseguridad adecuado a los riesgos, los proveedores de sistemas de IA de alto riesgo, así como los organismos notificados, las autoridades nacionales competentes y las autoridades de vigilancia del mercado, deben adoptar medidas adecuadas teniendo también en cuenta, cuando proceda, la infraestructura de TIC subyacente. La IA de alto riesgo debe ir acompañada de parches y soluciones de seguridad durante la vida útil del producto o, en caso de ausencia de dependencia de un producto específico, durante un período de tiempo que deberá establecer el fabricante.
Enmienda 88 Propuesta de Reglamento Considerando 53 bis (nuevo)
(53 bis) Como signatarios de la Convención sobre los Derechos de las Personas con Discapacidad (CDPD), la Unión y todos los Estados miembros están legalmente obligados a proteger a las personas con discapacidad contra la discriminación y a promover su igualdad, a garantizar que las personas con discapacidad tengan acceso, en igualdad de condiciones con las demás, a las tecnologías y sistemas de la información y las comunicaciones, y a garantizar el respeto a la privacidad de las personas con discapacidad. Habida cuenta de la importancia y el uso crecientes de los sistemas de IA, la aplicación de los principios de diseño universal a todas las nuevas tecnologías y servicios debe garantizar un acceso pleno, igualitario y sin restricciones para todas las personas potencialmente afectadas por las tecnologías de IA o que las utilicen, incluidas las personas con discapacidad, de forma que se tenga plenamente en cuenta su dignidad y diversidad inherentes. Por tanto, es esencial que los proveedores garanticen el pleno cumplimiento de los requisitos de accesibilidad, incluidas la Directiva (UE) 2016/2102 y la Directiva (UE) 2019/882. Los proveedores deben garantizar el cumplimiento de estos requisitos desde el diseño. Por consiguiente, las medidas necesarias deben integrarse en la medida de lo posible en el diseño del sistema de IA de alto riesgo.
Enmienda 89 Propuesta de Reglamento Considerando 54
(54) El proveedor debe instaurar un sistema de gestión de la calidad sólido, velar por que se siga el procedimiento de evaluación de la conformidad necesario, elaborar la documentación pertinente y establecer un sistema sólido de seguimiento posterior a la comercialización. Las autoridades públicas que pongan en servicio sistemas de IA de alto riesgo para su propio uso pueden aprobar y aplicar las normas que regulen el sistema de gestión de la calidad en el marco del sistema de gestión de la calidad adoptado a escala nacional o regional, según proceda, teniendo en cuenta las particularidades del sector y las competencias y la organización de la autoridad pública en cuestión.
(54) El proveedor debe instaurar un sistema de gestión de la calidad sólido, velar por que se siga el procedimiento de evaluación de la conformidad necesario, elaborar la documentación pertinente y establecer un sistema sólido de seguimiento posterior a la comercialización. En el caso de los proveedores que ya dispongan de sistemas de gestión de la calidad basados en normas como la norma ISO 9001 u otras normas pertinentes, no debe esperarse un sistema de gestión de la calidad duplicado por completo, sino más bien una adaptación de sus sistemas existentes a determinados aspectos relacionados con el cumplimiento de los requisitos específicos del presente Reglamento. Esto también debe reflejarse en las futuras actividades de normalización o en las orientaciones adoptadas por la Comisión a este respecto. Las autoridades públicas que pongan en servicio sistemas de IA de alto riesgo para su propio uso pueden aprobar y aplicar las normas que regulen el sistema de gestión de la calidad en el marco del sistema de gestión de la calidad adoptado a escala nacional o regional, según proceda, teniendo en cuenta las particularidades del sector y las competencias y la organización de la autoridad pública en cuestión.
Enmienda 90 Propuesta de Reglamento Considerando 56
(56) Para facilitar la aplicación del presente Reglamento y ofrecer igualdad de condiciones a los operadores, es importante velar por que una persona establecida en la Unión pueda, en cualquier circunstancia, facilitar a las autoridades toda la información necesaria sobre el cumplimiento de un sistema de IA, teniendo en cuenta las distintas formas en que se pueden proporcionar productos digitales. Por lo tanto, cuando no se pueda identificar a un importador, antes de ofrecer sus sistemas de IA en la Unión los proveedores establecidos fuera de su territorio tendrán que designar, mediante un mandato escrito, a un representante autorizado que se encuentre en la Unión.
(56) Para facilitar la aplicación del presente Reglamento y ofrecer igualdad de condiciones a los operadores, es importante velar por que una persona establecida en la Unión pueda, en cualquier circunstancia, facilitar a las autoridades toda la información necesaria sobre el cumplimiento de un sistema de IA, teniendo en cuenta las distintas formas en que se pueden proporcionar productos digitales. Por lo tanto, antes de ofrecer sus sistemas de IA en la Unión los proveedores establecidos fuera de su territorio tendrán que designar, mediante un mandato escrito, a un representante autorizado que se encuentre en la Unión.
Enmienda 91 Propuesta de Reglamento Considerando 58
(58) Habida cuenta de las características de los sistemas de IA y de los riesgos que su uso puede conllevar para la seguridad y los derechos fundamentales, también en lo que respecta a la necesidad de garantizar la correcta vigilancia del funcionamiento de un sistema de IA en un contexto real, conviene definir las responsabilidades específicas de los usuarios. En particular, los usuarios deben utilizar los sistemas de IA de alto riesgo conforme a las instrucciones de uso. Además, es preciso definir otras obligaciones en relación con la vigilancia del funcionamiento de los sistemas de IA y con el registro, según proceda.
(58) Habida cuenta de las características de los sistemas de IA y de los riesgos que su uso puede conllevar para la seguridad y los derechos fundamentales, también en lo que respecta a la necesidad de garantizar la correcta vigilancia del funcionamiento de un sistema de IA en un contexto real, conviene definir las responsabilidades específicas de los implementadores. En particular, los implementadores deben utilizar los sistemas de IA de alto riesgo conforme a las instrucciones de uso. Además, es preciso definir otras obligaciones en relación con la vigilancia del funcionamiento de los sistemas de IA y con el registro, según proceda.
Enmienda 92 Propuesta de Reglamento Considerando 58 bis (nuevo)
(58 bis) Aunque los riesgos relacionados con los sistemas de IA pueden resultar de su diseño, también pueden derivarse del uso que se hace de ellos. Por consiguiente, los implementadores de un sistema de IA de alto riesgo desempeñan un papel crítico a la hora de garantizar que se protegen los derechos fundamentales, complementando las obligaciones del proveedor al desarrollar el sistema de IA. Los implementadores son los más indicados para comprender cómo se utilizará concretamente el sistema de IA de alto riesgo y pueden, por lo tanto, identificar potenciales riesgos significativos que no se previeron en la fase de desarrollo, debido a un conocimiento más preciso del contexto de uso y de las personas o los grupos de personas que podrían verse afectados, incluidos grupos marginados y vulnerables. Los implementadores deben identificar estructuras de gobernanza adecuadas en ese contexto específico de uso, como las disposiciones para la supervisión humana, los procedimientos de tramitación de reclamaciones y los procedimientos de recurso, ya que las opciones en las estructuras de gobernanza pueden ser decisivas para mitigar los riesgos para los derechos fundamentales en casos de uso concretos. Por lo tanto, a fin de garantizar de forma eficiente que se protegen los derechos fundamentales, el implementador de sistemas de IA de alto riesgo debe llevar a cabo una evaluación de su impacto en los derechos fundamentales antes de su puesta en funcionamiento. La evaluación de impacto debe acompañarse de un plan detallado que describa las medidas o herramientas que ayudarán a mitigar los riesgos detectados para los derechos fundamentales a más tardar desde el momento de su puesta en funcionamiento. Si no se puede identificar dicho plan, el implementador debe abstenerse de poner en funcionamiento el sistema. Al realizar la evaluación de impacto, el implementador debe notificarlo a la autoridad nacional de supervisión y, en la medida de lo posible, a las partes interesadas pertinentes, así como a los representantes de grupos de personas que puedan verse afectados por el sistema de IA, a fin de recabar la información pertinente que se considere necesaria para llevar a cabo la evaluación de impacto y se le anima a publicar en su sitio web en línea el resumen de su evaluación de impacto en materia de derechos fundamentales. Estas obligaciones no deben aplicarse a las pymes, que, dada la falta de recursos, podrían tener dificultades para llevar a cabo dicha consulta. No obstante, también deben esforzarse por hacer participar a dichos representantes cuando realicen su evaluación de impacto en los derechos fundamentales. Además, dado el impacto potencial y la necesidad de supervisión y control democráticos, los implementadores de sistemas de IA de alto riesgo que sean autoridades públicas o instituciones, órganos y organismos de la Unión, así como los implementadores que sean empresas designadas como guardianes de acceso en virtud del Reglamento (UE) 2022/1925, deben estar obligados a registrar el uso de cualquier sistema de IA de alto riesgo en una base de datos pública. Otros implementadores podrán registrarse voluntariamente.
Enmienda 93 Propuesta de Reglamento Considerando 59
(59) Conviene prever que el usuario del sistema de IA debe ser la persona física o jurídica, la autoridad pública, la agencia o el organismo de otra índole bajo cuya autoridad se utilice el sistema de IA, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional.
(59) Conviene prever que el implementador del sistema de IA debe ser la persona física o jurídica, la autoridad pública, la agencia o el organismo de otra índole bajo cuya autoridad se utilice el sistema de IA, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional.
Enmienda 94 Propuesta de Reglamento Considerando 60
(60) En vista de la complejidad de la cadena de valor de la inteligencia artificial, los terceros pertinentes, y en especial los involucrados en la venta y el suministro de software, herramientas y componentes de software, modelos preentrenados y datos, o los proveedores de servicios de red, deben cooperar, según corresponda, con los proveedores y usuarios para que estos cumplan las obligaciones estipuladas en el presente Reglamento y con las autoridades competentes que se mencionan en él.
(60) Dentro de la cadena de valor de la IA, numerosas entidades suministran a menudo herramientas y servicios, pero también componentes o procesos que el proveedor incorpora posteriormente al sistema de IA, en particular en relación con la recogida y pretratamiento de datos, el entrenamiento de modelos, el reentrenamiento de modelos, la prueba y evaluación de modelos, la integración en el software u otros aspectos del desarrollo de modelos. Las entidades en cuestión pueden comercializar su oferta directa o indirectamente, a través de interfaces como las API (interfaces de programación de aplicaciones) y distribuirla en el marco de licencias libres y de código abierto, pero también, y cada vez más, a través de plataformas para trabajadores de IA, reventa de parámetros entrenados, kits «hágalo usted mismo» para crear modelos o acceso de pago a una arquitectura de servicio de modelos para desarrollar y entrenar modelos. En vista de esta complejidad de la cadena de valor de la IA, todos los terceros pertinentes, y en particular los involucrados en el desarrollo, la venta y el suministro comercial de herramientas de software, componentes, modelos preentrenados o datos incorporados al sistema de IA, o los proveedores de servicios de red, deben —sin comprometer sus propios derechos de propiedad intelectual e industrial o secretos comerciales— facilitar la información, la formación o los conocimientos especializados requeridos y cooperar, según corresponda, con los proveedores para que estos tengan el control de todos los aspectos del sistema de IA sujeto al presente Reglamento que sean pertinentes para el cumplimiento de la normativa.A fin de permitir que la gobernanza de la cadena de valor de la IA sea eficiente en cuanto a los costes, todo tercero que suministre al proveedor una herramienta, un servicio, un componente o un proceso que el proveedor incorpore posteriormente al sistema de IA comunicará expresamente el nivel del control.
Enmienda 95 Propuesta de Reglamento Considerando 60 bis (nuevo)
(60 bis) Cuando una de las partes contratantes esté en una posición negociadora más fuerte, existe el riesgo de que se aproveche de ella en detrimento de la otra parte a la hora de negociar el suministro de herramientas, servicios, componentes o procesos que se utilicen o integren en un sistema de IA de alto riesgo, o las vías de recurso en caso de incumplimiento o rescisión de las obligaciones conexas. Estos desequilibrios contractuales perjudican especialmente a las microempresas y pymes, así como a las empresas emergentes (salvo que sean propiedad de una empresa capaz de compensar adecuadamente al subcontratista, o sean subcontratadas por una empresa así), ya que carecen de capacidad significativa para negociar las condiciones del acuerdo contractual y pueden no tener otra elección que la de aceptar determinadas cláusulas contractuales sin posibilidad de cambiarlas. Por consiguiente, las cláusulas contractuales abusivas que regulen el suministro de herramientas, servicios, componentes o procesos que se utilicen o integren en un sistema de IA de alto riesgo, o las vías de recurso en caso de incumplimiento o rescisión de las obligaciones conexas, no deben ser vinculantes para estas microempresas, pymes y empresas emergentes cuando se les hayan impuesto unilateralmente.
Enmienda 96 Propuesta de Reglamento Considerando 60 ter (nuevo)
(60 ter) Las normas sobre cláusulas contractuales deben tener en cuenta el principio de libertad contractual como concepto esencial en las relaciones entre empresas. Por lo tanto, no todas las cláusulas contractuales deben someterse a un control de su carácter abusivo, sino únicamente las impuestas unilateralmente a las microempresas, pymes y empresas emergentes. Se trata de situaciones del tipo «lo tomas o lo dejas» en las que una parte presenta una determinada cláusula contractual y la microempresa, pyme o empresa emergente no puede influir en el contenido de dicha cláusula pese a haber intentado negociarla. Una cláusula contractual que, simplemente, sea planteada por una de las partes y aceptada por la microempresa, la pyme o la empresa emergente, o una cláusula que se negocie y posteriormente se acuerde en forma modificada entre las partes contratantes, no debe considerarse impuesta unilateralmente.
Enmienda 97 Propuesta de Reglamento Considerando 60 quater (nuevo)
(60 quater) Además, las normas sobre cláusulas contractuales abusivas solo deben aplicarse a los elementos del contrato relacionados con el suministro de herramientas, servicios, componentes o procesos que se utilicen o integren en un sistema de IA de alto riesgo, o con las vías de recurso en caso de incumplimiento o rescisión de las obligaciones conexas. Las demás secciones del mismo contrato que no guarden relación con dichos elementos no deben estar sujetas al control del carácter abusivo establecido en el presente Reglamento.
Enmienda 98 Propuesta de Reglamento Considerando 60 quinquies (nuevo)
(60 quinquies) Los criterios para determinar las cláusulas contractuales abusivas solo deben aplicarse a cláusulas contractuales excesivas cuando se abuse de una posición negociadora más fuerte. La gran mayoría de las cláusulas contractuales que son comercialmente más favorables para una parte que para la otra, incluidas aquellas que son habituales en los contratos entre empresas, constituyen una expresión normal del principio de libertad contractual y siguen siendo aplicables. Si una cláusula contractual no figura en la lista de cláusulas que siempre se consideran abusivas, se aplicará la disposición general relativa al carácter abusivo. A este respecto, las cláusulas que figuran como abusivas deben servir como referencia para interpretar la disposición general relativa al carácter abusivo.
Enmienda 99 Propuesta de Reglamento Considerando 60 sexies (nuevo)
(60 sexies) Los modelos fundacionales son un avance reciente en el que se desarrollan modelos de IA a partir de algoritmos diseñados para optimizar la generalidad y versatilidad de la información de salida. A menudo, estos modelos se entrenan con un amplio abanico de fuentes de datos y grandes volúmenes de datos a fin de llevar a cabo una extensa gama de tareas posteriores, incluidas algunas para las que no han sido desarrollados y entrenados específicamente. El modelo fundacional puede ser unimodal o multimodal, y entrenarse con diferentes métodos como el aprendizaje supervisado o el aprendizaje reforzado. Los sistemas de IA con una finalidad prevista específica o los sistemas de IA de uso general pueden constituir aplicaciones concretas de un modelo fundacional, lo que significa que cada modelo fundacional puede reutilizarse en innumerables sistemas de IA de etapas posteriores o sistemas de IA de uso general. Estos modelos tienen una importancia cada vez mayor para numerosas aplicaciones y sistemas de etapas posteriores.
Enmienda 100 Propuesta de Reglamento Considerando 60 septies (nuevo)
(60 septies) En el caso de los modelos fundacionales proporcionados como servicio, por ejemplo a través del acceso a una API, la cooperación con los proveedores de etapas posteriores debe extenderse a lo largo de todo el período durante el que se presta dicho servicio y se proporciona asistencia para este a fin de permitir una mitigación adecuada de los riesgos, salvo que el proveedor del modelo fundacional transfiera el modelo de entrenamiento, así como información amplia y adecuada sobre los conjuntos de datos y el proceso de desarrollo del sistema, o restrinja el servicio, como el acceso a la API, de modo que el proveedor situado en una etapa posterior pueda cumplir plenamente el presente Reglamento sin asistencia adicional del proveedor original del modelo fundacional.
Enmienda 101 Propuesta de Reglamento Considerando 60 octies (nuevo)
(60 octies) A la vista de la naturaleza y la complejidad de la cadena de valor para los sistemas de IA, resulta esencial aclarar el papel de los agentes que contribuyen al desarrollo de dichos sistemas. Existe una incertidumbre significativa sobre el modo en que evolucionarán los modelos fundacionales, tanto en lo que se refiere a la tipología de los modelos como a su autogobernanza. Por ello resulta esencial aclarar la situación jurídica de los proveedores de modelos fundacionales. Teniendo en cuenta la complejidad de dichos modelos y su impacto imprevisible, así como la falta de control del proveedor de IA de etapas posteriores sobre el desarrollo del modelo fundacional y el consiguiente desequilibrio de poder, y con el fin de garantizar un reparto equitativo de las responsabilidades a lo largo de la cadena de valor de la IA, estos modelos deben estar sujetos a requisitos y obligaciones proporcionados y más específicos en el marco del presente Reglamento; concretamente, los modelos fundacionales deben evaluar y mitigar los posibles riesgos y perjuicios mediante un diseño, unas pruebas y un análisis adecuados, aplicar medidas de gobernanza de datos —en particular, una evaluación de los sesgos— y cumplir requisitos de diseño técnico que garanticen niveles adecuados de rendimiento, previsibilidad, interpretabilidad, corregibilidad, seguridad y ciberseguridad, así como cumplir las normas medioambientales. Estas obligaciones deben ir acompañadas de normas. Además, los modelos fundacionales deben estar sujetos a obligaciones en materia de información y elaborar toda la documentación técnica necesaria para que los posibles proveedores de etapas posteriores puedan cumplir con sus obligaciones derivadas del presente Reglamento. Los modelos fundacionales generativos deben garantizar la transparencia sobre el hecho de que el contenido ha sido generado por un sistema de IA y no por seres humanos. Estos requisitos y obligaciones específicas no implican considerar los modelos fundacionales como sistemas de IA de alto riesgo, pero deben garantizar que se logren los objetivos del presente Reglamento de asegurar un elevado nivel de protección de los derechos fundamentales, la salud y la seguridad, el medio ambiente, la democracia y el Estado de Derecho. Los modelos preentrenados desarrollados para un conjunto de aplicaciones más restringido, menos general y más limitado, que no pueden adaptarse para una amplia gama de tareas como los sistemas de IA simples para usos múltiples, no deben considerarse modelos fundacionales a efectos del presente Reglamento debido a su mayor interpretabilidad, que hace que su comportamiento sea menos imprevisible.
Enmienda 102 Propuesta de Reglamento Considerando 60 nonies (nuevo)
(60 nonies) Debido a la naturaleza de los modelos fundacionales, faltan conocimientos especializados en la evaluación de la conformidad, y los métodos de auditoría por terceros aún están en desarrollo. Por ello, el propio sector está desarrollando nuevas formas de evaluar los modelos fundacionales que cumplen en parte el objetivo de las auditorías; algunos ejemplos son la evaluación del modelo, los ataques simulados («equipos rojos») o las técnicas de verificación y validación del aprendizaje automático. Estas evaluaciones internas para los modelos fundacionales deben ser ampliamente aplicables (por ejemplo, independientemente de los canales de distribución, la modalidad y los métodos de desarrollo) para abordar los riesgos específicos de dichos modelos teniendo en cuenta las prácticas más avanzadas del sector, y centrarse en obtener una comprensión técnica y un control suficientes del modelo, gestionar los riesgos razonablemente previsibles, y realizar amplios análisis y pruebas del modelo empleando medidas adecuadas, por ejemplo recurriendo a evaluadores independientes. Dado que los modelos fundacionales son un avance nuevo en el campo de la inteligencia artificial y evolucionan con rapidez, conviene que la Comisión y la Oficina de IA lleven a cabo un seguimiento y una evaluación periódica del marco legislativo y de gobernanza de dichos modelos, y en particular de los sistemas de IA generativos basados en ellos, que plantean cuestiones de gran calado en relación con la generación de contenidos que vulneren la legislación de la Unión o la normativa sobre derechos de autor, así como con un posible uso indebido. Ha de aclararse que el presente Reglamento debe entenderse sin perjuicio de la legislación de la Unión en materia de derechos de autor y derechos conexos, en particular las Directivas 2001/29/CE, 2004/48/CE y (UE) 2019/790 del Parlamento Europeo y del Consejo.
Enmienda 103 Propuesta de Reglamento Considerando 61
(61) La normalización debe desempeñar un papel fundamental para proporcionar soluciones técnicas a los proveedores, a fin de garantizar el cumplimiento del presente Reglamento. Los proveedores deben cumplir las normas armonizadas definidas en el Reglamento (UE) n.º 1025/2012 del Parlamento Europeo y del Consejo54 para demostrar su conformidad con los requisitos previstos en el presente Reglamento. No obstante, la Comisión podría adoptar especificaciones técnicas comunes en aquellos ámbitos en los que no existan normas armonizadas o estas sean insuficientes.
(61) La normalización debe desempeñar un papel fundamental para proporcionar soluciones técnicas a los proveedores, a fin de garantizar el cumplimiento del presente Reglamento. Los proveedores deben cumplir las normas armonizadas definidas en el Reglamento (UE) n.º 1025/2012 del Parlamento Europeo y del Consejo [1] para demostrar su conformidad con los requisitos previstos en el presente Reglamento. A fin de velar por la eficacia de las normas como instrumento político para la Unión, y teniendo en cuenta la importancia de estas para garantizar la conformidad con los requisitos del presente Reglamento y para la competitividad de las empresas, es necesario asegurar una representación equilibrada de los intereses fomentando la participación de todas las partes interesadas pertinentes en la elaboración de normas. El proceso de normalización debe ser transparente en cuanto a las personas jurídicas y físicas que participan en las actividades de normalización.
__________________
__________________
54 Reglamento (UE) n.º 1025/2012 del Parlamento Europeo y del Consejo, de 25 de octubre de 2012, sobre la normalización europea, por el que se modifican las Directivas 89/686/CEE y 93/15/CEE del Consejo y las Directivas 94/9/CE, 94/25/CE, 95/16/CE, 97/23/CE, 98/34/CE, 2004/22/CE, 2007/23/CE, 2009/23/CE y 2009/105/CE del Parlamento Europeo y del Consejo y por el que se deroga la Decisión 87/95/CEE del Consejo y la Decisión n.º 1673/2006/CE del Parlamento Europeo y del Consejo (DO L 316 de 14.11.2012, p. 12).
54 Reglamento (UE) n.º 1025/2012 del Parlamento Europeo y del Consejo, de 25 de octubre de 2012, sobre la normalización europea, por el que se modifican las Directivas 89/686/CEE y 93/15/CEE del Consejo y las Directivas 94/9/CE, 94/25/CE, 95/16/CE, 97/23/CE, 98/34/CE, 2004/22/CE, 2007/23/CE, 2009/23/CE y 2009/105/CE del Parlamento Europeo y del Consejo y por el que se deroga la Decisión 87/95/CEE del Consejo y la Decisión n.º 1673/2006/CE del Parlamento Europeo y del Consejo (DO L 316 de 14.11.2012, p. 12).
Enmienda 104 Propuesta de Reglamento Considerando 61 bis (nuevo)
(61 bis) Para facilitar el cumplimiento normativo, la Comisión debe emitir las primeras peticiones de normalización a más tardar dos meses después de la entrada en vigor del presente Reglamento. Esto debe servir para mejorar la seguridad jurídica y así promover la inversión y la innovación en IA, así como la competitividad y el crecimiento del mercado de la Unión, a la vez que se fomenta una gobernanza multiparte en la que estén representadas todas las partes interesadas europeas pertinentes, como la Oficina de IA, las organizaciones y organismos europeos de normalización o los grupos de expertos creados en virtud de la correspondiente legislación sectorial de la Unión, así como la industria, las pymes, las empresas emergentes, la sociedad civil, los investigadores y los interlocutores sociales, y en último término debe facilitar la cooperación mundial en materia de normalización en el ámbito de la IA de un modo coherente con los valores de la Unión. Al preparar la petición de normalización, la Comisión debe consultar a la Oficina de IA y al foro consultivo sobre IA para recabar los conocimientos especializados pertinentes.
Enmienda 105 Propuesta de Reglamento Considerando 61 ter (nuevo)
(61 ter) Cuando los sistemas de IA estén destinados a su uso en el lugar de trabajo, las normas armonizadas deben limitarse a las especificaciones y los procedimientos técnicos.
Enmienda 106 Propuesta de Reglamento Considerando 61 quater (nuevo)
(61 quater) La Comisión debe estar facultada para adoptar especificaciones comunes en determinadas condiciones cuando no exista una norma armonizada pertinente o para responder a preocupaciones específicas relativas a los derechos fundamentales. A lo largo de todo el proceso de redacción, la Comisión debe consultar periódicamente a la Oficina de IA y a su foro consultivo, a las organizaciones y organismos europeos de normalización o a los grupos de expertos creados en virtud de la correspondiente legislación sectorial de la Unión, así como a la industria, las pymes, las empresas emergentes, la sociedad civil, los investigadores y los interlocutores sociales.
Enmienda 107 Propuesta de Reglamento Considerando 61 quinquies (nuevo)
(61 quinquies) Al adoptar especificaciones comunes, la Comisión debe buscar una armonización de la regulación de la IA con socios mundiales afines, lo que resulta fundamental para fomentar la innovación y las asociaciones transfronterizas en el ámbito de la IA, ya que la coordinación con socios afines en los organismos internacionales de normalización reviste gran importancia.
Enmienda 108 Propuesta de Reglamento Considerando 62
(62) Antes de su introducción en el mercado o puesta en servicio, los sistemas de IA de alto riesgo deben someterse a una evaluación de la conformidad que garantice que son altamente fiables.
(62) Antes de su introducción en el mercado o puesta en servicio, los sistemas de IA de alto riesgo deben someterse a una evaluación de la conformidad que garantice que son altamente fiables. Con el fin de fomentar la confianza en la cadena de valor y de ofrecer certidumbre a las empresas respecto al rendimiento de sus sistemas, los terceros que suministren componentes de IA podrán solicitar voluntariamente una evaluación externa de la conformidad.
Enmienda 109 Propuesta de Reglamento Considerando 64
(64) Puesto que los profesionales que realizan la certificación previa a la comercialización tienen una experiencia más amplia en el campo de la seguridad de los productos, y habida cuenta de la diferente naturaleza de los riesgos implicados, procede limitar, al menos en la fase inicial de aplicación del presente Reglamento, el alcance de las evaluaciones de la conformidad realizadas por terceros a los sistemas de IA de alto riesgo que no están asociados a productos. En consecuencia, el proveedor es quien, por norma general, debe llevar a cabo la evaluación de la conformidad de dichos sistemas bajo su propia responsabilidad, con la única excepción de los sistemas de IA que están destinados a utilizarse para la identificación biométrica remota de personas. En el caso de estos últimos, y en la medida en que no estén prohibidos, debe preverse que un organismo notificado participe en la evaluación de la conformidad.
(64) Ante la complejidad de los sistemas de IA de alto riesgo y los riesgos asociados a ellos, resulta esencial desarrollar una capacidad más adecuada para someterlos a evaluaciones externas de la conformidad. No obstante, dada la experiencia actual de los profesionales que realizan la certificación previa a la comercialización en el campo de la seguridad de los productos, y habida cuenta de la diferente naturaleza de los riesgos implicados, procede limitar, al menos en la fase inicial de aplicación del presente Reglamento, el alcance de las evaluaciones de la conformidad realizadas por terceros a los sistemas de IA de alto riesgo que no están asociados a productos. En consecuencia, el proveedor es quien, por norma general, debe llevar a cabo la evaluación de la conformidad de dichos sistemas bajo su propia responsabilidad, con la única excepción de los sistemas de IA que están destinados a utilizarse para la identificación biométrica remota de personas o para la inferencia de características personales de personas físicas a partir de datos biométricos o datos de base biométrica, incluidos los sistemas de reconocimiento de las emociones. En el caso de estos últimos, y en la medida en que no estén prohibidos, debe preverse que un organismo notificado participe en la evaluación de la conformidad.
Enmienda 110 Propuesta de Reglamento Considerando 65
(65) En virtud del presente Reglamento, las autoridades nacionales competentes deben designar a los organismos notificados que realizarán la evaluación externa de la conformidad de los sistemas de IA destinados a utilizarse para la identificación biométrica remota de personas, siempre y cuando cumplan una serie de requisitos, fundamentalmente en lo que respecta a su independencia, sus competencias y la ausencia de conflictos de intereses.
(65) En virtud del presente Reglamento, las autoridades nacionales competentes deben designar a los organismos notificados que realizarán las evaluaciones externas de la conformidad, cuando así se les exija, siempre y cuando cumplan una serie de requisitos, fundamentalmente en lo que respecta a su independencia, sus competencias y la ausencia de conflictos de intereses, así como a requisitos mínimos de ciberseguridad. Los Estados miembros deben fomentar la designación de un número suficiente de organismos de evaluación de la conformidad para permitir que la certificación sea factible en unos plazos adecuados. Los procedimientos de evaluación, designación, notificación y seguimiento de los organismos de evaluación de la conformidad deben llevarse a cabo de la manera más uniforme posible en los distintos Estados miembros con el fin de eliminar las barreras fronterizas administrativas y garantizar que se aproveche el potencial del mercado interior.
Enmienda 111 Propuesta de Reglamento Considerando 65 bis (nuevo)
(65 bis) En consonancia con los compromisos de la Unión en el marco del Acuerdo sobre Obstáculos Técnicos al Comercio de la Organización Mundial del Comercio, conviene maximizar la aceptación de los resultados de pruebas generados por los organismos de evaluación de la conformidad competentes, con independencia del territorio en el que estén establecidos, cuando resulte necesario para demostrar la conformidad con los requisitos aplicables del presente Reglamento. La Comisión debe estudiar activamente posibles instrumentos internacionales para ese fin, y en particular impulsar la posibilidad de establecer acuerdos de reconocimiento mutuo con países que presenten un grado de desarrollo técnico comparable y tengan un planteamiento compatible en relación con la IA y con la evaluación de la conformidad.
Enmienda 112 Propuesta de Reglamento Considerando 66
(66) En consonancia con la noción comúnmente establecida de «modificación sustancial» de los productos regulados por la legislación de armonización de la Unión, conviene que un sistema de IA se someta a una nueva evaluación de la conformidad cada vez que se produzca un cambio que pueda afectar al cumplimiento por su parte del presente Reglamento o cuando la finalidad prevista del sistema cambie. Por otro lado, en el caso de los sistemas de IA que siguen «aprendiendo» después de su introducción en el mercado o puesta en servicio (es decir, aquellos que adaptan automáticamente el modo en que desempeñan sus funciones), es necesario establecer normas que indiquen que no deben considerarse modificaciones sustanciales los cambios en el algoritmo y en su funcionamiento que hayan sido predeterminados por el proveedor y se hayan evaluado en el momento de la evaluación de la conformidad.
(66) En consonancia con la noción comúnmente establecida de «modificación sustancial» de los productos regulados por la legislación de armonización de la Unión, conviene que un sistema de IA de alto riesgo se someta a una nueva evaluación de la conformidad cada vez que se produzca un cambio no planificado que vaya más allá de cambios controlados o predeterminados realizados por el proveedor, incluido el aprendizaje continuado, y que pueda crear un riesgo nuevo inaceptable y afectar de forma significativa al cumplimiento del presente Reglamento por parte del sistema de IA de alto riesgo, o cuando la finalidad prevista del sistema cambie. Por otro lado, en el caso de los sistemas de IA que siguen «aprendiendo» después de su introducción en el mercado o puesta en servicio (es decir, aquellos que adaptan automáticamente el modo en que desempeñan sus funciones), es necesario establecer normas que indiquen que no deben considerarse modificaciones sustanciales los cambios en el algoritmo y en su funcionamiento que hayan sido predeterminados por el proveedor y se hayan evaluado en el momento de la evaluación de la conformidad. Lo mismo debe aplicarse a las actualizaciones del sistema de IA por motivos generales de seguridad y para protegerse frente a nuevas amenazas de manipulación del sistema, siempre que dichas actualizaciones no supongan una modificación sustancial.
Enmienda 113 Propuesta de Reglamento Considerando 67
(67) Los sistemas de IA de alto riesgo deben llevar el marcado CE para acreditar su conformidad con el presente Reglamento y así poder circular libremente por el mercado interno. Los Estados miembros no deben crear obstáculos injustificados a la introducción en el mercado o la puesta en servicio de sistemas de IA de alto riesgo que cumplan los requisitos establecidos en el presente Reglamento y lleven el marcado CE.
(67) Los sistemas de IA de alto riesgo deben llevar el marcado CE para acreditar su conformidad con el presente Reglamento y así poder circular libremente por el mercado interno. En el caso de los sistemas de IA de alto riesgo físicos, se debe colocar un marcado CE físico, que puede complementarse con un marcado CE digital. En el caso de los sistemas de IA de alto riesgo exclusivamente digitales, se debe utilizar un marcado CE digital. Los Estados miembros no deben crear obstáculos injustificados a la introducción en el mercado o la puesta en servicio de sistemas de IA de alto riesgo que cumplan los requisitos establecidos en el presente Reglamento y lleven el marcado CE.
Enmienda 114 Propuesta de Reglamento Considerando 68
(68) En determinadas condiciones, la rápida disponibilidad de tecnologías innovadoras puede ser crucial para la salud y la seguridad de las personas y para la sociedad en su conjunto. Por consiguiente, resulta oportuno que los Estados miembros puedan autorizar, por motivos excepcionales de seguridad pública o con vistas a proteger la vida y la salud de personas físicas y la propiedad industrial y mercantil, la introducción en el mercado o la puesta en servicio de sistemas de IA que no hayan sido sometidos a una evaluación de la conformidad.
(68) En determinadas condiciones, la rápida disponibilidad de tecnologías innovadoras puede ser crucial para la salud y la seguridad de las personas, para el medio ambiente y el cambio climático y para la sociedad en su conjunto. Por consiguiente, resulta oportuno que los Estados miembros puedan autorizar, por motivos excepcionales ligados a la protección de la vida y la salud de personas físicas, el medio ambiente y las infraestructuras críticas, la introducción en el mercado o la puesta en servicio de sistemas de IA que no hayan sido sometidos a una evaluación de la conformidad.
Enmienda 115 Propuesta de Reglamento Considerando 69
(69) Con el objetivo de facilitar la labor de la Comisión y de los Estados miembros en el ámbito de la inteligencia artificial, así como de incrementar la transparencia de cara al público, debe exigirse a los proveedores de sistemas de IA de alto riesgo que no están asociados a productos que entran dentro del ámbito de aplicación de la legislación de armonización vigente en la Unión que registren dichos sistemas en una base de datos de la UE, de cuya creación y gestión se encargará la Comisión. La Comisión debe ser la responsable del tratamiento de dicha base de datos, de conformidad con el Reglamento (UE) 2018/1725 del Parlamento Europeo y del Consejo55. Con vistas a garantizar la funcionalidad plena de la base de datos una vez que esté en funcionamiento, el procedimiento para su establecimiento debe incluir la elaboración de especificaciones funcionales por parte de la Comisión y la redacción de un informe de auditoría independiente.
(69) Con el objetivo de facilitar la labor de la Comisión y de los Estados miembros en el ámbito de la inteligencia artificial, así como de incrementar la transparencia de cara al público, debe exigirse a los proveedores de sistemas de IA de alto riesgo que no están asociados a productos que entran dentro del ámbito de aplicación de la legislación de armonización vigente en la Unión que registren dichos sistemas, así como sus modelos fundacionales, en una base de datos de la UE, de cuya creación y gestión se encargará la Comisión. Esta base de datos debe ser de acceso público y gratuito, ser fácil de comprender y ser legible electrónicamente. Además, debe ser sencilla en cuanto al manejo y la navegación, con funciones de búsqueda que, como mínimo, permitan al público general buscar específicamente en la base de datos un determinado sistema de alto riesgo, ubicación, categoría de riesgo con arreglo al anexo IV o palabra clave. Los implementadores que sean autoridades públicas o instituciones, órganos y organismos de la Unión, actúen en nombre de estos o sean empresas designadas como guardianes de acceso con arreglo al Reglamento (UE) 2022/1925 también deben registrarse en la base de datos de la UE antes de poner en servicio o utilizar un sistema de IA de alto riesgo por primera vez y después de cualquier modificación sustancial. Los demás implementadores deben poder efectuar dicho registro con carácter voluntario. Cualquier modificación sustancial de un sistema de IA de alto riesgo también debe registrarse en la base de datos de la UE. La Comisión debe ser la responsable del tratamiento de dicha base de datos, de conformidad con el Reglamento (UE) 2018/1725 del Parlamento Europeo y del Consejo55. Con vistas a garantizar la funcionalidad plena de la base de datos una vez que esté en funcionamiento, el procedimiento para su establecimiento debe incluir la elaboración de especificaciones funcionales por parte de la Comisión y la redacción de un informe de auditoría independiente. Al ejercer sus funciones como responsable del tratamiento de la base de datos de la UE, la Comisión debe tener en cuenta los riesgos de ciberseguridad y los riesgos vinculados a peligros. Con el fin de maximizar la disponibilidad y el uso de la base de datos por parte del público, la base de datos y la información que se pone a disposición a través de ella deben cumplir los requisitos establecidos en la Directiva 2019/882.
__________________
__________________
55 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos) (DO L 119 de 4.5.2016, p. 1).
55 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos) (DO L 119 de 4.5.2016, p. 1).
Enmienda 116 Propuesta de Reglamento Considerando 71
(71) La inteligencia artificial es una familia de tecnologías de rápida evolución que requiere nuevas formas de vigilancia regulatoria y un espacio seguro para la experimentación, así como que se garantice la innovación responsable y la integración de salvaguardias y medidas de reducción del riesgo adecuadas. Para conseguir un marco jurídico que favorezca la innovación, resista el paso del tiempo y sea resiliente a las perturbaciones, conviene animar a las autoridades nacionales competentes de uno o varios Estados miembros a que establezcan espacios controlados de pruebas para la inteligencia artificial que faciliten el desarrollo y la prueba de sistemas de IA innovadores bajo una estricta vigilancia regulatoria antes de su introducción en el mercado o puesta en servicio.
(71) La inteligencia artificial es una familia de tecnologías de rápida evolución que requiere vigilancia regulatoria y un espacio seguro y controlado para la experimentación, así como que se garantice la innovación responsable y la integración de salvaguardias éticas y medidas de reducción del riesgo adecuadas. Para conseguir un marco jurídico que promueva la innovación, resista el paso del tiempo y sea resiliente a las perturbaciones, los Estados miembros deben establecer al menos un espacio controlado de pruebas para la inteligencia artificial que facilite el desarrollo y la prueba de sistemas de IA innovadores bajo una estricta vigilancia regulatoria antes de su introducción en el mercado o puesta en servicio. Resulta en efecto deseable que la creación de espacios controlados de pruebas, que actualmente se deja a la voluntad de los Estados miembros, se convierta en una próxima etapa en una obligación con criterios definidos. El espacio controlado de pruebas también podría crearse conjuntamente con otro u otros Estados miembros, siempre que abarque el nivel nacional respectivo de los Estados miembros participantes. También pueden crearse espacios controlados de pruebas adicionales en distintos niveles, inclusive entre varios Estados miembros, para facilitar la cooperación y las sinergias transfronterizas. Salvo en el caso del espacio controlado de pruebas de nivel nacional, los Estados miembros también deben estar facultados para crear espacios controlados de pruebas virtuales o híbridos. Todos los espacios controlados de pruebas deben ser capaces de albergar productos tanto físicos como virtuales. Las autoridades que los creen deben también garantizar que los espacios controlados de pruebas dispongan de recursos financieros y humanos adecuados para su funcionamiento.
Enmienda 117 Propuesta de Reglamento Considerando 72
(72) Los espacios controlados de pruebas deben tener los objetivos de impulsar la innovación en el ámbito de la IA estableciendo un entorno de experimentación y prueba controlado en la fase de desarrollo y previa a la comercialización, con vistas a garantizar que los sistemas de IA innovadores cumplan lo dispuesto en el presente Reglamento y en otra legislación pertinente de la Unión y los Estados miembros; de redoblar la seguridad jurídica de que gozan los innovadores y favorecer la vigilancia de las autoridades competentes y su entendimiento de las oportunidades, los riesgos emergentes y las consecuencias del uso de la IA; y de acelerar el acceso a los mercados eliminando las barreras para las pequeñas y medianas empresas (pymes) y las empresas emergentes, entre otras medidas. Para garantizar una aplicación uniforme en toda la Unión y conseguir economías de escala, resulta oportuno establecer normas comunes para la creación de espacios controlados de pruebas, así como un marco para la cooperación entre las autoridades pertinentes implicadas en la supervisión de dichos espacios. El presente Reglamento debe sentar la base jurídica para utilizar los datos personales recabados para otros fines en el desarrollo de determinados sistemas de IA en aras del interés público en el espacio controlado de pruebas para la IA, con arreglo al artículo 6, apartado 4, del Reglamento (UE) 2016/679 y al artículo 6 del Reglamento (UE) 2018/1725, y sin perjuicio de lo dispuesto en el artículo 4, apartado 2, de la Directiva (UE) 2016/680. Los participantes en el espacio de pruebas deben proporcionar las salvaguardias adecuadas y cooperar con las autoridades competentes, entre otras cosas, siguiendo sus indicaciones y actuando con rapidez y de buena fe para mitigar cualquier posible alto riesgo para la seguridad y los derechos fundamentales que pueda surgir durante el desarrollo y la experimentación en dicho espacio. Cuando decidan si imponen o no una multa administrativa en virtud del artículo 83, apartado 2, del Reglamento 2016/679 y del artículo 57 de la Directiva 2016/680, las autoridades competentes deben tener en cuenta la conducta de los participantes en el espacio de pruebas.
(72) Los espacios controlados de pruebas deben tener los objetivos siguientes: que las autoridades que creen dichos espacios adquieran una mayor comprensión de los avances técnicos, mejoren los métodos de supervisión y proporcionen orientaciones a los desarrolladores y proveedores de sistemas de IA para lograr el cumplimiento del presente Reglamento o, cuando sea pertinente, de otra legislación aplicable de la Unión y los Estados miembros, así como de la Carta de los Derechos Fundamentales; que los proveedores potenciales permitan y faciliten las pruebas y el desarrollo de soluciones innovadoras relacionadas con sistemas de IA en la fase previa a la comercialización a fin de redoblar la seguridad jurídica, permitir que las autoridades creadoras de los espacios de pruebas mejoren su aprendizaje reglamentario en un entorno controlado para elaborar mejores orientaciones, y determinar posibles mejoras futuras del marco jurídico mediante el procedimiento legislativo ordinario. Cualquier riesgo significativo detectado durante el proceso de desarrollo y prueba de estos sistemas de IA debe dar lugar ala adopción inmediata de medidas de mitigación y, en su defecto, a la suspensión del proceso de desarrollo y prueba hasta que se adopten dichas medidas. Para garantizar una aplicación uniforme en toda la Unión y conseguir economías de escala, resulta oportuno establecer normas comunes para la creación de espacios controlados de pruebas, así como un marco para la cooperación entre las autoridades pertinentes implicadas en la supervisión de dichos espacios. Los Estados miembros deben velar por que exista una amplia disponibilidad de espacios controlados de pruebas en toda la Unión, aunque la participación debe ser voluntaria. Es especialmente importante garantizar que las pymes y las empresas emergentes puedan acceder fácilmente a estos espacios controlados de pruebas, que se las involucre de forma activa y que participen en el desarrollo y las pruebas de sistemas innovadores de IA para poder aportar sus conocimientos y experiencia.
Enmienda 118 Propuesta de Reglamento Considerando 72 bis (nuevo)
(72 bis) El presente Reglamento debe sentar la base jurídica para utilizar los datos personales recabados para otros fines en el desarrollo de determinados sistemas de IA en aras del interés público en el espacio controlado de pruebas para la IA únicamente en determinadas condiciones, con arreglo al artículo 6, apartado 4, del Reglamento (UE) 2016/679 y al artículo 6 del Reglamento (UE) 2018/1725, y sin perjuicio de lo dispuesto en el artículo 4, apartado 2, de la Directiva (UE) 2016/680. Los proveedores potenciales que participen en el espacio de pruebas deben proporcionar las salvaguardias adecuadas y cooperar con las autoridades competentes, en particular siguiendo sus orientaciones y actuando con rapidez y de buena fe para mitigar cualquier alto riesgo para la seguridad, la salud, el medio ambiente y los derechos fundamentales que pueda surgir durante el desarrollo y la experimentación en dicho espacio. A la hora de decidir si suspenden de manera temporal o permanente la participación de un proveedor potencial en el espacio controlado de pruebas o si le imponen o no una multa administrativa en virtud del artículo 83, apartado 2, del Reglamento 2016/679 y del artículo 57 de la Directiva 2016/680, las autoridades competentes deben tener en cuenta la conducta de dicho proveedor potencial en el espacio controlado de pruebas.
Enmienda 119 Propuesta de Reglamento Considerando 72 ter (nuevo)
(72 ter) A fin de garantizar que la IA conduzca a resultados positivos desde el punto de vista social y medioambiental, los Estados miembros deben respaldar y promover la investigación y el desarrollo de IA en apoyo a tales resultados asignando recursos suficientes, incluidos fondos públicos y de la Unión, y concediendo acceso prioritario a los espacios controlados de pruebas a los proyectos dirigidos por la sociedad civil. Dichos proyectos deben basarse en el principio de cooperación interdisciplinaria entre desarrolladores de IA, expertos en desigualdad y no discriminación, en accesibilidad y en derechos del consumidor, medioambientales y digitales, y representantes del mundo académico.
Enmienda 120 Propuesta de Reglamento Considerando 73
(73) Para promover y proteger la innovación, es importante tener en particular consideración los intereses de los proveedores y los usuarios de sistemas de IA a pequeña escala. A tal fin, los Estados miembros deben desarrollar iniciativas en materia de concienciación y comunicación de información, entre otros aspectos, dirigidas a dichos operadores. Asimismo, los organismos notificados deben tener en cuenta las necesidades y los intereses específicos de los proveedores a pequeña escala cuando establezcan las tasas aplicables a las evaluaciones de la conformidad. Los costes de traducción ligados a la documentación obligatoria y a la comunicación con las autoridades pueden ser considerables para los proveedores y otros operadores, en especial para los de menor tamaño. En la medida de lo posible, los Estados miembros deben procurar que una de las lenguas en las que acepten que los proveedores presenten la documentación pertinente y que pueda usarse para la comunicación con los operadores sea ampliamente conocida por el mayor número posible de usuarios transfronterizos.
(73) Para promover y proteger la innovación, es importante tener en particular consideración los intereses de los proveedores y los usuarios de sistemas de IA a pequeña escala. A tal fin, los Estados miembros deben desarrollar iniciativas sobre alfabetización en materia de IA, concienciación y comunicación de información, entre otros aspectos, dirigidas a dichos operadores. Los Estados miembros deben utilizar los canales existentes y establecer, cuando proceda, nuevos canales específicos para la comunicación con las pymes, las empresas emergentes, los usuarios y otros agentes innovadores con objeto de formular orientaciones y responder a las dudas planteadas acerca de la aplicación del presente Reglamento. Estos canales existentes podrían incluir, entre otros, los equipos de respuesta a incidentes de seguridad informática de ENISA, las agencias nacionales de protección de datos, la plataforma de IA a la carta, los centros europeos de innovación digital y otros instrumentos pertinentes financiados a través de los programas de la Unión, así como las instalaciones de ensayo y experimentación establecidas por la Comisión y los Estados miembros a escala nacional o de la Unión. Cuando proceda, estos canales deben colaborar entre sí para generar sinergias y garantizar la homogeneidad de sus orientaciones para las empresas emergentes, las pymes y los usuarios. Asimismo, los organismos notificados deben tener en cuenta las necesidades y los intereses específicos de los proveedores a pequeña escala cuando establezcan las tasas aplicables a las evaluaciones de la conformidad. La Comisión evaluará periódicamente los costes de certificación y cumplimiento para las pymes y las empresas emergentes, en particular mediante consultas transparentes con las pymes, las empresas emergentes y los usuarios, y colaborará con los Estados miembros para reducir dichos costes en la medida de lo posible. Por ejemplo, los costes de traducción ligados a la documentación obligatoria y a la comunicación con las autoridades pueden ser considerables para los proveedores y otros operadores, en especial para los de menor tamaño. En la medida de lo posible, los Estados miembros deben procurar que una de las lenguas en las que acepten que los proveedores presenten la documentación pertinente y que pueda usarse para la comunicación con los operadores sea ampliamente conocida por el mayor número posible de usuarios transfronterizos. Las medianas empresas que hayan pasado recientemente de la categoría de pequeña a mediana en el sentido del anexo de la Recomendación 2003/361/CE (artículo 16) deben tener acceso a estas iniciativas y orientaciones durante el período que los Estados miembros consideren adecuado, ya que estas nuevas medianas empresas pueden a veces carecer de los recursos jurídicos y de la formación necesarios para garantizar la comprensión y el cumplimiento adecuados de las disposiciones.
Enmienda 121 Propuesta de Reglamento Considerando 74
(74) Con vistas a reducir al mínimo los riesgos para la aplicación derivados de la falta de conocimientos y experiencia en el mercado, y con el objetivo de facilitar que los proveedores y los organismos notificados cumplan las obligaciones que les impone el presente Reglamento, la plataforma de IA a la carta, los centros de innovación digital europeos y los centros de ensayo y experimentación establecidos por la Comisión y los Estados miembros a escala nacional o de la UE deben, en la medida de lo posible, contribuir a la aplicación de este Reglamento. En concreto, pueden proporcionar asistencia técnica y científica a los proveedores y organismos notificados en sus respectivas misiones y esferas de competencia.
(74) Con vistas a reducir al mínimo los riesgos para la aplicación derivados de la falta de conocimientos y experiencia en el mercado, y con el objetivo de facilitar que los proveedores y los organismos notificados cumplan las obligaciones que les impone el presente Reglamento, la plataforma de IA a la carta, los centros de innovación digital europeos y los centros de ensayo y experimentación establecidos por la Comisión y los Estados miembros a escala nacional o de la UE deben contribuir a la aplicación de este Reglamento. En concreto, pueden proporcionar asistencia técnica y científica a los proveedores y organismos notificados en sus respectivas misiones y esferas de competencia.
Enmienda 122 Propuesta de Reglamento Considerando 76
(76) Debe establecerse un Comité Europeo de Inteligencia Artificial que facilite la aplicación fluida, efectiva y armonizada del presente Reglamento. Dicho Comité debe encargarse de diversas tareas de asesoramiento. Entre otras cosas, debe emitir dictámenes, recomendaciones, informes de asesoramiento u orientaciones sobre asuntos relacionados con la aplicación de este Reglamento, en particular en lo que respecta a las especificaciones técnicas o las normas existentes en relación con los requisitos previstos en el presente Reglamento, y asesorar y apoyar a la Comisión en cuestiones específicas vinculadas a la inteligencia artificial.
(76) Con el fin de evitar la fragmentación, de garantizar el funcionamiento óptimo del mercado único y la aplicación efectiva y armonizada del presente Reglamento, de lograr un alto nivel de fiabilidad y de protección de la salud, la seguridad, los derechos fundamentales, el medio ambiente, la democracia y el Estado de Derecho en toda la Unión en lo que se refiere a los sistemas de IA, de apoyar activamente a las autoridades nacionales de supervisión y las instituciones, órganos y organismos de la Unión en asuntos relacionados con el presente Reglamento y de aumentar la aceptación de la inteligencia artificial en toda la Unión, debe crearse una Oficina de IA de la Unión Europea. La Oficina de IA debe tener personalidad jurídica, actuar con plena independencia y encargarse de diversas tareas de asesoramiento y coordinación, en particular la emisión de dictámenes, recomendaciones, informes de asesoramiento u orientaciones sobre asuntos relacionados con la aplicación de este Reglamento. Además, debe contar con una financiación y una dotación de personal adecuadas. Los Estados miembros deben proporcionar la dirección estratégica y el control de la Oficina de IA a través del comité de administración de la Oficina de IA, junto con la Comisión, el SEPD, la FRA y la ENISA. Un director ejecutivo debe encargarse de gestionar las actividades de la Oficina de IA y representarla. Las partes interesadas deben participar formalmente en la labor de la Oficina de IA a través de un foro consultivo, que debe garantizar una representación variada y equilibrada de las partes interesadas y asesorar a la Oficina de IA sobre cuestiones relacionadas con el presente Reglamento. En caso de que la creación de la Oficina de IA no sea suficiente para garantizar una aplicación plenamente coherente del presente Reglamento en toda la Unión, así como medidas de ejecución transfronterizas eficientes, debe considerarse la posibilidad de crear una Agencia de IA.
Enmienda 123 Propuesta de Reglamento Considerando 77
(77) Los Estados miembros desempeñan un papel clave en la aplicación y ejecución de este Reglamento. En este sentido, cada Estado miembro debe designar a una o varias autoridades nacionales competentes que se encarguen de supervisar su aplicación y ejecución. Con el fin de incrementar la eficiencia en términos de organización en los Estados miembros y establecer un punto de contacto oficial con el público y otros homólogos en los Estados miembros y la Unión, una autoridad nacional de cada Estado miembro debe ser designada autoridad nacional de supervisión.
(77) Cada Estado miembro debe designar a una autoridad nacional de supervisión que se encargue de supervisar la aplicación y ejecución del presente Reglamento y de representar a su Estado miembro en el consejo de administración de la Oficina de IA, con el fin de incrementar la eficiencia en términos de organización en los Estados miembros y establecer un punto de contacto oficial con el público y otros homólogos en los Estados miembros y la Unión. Cada autoridad nacional de supervisión debe actuar con total independencia en el desempeño de sus funciones y en el ejercicio de sus poderes de conformidad con el presente Reglamento.
Enmienda 124 Propuesta de Reglamento Considerando 77 bis (nuevo)
(77 bis) Las autoridades nacionales de supervisión deben supervisar la aplicación de lo dispuesto en el presente Reglamento y contribuir a su aplicación coherente en toda la Unión. A tal fin, deben cooperar entre sí, con las autoridades nacionales competentes pertinentes, con la Comisión y con la Oficina de IA.
Enmienda 125 Propuesta de Reglamento Considerando 77 ter (nuevo)
(77 ter) Los miembros y el personal de cada autoridad nacional de supervisión deben estar sujetos, de conformidad con el Derecho de la Unión o de los Estados miembros, al deber de secreto profesional, tanto durante su mandato como después del mismo, con relación a toda información confidencial de la que hayan tenido conocimiento en el desempeño de sus funciones o el ejercicio de sus poderes. Durante su mandato, dicho deber de secreto profesional ha de aplicarse en particular a los secretos comerciales y a la información recibida de personas físicas en relación con infracciones del presente Reglamento.
Enmienda 126 Propuesta de Reglamento Considerando 78
(78) Todos los proveedores de sistemas de IA de alto riesgo deben contar con un sistema de seguimiento posterior a la comercialización, con vistas a garantizar que puedan tener en cuenta la experiencia con el uso de esos sistemas de cara a mejorar los suyos y el proceso de diseño y desarrollo o de que puedan adoptar las medidas correctoras necesarias en el momento oportuno. Este sistema es también fundamental para asegurar que los posibles riesgos derivados de los sistemas de IA que siguen «aprendiendo» tras su introducción en el mercado o puesta en servicio se aborden de un modo más eficiente y oportuno. En este contexto, también procede exigir a los proveedores que cuenten con un sistema para comunicar a las autoridades pertinentes cualquier incidente grave o incumplimiento del Derecho interno y de la Unión que proteja los derechos fundamentales asociado al uso de sus sistemas de IA.
(78) Todos los proveedores de sistemas de IA de alto riesgo deben contar con un sistema de seguimiento posterior a la comercialización, con vistas a garantizar que puedan tener en cuenta la experiencia con el uso de esos sistemas de cara a mejorar los suyos y el proceso de diseño y desarrollo o de que puedan adoptar las medidas correctoras necesarias en el momento oportuno. Este sistema es también fundamental para asegurar que los posibles riesgos derivados de los sistemas de IA que siguen «aprendiendo» o evolucionando tras su introducción en el mercado o puesta en servicio se aborden de un modo más eficiente y oportuno. En este contexto, también procede exigir a los proveedores que cuenten con un sistema para comunicar a las autoridades pertinentes cualquier incidente grave o incumplimiento del Derecho interno y de la Unión —en particular, de la legislación que protege los derechos fundamentales y los derechos del consumidor— asociado al uso de sus sistemas de IA y adoptar las medidas correctoras adecuadas. Los implementadores también deben informar a las autoridades pertinentes de cualquier incidente grave o vulneración del Derecho interno y de la Unión derivado del uso de sus sistemas de IA cuando tengan conocimiento de tales incidentes graves o vulneraciones.
Enmienda 127 Propuesta de Reglamento Considerando 79
(79) Con el objetivo de garantizar el cumplimiento adecuado y efectivo de los requisitos y obligaciones previstos en el presente Reglamento, que constituye legislación armonizada de la Unión, debe aplicarse en su totalidad el sistema relativo a la vigilancia del mercado y la conformidad de los productos establecido por el Reglamento (UE) 2019/1020. Cuando sea necesario para el cumplimiento de su mandato, las autoridades o los organismos públicos nacionales que supervisen la aplicación del Derecho de la Unión que protege los derechos fundamentales, incluidos los organismos de igualdad, también deben tener acceso a la documentación que se cree en virtud del presente Reglamento.
(79) Con el objetivo de garantizar el cumplimiento adecuado y efectivo de los requisitos y obligaciones previstos en el presente Reglamento, que constituye legislación armonizada de la Unión, debe aplicarse en su totalidad el sistema relativo a la vigilancia del mercado y la conformidad de los productos establecido por el Reglamento (UE) 2019/1020. A efectos del presente Reglamento, las autoridades nacionales de supervisión deben actuar como autoridades de vigilancia del mercado para los sistemas de IA cubiertos por el presente Reglamento, salvo en el caso de los sistemas de IA cubiertos por el anexo II del presente Reglamento. En el caso de los sistemas de IA cubiertos por alguno de los actos jurídicos enumerados en el anexo II, las autoridades competentes en virtud de dichos actos deben seguir siendo la autoridad principal. Las autoridades nacionales de supervisión y las autoridades competentes en virtud de los actos jurídicos enumerados en el anexo II deben colaborar mutuamente siempre que resulte necesario. Cuando proceda, las autoridades competentes en virtud de los actos jurídicos enumerados en el anexo II deben enviar personal capacitado a la autoridad nacional de supervisión para ayudarla en el desempeño de sus tareas. A efectos del presente Reglamento, las autoridades nacionales de supervisión deben tener las mismas competencias y obligaciones que las autoridades de vigilancia del mercado con arreglo al Reglamento (UE) 2019/1020. Cuando sea necesario para el cumplimiento de su mandato, las autoridades o los organismos públicos nacionales que supervisen la aplicación del Derecho de la Unión que protege los derechos fundamentales, incluidos los organismos de igualdad, también deben tener acceso a la documentación que se cree en virtud del presente Reglamento. Una vez agotadas todas las demás formas razonables de evaluar o verificar la conformidad, y previa solicitud motivada, deberá darse acceso a la autoridad nacional de supervisión a los conjuntos de datos de entrenamiento, validación y prueba, así como al modelo entrenado y el modelo de entrenamiento del sistema de IA de alto riesgo, incluidos los correspondientes parámetros de modelo y su entorno de ejecución o funcionamiento. En casos de sistemas de software más sencillos a los que se aplique el presente Reglamento y que no estén basados en modelos entrenados, y cuando se hayan agotado todas las demás formas de verificar la conformidad, la autoridad nacional de supervisión podrá excepcionalmente tener acceso al código fuente previa solicitud motivada. Cuando se haya concedido a la autoridad nacional de supervisión acceso a los conjuntos de datos de entrenamiento, validación y prueba con arreglo al presente Reglamento, dicho acceso deberá llevarse a cabo con las herramientas y medios técnicos adecuados, en particular mediante acceso in situ y, en circunstancias excepcionales, acceso remoto. La autoridad nacional de supervisión debe tratar como confidencial toda la información obtenida —en particular, en su caso, el código fuente, el software y los datos— y respetar la legislación pertinente de la Unión en materia de protección de la propiedad intelectual e industrial y los secretos comerciales. Una vez concluida la investigación, la autoridad nacional de supervisión debe eliminar toda la información obtenida.
Enmienda 128 Propuesta de Reglamento Considerando 80
(80) La legislación de la Unión relativa a los servicios financieros contiene normas y requisitos en materia de gobernanza interna y gestión de riesgos que las entidades financieras reguladas deben cumplir durante la prestación de dichos servicios, y también cuando utilicen sistemas de IA. Para garantizar la aplicación y ejecución coherentes de las obligaciones previstas en el presente Reglamento, así como de las normas y los requisitos oportunos de la legislación de la Unión relativa a los servicios financieros, se ha de designar a las autoridades encargadas de supervisar y ejecutar dicha legislación, y en particular, cuando proceda, al Banco Central Europeo, como las autoridades competentes encargadas de supervisar la aplicación del presente Reglamento, también de cara a las actividades de vigilancia del mercado, en relación con los sistemas de IA proporcionados o usados por entidades financieras reguladas y supervisadas. Con vistas a aumentar la coherencia entre el presente Reglamento y las normas aplicables a las entidades de crédito reguladas por la Directiva 2013/36/UE del Parlamento Europeo y del Consejo56, conviene igualmente integrar el procedimiento de evaluación de la conformidad y algunas de las obligaciones procedimentales de los proveedores relativas a la gestión de riesgos, el seguimiento posterior a la comercialización y la documentación en las obligaciones y los procedimientos vigentes con arreglo a la Directiva 2013/36/UE. Para evitar solapamientos, también se deben contemplar excepciones limitadas en relación con el sistema de gestión de la calidad de los proveedores y la obligación de seguimiento impuesta a los usuarios de sistemas de IA de alto riesgo, en la medida en que estas se apliquen a las entidades de crédito reguladas por la Directiva 2013/36/UE.
(80) El Derecho de la Unión relativo a los servicios financieros contiene normas y requisitos en materia de gobernanza interna y gestión de riesgos que las entidades financieras reguladas deben cumplir durante la prestación de dichos servicios, y también cuando utilicen sistemas de IA. Para garantizar la aplicación y ejecución coherentes de las obligaciones previstas en el presente Reglamento, así como de las normas y los requisitos oportunos del Derecho de la Unión relativo a los servicios financieros, se ha de designar a las autoridades competentes encargadas de supervisar y ejecutar dicho Derecho, y en particular, cuando proceda, al Banco Central Europeo, como las autoridades competentes encargadas de supervisar la aplicación del presente Reglamento, también de cara a las actividades de vigilancia del mercado, en relación con los sistemas de IA proporcionados o usados por entidades financieras reguladas y supervisadas. Con vistas a aumentar la coherencia entre el presente Reglamento y las normas aplicables a las entidades de crédito reguladas por la Directiva 2013/36/UE del Parlamento Europeo y del Consejo56, conviene igualmente integrar el procedimiento de evaluación de la conformidad y algunas de las obligaciones procedimentales de los proveedores relativas a la gestión de riesgos, el seguimiento posterior a la comercialización y la documentación en las obligaciones y los procedimientos vigentes con arreglo a la Directiva 2013/36/UE. Para evitar solapamientos, también se deben contemplar excepciones limitadas en relación con el sistema de gestión de la calidad de los proveedores y la obligación de seguimiento impuesta a los implementadores de sistemas de IA de alto riesgo, en la medida en que estas se apliquen a las entidades de crédito reguladas por la Directiva 2013/36/UE.
__________________
__________________
56 Directiva 2013/36/UE del Parlamento Europeo y del Consejo, de 26 de junio de 2013, relativa al acceso a la actividad de las entidades de crédito y a la supervisión prudencial de las entidades de crédito y las empresas de inversión, por la que se modifica la Directiva 2002/87/CE y se derogan las Directivas 2006/48/CE y 2006/49/CE (DO L 176 de 27.6.2013, p. 338).
56 Directiva 2013/36/UE del Parlamento Europeo y del Consejo, de 26 de junio de 2013, relativa al acceso a la actividad de las entidades de crédito y a la supervisión prudencial de las entidades de crédito y las empresas de inversión, por la que se modifica la Directiva 2002/87/CE y se derogan las Directivas 2006/48/CE y 2006/49/CE (DO L 176 de 27.6.2013, p. 338).
Enmienda 129 Propuesta de Reglamento Considerando 80 bis (nuevo)
(80 bis) Habida cuenta de los objetivos del presente Reglamento —a saber, garantizar un nivel equivalente de protección de la salud, la seguridad y los derechos fundamentales de las personas físicas y garantizar la protección del Estado de Derecho y la democracia— y teniendo en cuenta que la mitigación de los riesgos de un sistema de IA para tales derechos puede no lograrse de manera suficiente a nivel nacional o estar sujeta a interpretaciones divergentes que, en última instancia, podrían dar lugar a un nivel desigual de protección de las personas físicas y provocar la fragmentación del mercado, las autoridades nacionales de supervisión deben estar facultadas para llevar a cabo investigaciones conjuntas o recurrir al procedimiento de salvaguardia de la Unión previsto en el presente Reglamento para su ejecución eficaz. Deben iniciarse investigaciones conjuntas cuando una autoridad nacional de supervisión tenga motivos suficientes para considerar que una infracción del presente Reglamento constituye una infracción generalizada o una infracción generalizada con dimensión en la Unión, o cuando el sistema de IA o el modelo fundacional presente un riesgo que afecte o pueda afectar a al menos 45 millones de personas en más de un Estado miembro.
Enmienda 130 Propuesta de Reglamento Considerando 82
(82) Es importante que los sistemas de IA asociados a productos que el presente Reglamento no considera de alto riesgo y que, por lo tanto, no están obligados a cumplir los requisitos establecidos en él sean, no obstante, seguros una vez introducidos en el mercado o puestos en servicio. Para contribuir a este objetivo, se aplicaría, como red de seguridad, la Directiva 2001/95/CE del Parlamento Europeo y del Consejo57.
(82) Es importante que los sistemas de IA asociados a productos que el presente Reglamento no considera de alto riesgo y que, por lo tanto, no están obligados a cumplir los requisitos establecidos para los sistemas de IA de alto riesgo sean, no obstante, seguros una vez introducidos en el mercado o puestos en servicio. Para contribuir a este objetivo, se aplicaría, como red de seguridad, la Directiva 2001/95/CE del Parlamento Europeo y del Consejo57.
__________________
__________________
57 Directiva 2001/95/CE del Parlamento Europeo y del Consejo, de 3 de diciembre de 2001, relativa a la seguridad general de los productos (DO L 11 de 15.1.2002, p. 4).
57 Directiva 2001/95/CE del Parlamento Europeo y del Consejo, de 3 de diciembre de 2001, relativa a la seguridad general de los productos (DO L 11 de 15.1.2002, p. 4).
Enmienda 131 Propuesta de Reglamento Considerando 83
(83) Todas las partes implicadas en la aplicación del presente Reglamento deben respetar la confidencialidad de la información y los datos que obtengan en el ejercicio de sus funciones, con vistas a garantizar la cooperación fiable y constructiva de las autoridades competentes en la Unión y a escala nacional.
(83) Con vistas a garantizar la cooperación fiable y constructiva de las autoridades competentes en la Unión y a escala nacional, todas las partes implicadas en la aplicación del presente Reglamento deben perseguir la transparencia y la apertura, respetando al mismo tiempo la confidencialidad de la información y los datos que obtengan en el ejercicio de sus funciones, mediante el establecimiento de medidas técnicas y organizativas para proteger la seguridad y confidencialidad de la información obtenida durante el desempeño de sus actividades, en particular cuando afecte a derechos de la propiedad intelectual e industrial o a intereses públicos y de seguridad nacional. Cuando las actividades de la Comisión, las autoridades nacionales competentes y los organismos notificados con arreglo al presente Reglamento den lugar a la infracción de derechos de propiedad intelectual e industrial, los Estados miembros preverán las medidas y vías de recurso necesarias para garantizar la observancia de dichos derechos en aplicación de la Directiva 2004/48/CE.
Enmienda 132 Propuesta de Reglamento Considerando 84
(84) Los Estados miembros deben tomar todas las medidas necesarias para asegurarse de que se apliquen las disposiciones del presente Reglamento, incluso estableciendo sanciones efectivas, proporcionadas y disuasorias para las infracciones que se cometan. En el caso de ciertas infracciones concretas, los Estados miembros deben tener en cuenta los márgenes y criterios establecidos en el presente Reglamento. El Supervisor Europeo de Protección de Datos debe estar facultado para imponer multas administrativas a las instituciones, las agencias y los organismos de la Unión comprendidos en el ámbito de aplicación del presente Reglamento.
(84) El cumplimiento del presente Reglamento debe garantizarse mediante la imposición de multas por parte de la autoridad nacional de supervisión en el marco de los procedimientos establecidos en el presente Reglamento. Los Estados miembros deben tomar todas las medidas necesarias para asegurarse de que se apliquen las disposiciones del presente Reglamento, incluso estableciendo sanciones efectivas, proporcionadas y disuasorias para las infracciones que se cometan. A fin de reforzar y armonizar las sanciones administrativas por infracción del presente Reglamento, deben establecerse los límites máximos para el establecimiento de las multas administrativas en el caso de ciertas infracciones concretas. A la hora de determinar la cuantía de las multas, las autoridades competentes nacionales deben tener en cuenta en cada caso concreto todas las circunstancias de la situación específica, considerando especialmente la naturaleza, gravedad y duración de la infracción, las consecuencias de esta y el tamaño del proveedor, en particular si este último es una pyme o una empresa emergente. El Supervisor Europeo de Protección de Datos debe estar facultado para imponer multas administrativas a las instituciones, las agencias y los organismos de la Unión comprendidos en el ámbito de aplicación del presente Reglamento. Las sanciones y las costas judiciales con arreglo al presente Reglamento no deben estar sujetos a cláusulas contractuales o cualquier otro convenio.
Enmienda 133 Propuesta de Reglamento Considerando 84 bis (nuevo)
(84 bis) Dado que los sistemas de IA pueden menoscabar gravemente los derechos y libertades de personas físicas y jurídicas y de grupos de personas físicas, es esencial que las personas físicas y jurídicas y los grupos de personas físicas tengan acceso significativo a mecanismos de denuncia y reparación y tengan derecho a acceder a vías de recurso proporcionadas y efectivas. Deben poder denunciar infracciones del presente Reglamento a su autoridad nacional de supervisión y tener el derecho a presentar reclamaciones contra los proveedores o implementadores de los sistemas de IA. En su caso, los implementadores deben proporcionar mecanismos de reclamación internos que puedan utilizar las personas físicas y jurídicas o los grupos de personas físicas. Sin perjuicio de cualquier otro recurso administrativo o extrajudicial, las personas físicas y jurídicas y los grupos de personas físicas también deben tener derecho a la tutela judicial efectiva en relación con una decisión jurídicamente vinculante de una autoridad nacional de supervisión que les afecte o cuando la autoridad nacional de supervisión no tramite una reclamación, no informe al reclamante de los avances o del resultado preliminar de la reclamación presentada o no cumpla su obligación de adoptar una decisión definitiva sobre la reclamación.
Enmienda 134 Propuesta de Reglamento Considerando 84 ter (nuevo)
(84 ter) Cuando los implementadores utilicen un sistema de IA de alto riesgo para asistir en la toma de decisiones o tomar decisiones relativas a personas físicas, siempre se deberá informar a las personas afectadas de su exposición a un sistema de IA de alto riesgo. Esta información puede proporcionar una base para que las personas afectadas ejerzan su derecho a recibir una explicación con arreglo al presente Reglamento. Cuando los implementadores proporcionen una explicación a las personas afectadas con arreglo al presente Reglamento, deben tener en cuenta el grado de conocimientos y especialización del consumidor o la persona medios.
Enmienda 135 Propuesta de Reglamento Considerando 84 quater (nuevo)
(84 quater) La legislación de la Unión en materia de protección de los denunciantes de irregularidades (Directiva (UE) 2019/1937) es de plena aplicación a los académicos, diseñadores, desarrolladores, contribuidores a proyectos, auditores, gestores de productos, ingenieros y operadores económicos que obtengan información sobre infracciones del Derecho de la Unión por parte de un proveedor de un sistema de IA o de su sistema de IA.
Enmienda 136 Propuesta de Reglamento Considerando 85
(85) Con el objetivo de garantizar que el marco reglamentario pueda adaptarse cuando sea necesario, debe delegarse en la Comisión el poder para adoptar actos previsto en el artículo 290 del TFUE, de modo que pueda modificar las técnicas y estrategias para definir sistemas de IA mencionadas en el anexo I, la legislación de armonización de la Unión indicada en el anexo II, la lista de sistemas de IA de alto riesgo del anexo III, las disposiciones relativas a la documentación técnica que figuran en el anexo IV, el contenido de la declaración UE de conformidad del anexo V, las disposiciones referentes a los procedimientos de evaluación de la conformidad que figuran en los anexos VI y VII, y las disposiciones que estipulan a qué sistemas de IA de alto riesgo debe aplicarse el procedimiento de evaluación de la conformidad basado en la evaluación del sistema de gestión de la calidad y en la evaluación de la documentación técnica. Reviste especial importancia que la Comisión lleve a cabo las consultas oportunas durante la fase preparatoria, en particular con expertos, y que esas consultas se realicen de conformidad con los principios establecidos en el Acuerdo interinstitucional sobre la mejora de la legislación de 13 de abril de 201658. En particular, a fin de garantizar una participación equitativa en la preparación de los actos delegados, el Parlamento Europeo y el Consejo reciben toda la documentación al mismo tiempo que los expertos de los Estados miembros, y sus expertos tienen acceso sistemáticamente a las reuniones de los grupos de expertos de la Comisión que se ocupen de la preparación de actos delegados.
(85) Con el objetivo de garantizar que el marco reglamentario pueda adaptarse cuando sea necesario, debe delegarse en la Comisión el poder para adoptar actos previsto en el artículo 290 del TFUE, de modo que pueda modificar la legislación de armonización de la Unión indicada en el anexo II, la lista de sistemas de IA de alto riesgo del anexo III, las disposiciones relativas a la documentación técnica que figuran en el anexo IV, el contenido de la declaración UE de conformidad del anexo V, las disposiciones referentes a los procedimientos de evaluación de la conformidad que figuran en los anexos VI y VII, y las disposiciones que estipulan a qué sistemas de IA de alto riesgo debe aplicarse el procedimiento de evaluación de la conformidad basado en la evaluación del sistema de gestión de la calidad y en la evaluación de la documentación técnica. Reviste especial importancia que la Comisión lleve a cabo las consultas oportunas durante la fase preparatoria, en particular con expertos, y que esas consultas se realicen de conformidad con los principios establecidos en el Acuerdo interinstitucional sobre la mejora de la legislación de 13 de abril de 201658. Dichas consultas deben incluir la participación de una selección equilibrada de partes interesadas, en particular organizaciones de consumidores, la sociedad civil, asociaciones que representen a las personas afectadas y representantes de empresas de distintos sectores y tamaños, así como investigadores y científicos. En particular, a fin de garantizar una participación equitativa en la preparación de los actos delegados, el Parlamento Europeo y el Consejo reciben toda la documentación al mismo tiempo que los expertos de los Estados miembros, y sus expertos tienen acceso sistemáticamente a las reuniones de los grupos de expertos de la Comisión que se ocupen de la preparación de actos delegados.
__________________
__________________
58 DO L 123 de 12.5.2016, p. 1.
58 DO L 123 de 12.5.2016, p. 1.
Enmienda 137 Propuesta de Reglamento Considerando 85 bis (nuevo)
(85 bis) Habida cuenta de la rapidez de los avances tecnológicos y de los conocimientos técnicos especializados que se requieren para evaluar los sistemas de IA de alto riesgo, la Comisión debe revisar periódicamente la aplicación del presente Reglamento, en particular los sistemas de IA prohibidos, las obligaciones de transparencia y la lista de ámbitos y casos de uso de alto riesgo, al menos una vez al año y consultando a la Oficina de IA y a las partes interesadas pertinentes.
Enmienda 138 Propuesta de Reglamento Considerando 87 bis (nuevo)
(87 bis) Dado que la información fiable sobre el uso de recursos y energía, la producción de residuos y otros efectos medioambientales de los sistemas de IA y las tecnologías de TIC conexas —incluidos los programas informáticos, el hardware y, en particular, los centros de datos— es limitada, la Comisión debe introducir una metodología adecuada para medir el impacto medioambiental y la eficacia del presente Reglamento a la luz de los objetivos medioambientales y climáticos de la Unión.
Enmienda 139 Propuesta de Reglamento Considerando 89
(89) El Supervisor Europeo de Protección de Datos y el Comité Europeo de Protección de Datos fueron consultados de conformidad con el artículo 42, apartado 2, del Reglamento (UE) 2018/1725, y emitieron un dictamen sobre […].
(89) El Supervisor Europeo de Protección de Datos y el Comité Europeo de Protección de Datos fueron consultados de conformidad con el artículo 42, apartado 2, del Reglamento (UE) 2018/1725, y emitieron un dictamen el 18 de junio de 2021.
1. El objetivo del presente Reglamento es promover la adopción de una inteligencia artificial centrada en el ser humano y fiable y garantizar un elevado nivel de protección de la salud, la seguridad, los derechos fundamentales, la democracia y el Estado de Derecho y del medio ambiente frente a los efectos nocivos de los sistemas de inteligencia artificial en la Unión, apoyando al mismo tiempo la innovación.
Enmienda 141 Propuesta de Reglamento Artículo 1 – párrafo 1 – letra d
d) normas armonizadas de transparencia aplicables a los sistemas de IA destinados a interactuar con personas físicas, los sistemas de reconocimiento de emociones y los sistemas de categorización biométrica, así como a los sistemas de IA usados para generar o manipular imágenes, archivos de audio o vídeos;
d) normas armonizadas de transparencia aplicables a determinados sistemas de IA;
Enmienda 142 Propuesta de Reglamento Artículo 1 – párrafo 1 – letra e
e) normas sobre el control y la vigilancia del mercado.
e) normas sobre el control del mercado, la vigilancia del mercado, la gobernanza y la ejecución;
Enmienda 143 Propuesta de Reglamento Artículo 1 – párrafo 1 – letra e bis (nueva)
e bis) medidas para apoyar a la innovación, con especial atención a las pymes y las empresas emergentes, en particular por lo que se refiere a la creación de espacios controlados de pruebas y a medidas específicas para reducir la carga normativa que pesa sobre las pymes y las empresas emergentes;
Enmienda 144 Propuesta de Reglamento Artículo 1 – párrafo 1 – letra e ter (nueva)
e ter) normas sobre la creación y el funcionamiento de la Oficina de Inteligencia Artificial (Oficina de IA) de la Unión.
Enmienda 145 Propuesta de Reglamento Artículo 2 – apartado 1 – letra b
b) los usuarios de sistemas de IA que se encuentren en la Unión;
b) los implementadores de sistemas de IA que estén establecidos o se encuentren en la Unión;
Enmienda 146 Propuesta de Reglamento Artículo 2 – apartado 1 – letra c
c) los proveedores y usuarios de sistemas de IA que se encuentrenen un tercer país, cuando la información de salida generada por el sistema se utilice en la Unión.
c) los proveedores e implementadores de sistemas de IA que estén establecidos o se encuentren en un tercer país, cuando se aplique la legislación de un Estado miembro en virtud de un acto de Derecho internacional público o cuando esté previsto que la información de salida generada por el sistema se utilice en la Unión.
Enmienda 147 Propuesta de Reglamento Artículo 2 – apartado 1 – letra c bis (nueva)
c bis) los proveedores que introduzcan en el mercado o pongan en servicio fuera de la Unión un sistema de IA contemplado en el artículo 5 cuando el proveedor o distribuidor de dicho sistema esté situado dentro de la Unión;
Enmienda 148 Propuesta de Reglamento Artículo 2 – apartado 1 – letra c ter (nueva)
c ter) los importadores y distribuidores de sistemas de IA, así como los representantes autorizados de los proveedores de sistemas de IA, cuando dichos importadores, distribuidores o representantes autorizados estén establecidos o se encuentren en la Unión;
Enmienda 149 Propuesta de Reglamento Artículo 2 – apartado 1 – letra c quater (nueva)
c quater) las personas afectadas, tal como se definen en el artículo 3, apartado 8 bis, que se encuentren en la Unión y cuya salud, seguridad o derechos fundamentales se vean perjudicados por el uso de un sistema de IA comercializado o puesto en servicio en la Unión.
Enmienda 150 Propuesta de Reglamento Artículo 2 – apartado 2 – parte introductoria
2. A los sistemas de IA de alto riesgo que sean componentes de seguridad de productos o sistemas, o que sean en sí mismos productos o sistemas, comprendidos en el ámbito de aplicación de los actos que figuran a continuación, únicamente se les aplicará el artículo 84 del presente Reglamento:
2. A los sistemas de IA de alto riesgo que sean componentes de seguridad de productos o sistemas, o que sean en sí mismos productos o sistemas, y que estén comprendidos en el ámbito de aplicación de la legislación de armonización que figura en el anexo II, sección B, únicamente se les aplicará el artículo 84 del presente Reglamento.
Enmienda 151 Propuesta de Reglamento Artículo 2 – apartado 2 – letra a
a) el Reglamento (CE) n.º 300/2008;
suprimida
Enmienda 152 Propuesta de Reglamento Artículo 2 – apartado 2 – letra b
b) el Reglamento (UE) n.º 167/2013;
suprimida
Enmienda 153 Propuesta de Reglamento Artículo 2 – apartado 2 – letra c
c) el Reglamento (UE) n.º 168/2013;
suprimida
Enmienda 154 Propuesta de Reglamento Artículo 2 – apartado 2 – letra d
d) la Directiva 2014/90/UE;
suprimida
Enmienda 155 Propuesta de Reglamento Artículo 2 – apartado 2 – letra e
e) la Directiva (UE) 2016/797;
suprimida
Enmienda 156 Propuesta de Reglamento Artículo 2 – apartado 2 – letra f
f) el Reglamento (UE) 2018/858;
suprimida
Enmienda 157 Propuesta de Reglamento Artículo 2 – apartado 2 – letra g
g) el Reglamento (UE) 2018/1139;
suprimida
Enmienda 158 Propuesta de Reglamento Artículo 2 – apartado 2 – letra h
h) el Reglamento (UE) 2019/2144.
suprimida
Enmienda 159 Propuesta de Reglamento Artículo 2 – apartado 4
4. El presente Reglamento no se aplicará a las autoridades públicas de terceros países ni a las organizaciones internacionales que entren dentro del ámbito de aplicación de este Reglamento conforme al apartado 1 cuando dichas autoridades u organizaciones utilicen sistemas de IA en el marco de acuerdos internacionales con fines de aplicación de la ley y cooperación judicial con la Unión o con uno o varios Estados miembros.
4. El presente Reglamento no se aplicará a las autoridades públicas de terceros países ni a las organizaciones internacionales que entren dentro del ámbito de aplicación de este Reglamento conforme al apartado 1 cuando dichas autoridades u organizaciones utilicen sistemas de IA en el marco de la cooperación internacional o de acuerdos internacionales con fines de aplicación de la ley y cooperación judicial con la Unión o con uno o varios Estados miembros y sean objeto de una decisión de la Comisión adoptada de conformidad con el artículo 36 de la Directiva (UE) 2016/680 o el artículo 45 del Reglamento (UE) 2016/679 (decisión de adecuación) o formen parte de un acuerdo internacional celebrado entre la Unión y el tercer país o la organización internacional de que se trate con arreglo al artículo 218 del TFUE que ofrezca garantías adecuadas con respecto a la protección de la intimidad y los derechos y libertades fundamentales de las personas.
Enmienda 160 Propuesta de Reglamento Artículo 2 – apartado 5 bis (nuevo)
5 bis. El Derecho de la Unión en materia de protección de los datos personales, privacidad y confidencialidad de las comunicaciones se aplicará a los datos personales tratados en relación con los derechos y obligaciones establecidos en el presente Reglamento. El presente Reglamento no afectará a los Reglamentos (UE) 2016/679 y (UE) 2018/1725 ni a las Directivas 2002/58/CE y (UE) 2016/680, sin perjuicio de los mecanismos previstos en el artículo 10, apartado 5, y el artículo 54 del presente Reglamento.
Enmienda 161 Propuesta de Reglamento Artículo 2 – apartado 5 ter (nuevo)
5 ter. El presente Reglamento se entenderá sin perjuicio de las normas establecidas por otros actos jurídicos de la Unión relativos a la protección del consumidor y a la seguridad de los productos;
5 quater. El presente Reglamento no impedirá que los Estados miembros o la Unión mantengan o introduzcan disposiciones legales, reglamentarias o administrativas que sean más favorables a los trabajadores en lo que atañe a la protección de sus derechos respecto al uso de sistemas de IA por parte de los empleadores o fomenten o permitan la aplicación de convenios colectivos que sean más favorables a los trabajadores.
5 quinquies. El presente Reglamento no se aplicará a las actividades de investigación, pruebas y desarrollo en relación a un sistema de IA antes de su introducción en el mercado o puesta en servicio, siempre que dichas actividades se lleven a cabo respetando los derechos fundamentales y la legislación aplicable de la Unión. Las pruebas en condiciones reales no estarán cubiertas por esta exención. La Comisión estará facultada para adoptar actos delegados con arreglo al artículo 73 que aclaren la aplicación del presente apartado con el fin de especificar esta exención y evitar que se abuse o pueda abusarse de ella. La Oficina de IA proporcionará orientaciones sobre la gobernanza de la investigación y el desarrollo de conformidad con el artículo 56, también con el objetivo de coordinar su aplicación por parte de las autoridades nacionales de supervisión.
5 sexies. El presente Reglamento no se aplicará a los componentes de IA proporcionados en el marco de licencias libres y de código abierto, salvo en la medida en que sean comercializados o puestos en servicio por un proveedor como parte de un sistema de IA de alto riesgo o de un sistema de IA incluido en el ámbito de aplicación de los títulos II o IV. Esta exención no se aplicará a los modelos fundacionales tal como se definen en el artículo 3.
Enmienda 165 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 1
1) «Sistema de inteligencia artificial (sistema de IA)»: el software que se desarrolla empleando una o varias de las técnicas y estrategias que figuran en el anexo I y que puede, para un conjunto determinado de objetivos definidos por seres humanos, generar información de salida como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúa.
1) «Sistema de inteligencia artificial (sistema de IA)»: un sistema basado en máquinas diseñado para funcionar con diversos niveles de autonomía y capaz, para objetivos explícitos o implícitos, de generar información de salida —como predicciones, recomendaciones o decisiones— que influya en entornos reales o virtuales.
Enmienda 166 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 1 bis (nuevo)
1 bis) «Riesgo»: la combinación de la probabilidad de que se produzca un daño y la gravedad de dicho daño;
Enmienda 167 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 1 ter (nuevo)
1 ter) «Riesgo significativo»: un riesgo que resulta significativo como consecuencia de la combinación de su gravedad, intensidad, probabilidad de ocurrencia y duración de sus efectos y su capacidad de afectar a una o varias personas o a un grupo determinado de personas;
Enmienda 168 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 1 quater (nuevo)
1 quater) «Modelo fundacional»: un modelo de sistema de IA entrenado con un gran volumen de datos, diseñado para producir información de salida de carácter general y capaz de adaptarse a una amplia variedad de tareas diferentes;
Enmienda 169 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 1 quinquies (nuevo)
1 quinquies) «Sistema de IA de uso general»: un sistema de IA que puede utilizarse en aplicaciones muy diversas para las que no ha sido intencionada y específicamente diseñado, así como adaptarse a tales aplicaciones;
Enmienda 170 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 1 sexies (nuevo)
1 sexies) «Ciclo de entrenamiento amplio»: el proceso de producción de un modelo de IA potente, que requiere recursos computacionales superiores a un umbral muy elevado;
Enmienda 171 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 3
3) «Proveedor a pequeña escala»: todo proveedor que sea una microempresa o una pequeña empresa en el sentido de la Recomendación 2003/361/CE de la Comisión61.
suprimido
__________________
61 Recomendación de la Comisión, de 6 de mayo de 2003, sobre la definición de microempresas, pequeñas y medianas empresas (DO L 124 de 20.5.2003, p. 36).
Enmienda 172 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 4
4) «Usuario»: toda persona física o jurídica, autoridad pública, agencia u organismo de otra índole que utilice un sistema de IA bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional.
4) «Implementador»: toda persona física o jurídica, autoridad pública, agencia u organismo de otra índole que utilice un sistema de IA bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional.
Enmienda 173 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 8
8) «Operador»: el proveedor, el usuario, el representante autorizado, el importador y el distribuidor.
8) «Operador»: el proveedor, el implementador, el representante autorizado, el importador y el distribuidor.
Enmienda 174 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 8 bis (nuevo)
8 bis) «Persona afectada»: toda persona física o grupo de personas que se vean expuestos a un sistema de IA o resulten afectados de algún otro modo por un sistema de IA.
Enmienda 175 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 11
11) «Puesta en servicio»: el suministro de un sistema de IA para su primer uso directamente al usuario o para uso propio en el mercado de la Unión de acuerdo con su finalidad prevista.
11) «Puesta en servicio»: el suministro de un sistema de IA para su primer uso directamente al implementador o para uso propio en el mercado de la Unión de acuerdo con su finalidad prevista.
Enmienda 176 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 13
13) «Uso indebido razonablemente previsible»: la utilización de un sistema de IA de un modo que no corresponde a su finalidad prevista, pero que puede derivarse de un comportamiento humano o una interacción con otros sistemas razonablemente previsible.
13) «Uso indebido razonablemente previsible»: la utilización de un sistema de IA de un modo que no corresponde a su finalidad prevista indicada en las instrucciones de uso establecidas por el proveedor, pero que puede derivarse de un comportamiento humano o una interacción con otros sistemas (incluidos otros sistemas de IA) razonablemente previsible.
Enmienda 177 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 14
14) «Componente de seguridad de un producto o sistema»: un componente de un producto o un sistema que cumple una función de seguridad para dicho producto o sistema, o cuyo fallo o defecto de funcionamiento pone en peligro la salud y la seguridad de las personas o los bienes.
14) «Componente de seguridad de un producto o sistema»: de conformidad con la legislación de armonización de la Unión que figura en el anexo II, un componente de un producto o un sistema que cumple una función de seguridad para dicho producto o sistema, o cuyo fallo o defecto de funcionamiento pone en peligro la salud y la seguridad de las personas.
Enmienda 178 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 15
15) «Instrucciones de uso»: la información facilitada por el proveedor para informar al usuario, en particular, de la finalidad prevista y de la correcta utilización de un sistema de IA, lo que incluye el entorno geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA de alto riesgo.
15) «Instrucciones de uso»: la información facilitada por el proveedor para informar al implementador, en particular, de la finalidad prevista y de la correcta utilización de un sistema de IA, así como la información sobre las precauciones que deben adoptarse.Esto incluye el entorno geográfico, funcional o de comportamiento específico en el que se pretende utilizar el sistema de IA de alto riesgo;
Enmienda 179 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 16
16) «Recuperación de un sistema de IA»: toda medida encaminada a conseguir que el proveedor recupere un sistema de IA puesto a disposición de los usuarios.
16) «Recuperación de un sistema de IA»: toda medida encaminada a conseguir que el proveedor recupere un sistema de IA que se ha puesto a disposición de los implementadores.
Enmienda 180 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 20
20) «Evaluación de la conformidad»: el proceso por el que se verifica si se cumplen los requisitos establecidos en el título III, capítulo 2, del presente Reglamento en relación con un sistema de IA.
20) «Evaluación de la conformidad»: el proceso por el que se demuestra si se cumplen los requisitos establecidos en el título III, capítulo 2, del presente Reglamento en relación con un sistema de IA.
Enmienda 181 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 22
22) «Organismo notificado»: un organismo de evaluación de la conformidad designado con arreglo al presente Reglamento y otra legislación de armonización pertinente de la Unión.
22) «Organismo notificado»: un organismo de evaluación de la conformidad notificado con arreglo al presente Reglamento y otra legislación de armonización pertinente de la Unión.
Enmienda 182 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 23
23) «Modificación sustancial»: un cambio en un sistema de IA tras su introducción en el mercado o puesta en servicio que afecte al cumplimiento por su parte de los requisitos establecidos en el título III, capítulo 2, del presente Reglamento o que provoque la modificación de la finalidad prevista para la que se ha evaluado al sistema de IA en cuestión.
23) «Modificación sustancial»: una modificación o serie de modificaciones en un sistema de IA tras su introducción en el mercado o puesta en servicio que no haya sido prevista o proyectada por el proveedor en la evaluación de riesgos inicial y a consecuencia de la cual resulte afectado el cumplimiento por parte del sistema de IA de los requisitos establecidos en el título III, capítulo 2, del presente Reglamento o se modifique la finalidad prevista para la que se ha evaluado al sistema de IA en cuestión.
Enmienda 183 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 24
24) «Marcado CE de conformidad» o «marcado CE»: un marcado con el que un proveedor indica que un sistema de IA es conforme con los requisitos establecidos en el título III, capítulo 2, del presente Reglamento y otra legislación de la Unión aplicable que armonice las condiciones para la comercialización de productos (la «legislación de armonización de la Unión») y prevea su colocación.
24) «Marcado CE de conformidad» o «marcado CE»: un marcado físico o digital con el que un proveedor indica que un sistema de IA o un producto con un sistema de IA integrado es conforme con los requisitos establecidos en el título III, capítulo 2, del presente Reglamento y otra legislación de la Unión aplicable que armonice las condiciones para la comercialización de productos (la «legislación de armonización de la Unión») y prevea su colocación.
Enmienda 184 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 29
29) «Datos de entrenamiento»: los datos usados para entrenar un sistema de IA mediante el ajuste de sus parámetros entrenables, entre los que se incluyen los pesos de una red neuronal.
29) «Datos de entrenamiento»: los datos usados para entrenar un sistema de IA mediante el ajuste de sus parámetros entrenables.
Enmienda 185 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 30
30) «Datos de validación»: los datos usados para proporcionar una evaluación del sistema de IA entrenado y adaptar sus parámetros no entrenables y su proceso de aprendizaje, entre otras cosas, para evitar el sobreajuste. El conjunto de datos de validación puede ser un conjunto de datos independiente o formar parte del conjunto de datos de entrenamiento, ya sea como una división fija o variable.
30) «Datos de validación»: los datos usados para proporcionar una evaluación del sistema de IA entrenado y adaptar sus parámetros no entrenables y su proceso de aprendizaje, entre otras cosas, para evitar el ajuste insuficiente o el sobreajuste. El conjunto de datos de validación es un conjunto de datos independiente o una parte del conjunto de datos de entrenamiento, ya sea como una división fija o variable.
Enmienda 186 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 33
33) «Datos biométricos»: los datos personales obtenidos a partir de un tratamiento técnico específico, relativos a las características físicas, fisiológicas o conductuales de una persona física que permitan o confirmen la identificación única de dicha persona, como imágenes faciales o datos dactiloscópicos.
33) «Datos biométricos»: los datos biométricos tal como se definen en el artículo 4, punto 14, del Reglamento (UE) 2016/679.
Enmienda 187 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 33 bis (nuevo)
33 bis) «Datos de base biométrica»: los datos obtenidos a partir de un tratamiento técnico específico relativos a las señales físicas, fisiológicas o conductuales de una persona física.
Enmienda 188 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 33 ter (nuevo)
33 ter) «Identificación biométrica»: el reconocimiento automatizado de características humanas de tipo físico, fisiológico, conductual y psicológico para determinar la identidad de una persona comparando sus datos biométricos con los datos biométricos de personas almacenados en una base de datos (identificación «uno respecto a varios»).
Enmienda 189 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 33 quater (nuevo)
33 quater) «Verificación biométrica»: la verificación automatizada de la identidad de una persona mediante la comparación de sus datos biométricos con los datos biométricos proporcionados con anterioridad (verificación «uno respecto a uno», que incluye la autenticación).
Enmienda 190 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 33 quinquies (nuevo)
33 quinquies) «Categorías especiales de datos personales»: las categorías de datos personales a que se refiere el artículo 9, apartado 1, del Reglamento (UE) 2016/679.
Enmienda 191 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 34
34) «Sistema de reconocimiento de emociones»: un sistema de IA destinado a detectar o deducir las emociones o las intenciones de personas físicas a partir de sus datos biométricos.
34) «Sistema de reconocimiento de emociones»: un sistema de IA destinado a detectar o deducir las emociones, los pensamientos, los estados de ánimo o las intenciones de individuos o grupos a partir de sus datos biométricos y sus datos de base biométrica.
Enmienda 192 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 35
35) «Sistema de categorización biométrica»: un sistema de IA destinado a asignar a personas físicas a categorías concretas, como un sexo, edad, color de pelo, color de ojos, tatuajes, origen étnico u orientación sexual o política, en función de sus datos biométricos.
35) «Categorización biométrica»: asignación de personas físicas a categorías concretas, o inferencia de sus características y atributos, en función de sus datos biométricos y sus datos de base biométrica, o que puedan inferirse a partir de dichos datos.
Enmienda 193 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 36
36) «Sistema de identificación biométrica remota»: un sistema de IA destinado a identificar a personas físicas a distancia comparando sus datos biométricos con los que figuran en una base de datos de referencia, y sin que el usuario del sistema de IA sepa de antemano si la persona en cuestión se encontrará en dicha base de datos y podrá ser identificada.
36) «Sistema de identificación biométrica remota»: un sistema de IA (con excepción de los sistemas de verificación) destinado a identificar a personas físicas a distancia comparando sus datos biométricos con los que figuran en una base de datos de referencia, y sin que el implementador del sistema de IA sepa de antemano si la persona en cuestión se encontrará en dicha base de datos y podrá ser identificada.
Enmienda 194 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 37
37) «Sistema de identificación biométrica remota “en tiempo real”»: un sistema de identificación biométrica remota en el que la recogida de los datos biométricos, la comparación y la identificación se producen sin una demora significativa. Este término engloba no solo la identificación instantánea, sino también demoras mínimas limitadas, a fin de evitar su elusión.
37) «Sistema de identificación biométrica remota “en tiempo real”»: un sistema de identificación biométrica remota en el que la recogida de los datos biométricos, la comparación y la identificación se producen sin una demora significativa. Este término engloba no solo la identificación instantánea, sino también demoras limitadas, a fin de evitar su elusión.
Enmienda 195 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 39
39) «Espacio de acceso público»: cualquier lugar físico accesible para el público, con independencia de que deban cumplirse determinadas condiciones para acceder a él.
39) «Espacio de acceso público»: cualquier lugar físico de propiedad pública o privada que sea accesible para el público, con independencia de que deban cumplirse determinadas condiciones para acceder a él y con independencia de posibles restricciones de capacidad.
Enmienda 196 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 41
41) «Aplicación de la ley»: las actividades realizadas por las autoridades encargadas de la aplicación de la ley para la prevención, la investigación, la detección o el enjuiciamiento de infracciones penales o la ejecución de sanciones penales, incluidas la protección y prevención frente a amenazas para la seguridad pública.
41) «Aplicación de la ley»: las actividades realizadas por las autoridades encargadas de la aplicación de la ley, o en su nombre, para la prevención, la investigación, la detección o el enjuiciamiento de infracciones penales o la ejecución de sanciones penales, incluidas la protección y prevención frente a amenazas para la seguridad pública.
Enmienda 197 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 42
42) «Autoridad nacional de supervisión»: la autoridad a la que un Estado miembro asigna la responsabilidad de ejecutar y aplicar el presente Reglamento, coordinar las actividades encomendadas a dicho Estado miembro, actuar como el punto de contacto único para la Comisión, y representar al Estado miembro en cuestión ante el Comité Europeo de Inteligencia Artificial.
42) «Autoridad nacional de supervisión»: una autoridad pública [enmienda 69] a la que un Estado miembro asigna la responsabilidad de ejecutar y aplicar el presente Reglamento, coordinar las actividades encomendadas a dicho Estado miembro, actuar como el punto de contacto único para la Comisión, y representar al Estado miembro en cuestión en el consejo de administración de la Oficina de IA.
Enmienda 198 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 43
43) «Autoridad nacional competente»: la autoridad nacional de supervisión, la autoridad notificante y la autoridad de vigilancia del mercado.
43) «Autoridad nacional competente»: cualquiera de las autoridades nacionales responsables de hacer cumplir el presente Reglamento.
Enmienda 199 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 – parte introductoria
44) «Incidente grave»: todo incidente que, directa o indirectamente, tenga, pueda haber tenido o pueda tener alguna de las siguientes consecuencias:
44) «Incidente grave»: todo incidente o defecto de funcionamiento de un sistema de IA que, directa o indirectamente, tenga, pueda haber tenido o pueda tener alguna de las siguientes consecuencias:
a) el fallecimiento de una persona o daños graves para su salud, a la propiedad o al medio ambiente,
a) el fallecimiento de una persona o daños graves para su salud,
b) una alteración grave de la gestión y el funcionamiento de infraestructura crítica.
b) una alteración grave de la gestión y el funcionamiento de infraestructura crítica,
b bis) una vulneración de derechos fundamentales protegidos en virtud de la legislación de la Unión,
b ter) daños graves a la propiedad o al medio ambiente.
Enmienda 200 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 bis (nuevo)
44 bis) «Datos personales»: los datos personales tal como se definen en el artículo 4, punto 1, del Reglamento (UE) 2016/679.
Enmienda 201 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 ter (nuevo)
44 ter) «Datos no personales»: los datos que no sean datos personales.
Enmienda 202 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 quater (nuevo)
44 quater) «Elaboración de perfiles»: toda forma de tratamiento automatizado de datos personales, tal como se define en el artículo 4, punto 4, del Reglamento (UE) 2016/679 o, en el caso de las autoridades encargadas de la aplicación de la ley, en el artículo 3, punto 4, de la Directiva (UE) 2016/680 o, en el caso de las instituciones, órganos y organismos de la Unión, en el artículo 3, punto 5, del Reglamento (UE) 2018/1725.
Enmienda 203 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 quinquies (nuevo)
44 quinquies) «Ultrafalsificación»: un contenido de sonido, imagen o vídeo manipulado o sintético que puede inducir erróneamente a pensar que es auténtico o verídico, y que muestra representaciones de personas que parecen decir o hacer cosas que no han dicho ni hecho, producido utilizando técnicas de IA, incluido el aprendizaje automático y el aprendizaje profundo.
Enmienda 204 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 sexies (nuevo)
44 sexies) «Infracción generalizada»: todo acto u omisión contrario a la legislación de la Unión que protege los intereses de las personas:
a) que haya perjudicado o pueda perjudicar los intereses colectivos de personas residentes en al menos dos Estados miembros distintos de aquel en el que:
i) se originó o tuvo lugar el acto u omisión,
ii) esté establecido el proveedor de que se trate o, en su caso, su representante autorizado; o
iii) esté establecido el implementador en el momento de cometer la infracción;
b) que haya perjudicado, perjudique o pueda perjudicar los intereses colectivos de las personas y tenga características comunes —en particular, una misma práctica ilícita y la vulneración de un mismo interés— y sea cometido simultáneamente por el mismo operador en al menos tres Estados miembros.
Enmienda 205 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 septies (nuevo)
44 septies) «Infracción generalizada con dimensión en la Unión»: una infracción generalizada que haya perjudicado o pueda perjudicar los intereses colectivos de las personas en al menos dos tercios de los Estados miembros que representen conjuntamente al menos dos tercios de la población de la Unión.
Enmienda 206 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 octies (nuevo)
44 octies) «Espacio controlado de pruebas»: un entorno controlado creado por una autoridad pública y que facilita el desarrollo, la prueba y la validación de sistemas de IA innovadores durante un período limitado antes de su introducción en el mercado o su puesta en servicio con arreglo a un plan específico sujeto a supervisión reglamentaria.
Enmienda 207 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 nonies (nuevo)
44 nonies) «Infraestructura crítica»: un elemento, instalación, equipo, red o sistema, o una parte de un elemento, instalación, equipo, red o sistema, que resulta necesario para la prestación de un servicio esencial en el sentido del artículo 2, apartado 4, de la Directiva (UE) 2022/2557.
Enmienda 208 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 duodecies (nuevo)
44 duodecies) «Calificación social»: evaluación o clasificación de las personas físicas en función de su comportamiento social, su nivel socioeconómico o sus características personales o de personalidad conocidas o predichas.
Enmienda 209 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 terdecies (nuevo)
44 terdecies) «Comportamiento social»: la manera en que una persona física interactúa con otras personas físicas o con la sociedad e influye en ellas.
Enmienda 210 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 quaterdecies (nuevo)
44 quaterdecies) «Estado de la técnica»: el estado de desarrollo de la capacidad técnica en un determinado momento por lo que se refiere a los productos, procesos y servicios, de acuerdo con los resultados consolidados pertinentes de la ciencia, la tecnología y la experiencia;
Enmienda 211 Propuesta de Reglamento Artículo 3 – párrafo 1 – punto 44 quindecies (nuevo)
44 quindecies) «Pruebas en condiciones reales»: las pruebas de un sistema de IA para su finalidad prevista realizadas temporalmente en condiciones reales fuera de un laboratorio o de otro entorno simulado.
Enmienda 212 Propuesta de Reglamento Artículo 4
Artículo 4
suprimido
Modificaciones del anexo I
Se otorgan a la Comisión los poderes para adoptar actos delegados de conformidad con el artículo 73 al objeto de modificar la lista de técnicas y estrategias que figura en el anexo I, con miras a adaptar dicha lista a la evolución del mercado y los avances tecnológicos sobre la base de características que sean similares a las técnicas y las estrategias incluidas en ella.
Enmienda 213 Propuesta de Reglamento Artículo 4 bis (nuevo)
Artículo 4 bis
Principios generales aplicables a todos los sistemas de IA
1. Todos los operadores que entren en el ámbito de aplicación del presente Reglamento se esforzarán al máximo por desarrollar y utilizar los sistemas de IA o modelos fundacionales con arreglo a los siguientes principios generales que establecen un marco de alto nivel para promover un enfoque europeo coherente centrado en el ser humano con respecto a una inteligencia artificial ética y fiable, que esté plenamente en consonancia con la Carta, así como con los valores en los que se fundamenta la Unión:
a) «Intervención y vigilancia humanas»: los sistemas de IA se desarrollarán y utilizarán como una herramienta al servicio de las personas, que respete la dignidad humana y la autonomía personal, y que funcione de manera que pueda ser controlada y vigilada adecuadamente por seres humanos.
b) «Solidez y seguridad técnicas»: los sistemas de IA se desarrollarán y utilizarán de manera que se minimicen los daños imprevistos e inesperados, así como para que sean sólidos en caso de problemas imprevistos y resistentes a los intentos de modificar el uso o el rendimiento del sistema de IA para permitir una utilización ilícita por parte de terceros malintencionados.
c) «Privacidad y gobernanza de datos»: los sistemas de IA se desarrollarán y utilizarán de conformidad con las normas vigentes en materia de privacidad y protección de datos, y tratarán datos que cumplan normas estrictas en términos de calidad e integridad.
d) «Transparencia»: los sistemas de IA se desarrollarán y utilizarán facilitando una trazabilidad y explicabilidad adecuadas, haciendo que las personas sean conscientes de que se comunican o interactúan con un sistema de IA, informando debidamente a los usuarios sobre las capacidades y limitaciones de dicho sistema de IA e informando a las personas afectadas de sus derechos.
e) «Diversidad, no discriminación y equidad»: los sistemas de IA se desarrollarán y utilizarán incluyendo a diversos agentes y promoviendo la igualdad de acceso, la igualdad de género y la diversidad cultural, evitando al mismo tiempo los efectos discriminatorios y los sesgos injustos prohibidos por el Derecho nacional o de la Unión.
f) «Bienestar social y medioambiental»: los sistemas de IA se desarrollarán y utilizarán de manera sostenible y respetuosa con el medio ambiente, así como en beneficio de todos los seres humanos, al tiempo que se supervisan y evalúan los efectos a largo plazo en las personas, la sociedad y la democracia.
2. El apartado 1 se entenderá sin perjuicio de las obligaciones establecidas por el Derecho de la Unión y nacional en vigor. En el caso de los sistemas de IA de alto riesgo, los principios generales son aplicados y cumplidos por los proveedores o implementadores mediante los requisitos establecidos en los artículos 8 a 15 del presente Reglamento, así como las obligaciones pertinentes establecidas en el capítulo 3 del título III del presente Reglamento. En el caso de los modelos fundacionales, los principios generales son aplicados y cumplidos por los proveedores o implementadores mediante los requisitos establecidos en los artículos 28 a 28 ter del presente Reglamento. Para todos los sistemas de IA, la aplicación de los principios a los que se hace referencia en el apartado 1 puede conseguirse, según proceda, a través de las disposiciones del artículo 28 o el artículo 52 o de la aplicación de las normas armonizadas, especificaciones técnicas y códigos de conducta a los que hace referencia el artículo 69, sin crear nuevas obligaciones en virtud del presente Reglamento.
3. La Comisión y la Oficina de IA incorporarán estos principios rectores en las peticiones de normalización, así como en las recomendaciones consistentes en orientaciones técnicas destinadas a prestar asistencia a proveedores e implementadores en cuanto al modo de desarrollar y utilizar los sistemas de IA. Las organizaciones europeas de normalización tendrán en cuenta los principios generales a que se refiere el apartado 1 del presente artículo como objetivos basados en los resultados cuando elaboren las correspondientes normas armonizadas para los sistemas de IA de alto riesgo a que se refiere el artículo 40, apartado 2 ter.
Enmienda 214 Propuesta de Reglamento Artículo 4 ter (nuevo)
Artículo 4 ter
Alfabetización en materia de IA
1. Al aplicar el presente Reglamento, la Unión y los Estados miembros promoverán medidas para el desarrollo de un nivel suficiente de alfabetización en materia de IA, en todos los sectores y teniendo en cuenta las distintas necesidades de los grupos de proveedores, implementadores y personas afectadas de que se trate, también a través de la educación y la formación y de programas de capacitación y de mejora de capacidades, garantizando al mismo tiempo un equilibrio adecuado en materia de género y de edad, con vistas a permitir un control democrático de los sistemas de IA.
2. Los proveedores e implementadores de sistemas de IA adoptarán medidas para garantizar un nivel suficiente de alfabetización en materia de IA entre su personal y otras personas que se ocupen en su nombre de la operación y el uso de sistemas de IA, teniendo en cuenta sus conocimientos técnicos, su experiencia, su educación y su formación, así como el contexto en que se utilizarán los sistemas de IA y las personas o los grupos de personas con los que se utilizarán.
3. En particular, dichas medidas de alfabetización consistirán en la enseñanza de nociones y capacidades básicas sobre sistemas de IA y su funcionamiento, incluidos los distintos tipos de productos y usos, sus riesgos y sus beneficios.
4. Un nivel suficiente de alfabetización en materia de IA es un nivel que contribuye del modo necesario a la capacidad de los proveedores e implementadores para garantizar el cumplimiento y la aplicación del presente Reglamento.
Enmienda 215 Propuesta de Reglamento Artículo 5 – apartado 1 – letra a
a) La introducción en el mercado, la puesta en servicio o la utilización de un sistema de IA que se sirva de técnicas subliminales que trasciendan la conciencia de una persona para alterar de manera sustancial su comportamiento de un modo que provoque o sea probable que provoque perjuicios físicos o psicológicos a esa persona o a otra.
a) La introducción en el mercado, la puesta en servicio o la utilización de un sistema de IA que se sirva de técnicas subliminales que trasciendan la conciencia de una persona o de técnicas deliberadamente manipuladoras o engañosas con el objetivo o el efecto de alterar de manera sustancial el comportamiento de una persona o un grupo de personas mermando de manera apreciable su capacidad para adoptar una decisión informada y causando así que la persona tome una decisión que de otro modo no habría tomado, de un modo que provoque o sea probable que provoque perjuicios significativos a esa persona o a otra persona o grupo de personas.
La prohibición de los sistemas de IA que se sirvan de las técnicas subliminales a las que se hace referencia en el párrafo primero no se aplicará a los sistemas de IA destinados a ser utilizados para fines terapéuticos autorizados sobre la base de un consentimiento informado específico de las personas expuestas a ellos o, en su caso, de su tutor legal.
Enmienda 216 Propuesta de Reglamento Artículo 5 – apartado 1 – letra b
b) La introducción en el mercado, la puesta en servicio o la utilización de un sistema de IA que aproveche alguna de las vulnerabilidades de un grupo específico de personas debido a su edad o discapacidad física o mental para alterar de manera sustancial el comportamiento de una persona que pertenezca a dicho grupo de un modo que provoque o sea probable que provoque perjuicios físicos o psicológicos a esa persona o a otra.
b) La introducción en el mercado, la puesta en servicio o la utilización de un sistema de IA que aproveche alguna de las vulnerabilidades de una persona o un grupo específico de personas —incluidas las características conocidas o predichas de los rasgos de personalidad o la situación social o económica de esa persona o grupo, la edad y la capacidad física o mental— con el objetivo o el efecto de alterar de manera sustancial el comportamiento de dicha persona o de una persona que pertenezca a dicho grupo de un modo que provoque o sea probable que provoque perjuicios significativos a esa persona o a otra.
Enmienda 217 Propuesta de Reglamento Artículo 5 – apartado 1 – letra b bis (nueva)
b bis) La introducción en el mercado, la puesta en servicio o la utilización de sistemas de categorización biométrica que clasifiquen a personas físicas con arreglo a atributos o características sensibles o protegidos, o sobre la base de una inferencia de dichos atributos o características. Esta prohibición no se aplicará a los sistemas de IA destinados a ser utilizados para fines terapéuticos autorizados sobre la base de un consentimiento informado específico de las personas expuestas a ellos o, en su caso, de su tutor legal.
Enmienda 218 Propuesta de Reglamento Artículo 5 – apartado 1 – letra c – parte introductoria
c) La introducción en el mercado, la puesta en servicio o la utilización de sistemas de IA por parte de las autoridades públicas o en su representación con el fin de evaluar o clasificar la fiabilidad de personas físicas durante un período determinado de tiempo atendiendo a su conducta social o a características personales o de su personalidad conocidas o predichas, de forma que la clasificación social resultante provoque una o varias de las situaciones siguientes:
c) La introducción en el mercado, la puesta en servicio o la utilización de sistemas de IA con el fin de evaluar o clasificar a las personas físicas o grupos de personas físicas a efectos de su calificación social durante un período determinado de tiempo atendiendo a su comportamiento social o a características personales o de su personalidad conocidas, inferidas o predichas, de forma que la puntuación ciudadana resultante provoque una o varias de las situaciones siguientes:
Enmienda 219 Propuesta de Reglamento Artículo 5 – apartado 1 – letra c – inciso i
i) un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos enteros en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente;
(No afecta a la versión española).
Enmienda 220 Propuesta de Reglamento Artículo 5 – apartado 1 – letra d – parte introductoria
d) El uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley, salvo y en la medida en que dicho uso sea estrictamente necesario para alcanzar uno o varios de los objetivos siguientes:
d) El uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público.
Enmienda 221 Propuesta de Reglamento Artículo 5 – apartado 1 – letra d – inciso i
i) la búsqueda selectiva de posibles víctimas concretas de un delito, incluidos menores desaparecidos;
suprimido
Enmienda 222 Propuesta de Reglamento Artículo 5 – apartado 1 – letra d – inciso ii
ii) la prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas o de un atentado terrorista;
suprimido
Enmienda 223 Propuesta de Reglamento Artículo 5 – apartado 1 – letra d – inciso iii
iii) la detección, la localización, la identificación o el enjuiciamiento de la persona que ha cometido o se sospecha que ha cometido alguno de los delitos mencionados en el artículo 2, apartado 2, de la Decisión Marco 2002/584/JAI del Consejo62, para el que la normativa en vigor en el Estado miembro implicado imponga una pena o una medida de seguridad privativas de libertad cuya duración máxima sea al menos de tres años, según determine el Derecho de dicho Estado miembro.
suprimido
__________________
62 Decisión Marco 2002/584/JAI del Consejo, de 13 de junio de 2002, relativa a la orden de detención europea y a los procedimientos de entrega entre Estados miembros (DO L 190 de 18.7.2002, p. 1).
Enmienda 224 Propuesta de Reglamento Artículo 5 – apartado 1 – letra d bis (nueva)
d bis) La introducción el mercado, la puesta en servicio o la utilización de sistemas de IA para llevar a cabo evaluaciones de riesgo de personas físicas o grupos de personas físicas con el objetivo de determinar el riesgo de que estas personas cometan delitos o infracciones o reincidan en su comisión, o para predecir la comisión o reiteración de un delito o infracción administrativa reales o potenciales, mediante la elaboración del perfil de personas físicas o la evaluación de rasgos de personalidad y características, en particular la ubicación de la persona o las conductas delictivas pasadas de personas físicas o grupos de personas físicas.
Enmienda 225 Propuesta de Reglamento Artículo 5 – apartado 1 – letra d ter (nueva)
d ter) La introducción el mercado, la puesta en servicio o la utilización de sistemas de IA que creen o amplíen bases de datos de reconocimiento facial mediante la extracción no selectiva de imágenes faciales a partir de internet o de imágenes de circuito cerrado de televisión.
Enmienda 226 Propuesta de Reglamento Artículo 5 – apartado 1 – letra d quater (nueva)
d quater) La introducción el mercado, la puesta en servicio o la utilización de sistemas de IA para inferir las emociones de una persona física en los ámbitos de la aplicación de la ley y la gestión de fronteras, en lugares de trabajo y en centros educativos.
Enmienda 227 Propuesta de Reglamento Artículo 5 – apartado 1 – letra d quinquies (nueva)
d quinquies) La puesta en servicio o la utilización de sistemas de IA para el análisis de imágenes de vídeo grabadas de espacios de acceso público que empleen sistemas de identificación biométrica remota «en diferido», salvo que estén sujetos a una autorización judicial previa de conformidad con el Derecho de la Unión y sean estrictamente necesarios para una búsqueda selectiva destinada a fines de aplicación de la ley y relacionada con un delito grave (según la definición del artículo 83, apartado 1, del TFUE) concreto que ya se haya cometido.
Enmienda 228 Propuesta de Reglamento Artículo 5 – apartado 1 bis (nuevo)
1 bis. El presente artículo no afectará a las prohibiciones que se apliquen cuando una práctica de inteligencia artificial infrinja otra legislación de la Unión, en particular el acervo de la Unión en materia de protección de datos, privacidad, no discriminación, protección del consumidor o competencia.
Enmienda 229 Propuesta de Reglamento Artículo 5 – apartado 2
2. El uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley para conseguir cualquiera de los objetivos mencionados en el apartado 1, letra d), tendrá en cuenta los siguientes aspectos:
suprimido
a) la naturaleza de la situación que dé lugar al posible uso, y en particular la gravedad, probabilidad y magnitud del perjuicio que se produciría de no utilizarse el sistema;
b) las consecuencias que utilizar el sistema tendría para los derechos y las libertades de las personas implicadas, y en particular la gravedad, probabilidad y magnitud de dichas consecuencias.
Además, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley para cualquiera de los objetivos mencionados en el apartado 1, letra d), cumplirá salvaguardias y condiciones necesarias y proporcionadas en relación con el uso, en particular en lo que respecta a las limitaciones temporales, geográficas y personales.
Enmienda 230 Propuesta de Reglamento Artículo 5 – apartado 3
3. Con respecto al apartado 1, letra d), y el apartado 2, cualquier uso concreto de un sistema de identificación biométrica remota «en tiempo real» en un espacio de acceso público con fines de aplicación de la ley estará supeditado a la concesión de una autorización previa por parte de una autoridad judicial o una autoridad administrativa independiente del Estado miembro donde vaya a utilizarse dicho sistema, que la otorgarán previa solicitud motivada y de conformidad con las normas detalladas del Derecho interno mencionadas en el apartado 4. No obstante, en una situación de urgencia debidamente justificada, se podrá empezar a utilizar el sistema antes de obtener la autorización correspondiente, que podrá solicitarse durante el uso o después de este.
suprimido
La autoridad judicial o administrativa competente únicamente concederá la autorización cuando esté convencida, atendiendo a las pruebas objetivas o a los indicios claros que se le presenten, de que el uso del sistema de identificación biométrica remota «en tiempo real» es necesario y proporcionado para alcanzar alguno de los objetivos que figuran en el apartado 1, letra d), el cual se indicará en la solicitud. Al pronunciarse al respecto, la autoridad judicial o administrativa competente tendrá en cuenta los aspectos mencionados en el apartado 2.
Enmienda 231 Propuesta de Reglamento Artículo 5 – apartado 4
4. Los Estados miembros podrán decidir contemplar la posibilidad de autorizar, ya sea total o parcialmente, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley dentro de los límites y en las condiciones que se indican en el apartado 1, letra d), y los apartados 2 y 3. A tal fin, tendrán que establecer en sus respectivos Derechos internos las normas detalladas necesarias aplicables a la solicitud, la concesión y el ejercicio de las autorizaciones a que se refiere el apartado 3, así como a la supervisión de estas. Dichas normas especificarán también para cuáles de los objetivos enumerados en el apartado 1, letra d), y en su caso en relación con cuáles de los delitos indicados en su inciso iii), se podrá autorizar que las autoridades competentes utilicen esos sistemas con fines de aplicación de la ley.
suprimido
Enmienda 232 Propuesta de Reglamento Artículo 6 – apartado 1 – letra a
a) el sistema de IA está destinado a ser utilizado como componente de seguridad de uno de los productos contemplados en la legislación de armonización de la Unión que se indica en el anexo II, o es en sí mismo uno de dichos productos;
a) el sistema de IA está destinado a ser utilizado como componente de seguridad de uno de los productos contemplados en la legislación de armonización de la Unión que se indica en el anexo II, o el sistema de IA es en sí mismo uno de dichos productos;
Enmienda 233 Propuesta de Reglamento Artículo 6 – apartado 1 – letra b
b) conforme a la legislación de armonización de la Unión que se indica en el anexo II, el producto del que el sistema de IA es componente de seguridad, o el propio sistema de IA como producto, debe someterse a una evaluación de la conformidad realizada por un organismo independiente para su introducción en el mercado o puesta en servicio.
b) conforme a la legislación de armonización de la Unión que se indica en el anexo II, el producto del que el sistema de IA es componente de seguridad con arreglo a la letra a), o el propio sistema de IA como producto, debe someterse a una evaluación de la conformidad relativa a los riesgos para la salud y la seguridad realizada por un organismo independiente para su introducción en el mercado o puesta en servicio.
Enmienda 234 Propuesta de Reglamento Artículo 6 – apartado 2
2. Además de los sistemas de IA de alto riesgo mencionados en el apartado 1, también se considerarán de alto riesgo los sistemas de IA que figuran en el anexo III.
2. Además de los sistemas de IA de alto riesgo mencionados en el apartado 1, se considerarán de alto riesgo los sistemas de IA correspondientes a uno o más de los ámbitos y casos de uso críticos que figuran en el anexo III si presentan un riesgo significativo de causar perjuicios para la salud, la seguridad o los derechos fundamentales de las personas físicas. Cuando un sistema de IA esté comprendido en el ámbito de aplicación del anexo III, punto 2, se considerará de alto riesgo si presenta un riesgo significativo de causar perjuicios medioambientales.
Seis meses antes de la entrada en vigor del presente Reglamento, la Comisión, previa consulta a la Oficina de IA y a las partes interesadas pertinentes, proporcionará orientaciones que especifiquen claramente en qué circunstancias la información de salida de los sistemas de IA a que se refiere el anexo III presentaría un riesgo significativo de causar perjuicios para la salud, la seguridad o los derechos fundamentales de las personas físicas o en qué casos no presentaría dicho riesgo.
Enmienda 235 Propuesta de Reglamento Artículo 6 – apartado 2 bis (nuevo)
2 bis. Cuando los proveedores correspondientes a uno o más de los ámbitos y casos de uso críticos a los que se refiere el anexo III consideren que su sistema de IA no presenta un riesgo significativo según lo descrito en el apartado 2, presentarán una notificación motivada a la autoridad nacional de supervisión en la que indiquen que no están sujetos a las obligaciones del título III, capítulo 2, del presente Reglamento. Cuando el sistema de IA esté destinado a utilizarse en dos o más Estados miembros, dicha notificación se dirigirá a la Oficina de IA. Sin perjuicio de lo previsto en el artículo 65, la autoridad nacional de supervisión examinará la notificación y responderá a ella en un plazo de tres meses, directamente o a través de la Oficina de IA, si considera que el sistema de IA se ha clasificado de manera incorrecta.
Enmienda 236 Propuesta de Reglamento Artículo 6 – apartado 2 ter (nuevo)
2 ter. Se impondrán multas con arreglo al artículo 71 a los proveedores que clasifiquen incorrectamente su sistema de IA como no sujeto a las obligaciones del título III, capítulo 2, del presente Reglamento y lo introduzcan en el mercado antes del plazo para la formulación de objeciones por parte de las autoridades nacionales de supervisión.
2 quater. Las autoridades nacionales de supervisión presentarán un informe anual a la Oficina de IA en el que se detallen las notificaciones recibidas, los correspondientes ámbitos de alto riesgo afectados y las decisiones tomadas en relación con las notificaciones recibidas.
Enmienda 238 Propuesta de Reglamento Artículo 7 – apartado 1 – parte introductoria
1. Se otorgan a la Comisión los poderes para adoptar actos delegados de conformidad con el artículo 73 al objeto de modificar la lista del anexo III mediante la adición de sistemas de IA de alto riesgo cuando se reúnan las dos condiciones siguientes:
1. Se otorgan a la Comisión los poderes para adoptar actos delegados de conformidad con el artículo 73 al objeto de modificar el anexo III mediante la adición o modificación de ámbitos o casos de uso de sistemas de IA de alto riesgo cuando estos presenten un riesgo significativo de perjuicios para la salud y la seguridad, o de efectos adversos en los derechos humanos, el medio ambiente o la democracia y el Estado de Derecho y dicho riesgo sea, en cuanto a gravedad y probabilidad de ocurrencia, igual o mayor al riesgo de perjuicios o efectos adversos que presentan los sistemas de IA de alto riesgo a los que ya hace referencia el anexo III.
Enmienda 239 Propuesta de Reglamento Artículo 7 – apartado 1 – letra a
a) los sistemas de IA estén destinados a utilizarse en cualquiera de los ámbitos que figuran en los puntos 1 a 8 del anexo III; y
suprimida
Enmienda 240 Propuesta de Reglamento Artículo 7 – apartado 1 – letra b
b) los sistemas de IA conlleven el riesgo de causar un perjuicio a la salud y la seguridad, o el riesgo de tener repercusiones negativas para los derechos fundamentales, cuya gravedad y probabilidad sean equivalentes o mayores a las de los riesgos de perjuicio o de repercusiones negativas asociados a los sistemas de IA de alto riesgo que ya se mencionan en el anexo III.
suprimida
Enmienda 241 Propuesta de Reglamento Artículo 7 – apartado 1 bis (nuevo)
1 bis. La Comisión también estará facultada para adoptar actos delegados de conformidad con el artículo 73 a fin de eliminar los casos de uso de los sistemas de IA de alto riesgo de la lista del anexo III si dejan de cumplirse las condiciones a que se refiere el apartado 1;
Enmienda 242 Propuesta de Reglamento Artículo 7 – apartado 2 – parte introductoria
2. Cuando, a los efectos del apartado 1, se evalúe si un sistema de IA conlleva el riesgo de causar un perjuicio a la salud y la seguridad o el riesgo de tener repercusiones negativas para los derechos fundamentales que sea equivalente o mayor a los riesgos de perjuicio asociados a los sistemas de IA de alto riesgo que ya se mencionan en el anexo III, la Comisión tendrá en cuenta los criterios siguientes:
2. Cuando, a los efectos de los apartados 1 y 1 bis, se evalúe un sistema de IA, la Comisión tendrá en cuenta los criterios siguientes:
Enmienda 243 Propuesta de Reglamento Artículo 7 – apartado 2 – letra a bis (nueva)
a bis) las capacidades y funcionalidades generales del sistema de IA, independientemente de su finalidad prevista;
Enmienda 244 Propuesta de Reglamento Artículo 7 – apartado 2 – letra b bis (nueva)
b bis) la naturaleza y la cantidad de los datos tratados y utilizados por el sistema de IA;
Enmienda 245 Propuesta de Reglamento Artículo 7 – apartado 2 – letra b ter (nueva)
b ter) la medida en que el sistema de IA actúa de manera autónoma;
Enmienda 246 Propuesta de Reglamento Artículo 7 – apartado 2 – letra c
c) la medida en que la utilización de un sistema de IA ya haya causado un perjuicio a la salud y la seguridad, haya tenido repercusiones negativas para los derechos fundamentales o haya dado lugar a problemas importantes en relación con la materialización de dicho perjuicio o dichas repercusiones negativas, según demuestren los informes o las alegaciones documentadas que se presenten a las autoridades nacionales competentes;
c) la medida en que la utilización de un sistema de IA ya haya causado un perjuicio a la salud y la seguridad, haya tenido repercusiones negativas para los derechos fundamentales, el medio ambiente, la democracia y el Estado de Derecho, haya dado lugar a problemas importantes en relación con la probabilidad de dicho perjuicio o dichas repercusiones negativas, según demuestren, por ejemplo, los informes o las alegaciones documentadas que se presenten a las autoridades nacionales de supervisión, la Comisión, la Oficina de IA, el SEPD o la Agencia de los Derechos Fundamentales de la Unión Europea;
Enmienda 247 Propuesta de Reglamento Artículo 7 – apartado 2 – letra d
d) el posible alcance de dicho perjuicio o dichas repercusiones negativas, en particular en lo que respecta a su intensidad y su capacidad para afectar a una gran variedad de personas;
d) el posible alcance de dicho perjuicio o dichas repercusiones negativas, en particular en lo que respecta a su intensidad y su capacidad para afectar a una gran variedad de personas o afectar de manera desproporcionada a un grupo determinado de personas;
Enmienda 248 Propuesta de Reglamento Artículo 7 – apartado 2 – letra e
e) la medida en que las personas que podrían sufrir dicho perjuicio o dichas repercusiones negativas dependan de la información de salida generada con un sistema de IA, en particular porque, por motivos prácticos o jurídicos, no sea razonablemente posible renunciar a dicha información;
e) la medida en que las personas que podrían sufrir dicho perjuicio o dichas repercusiones negativas dependan de la información de salida generada con la participación de un sistema de IA, y que dicha información de salida sea meramente accesoria respecto a la decisión o acción pertinente que deba adoptarse, en particular porque, por motivos prácticos o jurídicos, no sea razonablemente posible renunciar a dicha información;
Enmienda 249 Propuesta de Reglamento Artículo 7 – apartado 2 – letra e bis (nueva)
e bis) el posible uso indebido y malicioso del sistema de IA y de la tecnología que lo sustenta;
Enmienda 250 Propuesta de Reglamento Artículo 7 – apartado 2 – letra f
f) la medida en que las personas que podrían sufrir dicho perjuicio o dichas repercusiones negativas se encuentren en una posición de vulnerabilidad respecto del usuario de un sistema de IA, en particular debido a un desequilibrio en cuanto al poder o los conocimientos que ambos poseen, sus circunstancias económicas o sociales, o su edad;
f) la medida en que se produce un desequilibrio en cuanto al poder o las personas que podrían sufrir dicho perjuicio o dichas repercusiones negativas se encuentren en una posición de vulnerabilidad respecto del usuario de un sistema de IA, en particular debido a su situación, su autoridad o sus conocimientos, sus circunstancias económicas o sociales, o su edad;
Enmienda 251 Propuesta de Reglamento Artículo 7 – apartado 2 – letra g
g) la medida en que sea fácil revertir la información de salida generada con un sistema de IA, habida cuenta de que no se debe considerar que la información de salida que afecta a la salud o la seguridad de las personas es fácil de revertir;
g) la medida en que sea fácil revertir o corregir la información de salida generada con la participación de un sistema de IA, habida cuenta de que no se debe considerar que la información de salida que afecta negativamente a la salud, a la seguridad, a los derechos fundamentales de las personas, al medio ambiente, a la democracia y al Estado de Derecho es fácil de revertir;
Enmienda 252 Propuesta de Reglamento Artículo 7 – apartado 2 – letra g bis (nueva)
g bis) el alcance de la disponibilidad y del uso de soluciones y mecanismos técnicos efectivos para el control, la fiabilidad y la corregibilidad del sistema de IA;
Enmienda 253 Propuesta de Reglamento Artículo 7 – apartado 2 – letra g ter (nueva)
g ter) la magnitud y la probabilidad del beneficio de la implementación del sistema de IA para las personas, los colectivos y la sociedad en general, incluidas las posibles mejoras en la seguridad de los productos;
Enmienda 254 Propuesta de Reglamento Artículo 7 – apartado 2 – letra g quater (nueva)
g quater) el grado de supervisión humana y la posibilidad de que un ser humano intervenga para anular una decisión o recomendaciones que puedan dar lugar a posibles perjuicios;
Enmienda 255 Propuesta de Reglamento Artículo 7 – apartado 2 – letra h
i) medidas de compensación efectivas en relación con los riesgos que conlleva un sistema de IA, con exclusión de las acciones por daños y perjuicios;
h) la medida en que el Derecho de la Unión vigente establezca:
i) medidas de compensación efectivas en relación con los perjuicios causados por un sistema de IA, con exclusión de las acciones por daños y perjuicios directos o indirectos;
ii) medidas efectivas para prevenir o reducir notablemente esos riesgos.
Enmienda 256 Propuesta de Reglamento Artículo 7 – apartado 2 bis (nuevo)
2 bis. Al llevar a cabo la evaluación de un sistema de IA a efectos de los apartados 1 y 1 bis, la Comisión consultará a la Oficina de IA y, cuando proceda, a los representantes de los colectivos en los que tenga repercusiones un sistema de IA, al sector, a expertos independientes, a interlocutores sociales y a organizaciones de la sociedad civil. La Comisión también organizará consultas públicas a este respecto y pondrá a disposición del público los resultados de dichas consultas y de la evaluación final;
Enmienda 257 Propuesta de Reglamento Artículo 7 – apartado 2 ter (nuevo)
2 ter. La Oficina de IA, las autoridades nacionales de supervisión o el Parlamento Europeo podrán solicitar a la Comisión que revalúe y recalifique la categorización del riesgo de un sistema de IA de conformidad con los apartados 1 y 1 bis. La Comisión justificará su decisión y hará públicos los motivos alegados.
Enmienda 258 Propuesta de Reglamento Artículo 8 – apartado 1 bis (nuevo)
1 bis. Al cumplir el requisito establecido en el presente capítulo, se tendrán debidamente en cuenta las orientaciones desarrolladas a que se hace referencia en el artículo 82 ter, el estado de la técnica generalmente reconocido, que se refleja, entre otras fuentes, en las normas armonizadas y en las especificaciones comunes pertinentes a que se refieren los artículos 40 y 41 o en aquellas ya establecidas en la legislación de armonización de la Unión.
Enmienda 259 Propuesta de Reglamento Artículo 8 – apartado 2
2. A la hora de verificar su cumplimiento se tendrán en cuenta la finalidad prevista del sistema de IA de alto riesgo y el sistema de gestión de riesgos al que se refiere el artículo 9.
2. A la hora de verificar su cumplimiento se tendrán en cuenta la finalidad prevista del sistema de IA de alto riesgo, los usos indebidos razonablemente previsibles y el sistema de gestión de riesgos al que se refiere el artículo 9.
Enmienda 260 Propuesta de Reglamento Artículo 8 – apartado 2 bis (nuevo)
2 bis. Mientras los requisitos del título III, capítulos 2 y 3, o del título VIII, capítulos 1, 2 y 3, para los sistemas de IA de alto riesgo se aborden en la legislación de armonización de la Unión citada en el anexo II, sección A, se considerarán cumplidos los requisitos u obligaciones de dichos capítulos del presente Reglamento, siempre que incluyan el componente de IA. Los requisitos del título III, capítulos 2 y 3, o del título VIII, capítulos 1, 2 y 3, para los sistemas de IA de alto riesgo no contemplados en la legislación de armonización de la Unión citada en el anexo II, sección A, se incorporarán a dicha legislación de armonización de la Unión, cuando proceda. La evaluación de la conformidad pertinente se llevará a cabo como parte de los procedimientos establecidos con arreglo a la legislación de armonización de la Unión citada en el anexo II, sección A.
Enmienda 261 Propuesta de Reglamento Artículo 9 – apartado 1
1. Se establecerá, implantará, documentará y mantendrá un sistema de gestión de riesgos asociado a los sistemas de IA de alto riesgo.
1. Se establecerá, implantará, documentará y mantendrá un sistema de gestión de riesgos asociado a los sistemas de IA de alto riesgo durante todo el ciclo de vida del sistema de IA. El sistema de gestión de riesgos puede integrarse en los procedimientos de gestión de riesgos ya existentes, o en parte de ellos, relativos a la legislación sectorial de la Unión pertinente en la medida en que cumpla los requisitos del presente artículo.
Enmienda 262 Propuesta de Reglamento Artículo 9 – apartado 2 – parte introductoria
2. El sistema de gestión de riesgos consistirá en un proceso iterativo continuo que se llevará a cabo durante todo el ciclo de vida de un sistema de IA de alto riesgo, el cual requerirá actualizaciones sistemáticas periódicas. Constará de las siguientes etapas:
2. El sistema de gestión de riesgos consistirá en un proceso iterativo continuo que se llevará a cabo durante todo el ciclo de vida de un sistema de IA de alto riesgo, el cual requerirá revisiones y actualizaciones periódicas del proceso de gestión del riesgo, a fin de garantizar su eficacia continua y la documentación de cualesquier decisiones y medidas significativas adoptadas sujetas al presente artículo. Constará de las siguientes etapas:
Enmienda 263 Propuesta de Reglamento Artículo 9 – apartado 2 – letra a
a) la identificación y el análisis de los riesgos conocidos y previsibles vinculados a cada sistema de IA de alto riesgo;
a) la identificación, la estimación y la evaluación de los riesgos conocidos y razonablemente previsibles que el sistema de IA de alto riesgo pueda plantear para la salud o la seguridad de las personas físicas, sus derechos fundamentales, incluida la igualdad de acceso y oportunidades, la democracia y el Estado de Derecho o el medio ambiente, cuando el sistema de IA de alto riesgo se utilice de conformidad con su finalidad prevista y en condiciones de uso indebido razonablemente previsible;
Enmienda 264 Propuesta de Reglamento Artículo 9 – apartado 2 – letra b
b) la estimación y la evaluación de los riesgos que podrían surgir cuando el sistema de IA de alto riesgo en cuestión se utilice conforme a su finalidad prevista y cuando se le dé un uso indebido razonablemente previsible;
suprimida
Enmienda 265 Propuesta de Reglamento Artículo 9 – apartado 2 – letra c
c) la evaluación de otros riesgos que podrían surgir a partir del análisis de los datos recogidos con el sistema de seguimiento posterior a la comercialización al que se refiere el artículo 61;
c) la evaluación de los riesgos significativos emergentes descritos en la letra a) y detectados a partir del análisis de los datos recogidos con el sistema de seguimiento posterior a la comercialización al que se refiere el artículo 61;
Enmienda 266 Propuesta de Reglamento Artículo 9 – apartado 2 – letra d
d) la adopción de medidas oportunas de gestión de riesgos con arreglo a lo dispuesto en los apartados siguientes.
d) la adopción de medidas apropiadas y específicas de gestión de riesgos diseñadas para abordar los riesgos detectados de conformidad con las letras a) y b) del presente apartado con arreglo a lo dispuesto en los apartados siguientes.
Enmienda 267 Propuesta de Reglamento Artículo 9 – apartado 3
3. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), darán la debida consideración a los efectos y las posibles interacciones derivados de la aplicación combinada de los requisitos estipulados en el presente capítulo 2. Asimismo, tendrán en cuenta el estado actual de la técnica generalmente reconocido, que, entre otras fuentes, está reflejado en las normas armonizadas o las especificaciones comunes pertinentes.
3. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), darán la debida consideración a los efectos y las posibles interacciones derivados de la aplicación combinada de los requisitos estipulados en el presente capítulo 2, con vistas a mitigar los riesgos con eficacia al tiempo que se garantiza una aplicación adecuada y proporcionada de los requisitos.
4. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), considerarán aceptables los riesgos residuales asociados a cada peligro, así como el riesgo residual general de los sistemas de IA de alto riesgo, siempre que el sistema de IA de alto riesgo de que se trate se utilice conforme a su finalidad prevista o que se le dé un uso indebido razonablemente previsible. Se informará al usuario de dichos riesgos residuales.
4. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), permitirán que se consideren razonablemente aceptables los riesgos residuales pertinentes asociados a cada peligro, así como el riesgo residual general de los sistemas de IA de alto riesgo, siempre que el sistema de IA de alto riesgo de que se trate se utilice conforme a su finalidad prevista o que se le dé un uso indebido razonablemente previsible. Se informará al implementador de dichos riesgos residuales y de los juicios razonados realizados.
A la hora de determinar cuáles son las medidas de gestión de riesgos más adecuadas, se procurará:
Enmienda 269 Propuesta de Reglamento Artículo 9 – apartado 4 – párrafo 2 – letra a
a) eliminar o reducir los riesgos en la medida en que sea posible mediante un diseño y un desarrollo adecuados;
a) eliminar o reducir los riesgos detectados en la medida en que sea tecnológicamente factible mediante un diseño y un desarrollo adecuados del sistema de IA de alto riesgo, con la participación, cuando proceda, de expertos y partes interesadas externas;
Enmienda 270 Propuesta de Reglamento Artículo 9 – apartado 4 – párrafo 2 – letra b
b) implantar, cuando proceda, unas medidas de mitigación y control apropiadas en relación con los riesgos que no puedan eliminarse;
b) implantar, cuando proceda, unas medidas de mitigación y control apropiadas que aborden los riesgos significativos que no puedan eliminarse;
Enmienda 271 Propuesta de Reglamento Artículo 9 – apartado 4 – párrafo 2 – letra c
c) proporcionar la información oportuna conforme al artículo 13, en particular en relación con los riesgos mencionados en el apartado 2, letra b), del presente artículo y, cuando proceda, impartir formación a los usuarios.
c) proporcionar la información requerida conforme al artículo 13 y, cuando proceda, impartir formación a los implementadores.
Cuando se eliminen o reduzcan los riesgos asociados a la utilización del sistema de IA de alto riesgo, se tendrán en la debida consideración los conocimientos técnicos, la experiencia, la educación y la formación que se espera que posea el usuario, así como el entorno en el que está previsto que se utilice el sistema.
Cuando se eliminen o reduzcan los riesgos asociados a la utilización del sistema de IA de alto riesgo, los proveedores tendrán en la debida consideración los conocimientos técnicos, la experiencia, la educación y la formación que podría necesitar el implementador, en particular en relación con el contexto en el que está previsto que se utilice el sistema.
Enmienda 273 Propuesta de Reglamento Artículo 9 – apartado 5
5. Los sistemas de IA de alto riesgo serán sometidos a pruebas destinadas a determinar cuáles son las medidas de gestión de riesgos más adecuadas. Dichas pruebas comprobarán que los sistemas de IA de alto riesgo funcionan de un modo adecuado para su finalidad prevista y cumplen los requisitos establecidos en el presente capítulo.
5. Los sistemas de IA de alto riesgo serán sometidos a pruebas destinadas a determinar cuáles son las medidas de gestión de riesgos más adecuadas y específicas y a ponderar tales medidas respecto a los posibles beneficios y los objetivos previstos del sistema. Dichas pruebas comprobarán que los sistemas de IA de alto riesgo funcionan de un modo adecuado para su finalidad prevista y cumplen los requisitos establecidos en el presente capítulo.
Enmienda 274 Propuesta de Reglamento Artículo 9 – apartado 6
6. Los procedimientos de prueba serán adecuados para alcanzar la finalidad prevista del sistema de IA y no excederán de lo necesario para ello.
6. Los procedimientos de prueba serán adecuados para alcanzar la finalidad prevista del sistema de IA.
Enmienda 275 Propuesta de Reglamento Artículo 9 – apartado 7
7. Las pruebas de los sistemas de IA de alto riesgo se realizarán, según proceda, en cualquier momento del proceso de desarrollo y, en todo caso, antes de su introducción en el mercado o puesta en servicio. Los ensayos se realizarán a partir de parámetros y umbrales de probabilidades previamente definidos que sean adecuados para la finalidad prevista del sistema de IA de alto riesgo de que se trate.
7. Las pruebas de los sistemas de IA de alto riesgo se realizaránantes de su introducción en el mercado o puesta en servicio. Los ensayos se realizarán a partir de parámetros y umbrales de probabilidades previamente definidos que sean adecuados para la finalidad prevista o el uso indebido razonablemente previsible del sistema de IA de alto riesgo de que se trate.
Enmienda 276 Propuesta de Reglamento Artículo 9 – apartado 8
8. Cuando se implante el sistema de gestión de riesgos descrito en los apartados 1 a 7, se prestará especial atención a la probabilidad de que menores accedan al sistema de IA de alto riesgo de que se trate o se vean afectados por él.
8. Cuando se implante el sistema de gestión de riesgos descrito en los apartados 1 a 7, los proveedores prestarán especial atención a la probabilidad de que grupos vulnerables de personas o menores se vean afectados negativamente por el sistema de IA de alto riesgo de que se trate.
Enmienda 277 Propuesta de Reglamento Artículo 9 – apartado 9
9. En el caso de las entidades de crédito reguladas por la Directiva2013/36/UE, los aspectos descritos en los apartados 1 a 8 formarán parte de los procedimientos de gestión de riesgos que estas establezcan conforme al artículo 74 de dicha Directiva.
9. En el caso de los proveedores y de los sistemas de IA ya cubiertos por la legislación de la Unión que les obliga a establecer una gestión de riesgos específicos, incluidas las entidades de crédito reguladas por la Directiva 2013/36/UE, los aspectos descritos en los apartados 1 a 8 formarán parte de los procedimientos de gestión de riesgos establecidos por dicha legislación de la Unión, o estarán combinados con ellos.
Enmienda 278 Propuesta de Reglamento Artículo 10 – apartado 1
1. Los sistemas de IA de alto riesgo que utilizan técnicas que implican el entrenamiento de modelos con datos se desarrollarán a partir de conjuntos de datos de entrenamiento, validación y prueba que cumplan los criterios de calidad expuestos en los apartados 2 a 5.
1. Los sistemas de IA de alto riesgo que utilizan técnicas que implican el entrenamiento de modelos con datos se desarrollarán a partir de conjuntos de datos de entrenamiento, validación y prueba que cumplan los criterios de calidad expuestos en los apartados 2 a 5, en la medida en que esto sea técnicamente posible de conformidad con el segmento de mercado o ámbito de aplicación de que se trate.
Las técnicas que no requieran datos de entrada etiquetados, como el aprendizaje no supervisado y el aprendizaje de refuerzo, se desarrollarán sobre la base de conjuntos de datos, como las pruebas y la verificación que cumplen los criterios de calidad mencionados en los apartados 2 a 5.
Enmienda 279 Propuesta de Reglamento Artículo 10 – apartado 2 – parte introductoria
2. Los conjuntos de datos de entrenamiento, validación y prueba se someterán a prácticas adecuadas de gobernanza y gestión de datos. Dichas prácticas se centrarán, en particular, en:
2. Los conjuntos de datos de entrenamiento, validación y prueba se someterán a una gobernanza adecuada al contexto del uso, así como a la finalidad prevista del sistema de IA. Dichas medidas se centrarán, en particular, en:
Enmienda 280 Propuesta de Reglamento Artículo 10 – apartado 2 – letra a bis (nueva)
a bis) la transparencia en lo que respecta a la finalidad original de la recopilación de datos;
Enmienda 281 Propuesta de Reglamento Artículo 10 – apartado 2 – letra b
b) la recopilación de datos;
b) los procesos de recopilación de datos;
Enmienda 282 Propuesta de Reglamento Artículo 10 – apartado 2 – letra c
c) las operaciones de tratamiento oportunas para la preparación de los datos, como la anotación, el etiquetado, la depuración, el enriquecimiento y la agregación;
c) las operaciones de tratamiento para la preparación de los datos, como la anotación, el etiquetado, la depuración, la actualización, el enriquecimiento y la agregación;
Enmienda 283 Propuesta de Reglamento Artículo 10 – apartado 2 – letra d
d) la formulación de los supuestos pertinentes, fundamentalmente en lo que respecta a la información que, ateniéndose a ellos, los datos miden y representan;
d) la formulación de los supuestos, fundamentalmente en lo que respecta a la información que, ateniéndose a ellos, los datos miden y representan;
Enmienda 284 Propuesta de Reglamento Artículo 10 – apartado 2 – letra e
e) la evaluación previa de la disponibilidad, la cantidad y la adecuación de los conjuntos de datos necesarios;
e) una evaluación de la disponibilidad, la cantidad y la adecuación de los conjuntos de datos necesarios;
Enmienda 285 Propuesta de Reglamento Artículo 10 – apartado 2 – letra f
f) el examen atendiendo a posibles sesgos;
f) el examen atendiendo a posibles sesgos que puedan afectar a la salud y la seguridad de las personas, afectar negativamente a los derechos fundamentales o dar lugar a una discriminación prohibida por el Derecho de la Unión, especialmente cuando los datos de salida influyan en los datos de entrada en futuras operaciones («bucle de retroalimentación») y medidas adecuadas para detectar, prevenir y mitigar posibles sesgos;
Enmienda 286 Propuesta de Reglamento Artículo 10 – apartado 2 – letra f bis (nueva)
f bis) las medidas adecuadas para detectar, prevenir y mitigar posibles sesgos;
Enmienda 287 Propuesta de Reglamento Artículo 10 – apartado 2 – letra g
g) la detección de posibles lagunas o deficiencias en los datos y la forma de subsanarlas.
g) la detección de lagunas o deficiencias pertinentes que impidan el cumplimiento del presente Reglamento en los datos y la forma de subsanarlas;
Enmienda 288 Propuesta de Reglamento Artículo 10 – apartado 3
3. Los conjuntos de datos de entrenamiento, validación y prueba serán pertinentes y representativos, carecerán de errores y estarán completos. Asimismo, tendrán las propiedades estadísticas adecuadas, también en lo que respecta a las personas o los grupos de personas en relación con los que se pretenda utilizar el sistema de IA de alto riesgo, cuando proceda. Los conjuntos de datos podrán reunir estas características individualmente para cada dato o para una combinación de estos.
3. Los conjuntos de datos de entrenamiento y, cuando se utilicen, los conjuntos de datos de validación y prueba, incluidas las etiquetas, deben ser pertinentes, suficientemente representativos, debidamente evaluados por lo que respecta a los errores y ser tan completos como sea posible en vista de la finalidad prevista. Asimismo, tendrán las propiedades estadísticas adecuadas, también en lo que respecta a las personas o los grupos de personas en relación con los que se pretenda utilizar el sistema de IA de alto riesgo, cuando proceda. Los conjuntos de datos reunirán estas características individualmente para cada conjunto de datos o para una combinación de estos.
Enmienda 289 Propuesta de Reglamento Artículo 10 – apartado 4
4. Los conjuntos de datos de entrenamiento, validación y prueba tendrán en cuenta, en la medida necesaria en función de su finalidad prevista, las características o elementos particulares del contexto geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA de alto riesgo.
4. Los conjuntos de datos tendrán en cuenta, en la medida necesaria en función de su finalidad prevista o los usos indebidos razonablemente previsibles del sistema de IA, las características o elementos particulares del marco geográfico, contextual, conductual o funcional específico en el que se pretende utilizar el sistema de IA de alto riesgo.
Enmienda 290 Propuesta de Reglamento Artículo 10 – apartado 5
5. En la medida en que sea estrictamente necesario para garantizar la vigilancia, la detección y la corrección de los sesgos asociados a los sistemas de IA de alto riesgo, los proveedores de dichos sistemas podrán tratar las categorías especiales de datos personales que se mencionan en el artículo 9, apartado 1, del Reglamento (UE) 2016/679; el artículo 10 de la Directiva (UE) 2016/680, y el artículo 10, apartado 1, del Reglamento (UE) 2018/1725, ofreciendo siempre las salvaguardias adecuadas para los derechos y las libertades fundamentales de las personas físicas, lo que incluye establecer limitaciones técnicas a la reutilización y la utilización de las medidas de seguridad y protección de la privacidad más recientes, tales como la seudonimización o el cifrado, cuando la anonimización pueda afectar significativamente al objetivo perseguido.
5. En la medida en que sea estrictamente necesario para garantizar la detección y la corrección de los sesgos negativos asociados a los sistemas de IA de alto riesgo, los proveedores de dichos sistemas podrán tratar excepcionalmente las categorías especiales de datos personales que se mencionan en el artículo 9, apartado 1, del Reglamento (UE) 2016/679; el artículo 10 de la Directiva (UE) 2016/680, y el artículo 10, apartado 1, del Reglamento (UE) 2018/1725, ofreciendo siempre las salvaguardias adecuadas para los derechos y las libertades fundamentales de las personas físicas, lo que incluye establecer limitaciones técnicas a la reutilización y la utilización de las medidas de seguridad y protección de la privacidad más recientes. En particular, se aplicarán todas las condiciones siguientes para que se produzca este tratamiento: a) el tratamiento de datos sintéticos o anonimizados no permita alcanzar eficazmente la detección y corrección de sesgos;
b) los datos sean seudonimizados;
c) el proveedor tome las medidas técnicas y organizativas adecuadas para garantizar que los datos tratados a efectos del presente apartado estén asegurados y protegidos, con sujeción a las garantías adecuadas, y que solo las personas autorizadas tengan acceso a dichos datos con las obligaciones de confidencialidad adecuadas;
d) los datos tratados a efectos del presente apartado no serán transmitidos, transferidos ni consultados de otro modo por otras partes;
e) los datos personales tratados a efectos del presente apartado se protejan por medio de las medidas técnicas y organizativas adecuadas y se eliminen una vez se ha corregido el sesgo o cuando los datos personales lleguen al final de su período de conservación;
f) se hayan adoptado medidas eficaces y adecuadas para garantizar la disponibilidad, la seguridad y la resiliencia de los sistemas y servicios de tratamiento frente a incidentes técnicos o físicos;
g) se hayan adoptado medidas eficaces y adecuadas para garantizar la seguridad física de los lugares en los que se almacenan y procesan los datos, la gobernanza y la gestión de sistemas informáticos internos y de sistemas de seguridad informática, la certificación de procesos y productos;
Los proveedores que recurran a esta disposición elaborarán documentación que explique por qué el tratamiento de categorías especiales de datos personales era necesario para detectar y corregir sesgos.
Enmienda 291 Propuesta de Reglamento Artículo 10 – apartado 6 bis (nuevo)
6 bis. Cuando el proveedor no pueda cumplir las obligaciones establecidas en el presente artículo porque dicho proveedor no tenga acceso a los datos y los datos estén en poder exclusivamente del implementador, este último podrá, en virtud de un contrato, ser responsable de cualquier infracción del presente artículo.
La documentación técnica se redactará de modo que demuestre que el sistema de IA de alto riesgo cumple los requisitos establecidos en el presente capítulo y proporcionará a las autoridades nacionales competentes y los organismos notificados toda la información que necesiten para evaluar si el sistema de IA de que se trate cumple dichos requisitos. Contendrá, como mínimo, los elementos contemplados en el anexo IV.
La documentación técnica se redactará de modo que demuestre que el sistema de IA de alto riesgo cumple los requisitos establecidos en el presente capítulo y proporcionará a las autoridades nacionales de supervisión y los organismos notificados la información que necesiten para evaluar si el sistema de IA de que se trate cumple dichos requisitos. Contendrá, como mínimo, los elementos contemplados en el anexo IV o, en el caso de las pymes y las empresas emergentes, cualquier documentación equivalente que cumpla los mismos objetivos, previa aprobación de la autoridad nacional competente.
Enmienda 293 Propuesta de Reglamento Artículo 11 – apartado 2
2. Cuando se introduzca en el mercado o se ponga en servicio un sistema de IA de alto riesgo asociado a un producto al que se apliquen los actos legislativos mencionados en el anexo II, sección A, se elaborará una única documentación técnica que contenga toda la información estipulada en el anexo IV, así como la información que exijan dichos actos legislativos.
2. Cuando se introduzca en el mercado o se ponga en servicio un sistema de IA de alto riesgo asociado a un producto al que se apliquen los actos legislativos mencionados en el anexo II, sección A, se elaborará una única documentación técnica que contenga toda la información estipulada en el apartado 1, así como la información que exijan dichos actos legislativos.
Enmienda 294 Propuesta de Reglamento Artículo 11 – apartado 3 bis (nuevo)
3 bis. En el caso de los proveedores que sean entidades de crédito reguladas por la Directiva 2013/36/UE, la documentación técnica formará parte de la documentación relativa a los sistemas, procedimientos y mecanismos de gobierno interno que figuran en el artículo 74 de dicha Directiva.
Enmienda 295 Propuesta de Reglamento Artículo 12 – apartado 1
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán con capacidades que permitan registrar automáticamente eventos («archivos de registro») mientras están en funcionamiento. Estas capacidades de registro se ajustarán a las normas o las especificaciones comunes reconocidas.
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán con capacidades que permitan registrar automáticamente eventos («archivos de registro») mientras están en funcionamiento. Estas capacidades de registro se ajustarán a las normas o las especificaciones comunes reconocidas y al estado de la técnica.
Enmienda 296 Propuesta de Reglamento Artículo 12 – apartado 2
2. Las capacidades de registro garantizarán un nivel de trazabilidad del funcionamiento del sistema de IA durante su ciclo de vida que resulte adecuado para la finalidad prevista del sistema.
2. Con el fin de garantizar un nivel de trazabilidad del funcionamiento del sistema de IA durante toda su vida útil que resulte adecuado para la finalidad prevista del sistema, las capacidades de registro facilitarán el seguimiento de las operaciones a que se hace referencia en el artículo 29, apartado 4, y el seguimiento posterior a la comercialización a que se hace referencia en el artículo 61. En particular, permitirán el registro de acontecimientos pertinentes para la detección de situaciones que puedan:
a) dar lugar a que el sistema de IA suponga un riesgo en el sentido del artículo 65, apartado 1; o
b) dar lugar a una modificación sustancial en el sistema de IA.
Enmienda 297 Propuesta de Reglamento Artículo 12 – apartado 2 bis (nuevo)
2 bis. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán con capacidades de registro que permitan registrar el consumo de energía, la medición o el cálculo del uso de los recursos y el impacto ambiental del sistema de IA de alto riesgo durante todas las fases de su ciclo de vida.
Enmienda 298 Propuesta de Reglamento Artículo 12 – apartado 3
3. En particular, las capacidades de registro permitirán controlar el funcionamiento del sistema de IA de alto riesgo en lo que respecta a la aparición de situaciones que puedan hacer que este sistema presente un riesgo, en el sentido del artículo 65, apartado 1, o dar lugar a una modificación sustancial, y facilitarán el seguimiento posterior a la comercialización al que se refiere el artículo 61.
suprimido
Enmienda 299 Propuesta de Reglamento Artículo 13 – título
Transparencia y comunicación de información a los usuarios
Transparencia y comunicación de información
Enmienda 300 Propuesta de Reglamento Artículo 13 – apartado 1
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de un modo que garantice que funcionan con un nivel de transparencia suficiente para que los usuarios interpreten y usen correctamente su información de salida. Se garantizará un tipo y un nivel de transparencia adecuados para que el usuario y el proveedor cumplan las obligaciones oportunas previstas en el capítulo 3 del presente título.
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de un modo que garantice que funcionan con un nivel de transparencia suficiente para que los proveedores y usuarios entiendan razonablemente el funcionamiento del sistema. Se garantizará una transparencia adecuada, con arreglo a la finalidad prevista del sistema de IA, para que el proveedor y el usuario cumplan las obligaciones oportunas previstas en el capítulo 3 del presente título.
Así pues, la transparencia significará que, en el momento de la introducción en el mercado del sistema de IA de alto riesgo, se utilizarán todos los medios técnicos disponibles de conformidad con el estado actual de la técnica generalmente reconocido para garantizar que el proveedor y el usuario puedan interpretar la información de salida del sistema de IA de alto riesgo. El usuario estará capacitado para comprender y utilizar adecuadamente el sistema de IA sabiendo, en general, cómo funciona el sistema de IA y qué datos trata, lo que le permitirá explicar las decisiones adoptadas por el sistema de IA a la persona afectada de conformidad con el artículo 68, letra c).
Enmienda 301 Propuesta de Reglamento Artículo 13 – apartado 2
2. Los sistemas de IA de alto riesgo irán acompañados de las instrucciones de uso correspondientes en un formato digital o de otro tipo adecuado, las cuales incluirán información concisa, completa, correcta y clara que sea pertinente, accesible y comprensible para los usuarios.
2. Los sistemas de IA de alto riesgo irán acompañados de las instrucciones de uso inteligibles correspondientes en un formato digital adecuado o puestas a disposición de otra forma en un medio durable, las cuales incluirán información concisa, correcta, clara y, en la medida de lo posible, completa que proporcione asistencia en el funcionamiento y el mantenimiento del sistema de IA, que contribuya a fundamentar la toma de decisiones informada por parte de los usuarios y sea razonablemente pertinente, accesible y comprensible para los usuarios.
Enmienda 302 Propuesta de Reglamento Artículo 13 – apartado 3 – parte introductoria
3. La información a que se refiere el apartado 2 especificará:
3. A fin de obtener la información de salida mencionada en el apartado 1, la información a que se refiere el apartado 2 especificará:
Enmienda 303 Propuesta de Reglamento Artículo 13 – apartado 3 – letra a
a) la identidad y los datos de contacto del proveedor y, en su caso, de su representante autorizado;
a) la identidad y los datos de contacto del proveedor y, en su caso, de sus representantes autorizados;
Enmienda 304 Propuesta de Reglamento Artículo 13 – apartado 3 – letra a bis (nueva)
a bis) cuando no sea la misma que la del proveedor, la identidad y los datos de contacto de la entidad que ha llevado a cabo la evaluación de la conformidad y, cuando proceda, de su representante autorizado;
Enmienda 305 Propuesta de Reglamento Artículo 13 – apartado 3 – letra b – parte introductoria
b) las características, capacidades y limitaciones del funcionamiento del sistema de IA de alto riesgo, y en particular:
b) las características, capacidades y limitaciones del funcionamiento del sistema de IA de alto riesgo, y en particular, cuando corresponda:
Enmienda 306 Propuesta de Reglamento Artículo 13 – apartado 3 – letra b – inciso ii
ii) el nivel de precisión, solidez y ciberseguridad mencionado en el artículo 15 con respecto al cual se haya probado y validado el sistema de IA de alto riesgo y que puede esperarse de este, así como las circunstancias conocidas o previsibles que podrían afectar al nivel de precisión, solidez y ciberseguridad esperado;
ii) el nivel de precisión, solidez y ciberseguridad mencionado en el artículo 15 con respecto al cual se haya probado y validado el sistema de IA de alto riesgo y que puede esperarse de este, así como las circunstancias claramente conocidas o previsibles que podrían afectar al nivel de precisión, solidez y ciberseguridad esperado;
Enmienda 307 Propuesta de Reglamento Artículo 13 – apartado 3 – letra b – inciso iii
iii) cualquier circunstancia conocida o previsible, asociada a la utilización del sistema de IA de alto riesgo conforme a su finalidad prevista o a un uso indebido razonablemente previsible, que pueda dar lugar a riesgos para la salud y la seguridad o los derechos fundamentales;
iii) cualquier circunstancia claramente conocida o previsible, asociada a la utilización del sistema de IA de alto riesgo conforme a su finalidad prevista o a un uso indebido razonablemente previsible, que pueda dar lugar a riesgos para la salud y la seguridad, los derechos fundamentales o el medio ambiente, incluidos, cuando proceda, ejemplos ilustrativos de tales limitaciones y de supuestos en los que no deba utilizarse el sistema;
Enmienda 308 Propuesta de Reglamento Artículo 13 – apartado 3 – letra b – inciso iii bis (nuevo)
iii bis) el grado en que el sistema de IA pueda ofrecer una explicación de las decisiones que adopte;
Enmienda 309 Propuesta de Reglamento Artículo 13 – apartado 3 – letra b – inciso v
v) cuando proceda, especificaciones relativas a los datos de entrada, o cualquier otra información pertinente en relación con los conjuntos de datos de entrenamiento, validación y prueba usados, teniendo en cuenta la finalidad prevista del sistema de IA;
v) información pertinente sobre las acciones de los usuarios que puedan influir en el rendimiento del sistema, incluido el tipo o la calidad de los datos de entrada, o cualquier otra información pertinente en relación con los conjuntos de datos de entrenamiento, validación y prueba usados, teniendo en cuenta la finalidad prevista del sistema de IA;
Enmienda 310 Propuesta de Reglamento Artículo 13 – apartado 3 – letra e
e) la vida útil prevista del sistema de IA de alto riesgo, así como las medidas de mantenimiento y cuidado necesarias para garantizar el correcto funcionamiento de dicho sistema, también en lo que respecta a la actualización del software.
e) la vida útil prevista del sistema de IA de alto riesgo, así como las medidas de mantenimiento y cuidado necesarias para garantizar el correcto funcionamiento de dicho sistema, también en lo que respecta a la actualización del software, durante toda su vida útil prevista.
Enmienda 311 Propuesta de Reglamento Artículo 13 – apartado 3 – letra e bis (nueva)
e bis) una descripción de los mecanismos incluidos en el sistema de IA para permitir a los usuarios recabar, almacenar e interpretar correctamente los archivos de registro de conformidad con el artículo 12, apartado 1.
Enmienda 312 Propuesta de Reglamento Artículo 13 – apartado 3 – letra e ter (nueva)
e ter) esta información se facilitará como mínimo en la lengua del país en el que se use el sistema de IA.
Enmienda 313 Propuesta de Reglamento Artículo 13 – apartado 3 bis (nuevo)
3 bis. A fin de cumplir las obligaciones establecidas en el presente artículo, los proveedores y los usuarios garantizarán un nivel suficiente de alfabetización en materia de IA de conformidad con el artículo 4 ter.
Enmienda 314 Propuesta de Reglamento Artículo 14 – apartado 1
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que puedan ser vigilados de manera efectiva por personas físicas durante el período que estén en uso, lo que incluye dotarlos de una herramienta de interfaz humano-máquina adecuada, entre otras cosas.
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que sean vigilados de manera efectiva por personas físicas, lo que incluye dotarlos de una herramienta de interfaz humano-máquina adecuada, entre otras cosas, de forma proporcionada a los riesgos asociados a dichos sistemas. Las personas físicas encargadas de garantizar la vigilancia humana tendrán un nivel suficiente de alfabetización en materia de IA de conformidad con el artículo 4 ter y contarán con el apoyo y la autoridad necesarios para ejercer esa función durante el período en que los sistemas de IA estén en uso y para permitir una investigación exhaustiva tras un incidente.
Enmienda 315 Propuesta de Reglamento Artículo 14 – apartado 2
2. El objetivo de la vigilancia humana será prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir cuando un sistema de IA de alto riesgo se utiliza conforme a su finalidad prevista o cuando se le da un uso indebido razonablemente previsible, en particular cuando dichos riesgos persisten a pesar de aplicar otros requisitos establecidos en el presente capítulo.
2. El objetivo de la vigilancia humana será prevenir o reducir al mínimo los riesgos para la salud, la seguridad, los derechos fundamentales o el medio ambiente que pueden surgir cuando un sistema de IA de alto riesgo se utiliza conforme a su finalidad prevista o cuando se le da un uso indebido razonablemente previsible, en particular cuando dichos riesgos persisten a pesar de aplicar otros requisitos establecidos en el presente capítulo, y cuando las decisiones basadas únicamente en el procesamiento automatizado por parte de sistemas de IA producen efectos jurídicos o significativos de otro tipo para las personas o grupos de personas con los que se deba utilizar el sistema.
Enmienda 316 Propuesta de Reglamento Artículo 14 – apartado 3 – parte introductoria
3. La vigilancia humana se garantizará de una de las siguientes maneras o de ambas:
3. La vigilancia humana tendrá en cuenta los riesgos específicos, el nivel de automatización y el contexto del sistema de IA, y se garantizará mediante uno de los siguientes tipos de medidas o de ambos:
Enmienda 317 Propuesta de Reglamento Artículo 14 – apartado 4 – parte introductoria
4. Las medidas mencionadas en el apartado 3 permitirán que las personas a quienes se encomiende la vigilancia humana puedan, en función de las circunstancias:
4. A efectos de la ejecución de lo dispuesto en los apartados 1 a 3, el sistema de IA de alto riesgo se proporcionará al usuario de tal modo que las personas físicas a quienes se encomiende la vigilancia humana puedan, en función de las circunstancias y de manera proporcional a estas:
Enmienda 318 Propuesta de Reglamento Artículo 14 – apartado 4 – letra a
a) entender por completo las capacidades y limitaciones del sistema de IA de alto riesgo y controlar debidamente su funcionamiento, de modo que puedan detectar indicios de anomalías, problemas de funcionamiento y comportamientos inesperados y ponerles solución lo antes posible;
a) ser conscientes de las capacidades pertinentes y limitaciones del sistema de IA de alto riesgo, entenderlassuficientemente y controlar debidamente su funcionamiento, de modo que puedan detectar indicios de anomalías, problemas de funcionamiento y comportamientos inesperados y ponerles solución lo antes posible;
Enmienda 319 Propuesta de Reglamento Artículo 14 – apartado 4 – letra e
e) intervenir en el funcionamiento del sistema de IA de alto riesgo o interrumpir el sistema accionando un botón específicamente destinado a tal fin o mediante un procedimiento similar.
e) intervenir en el funcionamiento del sistema de IA de alto riesgo o interrumpir el sistema accionando un botón específicamente destinado a tal fin o mediante un procedimiento similar que permita detener el sistema en un estado seguro, excepto si la injerencia humana eleva los riesgos o repercute negativamente en el rendimiento habida cuenta del estado actual de la técnica generalmente reconocido.
Enmienda 320 Propuesta de Reglamento Artículo 14 – apartado 5
5. En el caso de los sistemas de IA mencionados en el punto 1, letra a), del anexo III, las medidas que figuran en el apartado 3 garantizarán además que el usuario no actúe ni tome ninguna decisión sobre la base de la identificación generada por el sistema, salvo que un mínimo de dos personas físicas la hayan verificado y confirmado.
5. En el caso de los sistemas de IA mencionados en el punto 1, letra a), del anexo III, las medidas que figuran en el apartado 3 garantizarán además que el usuario no actúe ni tome ninguna decisión sobre la base de la identificación generada por el sistema, salvo que un mínimo de dos personas físicas con la competencia, formación y autoridad necesarias la hayan verificado y confirmado.
Enmienda 321 Propuesta de Reglamento Artículo 15 – apartado 1
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que, en vista de su finalidad prevista, alcancen un nivel adecuado de precisión, solidez y ciberseguridad y funcionen de manera consistente en esos sentidos durante todo su ciclo de vida.
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán siguiendo el principio de seguridad desde el diseño y por defecto. En vista de su finalidad prevista, deben alcanzar un nivel adecuado de precisión, solidez, seguridad y ciberseguridad y funcionar de manera consistente en esos sentidos durante todo su ciclo de vida. El cumplimiento de estos requisitos debe estar vinculado a la aplicación de medidas conformes al estado de la técnica, de acuerdo con el segmento de mercado o ámbito de aplicación específicos.
Enmienda 322 Propuesta de Reglamento Artículo 15 – apartado 1 bis (nuevo)
1 bis. A fin de abordar los aspectos técnicos de cómo medir los niveles adecuados de precisión y solidez a que se refiere el apartado 1 del presente artículo, la Oficina de IA reunirá a las autoridades nacionales e internacionales de metrología y de evaluación comparativa y proporcionará orientaciones no vinculantes sobre la cuestión tal y como se establece en el artículo 56, apartado 2, letra a).
Enmienda 323 Propuesta de Reglamento Artículo 15 – apartado 1 ter (nuevo)
1 ter. A fin de abordar cualquier problema emergente en el mercado interior en relación con la ciberseguridad, la Agencia de la Unión Europea para la Ciberseguridad (ENISA) colaborará con el Comité Europeo de Inteligencia Artificial tal como se establece en el artículo 56, apartado 2, letra b).
Enmienda 324 Propuesta de Reglamento Artículo 15 – apartado 2
2. En las instrucciones de uso que acompañen a los sistemas de IA de alto riesgo se indicarán los niveles de precisión y los parámetros de precisión pertinentes.
2. En las instrucciones de uso que acompañen a los sistemas de IA de alto riesgo se indicarán los niveles de precisión y los parámetros de precisión pertinentes. El lenguaje utilizado será claro y estará libre de malentendidos o de afirmaciones engañosas.
Los sistemas de IA de alto riesgo serán resistentes a los errores, fallos e incoherencias que pueden surgir en los propios sistemas o en el entorno donde operan, en particular a causa de su interacción con personas físicas u otros sistemas.
Se deben adoptar medidas técnicas y organizativas para garantizar que los sistemas de IA de alto riesgo serán lo más resistentes posible a los errores, fallos e incoherencias que pueden surgir en los propios sistemas o en el entorno donde operan, en particular a causa de su interacción con personas físicas u otros sistemas.
La solidez de los sistemas de IA de alto riesgo puede lograrse mediante soluciones de redundancia técnica, tales como copias de seguridad o planes de prevención contra fallos.
El proveedor pertinente, con la aportación del usuario, puede lograr, cuando sea necesario, la solidez de los sistemas de IA de alto riesgo mediante soluciones de redundancia técnica, tales como copias de seguridad o planes de prevención contra fallos.
Los sistemas de IA de alto riesgo que continúan aprendiendo tras su introducción en el mercado o puesta en servicio se desarrollarán de tal modo que los posibles sesgos en la información de salida debidos al uso de esta como datos de entrada en futuras operaciones («bucle de retroalimentación») se subsanen debidamente con las medidas de mitigación oportunas.
Los sistemas de IA de alto riesgo que continúan aprendiendo tras su introducción en el mercado o puesta en servicio se desarrollarán de tal modo que los posibles sesgos en la información de salida que influyan en los datos de entrada en futuras operaciones («bucle de retroalimentación») y la manipulación maliciosa de los datos de entrada utilizados para el aprendizaje durante el funcionamiento se subsanen debidamente con las medidas de mitigación oportunas.
Los sistemas de IA de alto riesgo serán resistentes a los intentos de terceros no autorizados de alterar su uso o funcionamiento aprovechando las vulnerabilidades del sistema.
Los sistemas de IA de alto riesgo serán resistentes a los intentos de terceros no autorizados de alterar su uso, comportamiento, información de salida o funcionamiento aprovechando las vulnerabilidades del sistema.
Entre las soluciones técnicas destinadas a subsanar vulnerabilidades específicas de la IA figurarán, según corresponda, medidas para prevenir y controlar los ataques que traten de manipular el conjunto de datos de entrenamiento («contaminación de datos»), los datos de entrada diseñados para hacer que el modelo cometa un error («ejemplos adversarios») o los defectos en el modelo.
Entre las soluciones técnicas destinadas a subsanar vulnerabilidades específicas de la IA figurarán, según corresponda, medidas para prevenir, detectar, combatir, resolver y controlar los ataques que traten de manipular el conjunto de datos de entrenamiento («contaminación de datos»), o los componentes entrenados previamente que se utilizan en el entrenamiento («contaminación de modelos»), los datos de entrada diseñados para hacer que el modelo cometa un error («ejemplos adversarios» o «evasión de modelos»), los ataques a la confidencialidad o los defectos en el modelo que podrían dar lugar a una toma de decisiones perjudicial.
Enmienda 330 Propuesta de Reglamento Título III – capítulo 3 – título
OBLIGACIONES DE LOS PROVEEDORES Y USUARIOS DE SISTEMAS DE IA DE ALTO RIESGO Y DE OTRAS PARTES
OBLIGACIONES DE LOS PROVEEDORES E IMPLEMENTADORES DE SISTEMAS DE IA DE ALTO RIESGO Y DE OTRAS PARTES
Enmienda 331 Propuesta de Reglamento Artículo 16 – título
Obligaciones de los proveedores de sistemas de IA de alto riesgo
Obligaciones de los proveedores e implementadores de sistemas de IA de alto riesgo y de otras partes
Enmienda 332 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra a
a) velarán por que sus sistemas de IA de alto riesgo cumplan los requisitos definidos en el capítulo2 del presente título;
a) velarán por que sus sistemas de IA de alto riesgo cumplan los requisitos definidos en el capítulo 2 del presente título antes de introducirlos en el mercado o ponerlos en servicio;
Enmienda 333 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra a bis (nueva)
a bis) indicarán su nombre, su nombre comercial registrado o marca registrada y su dirección e información de contacto en el sistema de IA de alto riesgo o, cuando no sea posible, en la documentación que lo acompañe, según proceda;
Enmienda 334 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra a ter (nueva)
a ter) garantizarán que las personas físicas a las que se asigna la supervisión humana de los sistemas de IA de alto riesgo sean, en concreto, conscientes del riesgo de sesgo de automatización o confirmación;
Enmienda 335 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra a quater (nueva)
a quater) proporcionarán especificaciones relativas a los datos de entrada, o a cualquier otra información pertinente en relación con los conjuntos de datos usados, en particular sus limitaciones y asunciones, teniendo en cuenta la finalidad prevista y los usos indebidos previsibles o razonablemente previsibles del sistema de IA;
Enmienda 336 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra c
c) elaborarán la documentación técnica del sistema de IA de alto riesgo;
c) elaborarán y conservarán la documentación técnica del sistema de IA de alto riesgo a que se refiere el artículo 11;
Enmienda 337 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra d
d) cuando estén bajo su control, conservarán los archivos de registro que sus sistemas de IA de alto riesgo generen automáticamente;
d) cuando estén bajo su control, conservarán los archivos de registro que sus sistemas de IA de alto riesgo generen automáticamente, que son necesarios para garantizar y demostrar el cumplimiento del presente Reglamento, de conformidad con el artículo 20;
Enmienda 338 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra e
e) se asegurarán de que los sistemas de IA de alto riesgo sean sometidos al procedimiento de evaluación de la conformidad oportuno antes de su introducción en el mercado o puesta en servicio;
e) se asegurarán de que los sistemas de IA de alto riesgo sean sometidos al procedimiento de evaluación de la conformidad oportuno antes de su introducción en el mercado o puesta en servicio, de conformidad con el artículo 43;
Enmienda 339 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra e bis (nueva)
e bis) elaborará una declaración UE de conformidad en virtud a lo dispuesto en el artículo 48;
Enmienda 340 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra e ter (nueva)
e ter) colocarán el marcado CE en el sistema de IA de alto riesgo para indicar que cumplen lo dispuesto en el presente Reglamento, de conformidad con el artículo 49;
Enmienda 341 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra g
g) adoptarán las medidas correctoras necesarias cuando un sistema de IA de alto riesgo no cumpla los requisitos establecidos en el capítulo2 del presente título;
g) adoptarán las medidas correctoras necesarias a que se refiere el artículo21 y facilitarán información al respecto;
Enmienda 342 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra h
h) informarán a las autoridades nacionales competentes del Estado miembro donde hayan comercializado o puesto en servicio el sistema de IA y, en su caso, al organismo notificado de los casos de no conformidad y de las medidas correctoras adoptadas;
suprimida
Enmienda 343 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra i
i) colocarán el marcado CE en sus sistemas de IA de alto riesgo para indicar que cumplen lo dispuesto en el presente Reglamento, de conformidad con el artículo 49;
suprimida
Enmienda 344 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra j
j) demostrarán, a solicitud de la autoridad nacional competente, que sus sistemas de IA de alto riesgo cumplen los requisitos establecidos en el capítulo 2 del presente título.
j) demostrarán, previa solicitud motivada de la autoridad nacional de supervisión, que sus sistemas de IA de alto riesgo cumplen los requisitos establecidos en el capítulo 2 del presente título.
Enmienda 345 Propuesta de Reglamento Artículo 16 – párrafo 1 – letra j bis (nueva)
j bis) garantizarán que el sistema de IA de alto riesgo cumpla los requisitos de accesibilidad.
Enmienda 346 Propuesta de Reglamento Artículo 17 – apartado 1 – parte introductoria
1. Los proveedores de sistemas de IA de alto riesgo establecerán un sistema de gestión de la calidad que garantice el cumplimiento del presente Reglamento. Dicho sistema se documentará de manera sistemática y ordenada mediante políticas, procedimientos e instrucciones escritas e incluirá, al menos, los siguientes aspectos:
1. Los proveedores de sistemas de IA de alto riesgo dispondrán de un sistema de gestión de la calidad que garantice el cumplimiento del presente Reglamento. Este se documentará de manera sistemática y ordenada mediante políticas, procedimientos o instrucciones escritas y se podrá introducir en un sistema de gestión de la calidad ya existente con arreglo a los actos legislativos sectoriales de la Unión. Dicho sistema incluirá al menos los siguientes aspectos:
Enmienda 347 Propuesta de Reglamento Artículo 17 – apartado 1 – letra a
a) una estrategia para el cumplimiento reglamentario, incluido el cumplimiento de los procedimientos de evaluación de la conformidad y de los procedimientos de gestión de las modificaciones de los sistemas de IA de alto riesgo;
suprimida
Enmienda 348 Propuesta de Reglamento Artículo 17 – apartado 1 – letra e
e) las especificaciones técnicas, incluidas las normas, que se aplicarán y, cuando las normas armonizadas pertinentes no se apliquen en su totalidad, los medios que se utilizarán para velar por que el sistema de IA de alto riesgo cumpla los requisitos establecidos en el capítulo 2 del presente título;
e) las especificaciones técnicas, incluidas las normas, que se aplicarán y, cuando las normas armonizadas pertinentes no se apliquen en su totalidad o no cubran todos los requisitos pertinentes, los medios que se utilizarán para velar por que el sistema de IA de alto riesgo cumpla los requisitos establecidos en el capítulo 2 del presente título;
Enmienda 349 Propuesta de Reglamento Artículo 17 – apartado 1 – letra f
f) los sistemas y procedimientos de gestión de datos, lo que incluye su recopilación, análisis, etiquetado, almacenamiento, filtrado, prospección, agregación, conservación y cualquier otra operación relacionada con los datos que se lleve a cabo antes de la introducción en el mercado o puesta en servicio de sistemas de IA de alto riesgo y con ese fin;
f) los sistemas y procedimientos de gestión de datos, lo que incluye su adquisición, recopilación, análisis, etiquetado, almacenamiento, filtrado, prospección, agregación, conservación y cualquier otra operación relacionada con los datos que se lleve a cabo antes de la introducción en el mercado o puesta en servicio de sistemas de IA de alto riesgo y con ese fin;
Enmienda 350 Propuesta de Reglamento Artículo 17 – apartado 1 – letra j
j) la gestión de la comunicación con las autoridades nacionales competentes; las autoridades competentes, incluidas las sectoriales, que permiten acceder a datos o facilitan el acceso a ellos; los organismos notificados; otros operadores; los clientes, u otras partes interesadas;
j) la gestión de la comunicación con las autoridades nacionales pertinentes, incluidas las sectoriales;
Enmienda 351 Propuesta de Reglamento Artículo 17 – apartado 2
2. La inclusión de los aspectos mencionados en el apartado 1 será proporcional al tamaño de la organización del proveedor.
2. La inclusión de los aspectos mencionados en el apartado 1 será proporcional al tamaño de la organización del proveedor. Los proveedores respetarán en todo caso el grado de rigor y el nivel de protección requerido para garantizar la conformidad de sus sistemas de AI con el presente Reglamento.
Enmienda 352 Propuesta de Reglamento Artículo 18 – título
Obligación de elaborar documentación técnica
suprimido
Enmienda 353 Propuesta de Reglamento Artículo 18 – apartado 1
1. Los proveedores de sistemas de IA de alto riesgo elaborarán la documentación técnica mencionada en el artículo 11 con arreglo al anexo IV.
suprimido
Enmienda 354 Propuesta de Reglamento Artículo 18 – apartado 2
2. En el caso de los proveedores que sean entidades de crédito reguladas por la Directiva 2013/36/UE, la documentación técnica formará parte de la documentación relativa a los sistemas, procedimientos y mecanismos de gobernanza interna que figuran en el artículo 74 de dicha Directiva.
suprimido
Enmienda 355 Propuesta de Reglamento Artículo 19
Artículo 19
suprimido
Evaluación de la conformidad
1. Los proveedores de sistemas de IA de alto riesgo se asegurarán de que sus sistemas sean sometidos al procedimiento de evaluación de la conformidad oportuno, de conformidad con el artículo 43, antes de su introducción en el mercado o puesta en servicio. Cuando dicha evaluación de la conformidad demuestre que los sistemas de IA cumplen los requisitos establecidos en el capítulo 2 del presente título, sus proveedores elaborarán una declaración UE de conformidad con arreglo al artículo 48 y colocarán el marcado CE de conformidad con arreglo al artículo 49.
2. En el caso de los sistemas de IA de alto riesgo mencionados en el punto 5, letra b), del anexo III, introducidos en el mercado o puestos en servicio por proveedores que sean entidades de crédito reguladas por la Directiva 2013/36/UE, la evaluación de la conformidad se llevará a cabo como parte del procedimiento a que se refieren los artículos 97 a 101 de la mencionada Directiva.
Enmienda 356 Propuesta de Reglamento Artículo 20 – apartado 1
1. Los proveedores de sistemas de IA de alto riesgo conservarán los archivos de registro que generen automáticamente sus sistemas de IA de alto riesgo en la medida en que dichos archivos estén bajo su control en virtud de un acuerdo contractual con el usuario o de conformidad con la ley.Conservarán los archivos de registro durante un período de tiempo adecuado en vista de la finalidad prevista del sistema de IA de alto riesgo en cuestión y conforme a las obligaciones jurídicas aplicables con arreglo al Derecho de la Unión o nacional.
1. Los proveedores de sistemas de IA de alto riesgo conservarán los archivos de registro que generen automáticamente sus sistemas de IA de alto riesgo en la medida en que dichos archivos estén bajo su control. Sin perjuicio del Derecho de la Unión o nacional aplicable, los archivos de registro se conservarán durante un período mínimo de seis meses. El período de conservación se ajustará a las normas del sector y será adecuado para la finalidad prevista del sistema de IA de alto riesgo.
Enmienda 357 Propuesta de Reglamento Artículo 21 – párrafo 1
Los proveedores de sistemas de IA de alto riesgo que consideren o tengan motivos para considerar que un sistema de IA de alto riesgo que han introducido en el mercado o puesto en servicio no es conforme con el presente Reglamento adoptarán inmediatamente las medidas correctoras necesarias para ponerlo en conformidad, retirarlo del mercado o recuperarlo, según proceda. Informarán de ello a los distribuidores del sistema de IA de alto riesgo en cuestión y, en su caso, al representante autorizado y a los importadores.
Los proveedores de sistemas de IA de alto riesgo que consideren o tengan motivos para considerar que un sistema de IA de alto riesgo que han introducido en el mercado o puesto en servicio no es conforme con el presente Reglamento adoptarán inmediatamente las medidas correctoras necesarias para ponerlo en conformidad, desactivarlo, retirarlo del mercado o recuperarlo, según proceda.
En los casos a que se refiere el párrafo primero, los proveedores informarán inmediatamente a:
a) los distribuidores;
b) los importadores;
c) las autoridades nacionales competentes de los Estados miembros en los que hayan comercializado o puesto en servicio el sistema de IA; y
d) al implementador, cuando sea posible.
Enmienda 358 Propuesta de Reglamento Artículo 21 – párrafo 1 bis (nuevo)
Los proveedores también informarán al representante autorizado, en el caso de que se haya designado uno con arreglo al artículo 25, y al organismo notificado, de si el sistema de IA de alto riesgo ha de someterse a una evaluación de la conformidad realizada por un organismo independiente con arreglo al artículo 43. Cuando proceda, también investigarán las causas en colaboración con el implementador.
Enmienda 359 Propuesta de Reglamento Artículo 22 – párrafo 1
Cuando un sistema de IA de alto riesgo presente un riesgo en el sentido del artículo 65, apartado 1, y el proveedor del sistema sea consciente de dicho riesgo, dicho proveedor informará de inmediato, en particular sobre el incumplimiento y las medidas correctoras adoptadas, a las autoridades nacionales competentes del Estado miembro donde haya comercializado el sistema y, cuando proceda, al organismo notificado que haya expedido el certificado correspondiente al sistema de IA de alto riesgo.
Cuando un sistema de IA de alto riesgo presente un riesgo en el sentido del artículo 65, apartado 1, y el proveedor del sistema tome consciencia de dicho riesgo, dicho proveedor informará de inmediato, en particular sobre la naturaleza del incumplimiento y las medidas correctoras pertinentes adoptadas, a las autoridades nacionales de supervisión del Estado miembro donde haya comercializado el sistema y, cuando proceda, al organismo notificado que haya expedido el certificado correspondiente al sistema de IA de alto riesgo.
Enmienda 360 Propuesta de Reglamento Artículo 22 – párrafo 1 bis (nuevo)
En los casos a que se refiere el párrafo primero, los proveedores del sistema de IA de alto riesgo informarán inmediatamente a:
a) los distribuidores;
b) los importadores;
c) las autoridades nacionales competentes de los Estados miembros en los que hayan comercializado o puesto en servicio el sistema de IA; y
d) los implementadores, cuando sea posible.
Enmienda 361 Propuesta de Reglamento Artículo 22 – párrafo 1 ter (nuevo)
Los proveedores también informarán al representante autorizado, en caso de que se haya designado a uno de conformidad con el artículo 25.
Enmienda 362 Propuesta de Reglamento Artículo 23 – título
Cooperación con las autoridades competentes
Cooperación con las autoridades competentes, la Oficina y la Comisión
Enmienda 363 Propuesta de Reglamento Artículo 23 – párrafo 1
Los proveedores de sistemas de IA de alto riesgo proporcionarán a las autoridades nacionales competentes que se lo soliciten toda la información y la documentación necesarias para demostrar que sus sistemas de IA de alto riesgo cumplen los requisitos establecidos en el capítulo 2 del presente título, las cuales estarán redactadas en una lengua oficial de la Unión que decidirá el Estado miembro en cuestión. Previa solicitud motivada de una autoridad nacional competente, los proveedores darán a esta acceso a los archivos de registro generados automáticamente por sus sistemas de IA de alto riesgo, en la medida en que dichos registros estén bajo su control en virtud de un acuerdo contractual con el usuario o de conformidad con la ley.
Los proveedores y, cuando proceda, los implementadores de sistemas de IA de alto riesgo proporcionarán a las autoridades nacionales competentes o, cuando proceda, a la Oficina de IA o a la Comisión, previa solicitud motivada, toda la información y la documentación necesarias para demostrar que sus sistemas de IA de alto riesgo cumplen los requisitos establecidos en el capítulo 2 del presente título, las cuales estarán redactadas en una lengua oficial de la Unión que decidirá el Estado miembro en cuestión.
Enmienda 364 Propuesta de Reglamento Artículo 23 – párrafo 1 bis (nuevo)
Previa solicitud motivada de una autoridad nacional competente o, cuando proceda, de la Comisión, los proveedores y, según proceda, los implementadores darán también a la autoridad nacional competente que lo solicite o a la Comisión, según proceda, acceso a los archivos de registro generados automáticamente por sus sistemas de IA de alto riesgo, en la medida en que dichos registros estén bajo su control.
Enmienda 365 Propuesta de Reglamento Artículo 23 – párrafo 1 ter (nuevo)
Cualquier información obtenida por una autoridad nacional competente o por la Comisión de conformidad con las disposiciones del presente artículo se considerará un secreto comercial y se tratará de conformidad con las obligaciones de confidencialidad dispuestas en el artículo 70.
Enmienda 366 Propuesta de Reglamento Artículo 25 – apartado 1
1. Antes de comercializar sus sistemas en la Unión, cuando no se pueda identificar a un importador, los proveedores establecidos fuera de la Unión tendrán que designar, mediante un mandato escrito, a un representante autorizado que se encuentre en el territorio de la Unión.
1. Antes de comercializar sus sistemas en la Unión, los proveedores establecidos fuera de la Unión tendrán que designar, mediante un mandato escrito, a un representante autorizado que se encuentre en el territorio de la Unión.
Enmienda 367 Propuesta de Reglamento Artículo 25 – apartado 1 bis (nuevo)
1 bis. El representante autorizado residirá o se encontrará establecido en uno de los Estados miembros donde se lleven a cabo las actividades con arreglo al artículo 2, apartado 1, letra c ter).
Enmienda 368 Propuesta de Reglamento Artículo 25 – apartado 1 ter (nuevo)
1 ter. El proveedor dará a su representante autorizado los poderes y recursos necesarios para que pueda cumplir sus tareas en virtud del presente Reglamento.
Enmienda 369 Propuesta de Reglamento Artículo 25 – apartado 2 – parte introductoria
2. Los representantes autorizados efectuarán las tareas especificadas en el mandato recibido del proveedor. El mandato permitirá al representante autorizado realizar las tareas siguientes:
2. Los representantes autorizados efectuarán las tareas especificadas en el mandato recibido del proveedor. Facilitarán a las autoridades de vigilancia del mercado, cuando lo soliciten, una copia del mandato en una de las lenguas oficiales de la institución de la Unión determinada por la autoridad de nacional competente. A efectos del presente Reglamento, el mandato permitirá al representante autorizado realizar las tareas siguientes:
Enmienda 370 Propuesta de Reglamento Artículo 25 – apartado 2 – letra a
a) conservar una copia de la declaración UE de conformidad y de la documentación técnica de que disponen las autoridades nacionales competentes y las autoridades nacionales a las que se refiere el artículo 63, apartado 7;
a) garantizar que se hayan elaborado la declaración UE de conformidad y la documentación técnica y que el proveedor haya seguido el procedimiento pertinente de evaluación de la conformidad;
Enmienda 371 Propuesta de Reglamento Artículo 25 – apartado 2 – letra a bis (nueva)
a bis) mantener a disposición de las autoridades nacionales competentes y de las autoridades nacionales a que se refiere el artículo 63, apartado 7, una copia de la declaración UE de conformidad, la documentación técnica y, en su caso, el certificado emitido por el organismo notificado;
Enmienda 372 Propuesta de Reglamento Artículo 25 – apartado 2 – letra b
b) proporcionar a una autoridad nacional competente, previa solicitud motivada, toda la información y la documentación necesarias para demostrar que un sistema de IA de alto riesgo cumple los requisitos establecidos en el capítulo 2 del presente título, y en particular en lo que respecta al acceso a los archivos de registro generados automáticamente por ese sistema, en la medida en que dichos archivos estén bajo el control del proveedor en virtud de un acuerdo contractual con el usuario o de conformidad con la ley;
b) proporcionar a una autoridad nacional competente, previa solicitud motivada, toda la información y la documentación necesarias para demostrar que un sistema de IA de alto riesgo cumple los requisitos establecidos en el capítulo 2 del presente título, y en particular en lo que respecta al acceso a los archivos de registro generados automáticamente por ese sistema, en la medida en que dichos archivos estén bajo el control del proveedor;
Enmienda 373 Propuesta de Reglamento Artículo 25 – apartado 2 – letra c
c) cooperar con las autoridades nacionales competentes, previa solicitud motivada, en todas las acciones que estas emprendan en relación con el sistema de IA de alto riesgo.
c) cooperar con las autoridades nacionales de supervisión, previa solicitud motivada, en todas las acciones que estas emprendan para reducir y mitigar los riesgos que planteen los sistemas de IA de alto riesgo;
Enmienda 374 Propuesta de Reglamento Artículo 25 – apartado 2 – letra c bis (nueva)
c bis) cumplir las obligaciones de registro a que se refiere el artículo 51 o, si el registro lo lleva a cabo el propio proveedor, garantizar que la información a que se refiere el punto 3 del anexo VIII es correcta, cuando proceda.
Enmienda 375 Propuesta de Reglamento Artículo 25 – apartado 2 bis (nuevo)
2 bis. Se estipulará que contacten con el representante autorizado, además de con el proveedor o en lugar de con él, en particular, la autoridad nacional de supervisión o las autoridades nacionales competentes, con referencia a todas las cuestiones relacionadas con la garantía del cumplimiento del presente Reglamento.
Enmienda 376 Propuesta de Reglamento Artículo 25 – apartado 2 ter (nuevo)
2 ter. El representante autorizado pondrá fin al mandato si considera o tiene motivos para considerar que el proveedor contraviene las obligaciones que le atañen conforme al presente Reglamento. En tal caso, informará asimismo de inmediato a la autoridad nacional de supervisión del Estado miembro en el que se encuentre establecido, así como, en su caso, al organismo notificado pertinente, de la terminación del mandato y de los motivos de esta medida.
Enmienda 377 Propuesta de Reglamento Artículo 26 – apartado 1 – parte introductoria
1. Antes de introducir un sistema de IA de alto riesgo en el mercado, los importadores de dicho sistema se asegurarán de que:
1. Antes de introducir un sistema de IA de alto riesgo en el mercado, los importadores de dicho sistema se asegurarán de que es conforme con el presente Reglamento, garantizando que:
Enmienda 378 Propuesta de Reglamento Artículo 26 – apartado 1 – letra a
a) el proveedor de dicho sistema de IA ha llevado a cabo el procedimiento de evaluación de la conformidad oportuno;
a) el proveedor de dicho sistema de IA ha llevado a cabo el procedimiento de evaluación de la conformidad pertinente a que se refiere el artículo 43;
Enmienda 379 Propuesta de Reglamento Artículo 26 – apartado 1 – letra b
b) el proveedor ha elaborado la documentación técnica de conformidad con el anexo IV;
b) el proveedor ha elaborado la documentación técnica de conformidad con el artículo 11 y el anexo IV;
Enmienda 380 Propuesta de Reglamento Artículo 26 – apartado 1 – letra c bis (nueva)
c bis) el proveedor ha designado a un representante autorizado de conformidad con el artículo 25, apartado 1, cuando proceda.
Enmienda 381 Propuesta de Reglamento Artículo 26 – apartado 2
2. Si el importador considera o tiene motivos para considerar que un sistema de IA de alto riesgo no es conforme con el presente Reglamento, no podrá introducirlo ese sistema en el mercado hasta que se haya conseguido esa conformidad. Si el sistema de IA de alto riesgo presenta un riesgo en el sentido del artículo 65, apartado 1, el importador informará de ello al proveedor del sistema de IA y a las autoridades de vigilancia del mercado.
2. Si el importador considera o tiene motivos para considerar que un sistema de IA de alto riesgo no es conforme con el presente Reglamento, o se ha falsificado, o se acompaña de documentación falsificada, no introducirá ese sistema en el mercado hasta que se haya conseguido esa conformidad. Si el sistema de IA de alto riesgo presenta un riesgo en el sentido del artículo 65, apartado 1, el importador informará de ello al proveedor del sistema de IA y a las autoridades de vigilancia del mercado.
Enmienda 382 Propuesta de Reglamento Artículo 26 – apartado 3
3. Los importadores indicarán su nombre, su nombre comercial registrado o marca registrada y su dirección de contacto en el sistema de IA de alto riesgo o, cuando no sea posible, en su embalaje o en la documentación que lo acompañe, según proceda.
3. Los importadores indicarán su nombre, su nombre comercial registrado o marca registrada y su dirección de contacto en el sistema de IA de alto riesgo y en su embalaje o en la documentación que lo acompañe, cuando proceda.
Enmienda 383 Propuesta de Reglamento Artículo 26 – apartado 5
5. Los importadores proporcionarán a las autoridades nacionales competentes, previa solicitud motivada, toda la información y la documentación necesarias para demostrar que un sistema de IA de alto riesgo cumple los requisitos establecidos en el capítulo 2 del presente título, en una lengua que la autoridad nacional competente de que se trate pueda entender con facilitad, y en particular les facilitarán el acceso a los archivos de registro generados automáticamente por ese sistema de IA de alto riesgo, en la medida en que dichos archivos estén bajo el control del proveedor en virtud de un acuerdo contractual con el usuario o de conformidad con la ley.Asimismo, cooperarán con esas autoridades nacionales competentes en todas las acciones que estas emprendan en relación con dicho sistema.
5. Los importadores proporcionarán a las autoridades nacionales competentes, previa solicitud motivada, toda la información y la documentación necesarias para demostrar que un sistema de IA de alto riesgo cumple los requisitos establecidos en el capítulo 2 del presente título, en una lengua que dichas autoridades puedan entender con facilitad, y en particular les facilitarán el acceso a los archivos de registro generados automáticamente por ese sistema de IA de alto riesgo, en la medida en que dichos archivos estén bajo el control del proveedor de conformidad con el artículo 20.
Enmienda 384 Propuesta de Reglamento Artículo 26 – apartado 5 bis (nuevo)
5 bis. Los importadores cooperarán con las autoridades nacionales competentes en todas las acciones que estas emprendan para reducir y mitigar los riesgos que planteen los sistemas de IA de alto riesgo.
Enmienda 385 Propuesta de Reglamento Artículo 27 – apartado 1
1. Antes de comercializar un sistema de IA de alto riesgo, los distribuidores verificarán que este lleve el marcado CE de conformidad necesario y vaya acompañado de la documentación y las instrucciones de uso oportunas, y se cerciorarán de que el proveedor y el importador del sistema, según corresponda, hayan cumplido las obligaciones establecidas en el presente Reglamento.
1. Antes de comercializar un sistema de IA de alto riesgo, los distribuidores verificarán que este lleve el marcado CE de conformidad necesario y vaya acompañado de la documentación y las instrucciones de uso oportunas, y se cerciorarán de que el proveedor y el importador del sistema, según corresponda, hayan cumplido sus obligaciones establecidas en el presente Reglamento, en los artículos 16 y 26, respectivamente.
Enmienda 386 Propuesta de Reglamento Artículo 27 – apartado 2
2. Si un distribuidor considera o tiene motivos para considerar que un sistema de IA de alto riesgo no es conforme con los requisitos establecidos en el capítulo 2 del presente título, no podrá introducirlo en el mercado hasta que se haya conseguido esa conformidad. Del mismo modo, si el sistema presenta un riesgo en el sentido del artículo 65, apartado 1, el distribuidor informará de ello al proveedor o importador del sistema, según corresponda.
2. Si un distribuidor considera o tiene motivos para considerar, con arreglo a la información en su poder, que un sistema de IA de alto riesgo no es conforme con los requisitos establecidos en el capítulo 2 del presente título, no podrá introducirlo en el mercado hasta que se haya conseguido esa conformidad. Del mismo modo, si el sistema presenta un riesgo en el sentido del artículo 65, apartado 1, el distribuidor informará de ello al proveedor o importador del sistema y a la autoridad nacional competente pertinente, según corresponda.
Enmienda 387 Propuesta de Reglamento Artículo 27 – apartado 4
4. Los distribuidores que consideren o tengan motivos para considerar que un sistema de IA de alto riesgo que han comercializado no es conforme con los requisitos establecidos en el capítulo 2 del presente título adoptarán las medidas correctoras necesarias para que sea conforme, retirarlo del mercado o recuperarlo, o velarán por que el proveedor, el importador u otro operador pertinente, según proceda, adopte dichas medidas correctoras. Cuando un sistema de IA de alto riesgo presente un riesgo en el sentido del artículo 65, apartado 1, su distribuidor informará inmediatamente de ello a las autoridades nacionales competentes de los Estados miembros en los que haya comercializado el producto en cuestión y dará detalles, en particular, sobre la no conformidad y las medidas correctoras adoptadas.
4. Los distribuidores que consideren o tengan motivos para considerar, con arreglo a la información en su poder, que un sistema de IA de alto riesgo que han comercializado no es conforme con los requisitos establecidos en el capítulo 2 del presente título adoptarán las medidas correctoras necesarias para que sea conforme, retirarlo del mercado o recuperarlo, o velarán por que el proveedor, el importador u otro operador pertinente, según proceda, adopte dichas medidas correctoras. Cuando un sistema de IA de alto riesgo presente un riesgo en el sentido del artículo 65, apartado 1, su distribuidor informará inmediatamente de ello al proveedor o al importador del sistema y a las autoridades nacionales competentes de los Estados miembros en los que haya comercializado el producto en cuestión y dará detalles, en particular, sobre la no conformidad y las medidas correctoras adoptadas.
Enmienda 388 Propuesta de Reglamento Artículo 27 – apartado 5
5. Previa solicitud motivada de una autoridad nacional competente, los distribuidores de sistemas de IA de alto riesgo proporcionarán a esta toda la información y la documentación necesarias para demostrar que un sistema de IA de alto riesgo cumple los requisitos establecidos en el capítulo 2 del presente título. Asimismo, los distribuidores cooperarán con dicha autoridad nacional competente en cualquier acción que esta emprenda.
5. Previa solicitud motivada de una autoridad nacional competente, los distribuidores de los sistemas de IA de alto riesgo proporcionarán a esta toda la información y la documentación en su poder o a su disposición, de conformidad con las obligaciones de los distribuidores establecidas en el apartado 1, que sean necesarias para demostrar que un sistema de IA de alto riesgo cumple los requisitos establecidos en el capítulo 2 del presente título.
Enmienda 389 Propuesta de Reglamento Artículo 27 – apartado 5 bis (nuevo)
5 bis. Los distribuidores cooperarán con las autoridades nacionales competentes, en todas las acciones que estas emprendan para reducir y mitigar los riesgos que presenten los sistemas de IA de alto riesgo.
Enmienda 390 Propuesta de Reglamento Artículo 28 – título
Obligaciones de los distribuidores, los importadores, los usuarios o los terceros
Responsabilidades a lo largo de la cadena de valor de la IA de los proveedores, los distribuidores, los importadores, los implementadores o los terceros
Enmienda 391 Propuesta de Reglamento Artículo 28 – apartado 1 – parte introductoria
1. Cualquier distribuidor, importador, usuario o tercero será considerado proveedor a los efectos del presente Reglamento y estará sujeto a las obligaciones del proveedor previstas en el artículo 16 en cualquiera de las siguientes circunstancias:
1. Cualquier distribuidor, importador, implementador o tercero será considerado proveedor de un sistema de IA de alto riesgo a los efectos del presente Reglamento y estará sujeto a las obligaciones del proveedor previstas en el artículo 16 en cualquiera de las siguientes circunstancias:
Enmienda 392 Propuesta de Reglamento Artículo 28 – apartado 1 – letra a
a) cuando introduzca en el mercado o ponga en servicio un sistema de IA de alto riesgo con su nombre o marca comercial;
a) cuando ponga su nombre o marca comercial a un sistema de IA de alto riesgo ya introducido en el mercado o puesto en servicio;
Enmienda 393 Propuesta de Reglamento Artículo 28 – apartado 1 – letra b
b) cuando modifique la finalidad prevista de un sistema de IA de alto riesgo ya introducido en el mercado o puesto en servicio;
b) cuando realice una modificación sustancial de un sistema de IA de alto riesgo que ya haya sido introducido en el mercado o puesto en servicio y de una manera que siga siendo un sistema de IA de alto riesgo de conformidad con el artículo 6;
Enmienda 394 Propuesta de Reglamento Artículo 28 – apartado 1 – letra b bis (nueva)
b bis) cuando realice una modificación sustancial de un sistema de IA, incluido un sistema de IA de uso general, que no haya sido considerado de alto riesgo y ya haya sido introducido en el mercado o puesto en servicio de una manera tal que el sistema de IA se convierta en un sistema de IA de alto riesgo de conformidad con el artículo 6;
Enmienda 395 Propuesta de Reglamento Artículo 28 – apartado 2
2. Cuando se den las circunstancias mencionadas en el apartado1, letras b) o c), el proveedor que inicialmente introdujo el sistema de IA de alto riesgo en el mercado o lo puso en servicio dejará de ser considerado proveedor a efectos del presente Reglamento.
2. Cuando se den las circunstancias mencionadas en el apartado 1, letras a) a b bis), el proveedor que inicialmente haya introducido el sistema de IA de alto riesgo en el mercado o lo haya puesto en servicio dejará de ser considerado proveedor de ese sistema de IA específico a efectos del presente Reglamento. Este proveedor previo facilitará al nuevo proveedor la documentación técnica y todas las demás capacidades de información pertinentes y razonablemente previstas del sistema de IA, el acceso técnico u otra asistencia basada en el estado de la técnica generalmente reconocido que sean necesarias para el cumplimiento de las obligaciones establecidas en el presente Reglamento.
El presente apartado también se aplicará a los proveedores de modelos fundacionales, tal como se definen en el artículo 3, cuando el modelo fundacional esté directamente integrado en un sistema de IA de alto riesgo.
Enmienda 396 Propuesta de Reglamento Artículo 28 – apartado 2 bis (nuevo)
2 bis. El proveedor de un sistema de IA de alto riesgo y el tercero que suministre herramientas, servicios, componentes o procesos que se utilicen o integren en el sistema de IA de alto riesgo especificarán, mediante acuerdo escrito, la información, las capacidades, el acceso técnico u otra asistencia, sobre la base del estado de la técnica generalmente reconocido, que el tercero esté obligado a proporcionar para que el proveedor del sistema de IA de alto riesgo pueda cumplir plenamente las obligaciones establecidas en el presente Reglamento.
La Comisión elaborará y recomendará cláusulas contractuales tipo no vinculantes entre los proveedores de sistemas de IA de alto riesgo y terceros que suministren herramientas, servicios, componentes o procesos que se utilicen o estén integrados en sistemas de IA de alto riesgo, con el fin de ayudar a ambas partes a redactar y negociar contratos con derechos y obligaciones contractuales equilibrados, en consonancia con el nivel de control de cada parte. A la hora de elaborar cláusulas contractuales tipo no vinculantes, la Comisión tendrá en cuenta los posibles requisitos contractuales aplicables en sectores o casos empresariales específicos. Las cláusulas contractuales no vinculantes se publicarán y estarán disponibles gratuitamente en un formato electrónico fácilmente utilizable en el sitio web de la Oficina de IA.
Enmienda 397 Propuesta de Reglamento Artículo 28 – apartado 2 ter (nuevo)
2 ter. A efectos del presente artículo, los secretos comerciales se preservarán y solo se desvelarán a condición de que se adopten con antelación todas las medidas específicas necesarias con arreglo a la Directiva (UE) 2016/943 para preservar su confidencialidad, en particular con respecto a terceros. En caso necesario, podrán acordarse disposiciones técnicas y organizativas adecuadas para proteger los derechos de propiedad intelectual o los secretos comerciales.
Enmienda 398 Propuesta de Reglamento Artículo 28 bis (nuevo)
Artículo 28 bis
Cláusulas contractuales abusivas impuestas unilateralmente a una pyme o empresa emergente
1. Una cláusula contractual relativa al suministro de herramientas, servicios, componentes o procesos que se utilicen o integren en un sistema de IA de alto riesgo, o las vías de recurso en caso de incumplimiento o rescisión de las obligaciones conexas, que haya sido impuesta unilateralmente por una empresa a una pyme o empresa emergente, no será vinculante para estas últimas en caso de ser abusiva.
2. Una cláusula contractual no se considerará abusiva cuando se derive del Derecho de la Unión aplicable.
3. Una cláusula contractual será abusiva si, por su naturaleza, menoscaba objetivamente la capacidad de la parte a la que se ha impuesto unilateralmente para proteger su interés comercial legítimo en la información en cuestión o si su uso se aparta manifiestamente de las buenas prácticas comerciales relativas al suministro de herramientas, servicios, componentes o procesos que se utilicen o integren en un sistema de IA de alto riesgo en contravención de los principios de buena fe y comercio justo, o crea un desequilibrio importante entre los derechos y obligaciones de las partes en el contrato. Una cláusula contractual también será abusiva si tiene por efecto transferir las sanciones a que se refiere el artículo 71 o los costes procesales conexos entre las partes del contrato, tal como se contempla en el artículo 71, apartado 8.
4. A los efectos del presente artículo, una cláusula contractual será abusiva si tiene por objeto o efecto:
a) excluir o limitar la responsabilidad de la parte que haya impuesto unilateralmente la cláusula en caso de acciones intencionadas o negligencia grave;
b) excluir las vías de recurso de que dispone la parte a la que se haya impuesto unilateralmente la cláusula en caso de incumplimiento de obligaciones contractuales o la responsabilidad de la parte que haya impuesto unilateralmente la cláusula en caso de infracción de dichas obligaciones;
c) otorgar a la parte que haya impuesto unilateralmente la cláusula el derecho exclusivo de determinar si la documentación técnica y los datos facilitados son acordes con el contrato o de interpretar cualquier cláusula del contrato.
5. Se considerará que una cláusula contractual se ha impuesto unilateralmente en la acepción del presente artículo si ha sido aportada por una de las partes contratantes sin que la otra parte contratante haya podido influir en su contenido pese a haber intentado negociarlo. Corresponderá a la parte contratante que haya aportado una cláusula contractual demostrar que no ha sido impuesta unilateralmente.
6. En caso de que la cláusula contractual abusiva sea disociable de las demás cláusulas del contrato, estas seguirán siendo vinculantes. La parte que haya establecido la cláusula controvertida no alegará que se trata de una cláusula abusiva.
7. El presente artículo se aplicará a todos los nuevos contratos que entren en vigor después del... [la fecha de entrada en vigor del presente Reglamento]. Las empresas revisarán las obligaciones contractuales existentes sujetas al presente Reglamento a más tardar el... [tres años después de la fecha de entrada en vigor del presente Reglamento].
8. Dada la rapidez con que se producen las innovaciones en los mercados, la lista de cláusulas contractuales abusivas del artículo 28 bis será revisada periódicamente por la Comisión y se actualizará, en caso necesario, en función de las nuevas prácticas comerciales.
Enmienda 399 Propuesta de Reglamento Artículo 28 ter (nuevo)
Artículo 28 ter
Obligaciones del proveedor de un modelo fundacional
1. Antes de comercializarlo o ponerlo en servicio, el proveedor de un modelo fundacional se asegurará de que cumple los requisitos establecidos en el presente artículo, independientemente de que se facilite como modelo independiente o esté integrado en un sistema de IA o en un producto, o se proporcione en el marco de licencias libres y de código abierto, como servicio, así como de otros canales de distribución.
2. A efectos de lo dispuesto en el apartado 1, el proveedor de un modelo fundacional:
a) demostrará, mediante un diseño, ensayo y análisis adecuados, la detección, la reducción y la mitigación de los riesgos razonablemente previsibles para la salud, la seguridad, los derechos fundamentales, el medio ambiente y la democracia y el Estado de Derecho antes y durante el desarrollo, contando con métodos adecuados, como la participación de expertos independientes y la documentación de los riesgos restantes no mitigables tras el desarrollo;
b) tratará e incorporará únicamente conjuntos de datos sujetos a medidas adecuadas de gobernanza de datos para los modelos fundacionales, en particular medidas para examinar la idoneidad de las fuentes de datos, los posibles sesgos y la mitigación adecuada;
c) diseñará y desarrollará el modelo fundacional con el fin de alcanzar a lo largo de su ciclo de vida niveles adecuados de rendimiento, previsibilidad, interpretabilidad, corrección, seguridad y ciberseguridad evaluados mediante métodos adecuados, como la evaluación del modelo con la participación de expertos independientes, análisis documentados y pruebas exhaustivas durante la conceptualización, el diseño y el desarrollo;
d) diseñará y desarrollará el modelo fundacional, haciendo uso de las normas aplicables para reducir el uso de energía, el uso de recursos y los residuos, así como para aumentar la eficiencia energética y la eficiencia global del sistema, sin perjuicio del Derecho de la Unión y nacional pertinente en vigor. Esta obligación no se aplicará antes de la publicación de las normas a que se refiere el artículo 40. Los modelos fundacionales se diseñarán, desarrollarán y establecerán con capacidades que permitan medir y registrar el consumo de energía y los recursos y, cuando sea técnicamente viable, otros impactos ambientales que la implementación y el uso de los sistemas puedan tener durante todo su ciclo de vida;
e) elaborará una documentación técnica exhaustiva e instrucciones de uso inteligibles, a fin de que los proveedores de fases posteriores puedan cumplir sus obligaciones con arreglo a los artículos 16 y 28, apartado 1;
f) establecerá un sistema de gestión de la calidad para garantizar y documentar el cumplimiento del presente artículo, con la posibilidad de experimentar para cumplir este requisito;
g) registrará dicho modelo fundacional en la base de datos de la UE a que se refiere el artículo 60, de conformidad con las instrucciones que figuran en el anexo VIII, punto C.
A la hora de cumplir estos requisitos, se tendrá en cuenta el estado de la técnica generalmente reconocido, en particular el contemplado en las normas armonizadas o especificaciones comunes pertinentes, así como los métodos de evaluación y medición más recientes, reflejados, en particular, en las orientaciones y capacidades en materia de evaluación comparativa a que se refiere el artículo 58 bis;
3. Durante un período que finalizará diez años después de la introducción del sistema de IA en el mercado o su puesta en servicio, los proveedores de modelos fundacionales mantendrán la documentación técnica a que se refiere en el apartado 2, letra e), a disposición de las autoridades nacionales competentes.
4. Los proveedores de modelos fundacionales utilizados en sistemas de IA destinados específicamente a generar, con distintos niveles de autonomía, contenidos como texto, imágenes, audio o vídeo complejos («IA generativa») y los proveedores que especialicen un modelo fundacional en un sistema de IA generativo, además:
a) cumplirán las obligaciones de transparencia establecidas en el artículo 52, apartado 1;
b) formarán y, en su caso, diseñarán y desarrollarán el modelo fundacional de manera que se garanticen salvaguardias adecuadas contra la generación de contenidos que infrinjan el Derecho de la Unión, en consonancia con el estado de la técnica generalmente reconocido y sin perjuicio de los derechos fundamentales, incluida la libertad de expresión;
c) sin perjuicio de la legislación de la Unión, nacional o de la Unión sobre derechos de autor, documentarán y pondrán a disposición del público un resumen suficientemente detallado del uso de los datos de formación protegidos por la legislación sobre derechos de autor.
Enmienda 400 Propuesta de Reglamento Artículo 29 – apartado 1
1. Los usuarios de sistemas de IA de alto riesgo utilizarán dichos sistemas con arreglo a las instrucciones de uso que los acompañen, de acuerdo con los apartados2 y 5.
1. Los implementadores de sistemas de IA de alto riesgo adoptarán medidas técnicas y organizativas adecuadas para garantizar que utilizarán dichos sistemas con arreglo a las instrucciones de uso que los acompañen, de acuerdo con los apartados 2 y 5 del presente artículo.
Enmienda 401 Propuesta de Reglamento Artículo 29 – apartado 1 bis (nuevo)
1 bis. En la medida en que los implementadores ejerzan control sobre el sistema de IA de alto riesgo, ellos:
i) aplicarán la supervisión humana con arreglo a los requisitos establecidos en el presente Reglamento,
ii) velarán por que las personas físicas encargadas de la supervisión humana de los sistemas de IA de alto riesgo sean competentes, estén debidamente cualificadas y formadas, y dispongan de los recursos necesarios para garantizar la supervisión eficaz del sistema de IA de conformidad con el artículo 14,
iii) garantizarán que las medidas de solidez y ciberseguridad pertinentes y adecuadas sean objeto de un seguimiento periódico de la eficacia y se ajusten o actualicen periódicamente.
Enmienda 402 Propuesta de Reglamento Artículo 29 – apartado 2
2. Las obligaciones previstas en el apartado 1 deben entenderse sin perjuicio de otras obligaciones que el Derecho de la Unión o nacional imponga a los usuarios y no afectarán a su discrecionalidad para organizar sus recursos y actividades con el fin de aplicar las medidas de vigilancia humana que indique el proveedor.
2. Las obligaciones previstas en los apartados 1 y 1 bis deben entenderse sin perjuicio de otras obligaciones que el Derecho de la Unión o nacional imponga a los implementadores y no afectarán a su discrecionalidad para organizar sus recursos y actividades con el fin de aplicar las medidas de vigilancia humana que indique el proveedor.
Enmienda 403 Propuesta de Reglamento Artículo 29 – apartado 3
3. Sin perjuicio de lo dispuesto en el apartado 1, el usuario se asegurará de que los datos de entrada sean pertinentes para la finalidad prevista del sistema de IA de alto riesgo, en la medida en que ejerza el control sobre dichos datos.
3. Sin perjuicio de lo dispuesto en los apartados 1 y 1 bis, el implementador se asegurará de que los datos de entrada sean pertinentes y suficientemente representativos para la finalidad prevista del sistema de IA de alto riesgo, en la medida en que ejerza el control sobre dichos datos.
4. Los usuarios vigilarán el funcionamiento del sistema de IA de alto riesgo basándose en las instrucciones de uso. Cuando tengan motivos para considerar que utilizar el sistema de IA conforme a sus instrucciones de uso podría hacer que el sistema de IA presente un riesgo en el sentido del artículo 65, apartado 1, informarán al proveedor o distribuidor y suspenderán el uso del sistema. Del mismo modo, si detectan un incidente grave o un defecto de funcionamiento en el sentido del artículo 62, informarán al proveedor o distribuidor e interrumpirán el uso del sistema de IA. En el caso de que el usuario no consiga contactar con el proveedor, el artículo 62 se aplicará mutatis mutandis.
4. Los implementadores vigilarán el funcionamiento del sistema de IA de alto riesgo basándose en las instrucciones de uso y, cuando proceda, informarán a los proveedores con arreglo al artículo 61. Cuando tengan motivos para considerar que utilizar el sistema de IA conforme a sus instrucciones de uso podría hacer que el sistema de IA presente un riesgo en el sentido del artículo 65, apartado 1, informarán, sin demora indebida, al proveedor o distribuidor y a las autoridades nacionales de supervisión pertinentes y suspenderán el uso del sistema. Del mismo modo, si detectan un incidente grave o un defecto de funcionamiento en el sentido del artículo 62, informarán inmediatamente, primero, al proveedor y, después, al importador o distribuidor y a las autoridades nacionales de supervisión pertinentes, e interrumpirán el uso del sistema de IA. En el caso de que el implementador no consiga contactar con el proveedor, el artículo 62 se aplicará mutatis mutandis.
En el caso de los usuarios que sean entidades de crédito reguladas por la Directiva 2013/36/UE, se considerará que cumplen la obligación de vigilancia establecida en el párrafo primero cuando cumplan las normas relativas a los sistemas, procedimientos y mecanismos de gobernanza interna que figuran en el artículo 74 de dicha Directiva.
En el caso de los implementadores que sean entidades de crédito reguladas por la Directiva 2013/36/UE, se considerará que cumplen la obligación de vigilancia establecida en el párrafo primero cuando cumplan las normas relativas a los sistemas, procedimientos y mecanismos de gobernanza interna que figuran en el artículo 74 de dicha Directiva.
5. Los usuarios de sistemas de IA de alto riesgo conservarán los archivos de registro que los sistemas de IA de alto riesgo generen automáticamente en la medida en que dichos archivos estén bajo su control.Conservarán los archivos durante un período de tiempo adecuado en vista de la finalidad prevista del sistema de IA de alto riesgo de que se trate y conforme a las obligaciones jurídicas aplicables con arreglo al Derecho de la Unión o nacional.
5. Los implementadores de sistemas de IA de alto riesgo conservarán los archivos de registro que los sistemas de IA de alto riesgo generen automáticamente en la medida en que dichos archivos estén bajo su control y sean necesarios para garantizar y demostrar el cumplimiento del presente Reglamento, para las auditorías ex post de cualquier defecto de funcionamiento, incidente o uso indebido razonablemente previsible del sistema, o para garantizar y supervisar el correcto funcionamiento del sistema a lo largo de su ciclo de vida.Sin perjuicio del Derecho de la Unión o nacional aplicable, los archivos de registro se conservarán durante un período mínimo de seis meses. El período de conservación se ajustará a las normas del sector y será adecuado para la finalidad prevista del sistema de IA de alto riesgo.
En el caso de los usuarios que sean entidades de crédito reguladas por la Directiva 2013/36/UE, los archivos de registro formarán parte de la documentación relativa a los sistemas, procedimientos y mecanismos de gobernanza interna que figuran en el artículo 74 de dicha Directiva.
En el caso de los implementadores que sean entidades de crédito reguladas por la Directiva 2013/36/UE, los archivos de registro formarán parte de la documentación relativa a los sistemas, procedimientos y mecanismos de gobernanza interna que figuran en el artículo 74 de dicha Directiva.
Enmienda 408 Propuesta de Reglamento Artículo 29 – apartado 5 bis (nuevo)
5 bis. Antes de la puesta en servicio o del uso de un sistema de IA en el lugar de trabajo, los implementadores consultarán a los representantes de los trabajadores con vistas a alcanzar un acuerdo de conformidad con la Directiva 2002/14/UE e informarán a los empleados afectados de que estarán expuestos al sistema.
Enmienda 409 Propuesta de Reglamento Artículo 29 – apartado 5 ter (nuevo)
5 ter. Los implementadores de sistemas de IA de alto riesgo que sean autoridades públicas o instituciones, órganos y organismos de la Unión o empresas a que se hace referencia en el artículo 51, párrafo primero bis, letra b), cumplirán las obligaciones de registro a que se refiere el artículo 51.
Enmienda 410 Propuesta de Reglamento Artículo 29 – apartado 6
6. Los usuarios de sistemas de IA de alto riesgo utilizarán la información facilitada conforme al artículo 13 para cumplir la obligación de llevar a cabo una evaluación de impacto relativa a la protección de datos que les imponen el artículo 35 del Reglamento (UE) 2016/679 o el artículo 27 de la Directiva (UE) 2016/680, cuando corresponda.
6. Cuando corresponda, los implementadores de sistemas de IA de alto riesgo utilizarán la información facilitada conforme al artículo 13 para cumplir la obligación de llevar a cabo una evaluación de impacto relativa a la protección de datos que les imponen el artículo 35 del Reglamento (UE) 2016/679 o el artículo 27 de la Directiva (UE) 2016/680, un resumen de la cual se publicará, teniendo en cuenta el uso concreto y el contexto específico en el que el sistema de IA esté destinado a funcionar.Los implementadores podrán basarse parcialmente en dichas evaluaciones de impacto relativas a la protección de datos para cumplir algunas de las obligaciones establecidas en el presente artículo, en la medida en que la evaluación de impacto relativa a la protección de datos cumpla dichas obligaciones.
Enmienda 411 Propuesta de Reglamento Artículo 29 – apartado 6 bis (nuevo)
6 bis. Sin perjuicio de lo dispuesto en el artículo 52, los implementadores de los sistemas de IA de alto riesgo a que se refiere el anexo III que tomen decisiones o ayuden a tomar decisiones relacionadas con personas físicas informarán a las personas físicas de que están expuestas a la utilización de los sistemas de IA de alto riesgo. Esta información incluirá la finalidad prevista y el tipo de decisiones que toman dichos sistemas. El implementador también informará a la persona física de su derecho a una explicación con arreglo al artículo 68 quater.
Enmienda 412 Propuesta de Reglamento Artículo 29 – apartado 6 ter (nuevo)
6 ter. Los implementadores cooperarán con las autoridades nacionales pertinentes en cualquier medida que estas adopten en relación con el sistema de alto riesgo con el objetivo de aplicar el presente Reglamento.
Enmienda 413 Propuesta de Reglamento Artículo 29 bis (nuevo)
Artículo 29 bis
Evaluación del impacto en los derechos fundamentales para los sistemas de IA de alto riesgo
Antes de poner en uso un sistema de IA de alto riesgo, según se define en el artículo 6, apartado 2, con excepción de los sistemas de IA destinados a utilizarse en el ámbito 2 del anexo III, los implementadores llevarán a cabo una evaluación del impacto de los sistemas en el contexto específico de uso. Esta evaluación abarcará, como mínimo, los siguientes elementos:
a) una descripción clara de la finalidad prevista para la que se utilizará el sistema;
b) una descripción clara del ámbito geográfico y temporal previsto de utilización del sistema;
c) las categorías de personas físicas y grupos que puedan verse afectados por la utilización del sistema;
d) una verificación de que la utilización del sistema es conforme al Derecho de la Unión y nacional pertinente en materia de derechos fundamentales;
e) el impacto razonablemente previsible en los derechos fundamentales de poner en uso el sistema de IA de alto riesgo;
f) los riesgos de perjuicio específicos que puedan afectar a personas marginadas o a grupos vulnerables;
g) las repercusiones negativas razonablemente previsibles del uso del sistema en el medio ambiente;
h) un plan detallado sobre cómo se mitigarán los perjuicios y el impacto negativo en los derechos fundamentales;
j) el sistema de gobernanza que pondrá en marcha el implementador, incluida la vigilancia humana, la tramitación de reclamaciones y las vías de recurso.
2. Si no es posible definir un plan detallado para mitigar los riesgos descritos en el transcurso de la evaluación contemplada en el apartado 1, el implementador se abstendrá de poner en uso el sistema de IA de alto riesgo e informará sin demora indebida al proveedor y a las autoridades nacionales de supervisión pertinentes. Las autoridades nacionales de supervisión, con arreglo a los artículos 65 y 67, tendrán esta información en cuenta al investigar sistemas que presenten un riesgo a nivel nacional.
3. La obligación descrita con arreglo al apartado 1 se aplicará al primer uso del sistema de IA de alto riesgo. En casos similares, el implementador podrá recurrir a una evaluación de impacto sobre los derechos fundamentales realizada previamente o a una evaluación existente realizada por los proveedores. Si, durante el uso del sistema de IA de alto riesgo, el implementador considera que ya no se cumplen los criterios enumerados en el apartado 1, llevará a cabo una nueva evaluación de impacto en materia de derechos fundamentales.
4. En el transcurso de la evaluación de impacto, el implementador, con excepción de las pymes, notificará a las autoridades nacionales de supervisión y a las partes interesadas pertinentes e incluirá, en la medida de lo posible, la participación de los representantes de las personas o grupos de personas que probablemente se vean afectadas por el sistema de IA de alto riesgo, según se determina en el apartado 1, incluidos, entre otros, los organismos de igualdad, los organismos de protección de los consumidores, los interlocutores sociales y las agencias de protección de datos, con vistas a recibir su contribución a la evaluación de impacto. El implementador concederá a estos organismos un plazo de seis semanas para responder. Las pymes podrán aplicar voluntariamente las disposiciones establecidas en el presente apartado.
En el caso contemplado en el artículo 47, apartado 1, las autoridades públicas podrán quedar exentas de estas obligaciones.
5. El implementador que sea una autoridad pública o una empresa contemplada en el artículo 51, apartado 1 bis, letra b), publicará un resumen de los resultados de la evaluación de impacto como parte del registro de uso con arreglo a su obligación en virtud del artículo 51, apartado 2.
6. Cuando el implementador ya deba llevar a cabo una evaluación de impacto relativa a la protección de datos en virtud del artículo 35 del Reglamento (UE) 2016/679 o del artículo 27 de la Directiva (UE) 2016/680, la evaluación de impacto en materia de derechos fundamentales prevista en el apartado 1 se llevará a cabo junto con la evaluación de impacto relativa a la protección de datos. La evaluación de impacto relativa a la protección de datos se publicará como apéndice.
Enmienda 414 Propuesta de Reglamento Artículo 30 – apartado 1
1. Cada Estado miembro nombrará o constituirá una autoridad notificante que será responsable de establecer y llevar a cabo los procedimientos necesarios para la evaluación, designación y notificación de los organismos de evaluación de la conformidad, así como de su seguimiento.
1. Cada Estado miembro nombrará o constituirá una autoridad notificante que será responsable de establecer y llevar a cabo los procedimientos necesarios para la evaluación, designación y notificación de los organismos de evaluación de la conformidad, así como de su seguimiento. Dichos procedimientos se desarrollarán por medio de la cooperación entre las autoridades notificantes de todos los Estados miembros.
Enmienda 415 Propuesta de Reglamento Artículo 30 – apartado 7
7. Las autoridades notificantes dispondrán de suficiente personal competente para efectuar adecuadamente sus tareas.
7. Las autoridades notificantes dispondrán de suficiente personal competente para efectuar adecuadamente sus tareas. Cuando proceda, el personal competente tendrá los conocimientos especializados necesarios, como un grado en un ámbito jurídico adecuado, en la supervisión de los derechos fundamentales consagrados en la Carta de los Derechos Fundamentales de la Unión Europea.
Enmienda 416 Propuesta de Reglamento Artículo 30 – apartado 8
8. Las autoridades notificantes velarán por que las evaluaciones de la conformidad se lleven a cabo de forma proporcionada, evitando cargas innecesarias para los proveedores, y por que los organismos notificados desempeñen sus actividades teniendo debidamente en cuenta el tamaño de las empresas, el sector en que operan, su estructura y el grado de complejidad del sistema de IA en cuestión.
8. Las autoridades notificantes velarán por que las evaluaciones de la conformidad se lleven a cabo de forma proporcionada y oportuna, evitando cargas innecesarias para los proveedores, y por que los organismos notificados desempeñen sus actividades teniendo debidamente en cuenta el tamaño de las empresas, el sector en que operan, su estructura y el grado de complejidad del sistema de IA en cuestión. Se prestará especial atención a la minimización de las cargas administrativas y los costes de cumplimiento para las microempresas y las pequeñas empresas tal y como se definen en el anexo de la Recomendación 2003/361/CE de la Comisión.
Enmienda 417 Propuesta de Reglamento Artículo 32 – apartado 1
1. Las autoridades notificantes solo podrán notificar organismos de evaluación de la conformidad que hayan cumplido los requisitos establecidos en el artículo 33.
1. Las autoridades notificantes solo notificarán organismos de evaluación de la conformidad que hayan cumplido los requisitos establecidos en el artículo 33.
Enmienda 418 Propuesta de Reglamento Artículo 32 – apartado 2
2. Las autoridades notificantes notificarán a la Comisión y a los demás Estados miembros mediante la herramienta de notificación electrónica desarrollada y gestionada por la Comisión.
2. Las autoridades notificantes notificarán cada organismo de evaluación de la conformidad a que se refiere el apartado 1 a la Comisión y a los demás Estados miembros mediante la herramienta de notificación electrónica desarrollada y gestionada por la Comisión.
Enmienda 419 Propuesta de Reglamento Artículo 32 – apartado 3
3. La notificación incluirá información pormenorizada de las actividades de evaluación de la conformidad, el módulo o los módulos de evaluación de la conformidad y las tecnologías de inteligencia artificial afectadas.
3. La notificación a que se hace referencia en el apartado 2 incluirá información pormenorizada de las actividades de evaluación de la conformidad, el módulo o los módulos de evaluación de la conformidad y las tecnologías de inteligencia artificial afectadas, así como el correspondiente certificado de competencia.
Enmienda 420 Propuesta de Reglamento Artículo 32 – apartado 4
4. El organismo de evaluación de la conformidad en cuestión únicamente podrá realizar las actividades de un organismo notificado si la Comisión o los demás Estados miembros no formulan ninguna objeción en el plazo de un mes tras la notificación.
4. El organismo de evaluación de la conformidad en cuestión únicamente podrá realizar las actividades de un organismo notificado si la Comisión o los demás Estados miembros no formulan ninguna objeción en el plazo de dos semanas a partir de la validación de la notificación, en el caso de que se utilice el certificado de acreditación a que se hace referencia en el artículo 31, apartado 2, o en el plazo de dos meses a partir de la notificación en el caso de que se faciliten las pruebas documentales a que se hace referencia en el artículo 31, apartado 3.
Enmienda 421 Propuesta de Reglamento Artículo 32 – apartado 4 bis (nuevo)
4 bis. Cuando se formulen objeciones, la Comisión iniciará sin demora consultas con los Estados miembros pertinentes y el organismo de evaluación de la conformidad. En vista de todo ello, la Comisión decidirá si la autorización está justificada o no. La Comisión enviará su decisión al Estado miembro afectado y al organismo de evaluación de la conformidad pertinente.
Enmienda 422 Propuesta de Reglamento Artículo 32 – apartado 4 ter (nuevo)
4 ter. Los Estados miembros notificarán a la Comisión y a los demás Estados miembros los organismos de evaluación de la conformidad.
Enmienda 423 Propuesta de Reglamento Artículo 33 – apartado 2
2. Los organismos notificados satisfarán los requisitos organizativos, así como los de gestión de la calidad, recursos y procesos, necesarios para el desempeño de sus funciones.
2. Los organismos notificados satisfarán los requisitos organizativos, así como los de gestión de la calidad, recursos y procesos, necesarios para el desempeño de sus funciones, así como los requisitos mínimos de ciberseguridad establecidos para las entidades de la administración pública identificadas como operadores de servicios esenciales de conformidad con la Directiva (UE) 2022/2555.
Enmienda 424 Propuesta de Reglamento Artículo 33 – apartado 4
4. Los organismos notificados serán independientes del proveedor de un sistema de IA de alto riesgo en relación con el cual lleven a cabo actividades de evaluación de la conformidad. Los organismos notificados serán independientes de cualquier otro operador con un interés económico en el sistema de IA de alto riesgo que se evalúe, así como de cualquier competidor del proveedor.
4. Los organismos notificados serán independientes del proveedor de un sistema de IA de alto riesgo en relación con el cual lleven a cabo actividades de evaluación de la conformidad. Los organismos notificados serán independientes de cualquier otro operador con un interés económico en el sistema de IA de alto riesgo que se evalúe, así como de cualquier competidor del proveedor. Ello no será óbice para el uso de sistemas de IA evaluados que sean necesarios para las actividades del organismo de evaluación de la conformidad o para el uso de tales sistemas con fines personales.
Enmienda 425 Propuesta de Reglamento Artículo 33 – apartado 4 bis (nuevo)
4 bis. La evaluación de la conformidad con arreglo al apartado 1 será realizada por empleados de organismos notificados que no hayan prestado ningún otro servicio relacionado con el asunto evaluado que no sea la evaluación de la conformidad al proveedor de un sistema de IA de alto riesgo ni a ninguna persona jurídica vinculada a dicho proveedor en el período de doce meses anterior a la evaluación y se hayan comprometido a no prestarles dichos servicios en el plazo de doce meses posterior a la finalización de la evaluación.
Enmienda 426 Propuesta de Reglamento Artículo 33 – apartado 6
6. Los organismos notificados se dotarán de procedimientos documentados que garanticen que su personal, sus comités, sus filiales, sus subcontratistas y todos sus organismos asociados o personal de organismos externos respeten la confidencialidad de la información de la que tengan conocimiento en el ejercicio de las actividades de evaluación de la conformidad, excepto en aquellos casos en que la ley exija la divulgación de tal información. El personal de los organismos notificados estará sujeto al secreto profesional en lo que respecta a toda la información obtenida en el ejercicio de las tareas encomendadas en virtud del presente Reglamento, salvo en relación con las autoridades notificantes del Estado miembro en el que desarrollen sus actividades.
6. Los organismos notificados se dotarán de procedimientos documentados que garanticen que su personal, sus comités, sus filiales, sus subcontratistas y todos sus organismos asociados o personal de organismos externos respeten la confidencialidad de la información de la que tengan conocimiento en el ejercicio de las actividades de evaluación de la conformidad, excepto en aquellos casos en que la ley exija la divulgación de tal información. El personal de los organismos notificados estará sujeto al secreto profesional en lo que respecta a toda la información obtenida en el ejercicio de las tareas encomendadas en virtud del presente Reglamento, salvo en relación con las autoridades notificantes del Estado miembro en el que desarrollen sus actividades. Cualquier información y documentación obtenidas por los organismos notificados de conformidad con las disposiciones del presente artículo se tratarán de conformidad con las obligaciones de confidencialidad dispuestas en el artículo 70.
Enmienda 427 Propuesta de Reglamento Artículo 34 – apartado 3
3. Las actividades solo podrán subcontratarse o delegarse en una filial previo consentimiento del proveedor.
3. Las actividades solo podrán subcontratarse o delegarse en una filial previo consentimiento del proveedor. Los organismos notificados pondrán a disposición del público una lista de sus filiales.
Enmienda 428 Propuesta de Reglamento Artículo 34 – apartado 4
4. Los organismos notificados mantendrán a disposición de la autoridad notificante los documentos pertinentes sobre la evaluación de las cualificaciones del subcontratista o de la filial, así como el trabajo que estos realicen con arreglo al presente Reglamento.
4. Los organismos notificados mantendrán a disposición de la autoridad notificante los documentos pertinentes sobre la verificación de las cualificaciones del subcontratista o de la filial, así como el trabajo que estos realicen con arreglo al presente Reglamento.
Enmienda 429 Propuesta de Reglamento Artículo 35 – título
Números de identificación y listas de organismos notificados designados de conformidad con el presente Reglamento
Números de identificación y listas de organismos notificados
Enmienda 430 Propuesta de Reglamento Artículo 36 – apartado 1
1. Si una autoridad notificante sospecha o es informada de que un organismo notificado ya no cumple los requisitos establecidos en el artículo 33 o no está cumpliendo sus obligaciones, dicha autoridad investigará sin demora el asunto con la máxima diligencia. En ese contexto, informará al organismo notificado de que se trate acerca de las objeciones formuladas y le ofrecerá la posibilidad de exponer sus puntos de vista. Si la autoridad notificante llega a la conclusión de que el organismo notificado sometido a investigación ya no cumple los requisitos establecidos en el artículo 33 o no está cumpliendo sus obligaciones, dicha autoridad restringirá, suspenderá o retirará la notificación, según el caso, dependiendo de la gravedad del incumplimiento. Asimismo, informará de ello inmediatamente a la Comisión y a los demás Estados miembros.
1. Si una autoridad notificante sospecha o es informada de que un organismo notificado ya no cumple los requisitos establecidos en el artículo 33 o no está cumpliendo sus obligaciones, dicha autoridad investigará sin demora el asunto con la máxima diligencia. En ese contexto, informará al organismo notificado de que se trate acerca de las objeciones formuladas y le ofrecerá la posibilidad de exponer sus puntos de vista. Si la autoridad notificante llega a la conclusión de que el organismo notificado ya no cumple los requisitos establecidos en el artículo 33 o no está cumpliendo sus obligaciones, dicha autoridad restringirá, suspenderá o retirará la notificación, según el caso, dependiendo de la gravedad del incumplimiento. Asimismo, informará de ello inmediatamente a la Comisión y a los demás Estados miembros.
Enmienda 431 Propuesta de Reglamento Artículo 36 – apartado 2
2. En caso de restricción, suspensión o retirada de la notificación, o si el organismo notificado ha cesado su actividad, la autoridad notificante adoptará las medidas oportunas para asegurarse de que los expedientes de dicho organismo notificado sean asumidos por otro organismo notificado o se pongan a disposición de las autoridades notificantes responsables cuando estas los soliciten.
2. En caso de restricción, suspensión o retirada de la notificación, o si el organismo notificado ha cesado su actividad, la autoridad notificante adoptará las medidas oportunas para asegurarse de que los expedientes de dicho organismo notificado sean asumidos por otro organismo notificado o se pongan a disposición de las autoridades notificantes responsables y la autoridad de vigilancia del mercado cuando estas los soliciten.
Enmienda 432 Propuesta de Reglamento Artículo 37 – apartado 1
1. La Comisión investigará, cuando sea necesario, todos los casos en los que existan razones para dudar de que un organismo notificado cumpla los requisitos establecidos en el artículo 33.
1. La Comisión investigará, cuando sea necesario, todos los casos en los que existan razones para dudar de la competencia de un organismo notificado o de que este siga cumpliendo los requisitos y responsabilidades pertinentes.
Enmienda 433 Propuesta de Reglamento Artículo 37 – apartado 2
2. La autoridad notificante facilitará a la Comisión, a petición de esta, toda la información pertinente relativa a la notificación del organismo notificado que corresponda.
2. La autoridad notificante facilitará a la Comisión, a petición de esta, toda la información pertinente relativa a la notificación o el mantenimiento de la competencia del organismo notificado que corresponda.
Enmienda 434 Propuesta de Reglamento Artículo 37 – apartado 3
3. La Comisión garantizará el tratamiento confidencial de toda la información de esa naturaleza recabada en el transcurso de sus investigaciones de conformidad con el presente artículo.
3. La Comisión garantizará el tratamiento confidencial de toda la información delicada recabada en el transcurso de sus investigaciones de conformidad con el presente artículo.
Enmienda 435 Propuesta de Reglamento Artículo 37 – apartado 4
4. Cuando la Comisión compruebe que un organismo notificado no cumple o ha dejado de cumplir los requisitos establecidos en el artículo 33, adoptará una decisión motivada por la que solicitará al Estado miembro notificante que adopte las medidas correctoras necesarias, entre ellas la retirada de la notificación cuando sea necesario. Dicho acto de ejecución se adoptará con arreglo al procedimiento de examen contemplado en el artículo 74, apartado 2.
4. Cuando la Comisión compruebe que un organismo notificado no cumple o ha dejado de cumplir los requisitos para su notificación, informará al Estado miembro notificante al respecto y le pedirá que adopte las medidas correctoras necesarias, entre ellas, la suspensión o retirada de la notificación cuando sea necesario. Si el Estado miembro no adopta las medidas correctoras necesarias, la Comisión, mediante un acto de ejecución, podrá suspender, restringir o retirar la designación. Dicho acto de ejecución se adoptará con arreglo al procedimiento de examen contemplado en el artículo 74, apartado 2.
Enmienda 436 Propuesta de Reglamento Artículo 38 – apartado 2 bis (nuevo)
2 bis. La Comisión dispondrá que se organicen intercambios de conocimientos y buenas prácticas entre las autoridades nacionales de los Estados miembros responsables de la política de notificación.
Enmienda 437 Propuesta de Reglamento Artículo 40 – párrafo 1
Se presumirá que los sistemas de IA de alto riesgo que sean conformes con normas armonizadas, o partes de estas, cuyas referencias se hayan publicado en el Diario Oficial de la Unión Europea son conformes con los requisitos establecidos en el capítulo 2 del presente título en la medida en que dichas normas prevean estos requisitos.
Se presumirá que los sistemas de IA de alto riesgo y modelos fundacionales que sean conformes con normas armonizadas, o partes de estas, cuyas referencias se hayan publicado en el Diario Oficial de la Unión Europea de conformidad con el Reglamento (UE) 1025/2012 son conformes con los requisitos establecidos en el capítulo 2 del presente título o el artículo 28 ter, en la medida en que dichas normas prevean estos requisitos.
Enmienda 438 Propuesta de Reglamento Artículo 40 – párrafo 1 bis (nuevo)
La Comisión formulará peticiones de normalización que prevean todos los requisitos del presente Reglamento de conformidad con el artículo 10 del Reglamento (UE) n.º 1025/2012 a más tardar… [dos meses después de la fecha de entrada en vigor del presente Reglamento]. Al preparar la petición de normalización, la Comisión consultará a la Oficina de IA y al foro consultivo;
Enmienda 439 Propuesta de Reglamento Artículo 40 – párrafo 1 ter (nuevo)
Al formular una petición de normalización a las organizaciones europeas de normalización, la Comisión especificará que las normas deben ser coherentes, también con la legislación sectorial enumerada en el anexo II, y estar destinadas a garantizar que los sistemas de IA o modelos fundacionales introducidos en el mercado o puestos en servicio en la Unión cumplan los requisitos pertinentes establecidos en el presente Reglamento;
Los agentes que participen en el proceso de normalización tendrán en cuenta los principios generales para una IA fiable establecidos en el artículo 4, letra a), tratarán de promover la inversión y la innovación en IA, así como la competitividad y el crecimiento del mercado de la Unión, y contribuirán a reforzar la cooperación mundial en materia de normalización y teniendo en cuenta las normas internacionales existentes en el ámbito de la IA que sean coherentes con los valores, los derechos fundamentales y los intereses de la Unión, y garantizarán una representación equilibrada de los intereses y la participación efectiva de todas las partes interesadas pertinentes de conformidad con los artículos 5, 6 y 7 del Reglamento (UE) n.º 1025/2012.
Enmienda 441 Propuesta de Reglamento Artículo 41 – apartado 1
1. Cuando las normas armonizadas mencionadas en el artículo 40 no existan o cuando la Comisión considere que las normas armonizadas pertinentes son insuficientes o que es necesario abordar cuestiones específicas relacionadas con la seguridad o con los derechos fundamentales, la Comisión, mediante actos de ejecución, podrá adoptar especificaciones comunes en relación con los requisitos establecidos en el capítulo 2 del presente título. Dichos actos de ejecución se adoptarán de conformidad con el procedimiento de examen a que se refiere el artículo 74, apartado 2.
suprimido
Enmienda 442 Propuesta de Reglamento Artículo 41 – apartado 1 bis (nuevo)
1 bis. La Comisión, mediante actos de ejecución adoptados de conformidad con el procedimiento de examen a que se refiere el artículo 74, apartado 2, y previa consulta a la Oficina de IA y al foro consultivo sobre IA, podrá adoptar especificaciones comunes con respecto a los requisitos establecidos en el capítulo 2 del presente título o en el artículo 28 ter cuando se cumplan todas las condiciones siguientes:
a) que no haya ninguna referencia a las normas armonizadas ya publicadas en el Diario Oficial de la Unión Europea en relación con los requisitos esenciales, a menos que la norma armonizada en cuestión sea una norma existente que deba revisarse;
b) que la Comisión haya solicitado a una o varias organizaciones europeas de normalización que formulen una norma armonizada para los requisitos esenciales establecidos en el capítulo 2;
c) que ninguna de las organizaciones europeas de normalización haya aceptado la solicitud a que se refiere la letra b); o se produzcan retrasos indebidos en el establecimiento de una norma armonizada adecuada; o la norma facilitada no satisfaga los requisitos de las disposiciones aplicables del Derecho de la Unión, o no cumpla la solicitud de la Comisión.
Enmienda 443 Propuesta de Reglamento Artículo 41 – apartado 1 ter (nuevo)
1 ter. Cuando la Comisión considere que es necesario abordar problemas específicos en materia de derechos fundamentales, las especificaciones comunes adoptadas por la Comisión de conformidad con el apartado 1 bis también abordarán dichas preocupaciones específicas en materia de derechos fundamentales.
1 quater. La Comisión elaborará especificaciones comunes para que la metodología cumpla el requisito de notificación y documentación sobre el consumo de energía y recursos durante el desarrollo, la formación y el despliegue del sistema de IA de alto riesgo.
Enmienda 445 Propuesta de Reglamento Artículo 41 – apartado 2
2. Al elaborar las especificaciones comunes a que se refiere el apartado 1, la Comisión recabará los puntos de vista de los organismos o grupos de expertos pertinentes establecidos de conformidad con el Derecho de la Unión aplicable a nivel sectorial.
2. A lo largo de todo el proceso de elaboración de las especificaciones comunes a que se refieren los apartados 1 bis y 1 ter, la Comisión consultará periódicamente a la Oficina de IA y al foro consultivo, a las organizaciones y organismos europeos de normalización o a los grupos de expertos establecidos en virtud del Derecho sectorial pertinente de la Unión, así como a otras partes interesadas pertinentes.La Comisión cumplirá los objetivos a que se refiere el artículo 40, apartado 1 quater, y justificará debidamente las razones por las que decidió recurrir a especificaciones comunes.
Cuando la Comisión tenga la intención de adoptar especificaciones comunes con arreglo al apartado 1 bis del presente artículo, también identificará claramente el problema específico en relación con los derechos fundamentales que debe abordarse.
Al adoptar especificaciones comunes con arreglo a los apartados 1 bis y 1 ter del presente artículo, la Comisión tendrá en cuenta el dictamen emitido por la Oficina de IA a que se refiere el artículo 56 sexies, letra b), del presente Reglamento. Cuando la Comisión decida no seguir el dictamen de la Oficina de IA, proporcionará una explicación motivada a la Oficina de IA.
Enmienda 446 Propuesta de Reglamento Artículo 41 – apartado 3
3. Se presumirá que los sistemas de IA de alto riesgo que sean conformes con las especificaciones comunes mencionadas en el apartado 1 son conformes con los requisitos establecidos en el capítulo 2 del presente título, en la medida en que dichas especificaciones comunes prevean estos requisitos.
3. Se presumirá que los sistemas de IA de alto riesgo que sean conformes con las especificaciones comunes mencionadas en los apartados 1 bis y 1 ter son conformes con los requisitos establecidos en el capítulo 2 del presente título, en la medida en que dichas especificaciones comunes prevean estos requisitos.
Enmienda 447 Propuesta de Reglamento Artículo 41 – apartado 3 bis (nuevo)
3 bis. Cuando una norma armonizada sea adoptada por una organización europea de normalización y propuesta a la Comisión con el fin de publicar su referencia en el Diario Oficial de la Unión Europea, la Comisión evaluará la norma armonizada de conformidad con el Reglamento (UE) n.º 1025/2012. Cuando se publique la referencia de una norma armonizada en el Diario Oficial de la Unión Europea, la Comisión derogará los actos de ejecución a que se refieren los apartados 1 y 1 ter, o partes de estos que prevean los mismos requisitos a que se refiere el capítulo 2 del presente título.
Enmienda 448 Propuesta de Reglamento Artículo 41 – apartado 4
4. Cuando los proveedores no cumplan las especificaciones comunes mencionadas en el apartado 1, justificarán debidamente que han adoptado soluciones técnicas como mínimo equivalentes a aquellas.
4. Cuando los proveedores de sistemas de IA de alto riesgo no cumplan las especificaciones comunes mencionadas en el apartado 1, justificarán debidamente que han adoptado soluciones técnicas que cumplan los requisitos a que se refiere el capítulo 2 en un grado como mínimo equivalente a aquellas;
Enmienda 449 Propuesta de Reglamento Artículo 42 – apartado 1
1. Teniendo en cuenta su finalidad prevista, se presumirá que los sistemas de IA de alto riesgo que hayan sido entrenados y probados con datos relativos al entorno geográfico, conductual y funcional específico en el que esté previsto su uso cumplan el requisito establecido en el artículo 10, apartado 4.
1. Teniendo en cuenta su finalidad prevista, se presumirá que los sistemas de IA de alto riesgo que hayan sido entrenados y probados con datos relativos al entorno geográfico, conductual, contextual y funcional específico en el que esté previsto su uso cumplan los requisitos respectivos establecidos en el artículo 10, apartado 4.
Enmienda 450 Propuesta de Reglamento Artículo 43 – apartado 1 – parte introductoria
1. En el caso de los sistemas de IA de alto riesgo enumerados en el punto 1 del anexo III, cuando, al demostrar el cumplimiento de los requisitos establecidos en el capítulo 2 del presente título por parte de un sistema de IA de alto riesgo, el proveedor haya aplicado normas armonizadas a que se refiere el artículo 40, o bien, en su caso, especificaciones comunes a que se refiere el artículo 41, el proveedor se atendrá a uno de los procedimientos siguientes:
1. En el caso de los sistemas de IA de alto riesgo enumerados en el punto 1 del anexo III, cuando, al demostrar el cumplimiento de los requisitos establecidos en el capítulo 2 del presente título por parte de un sistema de IA de alto riesgo, el proveedor haya aplicado normas armonizadas a que se refiere el artículo 40, o bien, en su caso, especificaciones comunes a que se refiere el artículo 41, el proveedor optará por uno de los procedimientos siguientes;
Enmienda 451 Propuesta de Reglamento Artículo 43 – apartado 1 – letra a
a) el procedimiento de evaluación de la conformidad fundamentado en un control interno mencionado en el anexo VI;
a) el procedimiento de evaluación de la conformidad fundamentado en un control interno mencionado en el anexo VI; o
Enmienda 452 Propuesta de Reglamento Artículo 43 – apartado 1 – letra b
b) el procedimiento de evaluación de la conformidad fundamentado en la evaluación del sistema de gestión de la calidad y la evaluación de la documentación técnica, con la participación de un organismo notificado, mencionado en el anexo VII.
b) el procedimiento de evaluación de la conformidad fundamentado en la evaluación del sistema de gestión de la calidad y de la documentación técnica, con la participación de un organismo notificado, mencionado en el anexo VII;
Cuando, al demostrar el cumplimiento de los requisitos establecidos en el capítulo 2 del presente título por parte de un sistema de IA de alto riesgo, el proveedor no haya aplicado las normas armonizadas a que se refiere el artículo 40 o solo las haya aplicado parcialmente, o cuando no existan tales normas armonizadas y no se disponga de especificaciones comunes a que se refiere el artículo 41, el proveedor se atendrá al procedimiento de evaluación de la conformidad establecido en el anexo VII.
Al demostrar el cumplimiento de los requisitos establecidos en el capítulo 2 del presente título por parte de un sistema de IA de alto riesgo, el proveedor seguirá el procedimiento de evaluación de la conformidad establecido en el anexoVII en los casos siguientes:
a) cuando no existan las normas armonizadas a que se refiere el artículo 40, cuyo número de referencia haya sido publicado en el Diario Oficial de la Unión Europea, que prevean todos los requisitos de seguridad pertinentes para el sistema de IA, y no se disponga de especificaciones comunes a que se refiere el artículo 41;
b) cuando las especificaciones técnicas a que se refiere la letra a) sí existan pero el proveedor no las haya aplicado o solo las haya aplicado parcialmente;
c) cuando las especificaciones técnicas contempladas en la letra a), o alguna de ellas, se hayan publicado con una restricción y solo en la parte de la norma objeto de la restricción;
d) cuando el proveedor considere que la naturaleza, el diseño, la fabricación o la finalidad del sistema de IA deben someterse a la verificación de un tercero, con independencia de su nivel de riesgo.
A efectos del procedimiento de evaluación de la conformidad establecido en el anexo VII, el proveedor podrá escoger cualquiera de los organismos notificados. No obstante, cuando se prevea la puesta en servicio del sistema por parte de las autoridades encargadas de la aplicación de la ley, las autoridades de inmigración y asilo, así como las instituciones, los organismos o las agencias de la UE, la autoridad de vigilancia del mercado mencionada en el artículo 63, apartado 5 o 6, según proceda, actuará como organismo notificado.
A efectos de la realización del procedimiento de evaluación de la conformidad establecido en el anexo VII, el proveedor podrá escoger cualquiera de los organismos notificados. No obstante, cuando se prevea la puesta en servicio del sistema por parte de las autoridades encargadas de la aplicación de la ley, las autoridades de inmigración y asilo, así como las instituciones, los organismos o las agencias de la UE, la autoridad de vigilancia del mercado mencionada en el artículo 63, apartado 5 o 6, según proceda, actuará como organismo notificado.
4. Los sistemas de IA de alto riesgo se someterán a un nuevo procedimiento de evaluación de la conformidad siempre que se modifiquen de manera sustancial, con independencia de si está prevista una distribución posterior del sistema modificado o de si este continúa siendo utilizado por el usuario actual.
4. Los sistemas de IA de alto riesgo que hayan sido objeto ya de un procedimiento de evaluación de la conformidad se someterán a un nuevo procedimiento de evaluación de la conformidad siempre que se modifiquen de manera sustancial, con independencia de si está prevista una distribución posterior del sistema modificado o de si este continúa siendo utilizado por el implementador actual;
Enmienda 456 Propuesta de Reglamento Artículo 43 – apartado 4 bis (nuevo)
4 bis. Se tendrán en cuenta los intereses y necesidades específicos de las pymes a la hora de fijar las tasas para la evaluación de la conformidad por parte de terceros en virtud del presente artículo, reduciendo dichas tasas en proporción a su tamaño y cuota de mercado;
Enmienda 457 Propuesta de Reglamento Artículo 43 – apartado 5
5. Se otorgan a la Comisión los poderes para adoptar actos delegados de conformidad con el artículo 73 al objeto de actualizar los anexos VI y VII para introducir elementos de los procedimientos de evaluación de la conformidad que resulten necesarios a la luz del progreso técnico.
5. Se otorgan a la Comisión los poderes para adoptar actos delegados de conformidad con el artículo 73 al objeto de actualizar los anexos VI y VII para introducir elementos de los procedimientos de evaluación de la conformidad que resulten necesarios a la luz del progreso técnico. Al preparar dichos actos delegados, la Comisión consultará a la Oficina de IA y a las partes interesadas afectadas;
Enmienda 458 Propuesta de Reglamento Artículo 43 – apartado 6
6. Se otorgan a la Comisión los poderes para adoptar actos delegados que modifiquen los apartados 1 y 2 a fin de someter a los sistemas de IA de alto riesgo mencionados en los puntos 2 a 8 del anexo III al procedimiento de evaluación de la conformidad a que se refiere el anexo VII o a partes de este. La Comisión adoptará dichos actos delegados teniendo en cuenta la eficacia del procedimiento de evaluación de la conformidad fundamentado en un control interno contemplado en el anexo VI para prevenir o reducir al mínimo los riesgos para la salud, la seguridad y la protección de los derechos fundamentales que plantean estos sistemas, así como la disponibilidad de capacidades y recursos adecuados por parte de los organismos notificados.
6. Se otorgan a la Comisión los poderes para adoptar actos delegados que modifiquen los apartados 1 y 2 a fin de someter a los sistemas de IA de alto riesgo mencionados en los puntos 2 a 8 del anexo III al procedimiento de evaluación de la conformidad a que se refiere el anexo VII o a partes de este. La Comisión adoptará dichos actos delegados teniendo en cuenta la eficacia del procedimiento de evaluación de la conformidad fundamentado en un control interno contemplado en el anexo VI para prevenir o reducir al mínimo los riesgos para la salud, la seguridad y la protección de los derechos fundamentales que plantean estos sistemas, así como la disponibilidad de capacidades y recursos adecuados por parte de los organismos notificados. Al preparar dichos actos delegados, la Comisión consultará a la Oficina de IA y a las partes interesadas afectadas;
Enmienda 459 Propuesta de Reglamento Artículo 44 – apartado 1
1. Los certificados expedidos por organismos notificados con arreglo al anexo VII se redactarán en una lengua oficial de la Unión determinada por el Estado miembro en el que esté establecido el organismo notificado o en una lengua oficial de la Unión que resulte aceptable para este último.
1. Los certificados expedidos por organismos notificados con arreglo al anexo VII se redactarán en una o varias lenguas oficiales de la Unión determinadas por el Estado miembro en el que esté establecido el organismo notificado o en una o varias lenguas oficiales de la Unión que resulten aceptables para este último;
Enmienda 460 Propuesta de Reglamento Artículo 44 – apartado 2
2. Los certificados serán válidos para el período que indican, que no excederá de cinco años. A solicitud del proveedor, la validez de un certificado podrá prorrogarse por períodos renovables no superiores a cinco años, sobre la base de una nueva evaluación con arreglo a los procedimientos de evaluación de la conformidad aplicables.
2. Los certificados serán válidos para el período que indican, que no excederá de cuatro años. A solicitud del proveedor, la validez de un certificado podrá prorrogarse por períodos renovables no superiores a cuatro años, sobre la base de una nueva evaluación con arreglo a los procedimientos de evaluación de la conformidad aplicables;
Enmienda 461 Propuesta de Reglamento Artículo 44 – apartado 3
3. Si un organismo notificado observa que un sistema de IA ya no cumple los requisitos establecidos en el capítulo 2 del presente título, suspenderá o retirará, teniendo en cuenta el principio de proporcionalidad, el certificado expedido o le impondrá restricciones, a menos que se garantice el cumplimiento de dichos requisitos mediante medidas correctoras adecuadas adoptadas por el proveedor del sistema en un plazo adecuado determinado por el organismo notificado. El organismo notificado motivará su decisión.
3. Si un organismo notificado observa que un sistema de IA ya no cumple los requisitos establecidos en el capítulo 2 del presente título, suspenderá o retirará el certificado expedido o le impondrá restricciones, a menos que se garantice el cumplimiento de dichos requisitos mediante medidas correctoras adecuadas adoptadas por el proveedor del sistema en un plazo adecuado determinado por el organismo notificado. El organismo notificado motivará su decisión.
Enmienda 462 Propuesta de Reglamento Artículo 45 – párrafo 1
Los Estados miembros velarán por que exista un procedimiento de recurso contra las decisiones de los organismos notificados a disposición de las partes que tengan un interés legítimo en dichas decisiones.
Los Estados miembros velarán por que exista un procedimiento de recurso contra las decisiones de los organismos notificados, incluidos los certificados de conformidad que se expidan, a disposición de las partes que tengan un interés legítimo en dichas decisiones.
Enmienda 463 Propuesta de Reglamento Artículo 46 – apartado 3
3. Cada organismo notificado proporcionará a los demás organismos notificados que realicen actividades de evaluación de la conformidad similares y relativas a las mismas tecnologías de inteligencia artificial información pertinente sobre cuestiones relacionadas con resultados negativos y, previa solicitud, con resultados positivos de las evaluaciones de la conformidad.
3. Cada organismo notificado proporcionará a los demás organismos notificados que realicen actividades de evaluación de la conformidad similares información pertinente sobre cuestiones relacionadas con resultados negativos y, previa solicitud, con resultados positivos de las evaluaciones de la conformidad.
Enmienda 464 Propuesta de Reglamento Artículo 47 – apartado 1
1. No obstante lo dispuesto en el artículo 43, cualquier autoridad de vigilancia del mercado podrá autorizar la introducción en el mercado o la puesta en servicio de sistemas específicos de IA de alto riesgo en el territorio del Estado miembro de que se trate, por razones excepcionales de seguridad pública o con el fin de proteger la vida y la salud de las personas, el medio ambiente y activos fundamentales de las industrias e infraestructuras. Dicha autorización se concederá para un período limitado, mientras se lleven a cabo los procedimientos de evaluación de la conformidad necesarios, y finalizará una vez concluidos dichos procedimientos. La conclusión de los procedimientos en cuestión se alcanzará sin demora indebida.
1. No obstante lo dispuesto en el artículo 43, cualquier autoridad nacional de supervisión podrá solicitar a una autoridad judicial que autorice la introducción en el mercado o la puesta en servicio de sistemas específicos de IA de alto riesgo en el territorio del Estado miembro de que se trate, por razones excepcionales de seguridad pública o con el fin de proteger la vida y la salud de las personas, el medio ambiente y las infraestructuras críticas. Dicha autorización se concederá para un período limitado, mientras se lleven a cabo los procedimientos de evaluación de la conformidad necesarios, y finalizará una vez concluidos dichos procedimientos. La conclusión de los procedimientos en cuestión se alcanzará sin demora indebida;
Enmienda 465 Propuesta de Reglamento Artículo 47 – apartado 2
2. La autorización a que se refiere el apartado 1 solo se expedirá si la autoridad de vigilancia del mercado llega a la conclusión de que el sistema de IA de alto riesgo cumple los requisitos establecidos en el capítulo 2 del presente título. La autoridad de vigilancia del mercado informará a la Comisión y a los demás Estados miembros de toda autorización expedida de conformidad con el apartado 1.
2. La autorización a que se refiere el apartado 1 solo se expedirá si la autoridad nacional de supervisión y la autoridad judicial llegan a la conclusión de que el sistema de IA de alto riesgo cumple los requisitos establecidos en el capítulo 2 del presente título. La autoridad nacional de supervisión informará a la Comisión, a la Oficina de IA y a los demás Estados miembros de toda solicitud realizada y de toda autorización subsiguiente expedida de conformidad con el apartado 1;
Enmienda 466 Propuesta de Reglamento Artículo 47 – apartado 3
3. Si, en el plazo de quince días naturales tras la recepción de la información indicada en el apartado 2, ningún Estado miembro ni la Comisión presentan objeción alguna sobre una autorización expedida por una autoridad de vigilancia del mercado de un Estado miembro con arreglo al apartado 1, la autorización se considerará justificada.
3. Si, en el plazo de quince días naturales tras la recepción de la información indicada en el apartado 2, ningún Estado miembro ni la Comisión presentan objeción alguna sobre la solicitud de la autoridad nacional de supervisión para una autorización expedida por una autoridad nacional de supervisión del mercado de un Estado miembro con arreglo al apartado 1, la autorización se considerará justificada;
Enmienda 467 Propuesta de Reglamento Artículo 47 – apartado 4
4. Si, en el plazo de quince días naturales tras la recepción de la notificación a que se refiere el apartado 2, un Estado miembro formula objeciones contra una autorización expedida por una autoridad de vigilancia del mercado de otro Estado miembro, o si la Comisión considera que la autorización vulnera el Derecho de la Unión o que la conclusión de los Estados miembros relativa al cumplimiento del sistema a que se refiere el apartado 2 es infundada, la Comisión celebrará consultas con el Estado miembro pertinente sin demora; se consultará al operador u operadores de que se trate y se les ofrecerá la posibilidad de exponer sus puntos de vista. En vista de todo ello, la Comisión decidirá si la autorización está justificada o no. La Comisión enviará su decisión al Estado miembro afectado y al operador u operadores pertinentes.
4. Si, en el plazo de quince días naturales tras la recepción de la notificación a que se refiere el apartado 2, un Estado miembro formula objeciones contra una solicitud expedida por una autoridad nacional de supervisión de otro Estado miembro, o si la Comisión considera que la autorización vulnera el Derecho de la Unión o que la conclusión de los Estados miembros relativa al cumplimiento del sistema a que se refiere el apartado 2 es infundada, la Comisión celebrará consultas con el Estado miembro y la Oficina de IA pertinente sin demora; se consultará al operador u operadores de que se trate y se les ofrecerá la posibilidad de exponer sus puntos de vista. En vista de todo ello, la Comisión decidirá si la autorización está justificada o no. La Comisión enviará su decisión al Estado miembro afectado y al operador u operadores pertinentes;
Enmienda 468 Propuesta de Reglamento Artículo 47 – apartado 5
5. Si la autorización no se considera justificada, la autoridad de vigilancia del mercado del Estado miembro de que se trate la retirará.
5. Si la autorización no se considera justificada, la autoridad nacional de supervisión del Estado miembro de que se trate la retirará;
Enmienda 469 Propuesta de Reglamento Artículo 48 – apartado 1
1. El proveedor redactará una declaración UE de conformidad para cada sistema de IA y la mantendrá a disposición de las autoridades nacionales competentes durante un período de diez años después de la introducción del sistema de IA en el mercado o su puesta en servicio. En la declaración UE de conformidad se identificará el sistema de IA para el que ha sido redactada.Se facilitará una copia de la declaración UE de conformidad a las autoridades nacionales competentes pertinentes que lo soliciten.
1. El proveedor redactará una declaración UE de conformidad legible por máquina, física o electrónica para cada sistema de IA de alto riesgo y la mantendrá a disposición de la autoridad nacional de supervisión y las autoridades nacionales competentes durante un período de diez años después de la introducción del sistema de IA de alto riesgo en el mercado o su puesta en servicio. Se remitirá una copia de la declaración UE de conformidad a la autoridad nacional de supervisión y a las autoridades nacionales competentes pertinentes que lo soliciten;
Enmienda 470 Propuesta de Reglamento Artículo 48 – apartado 2
2. En la declaración UE de conformidad constará que el sistema de IA de alto riesgo de que se trate cumple los requisitos especificados en el capítulo 2 del presente título. La declaración UE de conformidad contendrá la información indicada en el anexo V y se traducirá a la lengua o lenguas oficiales de la Unión que requiera el Estado o Estados miembros en que se comercialice el sistema de IA de alto riesgo.
2. En la declaración UE de conformidad constará que el sistema de IA de alto riesgo de que se trate cumple los requisitos especificados en el capítulo 2 del presente título. La declaración UE de conformidad contendrá la información indicada en el anexo V y se traducirá a la lengua o lenguas oficiales de la Unión que requiera el Estado o Estados miembros en que se introduzca en el mercado o se comercialice el sistema de IA de alto riesgo;
Enmienda 471 Propuesta de Reglamento Artículo 48 – apartado 3
3. Cuando los sistemas de IA de alto riesgo estén sometidos a otra legislación de armonización de la Unión que también requiera una declaración UE de conformidad, se establecerá una única declaración UE de conformidad relativa a todas las legislaciones de la Unión aplicables al sistema de IA de alto riesgo. La declaración contendrá toda la información necesaria para identificar la legislación de armonización de la Unión a la que la propia declaración se refiera.
3. Cuando los sistemas de IA de alto riesgo estén sometidos a otra legislación de armonización de la Unión que también requiera una declaración UE de conformidad, se podrá establecer una única declaración UE de conformidad relativa a todas las legislaciones de la Unión aplicables al sistema de IA de alto riesgo. La declaración contendrá toda la información necesaria para identificar la legislación de armonización de la Unión a la que la propia declaración se refiera.
Enmienda 472 Propuesta de Reglamento Artículo 48 – apartado 5
5. Se otorgan a la Comisión los poderes para adoptar actos delegados con arreglo al artículo 73 al objeto de actualizar el contenido de la declaración UE de conformidad dispuesta en el anexo V con el fin de introducir elementos que resulten necesarios a la luz del progreso técnico.
5. Después de consultar con la Oficina de IA, se otorgan a la Comisión los poderes para adoptar actos delegados con arreglo al artículo 73 al objeto de actualizar el contenido de la declaración UE de conformidad dispuesta en el anexo V con el fin de introducir elementos que resulten necesarios a la luz del progreso técnico;
Enmienda 473 Propuesta de Reglamento Artículo 49 – apartado 1
1. El marcado CE se colocará de manera visible, legible e indeleble en los sistemas de IA de alto riesgo. Cuando esto no sea posible o no pueda garantizarse debido a la naturaleza del sistema de IA de alto riesgo, se colocará en el embalaje o en los documentos adjuntos, según proceda.
1. El marcado CE físico se colocará de manera visible, legible e indeleble en los sistemas de IA de alto riesgo antes de la introducción en el mercado del sistema de IA de alto riesgo. Cuando esto no sea posible o no pueda garantizarse debido a la naturaleza del sistema de IA de alto riesgo, se colocará en el embalaje o en los documentos adjuntos, según proceda. Podrá ir seguido de un pictograma u otro marcado que indique un riesgo de uso especial;
Enmienda 474 Propuesta de Reglamento Artículo 49 – apartado 1 bis (nuevo)
1 bis. En el caso de los sistemas de IA de alto riesgo únicamente digitales, se utilizará un marcado CE digital, únicamente si es fácilmente accesible a través de la interfaz desde la que se accede al sistema de IA o mediante un código fácilmente accesible legible por máquina u otros medios electrónicos.
Enmienda 475 Propuesta de Reglamento Artículo 49 – apartado 3
3. En su caso, el marcado CE irá seguido del número de identificación del organismo notificado responsable de los procedimientos de evaluación de la conformidad establecidos en el artículo 43. El número de identificación figurará también en todo el material publicitario en el que se mencione que el sistema de IA de alto riesgo cumple los requisitos de marcado CE.
3. En su caso, el marcado CE irá seguido del número de identificación del organismo notificado responsable de los procedimientos de evaluación de la conformidad establecidos en el artículo 43. El número de identificación del organismo notificado será colocado por el propio organismo o, siguiendo sus instrucciones, por el representante autorizado del proveedor. El número de identificación figurará también en todo el material publicitario en el que se mencione que el sistema de IA de alto riesgo cumple los requisitos de marcado CE;
Enmienda 476 Propuesta de Reglamento Artículo 49 – apartado 3 bis (nuevo)
3 bis. Cuando los sistemas de IA de alto riesgo estén sujetos a otras disposiciones del Derecho de la Unión que también requieran la colocación del marcado CE, este indicará que los sistemas de IA de alto riesgo también cumplen los requisitos de esas otras disposiciones.
Enmienda 477 Propuesta de Reglamento Artículo 50 – párrafo 1 – parte introductoria
Durante un período que finalizará diez años después de la introducción del sistema de IA en el mercado o su puesta en servicio, el proveedor mantendrá a disposición de las autoridades nacionales competentes:
Durante un período que finalizará diez años después de la introducción del sistema de IA en el mercado o su puesta en servicio, el proveedor mantendrá a disposición de la autoridad nacional de supervisión y las autoridades nacionales competentes:
Enmienda 478 Propuesta de Reglamento Artículo 51 – párrafo 1
Antes de la introducción en el mercado o la puesta en servicio de un sistema de IA de alto riesgo contemplado en el artículo 6, apartado 2, el proveedor o, en su caso, el representante autorizado registrará dicho sistema en la base de datos de la UE a que se refiere el artículo 60.
Antes de la introducción en el mercado o la puesta en servicio de un sistema de IA de alto riesgo contemplado en el artículo 6, apartado 2, el proveedor o, en su caso, el representante autorizado registrará dicho sistema en la base de datos de la UE a que se refiere el artículo 60, de conformidad con el artículo 6, apartado 2;
Enmienda 479 Propuesta de Reglamento Artículo 51 – párrafo 1 bis (nuevo)
Las siguientes categorías de implementadores registrarán el uso de dicho sistema de IA de alto riesgo en la base de datos de la UE a que se refiere el artículo 60 antes de poner en servicio o utilizar un sistema de IA de alto riesgo de conformidad con el artículo 6, apartado 2:
a) implementadores que sean autoridades públicas o instituciones, órganos u organismos de la Unión, o implementadores que actúen en su nombre;
b) implementadores que sean empresas designadas como guardianes de acceso en virtud del Reglamento (UE) 2022/1925.
Enmienda 480 Propuesta de Reglamento Artículo 51 – párrafo 1 ter (nuevo)
Los implementadores que no entren en el ámbito de aplicación del párrafo 1 bis tendrán derecho a registrar voluntariamente el uso de un sistema de IA de alto riesgo a que se refiere el artículo 6, apartado 2, en la base de datos de la UE a que se refiere el artículo 60.
Inmediatamente después de cada modificación sustancial debe completarse una inscripción de registro actualizada.
Enmienda 482 Propuesta de Reglamento Título IV
OBLIGACIONES DE TRANSPARENCIA PARA DETERMINADOS SISTEMAS DE IA
OBLIGACIONES DE TRANSPARENCIA
Enmienda 483 Propuesta de Reglamento Artículo 52 – título
Obligaciones de transparencia para determinados sistemas de IA
Obligaciones de transparencia
Enmienda 484 Propuesta de Reglamento Artículo 52 – apartado 1
1. Los proveedores garantizarán que los sistemas de IA destinados a interactuar con personas físicas estén diseñados y desarrollados de forma que dichas personas estén informadas de que están interactuando con un sistema de IA, excepto en las situaciones en las que esto resulte evidente debido a las circunstancias y al contexto de utilización. Esta obligación no se aplicará a los sistemas de IA autorizados por la ley para fines de detección, prevención, investigación o enjuiciamiento de infracciones penales, salvo que estos sistemas estén a disposición del público para denunciar una infracción penal.
1. Los proveedores garantizarán que los sistemas de IA destinados a interactuar con personas físicas estén diseñados y desarrollados de forma que el sistema de IA, el propio proveedor o el usuario informen de manera clara, inteligible y oportuna a dichas personas físicas expuestas a un sistema de IA de que están interactuando con un sistema de IA, excepto en las situaciones en las que esto resulte evidente debido a las circunstancias y al contexto de utilización.
Cuando proceda y sea pertinente, esta información también revelará qué funciones se encuentran habilitadas por la IA, si existe vigilancia humana y quién es responsable del proceso de toma de decisiones, así como los derechos y procesos existentes que, de conformidad con el Derecho de la Unión y nacional, permiten a las personas físicas o a sus representantes oponerse a que se les apliquen dichos sistemas y solicitar reparación judicial contra las decisiones adoptadas por los sistemas de IA o los perjuicios causados por ellos, incluido su derecho a solicitar una explicación. Esta obligación no se aplicará a los sistemas de IA autorizados por la ley para fines de detección, prevención, investigación o enjuiciamiento de infracciones penales, salvo que estos sistemas estén a disposición del público para denunciar una infracción penal.
Enmienda 485 Propuesta de Reglamento Artículo 52 – apartado 2
2. Los usuarios de un sistema de reconocimiento de emociones o de un sistema de categorización biométrica informarán del funcionamiento del sistema a las personas físicas expuestas a él. Esta obligación no se aplicará a los sistemas de IA utilizados para la categorización biométrica autorizados por la ley para fines de detección, prevención e investigación de infracciones penales.
2. Los usuarios de un sistema de reconocimiento de emociones o de un sistema de categorización biométrica que no esté prohibido con arreglo al artículo 5 informarán de manera oportuna, clara e inteligible del funcionamiento del sistema a las personas físicas expuestas a él y obtendrán su consentimiento antes del tratamiento de sus datos biométricos y otros datos personales de conformidad con el Reglamento (UE) 2016/679, el Reglamento (UE) 2016/1725 y la Directiva (UE) 2016/280, según proceda. Esta obligación no se aplicará a los sistemas de IA utilizados para la categorización biométrica autorizados por la ley para fines de detección, prevención e investigación de infracciones penales.
3. Los usuarios de un sistema de IA que genere o manipule contenido de imagen, sonido o vídeo que se asemeje notablemente a personas, objetos, lugares u otras entidades o sucesos existentes, y que pueda inducir erróneamente a una persona a pensar que son auténticos o verídicos (ultrafalsificación), harán público que el contenido ha sido generado de forma artificial o manipulado.
3. Los usuarios de un sistema de IA que genere o manipule contenido de texto, sonido o visual que pueda inducir erróneamente a pensar que tal contenido es auténtico o verídico y que presente representaciones de personas que parecen decir o hacer cosas que no han dicho ni hecho, sin su consentimiento (ultrafalsificación), harán público de manera adecuada, oportuna, clara y visible que el contenido ha sido generado de forma artificial o manipulado, así como, cuando sea posible, el nombre de la persona física o jurídica que lo generó o manipuló.Por hacer público se entenderá etiquetar el contenido de un modo que informe que el contenido no es auténtico y que resulte claramente visible para su destinatario. Para etiquetar el contenido, los usuarios tendrán en cuenta el estado de la técnica generalmente reconocido y las normas y especificaciones armonizadas pertinentes.
No obstante, el primer párrafo no se aplicará cuando el uso esté legalmente por la ley para fines de detección, prevención, investigación y enjuiciamiento de infracciones penales o resulte necesario para el ejercicio del derecho a la libertad de expresión y el derecho a la libertad de las artes y de las ciencias, garantizados por la Carta de los Derechos Fundamentales de la Unión Europea y supeditados a unas garantías adecuadas para los derechos y libertades de terceros.
3 bis. El apartado 3 no se aplicará cuando el uso de un sistema de IA que genere o manipule contenido de texto, sonido o visual esté legalmente autorizado por la ley o resulte necesario para el ejercicio del derecho a la libertad de expresión y el derecho a la libertad de las artes y de las ciencias, garantizados por la Carta de los Derechos Fundamentales de la Unión Europea y supeditados a unas garantías adecuadas para los derechos y libertades de terceros. Cuando el contenido forme parte de una obra cinematográfica claramente creativa, satírica, artística o ficticia, de imágenes de videojuegos y de obras o formatos análogos, las obligaciones de transparencia establecidas en el apartado 3 se limitarán a revelar la existencia de tales contenidos generados o manipulados de una manera adecuada, clara y visible, que no obstaculice la presentación de la obra, y a revelar los derechos de autor aplicables, cuando proceda. Asimismo, no impedirá que las autoridades encargadas de la aplicación de la ley utilicen sistemas de IA destinados a detectar ultrafalsificaciones y a prevenir, investigar y enjuiciar las infracciones penales relacionadas con su uso.
Enmienda 488 Propuesta de Reglamento Artículo 52 – apartado 3 ter (nuevo)
3 ter. La información a que se refieren los apartados 1 a 3 se facilitará a las personas físicas a más tardar con ocasión de la primera interacción o exposición. Será accesible a las personas vulnerables, como las personas con discapacidad o los niños, y se completará, cuando proceda y sea apropiado, con procedimientos de intervención o de denuncia para la persona física expuesta teniendo en cuenta el estado de la técnica generalmente reconocido, las normas armonizadas pertinentes y las especificaciones comunes.
Enmienda 489 Propuesta de Reglamento Artículo 53 – apartado 1
1. Los espacios controlados de pruebas para la IA establecidos por las autoridades competentes de uno o varios Estados miembros o por el Supervisor Europeo de Protección de Datos proporcionarán un entorno controlado que facilite el desarrollo, la prueba y la validación de sistemas innovadores de IA durante un período limitado antes de su introducción en el mercado o su puesta en servicio, en virtud de un plan específico. Esto se llevará a cabo bajo la supervisión y la orientación directas de las autoridades competentes con el fin de garantizar el cumplimiento de los requisitos establecidos en el presente Reglamento y, en su caso, en otras legislaciones de la Unión y de los Estados miembros supervisadas en el marco del espacio controlado de pruebas.
1. Los Estados miembros establecerán al menos un espacio controlado de pruebas para la IA a escala nacional, que estará operativo a más tardar el día de la entrada en vigor del presente Reglamento. Este espacio controlado de pruebas también podrá establecerse conjuntamente con uno o varios otros Estados miembros;
Enmienda 490 Propuesta de Reglamento Artículo 53 – apartado 1 bis (nuevo)
1 bis. También podrán establecerse otros espacios controlados de pruebas para la IA a escala regional o local o conjuntamente con otros Estados miembros;
Enmienda 491 Propuesta de Reglamento Artículo 53 – apartado 1 ter (nuevo)
1 ter. La Comisión y el Supervisor Europeo de Protección de Datos, por sí solos, conjuntamente o en colaboración con uno o más Estados miembros, también podrán establecer espacios controlados de pruebas para la IA a escala de la Unión;
1 quater. Las autoridades que creen dichos espacios asignarán recursos suficientes para cumplir lo dispuesto en el presente artículo de manera efectiva y oportuna;
1 quinquies. Los espacios controlados de pruebas para la IA, de conformidad con los criterios establecidos en el artículo 53 bis, proporcionarán un entorno controlado que fomente la innovación y facilite el desarrollo, la prueba y la validación de sistemas innovadores de IA durante un período limitado antes de su introducción en el mercado o su puesta en servicio, con arreglo a un plan específico acordado entre los proveedores potenciales y las autoridades creadoras de tales espacios;
1 sexies. El establecimiento de espacios controlados de pruebas para la IA tendrá el fin de contribuir a los siguientes objetivos:
a) que las autoridades competentes proporcionen orientaciones a los proveedores potenciales de sistemas de IA para lograr el cumplimiento reglamentario del presente Reglamento o, en su caso, de otra legislación aplicable de la Unión y de los Estados miembros;
b) que los proveedores potenciales permitan y faciliten la prueba y el desarrollo de soluciones innovadoras relacionadas con los sistemas de IA;
c) el aprendizaje reglamentario en un entorno controlado.
1 septies. Las autoridades que creen espacios controlados de pruebas proporcionarán orientación y supervisión en el marco del espacio controlado de pruebas con vistas a detectar los riesgos, en particular para los derechos fundamentales, la democracia y el Estado de Derecho, la salud y seguridad, y el medio ambiente, probar y demostrar las medidas de mitigación para los riesgos detectados, así como su eficacia, y garantizar el cumplimiento de los requisitos del presente Reglamento y, cuando proceda, de otra legislación de la Unión y de los Estados miembros;
1 octies. Las autoridades que creen dichos espacios proporcionarán a los proveedores potenciales de espacios controlados de pruebas que desarrollen sistemas de IA de alto riesgo orientación y supervisión sobre cómo cumplir los requisitos establecidos en el presente Reglamento, de modo que los sistemas de IA puedan salir del espacio controlado de pruebas con presunción de conformidad con los requisitos específicos del presente Reglamento evaluados dentro del espacio controlado de pruebas. En la medida en que el sistema de IA cumpla los requisitos al salir del espacio controlado de pruebas, se presumirá que es conforme con el presente Reglamento. A este respecto, las autoridades de vigilancia del mercado o los organismos notificados, según proceda, tendrán en cuenta los informes de salida elaborados por la autoridad creadora de dichos espacios en el contexto de los procedimientos de evaluación de la conformidad o los controles de vigilancia del mercado;
Enmienda 497 Propuesta de Reglamento Artículo 53 – apartado 2
2. Los Estados miembros velarán por que, en la medida en que los sistemas innovadores de IA impliquen el tratamiento de datos personales o estén comprendidos dentro del ámbito de supervisión de otras autoridades nacionales o autoridades competentes que proporcionen o respalden el acceso a los datos, las autoridades nacionales de protección de datos y las demás autoridades nacionales estén ligadas al funcionamiento del espacio controlado de pruebas para la IA.
2. Las autoridades que creen dichos espacios velarán por que, en la medida en que los sistemas innovadores de IA impliquen el tratamiento de datos personales o estén comprendidos dentro del ámbito de supervisión de otras autoridades nacionales o autoridades competentes que proporcionen o respalden el acceso a los datos personales, las autoridades nacionales de protección de datos, o el SEPD en los casos a que se refiere el apartado 1 ter, y las demás autoridades nacionales estén ligadas al funcionamiento del espacio controlado de pruebas para la IA e involucradas en la supervisión de dichos aspectos en la medida en que lo permitan sus respectivas funciones y competencias;
Enmienda 498 Propuesta de Reglamento Artículo 53 – apartado 3
3. Los espacios controlados de pruebas para la IA no afectarán a las facultades de supervisión y correctoras de las autoridades competentes. Cualquier riesgo significativo para la salud, la seguridad y los derechos fundamentales detectado durante el proceso de desarrollo y prueba de estos sistemas implicará la mitigación inmediata y, en su defecto, la suspensión del proceso de desarrollo y prueba hasta que se produzca dicha mitigación.
3. Los espacios controlados de pruebas para la IA no afectarán a las facultades de supervisión y correctoras de las autoridades competentes, tampoco a escala regional o local. Cualquier riesgo significativo para los derechos fundamentales, la democracia y el Estado de Derecho, la salud y seguridad o el medio ambiente detectado durante el proceso de desarrollo y prueba de estos sistemas de IA implicará la mitigación inmediata y apropiada. Las autoridades competentes estarán facultadas para suspender temporal o permanentemente el proceso de prueba, o la participación en el espacio controlado de pruebas si no es posible una mitigación efectiva, e informarán a la Oficina de IA de dicha decisión;
Enmienda 499 Propuesta de Reglamento Artículo 53 – apartado 4
4. Los participantes en los espacios controlados de pruebas para la IA responderán de cualquier perjuicio infligido a terceros como resultado de la experimentación realizada en el espacio controlado de pruebas, con arreglo a la legislación aplicable de la Unión y de los Estados miembros en materia de responsabilidad.
4. Los proveedores potenciales en los espacios controlados de pruebas para la IA responderán de cualquier perjuicio infligido a terceros como resultado de la experimentación realizada en el espacio controlado de pruebas, con arreglo a la legislación aplicable de la Unión y de los Estados miembros en materia de responsabilidad. Sin embargo, siempre y cuando el proveedor potencial o los proveedores potenciales respeten el plan específico a que se refiere el apartado 1 quater y los términos y condiciones para su participación y sigan de buena fe la orientación proporcionada por las autoridades que creen dichos espacios, las autoridades no impondrán ninguna multa administrativa por infracción del presente Reglamento;
Enmienda 500 Propuesta de Reglamento Artículo 53 – apartado 5
5. Las autoridades competentes de los Estados miembros que hayan establecido espacios controlados de pruebas para la IA coordinarán sus actividades y cooperarán en el marco del Comité Europeo de Inteligencia Artificial. Presentarán informes anuales al Comité y a la Comisión sobre los resultados de la aplicación de dicho esquema, que incluirán buenas prácticas, enseñanzas extraídas y recomendaciones acerca de su configuración, y, en su caso, sobre la aplicación del presente Reglamento y otra legislación de la Unión supervisada en el marco del espacio controlado de pruebas.
5. Las autoridades que creen dichos espacios coordinarán sus actividades y cooperarán en el marco de la Oficina de IA;
Enmienda 501 Propuesta de Reglamento Artículo 53 – apartado 5 bis (nuevo)
5 bis. Las autoridades que creen dichos espacios informarán a la Oficina de IA del establecimiento de un espacio controlado de pruebas y podrán solicitar apoyo y orientación. La oficina de IA pondrá a disposición del público una lista de los espacios controlados de pruebas previstos y existentes, que se mantendrá actualizada con el fin de fomentar una mayor interacción en los espacios controlados de pruebas y la cooperación transnacional;
Enmienda 502 Propuesta de Reglamento Artículo 53 – apartado 5 ter (nuevo)
5 ter. Las autoridades que creen dichos espacios presentarán a la oficina de IA y, a menos que la Comisión sea la única autoridad creadora de dichos espacios, a la Comisión informes anuales, por primera vez un año después de la creación del espacio controlado de pruebas y, a continuación, cada año hasta su finalización, así como un informe final. Dichos informes deben incluir información sobre el progreso y los resultados de la aplicación de dichos espacios controlados de pruebas, en particular buenas prácticas, incidentes, enseñanzas extraídas y recomendaciones acerca de su configuración, y, en su caso, acerca de la aplicación y posible revisión del presente Reglamento y otras disposiciones del Derecho de la Unión, supervisada en el marco del espacio controlado de pruebas. Dichos informes anuales o resúmenes se pondrán a disposición del público, en línea;
Enmienda 503 Propuesta de Reglamento Artículo 53 – apartado 6
6. Las modalidades y condiciones de funcionamiento de los espacios controlados de pruebas para la IA, incluidos los criterios de admisibilidad y el procedimiento de solicitud, selección, participación y salida del espacio controlado de pruebas, así como los derechos y obligaciones de los participantes, se determinarán en actos de ejecución. Dichos actos de ejecución se adoptarán de conformidad con el procedimiento de examen a que se refiere el artículo 74, apartado 2.
6. La Comisión desarrollará una interfaz única y específica que contenga toda la información pertinente relacionada con los espacios controlados de pruebas, junto con un punto de contacto único a escala de la Unión para interactuar con los espacios controlados de pruebas y permitir a las partes interesadas plantear consultas a las autoridades competentes, y para buscar orientaciones no vinculantes sobre la conformidad de productos, servicios y modelos de negocio innovadores que incorporen tecnologías de IA;
La Comisión se coordinará de forma proactiva con las autoridades nacionales, regionales y también locales, cuando proceda;
Enmienda 504 Propuesta de Reglamento Artículo 53 – apartado 6 bis (nuevo)
6 bis. A efectos de los apartados 1 y 1 bis, la Comisión desempeñará un papel complementario, permitiendo a los Estados miembros que aprovechen sus conocimientos especializados y que, por otra parte, ayuden y proporcionen conocimientos técnicos y recursos a los Estados miembros que busquen orientación sobre la configuración y la gestión de estos espacios controlados de pruebas;
Enmienda 505 Propuesta de Reglamento Artículo 53 bis (nuevo)
Artículo 53 bis
Modalidades y funcionamiento de los espacios controlados de pruebas para la IA
1. A fin de evitar la fragmentación en toda la Unión, la Comisión, en consulta con la Oficina de IA, adoptará un acto delegado en el que se detallen las modalidades de creación, desarrollo, aplicación, funcionamiento y supervisión de los espacios controlados de pruebas para la IA, incluidos los criterios de admisibilidad y el procedimiento de solicitud, selección, participación y salida del espacio controlado de pruebas, así como los derechos y obligaciones de los participantes sobre la base de las disposiciones establecidas en el presente artículo;
2. La Comisión está facultada para adoptar actos delegados de conformidad con el procedimiento a que se refiere el artículo 73, a más tardar doce meses después de la entrada en vigor del presente Reglamento, y garantizará que:
a) los espacios controlados de pruebas estén abiertos a cualquier proveedor potencial solicitante de un sistema de IA que cumpla los criterios de admisibilidad y selección. Los criterios para acceder al espacio controlado de pruebas son transparentes y justos y las autoridades que creen dichos espacios informen a los solicitantes de su decisión en un plazo de tres meses a partir de la solicitud;
b) los espacios controlados de pruebas permitan un acceso amplio e igualitario y se adapten a la demanda de participación;
c) el acceso a los espacios controlados de pruebas para la IA sean gratuitos para pymes y empresas emergentes, sin perjuicio de los costes excepcionales que las autoridades que creen dichos espacios puedan recuperar de una forma justa y proporcionada;
d) los espacios controlados de pruebas faciliten la participación de otros agentes pertinentes en el ecosistema de la IA, como los organismos notificados y las organizaciones de normalización (pymes, empresas emergentes, empresas, innovadores, centros de ensayo y experimentación, laboratorios de investigación y experimentación y centros de innovación digital, centros de excelencia e investigadores individuales), a fin de permitir y facilitar la cooperación con los sectores público y privado;
e) permitan a los proveedores potenciales cumplir, en un entorno controlado, las obligaciones de evaluación de la conformidad del presente Reglamento o la aplicación voluntaria de los códigos de conducta a los que se refiere el artículo 69;
f) los procedimientos, procesos y requisitos administrativos para la solicitud, la selección, la participación y la salida del espacio controlado de pruebas sean sencillos y fácilmente inteligibles, se comuniquen claramente a fin de facilitar la participación de las pymes y las empresas emergentes con capacidades jurídicas y administrativas limitadas, y se racionalicen en toda la Unión, a fin de evitar la fragmentación y de que la participación en un espacio controlado de pruebas creado por un Estado miembro, por la Comisión o por el SEPD esté reconocida mutua y uniformemente y tenga los mismos efectos jurídicos en toda la Unión;
g) la participación en el espacio controlado de pruebas para la IA se limite a un período adecuado a la complejidad y la escala del proyecto;
h) los espacios controlados de pruebas facilitarán el desarrollo de herramientas e infraestructuras para la prueba, la evaluación comparativa, la evaluación y la explicación de las dimensiones de los sistemas de IA pertinentes para los espacios controlados de pruebas, como la precisión, la solidez y la ciberseguridad, así como la reducción al mínimo de los riesgos para los derechos fundamentales, el medio ambiente y la sociedad en su conjunto.
3. Se facilitará a los proveedores potenciales en los espacios controlados de pruebas, en particular las pymes y las empresas emergentes, el acceso a servicios previos a la implementación, como orientaciones sobre la aplicación del presente Reglamento, a otros servicios de valor añadido, como la ayuda con los documentos de normalización y la certificación y consulta, y a otras iniciativas del mercado único digital, como los centros de ensayo y experimentación, los centros digitales, los centros de excelencia y las capacidades de evaluación comparativa de la Unión;
Enmienda 506 Propuesta de Reglamento Artículo 54 – título
Tratamiento ulterior de datos personales para el desarrollo de determinados sistemas de IA en aras del interés público en el espacio controlado de pruebas para la IA
Tratamiento ulterior de datos para el desarrollo de determinados sistemas de IA en aras del interés público en el espacio controlado de pruebas para la IA
Enmienda 507 Propuesta de Reglamento Artículo 54 – apartado 1 – parte introductoria
1. En el espacio controlado de pruebas para la IA, se tratarán datos personales legalmente recopilados con otros fines con el objetivo de desarrollar y probar determinados sistemas innovadores de IA en el espacio controlado de pruebas, con arreglo a las siguientes condiciones:
1. En el espacio controlado de pruebas para la IA, podrán tratarse datos personales legalmente recopilados con otros fines únicamente con el objetivo de desarrollar y probar determinados sistemas de IA en el espacio controlado de pruebas cuando se cumplan todas las siguientes condiciones:
Enmienda 508 Propuesta de Reglamento Artículo 54 – apartado 1 – letra a – parte introductoria
a) que los sistemas innovadores de IA se desarrollen para proteger un interés público esencial en uno o varios de los siguientes ámbitos:
a) que los sistemas de IA se desarrollen para proteger un interés público esencial en uno o varios de los siguientes ámbitos:
ii) la seguridad y salud públicas, incluidos la detección, el diagnóstico, la prevención, el control y el tratamiento de enfermedades;
iii) un elevado nivel de protección y mejora de la calidad del medio ambiente, la protección de la biodiversidad, y la mitigación de la contaminación y el cambio climático y la adaptación a este;
iii bis) la seguridad y la resiliencia de los sistemas, la infraestructura crítica y las redes de transporte.
Enmienda 509 Propuesta de Reglamento Artículo 54 – apartado 1 – letra a – inciso i
i) la prevención, la investigación, la detección o el enjuiciamiento de infracciones penales o la ejecución de sanciones penales, incluida la protección frente a amenazas a la seguridad pública y su prevención, bajo el control y responsabilidad de las autoridades competentes. El tratamiento se basará en el Derecho de la Unión o del Estado miembro;
suprimido
Enmienda 510 Propuesta de Reglamento Artículo 54 – apartado 1 – letra c
c) que existan mecanismos de seguimiento eficaces para detectar si pueden producirse riesgos elevados para los derechos fundamentales o para los interesados durante la experimentación en el espacio controlado de pruebas, así como mecanismos de respuesta para mitigar sin demora dichos riesgos y, en su caso, detener el tratamiento;
c) que existan mecanismos de seguimiento eficaces para detectar si pueden producirse riesgos elevados para los derechos y libertades de los interesados, como se menciona en el artículo 35 del Reglamento (UE) 2016/679 y en el artículo 35 del Reglamento (UE) 2018/1725, durante la experimentación en el espacio controlado de pruebas, así como mecanismos de respuesta para mitigar sin demora dichos riesgos y, en su caso, detener el tratamiento;
Enmienda 511 Propuesta de Reglamento Artículo 54 – párrafo 1 – letra d
d) que todos los datos personales que se traten en el contexto del espacio controlado de pruebas se encuentren en un entorno de tratamiento de datos funcionalmente separado, aislado y protegido, bajo el control de los participantes y únicamente accesible para las personas autorizadas;
d) que todos los datos personales que se traten en el contexto del espacio controlado de pruebas se encuentren en un entorno de tratamiento de datos funcionalmente separado, aislado y protegido, bajo el control del proveedor potencial y únicamente accesible para las personas autorizadas;
Enmienda 512 Propuesta de Reglamento Artículo 54 – apartado 1 – letra f
f) que el tratamiento de datos personales en el contexto del espacio controlado de pruebas no dé lugar a medidas o decisiones que afecten a los interesados;
f) que el tratamiento de datos personales en el contexto del espacio controlado de pruebas no dé lugar a medidas o decisiones que afecten a los interesados ni afecte a la aplicación de sus derechos establecidos en el Derecho de la Unión en materia de protección de datos personales;
Enmienda 513 Propuesta de Reglamento Artículo 54 – apartado 1 – letra g
g) que los datos personales tratados en el contexto del espacio controlado de pruebas se eliminen una vez concluida la participación en dicho espacio o cuando los datos personales lleguen al final de su período de conservación;
g) que los datos personales tratados en el contexto del espacio controlado de pruebas se protejan por medio de las medidas técnicas y organizativas adecuadas y se eliminen una vez concluida la participación en dicho espacio o cuando los datos personales lleguen al final de su período de conservación;
Enmienda 514 Propuesta de Reglamento Artículo 54 – apartado 1 – letra h
h) que los archivos de registro del tratamiento de datos personales en el contexto del espacio controlado de pruebas se conserven mientras dure la participación en el espacio controlado de pruebas y durante un año después de su conclusión, únicamente con el fin de cumplir con las obligaciones en materia de rendición de cuentas y documentación que impone el presente artículo u otra legislación de la Unión o de los Estados miembros que resulte de aplicación, y solo durante el tiempo necesario para ello;
h) que los archivos de registro del tratamiento de datos personales en el contexto del espacio controlado de pruebas se conserven mientras dure la participación en el espacio controlado de pruebas;
Enmienda 515 Propuesta de Reglamento Artículo 54 – apartado 1 – letra j
j) que se publique una breve síntesis del proyecto de IA desarrollado en el espacio controlado de pruebas, junto con sus objetivos y resultados previstos, en el sitio web de las autoridades competentes.
j) que se publique una breve síntesis del sistema de IA desarrollado en el espacio controlado de pruebas, junto con sus objetivos, hipótesis y resultados previstos, en el sitio web de las autoridades competentes;
Enmienda 516 Propuesta de Reglamento Artículo 54 bis (nuevo)
Artículo 54 bis
Promoción de la investigación y desarrollo en materia de IA en apoyo de la obtención de resultados positivos desde el punto de vista social y medioambiental
1. Los Estados miembros promoverán la investigación y el desarrollo de soluciones de IA que favorezcan la obtención de resultados positivos desde el punto de vista social y medioambiental, por ejemplo, el desarrollo de soluciones basadas en la IA para aumentar la accesibilidad para las personas con discapacidad, atajar desigualdades socioeconómicas y cumplir los objetivos en materia de sostenibilidad y medio ambiente:
a) proporcionando proyectos pertinentes con un acceso prioritario a los espacios controlados de pruebas para la IA, siempre y cuando cumplan los requisitos de admisibilidad;
b) asignando financiación pública, también procedente de los fondos pertinentes de la Unión, para investigación y desarrollo en materia de IA para la obtención de resultados positivos desde el punto de vista social y medioambiental;
c) organizando actividades específicas de sensibilización sobre la aplicación del presente Reglamento, la disponibilidad de financiación específica y los procedimientos para solicitarla, adaptadas a las necesidades de dichos proyectos;
d) estableciendo, cuando proceda, canales específicos accesibles, también en el marco de los espacios controlados de pruebas, de comunicación con los proyectos, a fin de facilitar orientaciones y responder a las dudas planteadas sobre la aplicación del presente Reglamento.
Los Estados miembros apoyarán a la sociedad civil y a los agentes sociales para que dirijan dichos proyectos o participen en ellos;
Enmienda 517 Propuesta de Reglamento Artículo 55 – título
Medidas dirigidas a proveedores y usuarios a pequeña escala
Medidas dirigidas a pymes, empresas emergentes y usuarios
Enmienda 518 Propuesta de Reglamento Artículo 55 – apartado 1 – letra a
a) proporcionar a los proveedores a pequeña escala y a las empresas emergentes un acceso prioritario a los espacios controlados de pruebas para la IA, siempre y cuando cumplan los requisitos de admisibilidad;
a) proporcionar a las pymes y las empresas emergentes establecidas en la Unión un acceso prioritario a los espacios controlados de pruebas para la IA, siempre y cuando cumplan los requisitos de admisibilidad;
Enmienda 519 Propuesta de Reglamento Artículo 55 – apartado 1 – letra b
b) organizar actividades de sensibilización específicas acerca de la aplicación del presente Reglamento, adaptadas a las necesidades de los proveedores y usuarios a pequeña escala;
b) organizar actividades específicas de sensibilización y desarrollo de competencias digitales avanzadas acerca de la aplicación del presente Reglamento, adaptadas a las necesidades de las pymes, las empresas emergentes y los usuarios;
Enmienda 520 Propuesta de Reglamento Artículo 55 – apartado 1 – letra c
c) establecer, cuando proceda, un canal específico para la comunicación con los proveedores y usuarios a pequeña escala, así como con otros agentes innovadores, con objeto de formular orientaciones y responder a las dudas planteadas acerca de la aplicación del presente Reglamento.
c) emplear los canales específicos existentes y establecer, cuando proceda, nuevos canales específicos para la comunicación con las pymes, las empresas emergentes, los usuarios y otros agentes innovadores, con objeto de formular orientaciones y responder a las dudas planteadas acerca de la aplicación del presente Reglamento;
Enmienda 521 Propuesta de Reglamento Artículo 55 – apartado 1 – letra c bis (nueva)
c bis) fomentar la participación de las pymes y otras partes interesadas pertinentes en el proceso de desarrollo de la normalización.
Enmienda 522 Propuesta de Reglamento Artículo 55 – apartado 2
2. Se tendrán en cuenta los intereses y necesidades específicos de los proveedores a pequeña escala a la hora de fijar las tasas para la evaluación de la conformidad en virtud del artículo 43, y reducir dichas tasas en proporción a su tamaño y al del mercado.
2. Se tendrán en cuenta los intereses y necesidades específicos de las pymes, las empresas emergentes y los usuarios a la hora de fijar las tasas para la evaluación de la conformidad en virtud del artículo 43, y reducir dichas tasas en proporción a su etapa de desarrollo, a su tamaño, al tamaño del mercado y a la demanda en el mercado.La Comisión evaluará periódicamente los costes de certificación y cumplimiento para las pymes y las empresas emergentes, entre otros medios, mediante consultas transparentes con las pymes, las empresas emergentes y los usuarios, y colaborará con los Estados miembros para reducir dichos costes en la medida de lo posible. La Comisión informará sobre estas conclusiones al Parlamento Europeo y al Consejo como parte del informe sobre la evaluación y revisión del presente Reglamento previsto en el artículo 84, apartado 2.
Enmienda 523 Propuesta de Reglamento Artículo 56 – sección 1 – título (nuevo)
Título
SECCIÓN 1: Provisiones generales de la Oficina Europea de Inteligencia Artificial
Enmienda 524 Propuesta de Reglamento Artículo 56 – título
Constitución del Comité Europeo de Inteligencia Artificial
Constitución de la Oficina Europea de Inteligencia Artificial
Enmienda 525 Propuesta de Reglamento Artículo 56 – apartado 1
1. Se establece un «Comité Europeo de Inteligencia Artificial» (el «Comité»).
1. Se establece la «Oficina Europea de Inteligencia Artificial» (la «Oficina de IA»). La Oficina de IA será un organismo independiente de la Unión. Tendrá personalidad jurídica.
Enmienda 526 Propuesta de Reglamento Artículo 56 – apartado 2 – parte introductoria
2. El Comité ofrecerá asesoramiento y asistencia a la Comisión a fin de:
2. La Oficina de IA contará con una secretaría y con la financiación y el personal adecuados para el desempeño de sus funciones con arreglo al presente Reglamento.
Enmienda 527 Propuesta de Reglamento Artículo 56 – apartado 2 bis (nuevo)
2 bis. La sede de la Oficina de IA estará situada en Bruselas.
Enmienda 528 Propuesta de Reglamento Artículo 56 bis (nuevo)
Artículo 56 bis
Estructura
La estructura administrativa y de gestión de la Oficina de IA estará compuesta por:
a) un consejo de administración, con un presidente
b) una secretaría gestionada por un director ejecutivo;
c) un foro consultivo.
Enmienda 529 Propuesta de Reglamento Artículo 56 ter (nuevo)
Artículo 56 ter
Funciones de la Oficina de IA
La Oficina de IA desempeñará las siguientes funciones:
a) apoyar, asesorar y cooperar con los Estados miembros, las autoridades nacionales de supervisión, la Comisión y otras instituciones, órganos y organismos de la Unión en lo que respecta a la aplicación del presente Reglamento;
b) llevar un seguimiento de la aplicación efectiva y coherente del presente Reglamento y garantizarla, sin perjuicio de las funciones de las autoridades nacionales de supervisión;
c) contribuir a la coordinación entre las autoridades nacionales de supervisión responsables de la aplicación del presente Reglamento;
d) actuar como mediador en los debates sobre desacuerdos graves que puedan surgir entre las autoridades competentes en relación con la aplicación del Reglamento;
e) coordinar investigaciones conjuntas, con arreglo al artículo 66 bis;
f) contribuir a la cooperación efectiva con autoridades competentes de terceros países y con organizaciones internacionales;
g) recopilar y compartir los conocimientos especializados y las mejores prácticas de los Estados miembros y ayudar a las autoridades nacionales de supervisión de los Estados miembros y a la Comisión en el desarrollo de los conocimientos técnicos y organizativos necesarios para la aplicación del presente Reglamento, en particular facilitando la creación y el mantenimiento de un grupo de expertos de la Unión;
h) examinar, por propia iniciativa o a petición de su consejo de administración o de la Comisión, las cuestiones relativas a la aplicación del presente Reglamento y emitir dictámenes, recomendaciones o contribuciones escritas, también en relación con:
i) las especificaciones técnicas o normas existentes; ii) las directrices de la Comisión;
iii) los códigos de conducta y su aplicación, en estrecha cooperación con la industria y otras partes interesadas pertinentes;
iv) la posible revisión del Reglamento, la preparación de los actos delegados y la posible adaptación del presente Reglamento a los actos jurídicos enumerados en el anexo II;
v) las tendencias, como la competitividad mundial europea en materia de inteligencia artificial, la adopción de la inteligencia artificial en la Unión, el desarrollo de capacidades digitales y las amenazas sistémicas emergentes relacionadas con la inteligencia artificial;
vi) las orientaciones sobre cómo se aplica el presente Reglamento a la tipología de cadenas de valor de la IA en constante evolución, en particular sobre las implicaciones resultantes en términos de rendición de cuentas de todas las entidades implicadas;
i) emitir:
i) un informe anual que incluya una evaluación de la aplicación del presente Reglamento, una revisión de los informes de incidentes graves a que se refiere el artículo 62 y el funcionamiento de la base de datos a que se refiere el artículo 60, y
ii) recomendaciones a la Comisión sobre la categorización de las prácticas prohibidas, los sistemas de IA de alto riesgo a que se refiere el anexo III, los códigos de conducta a que se refiere el artículo 69 y la aplicación de los principios generales expuestos en el artículo 4 bis;
j) asistir a las autoridades en el establecimiento y el desarrollo de espacios controlados de pruebas y facilitar la cooperación entre los espacios controlados de pruebas;
k) organizar reuniones con las agencias y órganos de gobernanza de la Unión cuyas tareas estén relacionadas con la inteligencia artificial y la aplicación del presente Reglamento;
l) organizar consultas trimestrales con el foro consultivo y, en su caso, consultas públicas con otras partes interesadas, y publicar los resultados de dichas consultas en su sitio web;
m) promover la sensibilización del público y su comprensión de las ventajas, los riesgos, las salvaguardias y los derechos y obligaciones en relación con la utilización de sistemas de IA;
n) facilitar el desarrollo de criterios comunes y una comprensión compartida entre los operadores del mercado y las autoridades competentes de los conceptos pertinentes previstos en el presente Reglamento;
o) realizar un seguimiento de los modelos fundacionales y organizar un diálogo periódico con los desarrolladores de modelos fundacionales en lo que respecta a su cumplimiento, así como a los sistemas de IA que utilizan dichos modelos de IA;
p) proporcionar orientaciones interpretativas sobre cómo se aplica la Ley de Inteligencia Artificial a la tipología de las cadenas de valor de la IA, en constante evolución, y sobre las implicaciones resultantes en términos de rendición de cuentas de todas las entidades implicadas en los diferentes escenarios sobre la base del estado de la técnica generalmente reconocido, también como se refleja en las normas armonizadas pertinentes;
q) proporcionar una supervisión y un seguimiento específicos e institucionalizar un diálogo periódico con los proveedores de modelos fundacionales sobre la conformidad de los modelos fundacionales, así como de los sistemas de IA que utilizan dichos modelos de IA, con el artículo 28 ter del presente Reglamento, y sobre las mejores prácticas de la industria en materia de autogobernanza. Tales reuniones estarán abiertas, para su asistencia y contribución, a las autoridades nacionales de supervisión, a los organismos notificados y a las autoridades de vigilancia del mercado;
r) publicar y actualizar periódicamente directrices sobre los umbrales con los que se considera la formación de un modelo fundacional como una amplia formación, registrar los casos conocidos de amplias formaciones y hacer un seguimiento de ellos, y emitir un informe anual sobre la situación del desarrollo, la proliferación y el uso de modelos fundacionales junto con opciones de política para abordar los riesgos y oportunidades específicos de los modelos fundacionales;
s) promover la alfabetización en materia de inteligencia artificial con arreglo al artículo 4 ter.
Enmienda 530 Propuesta de Reglamento Artículo 56 quater (nuevo)
Artículo 56 quater
Rendición de cuentas, independencia y transparencia
1. La Oficina de IA:
a. rendirá cuentas ante el Parlamento Europeo y el Consejo de conformidad con el presente Reglamento;
b. actuará con independencia en el desempeño de sus funciones o el ejercicio de sus competencias; y
c. garantizará un alto nivel de transparencia en lo que respecta a sus actividades y desarrollará una buena administración a este respecto.
El Reglamento (CE) n.º 1049/2001 se aplicará a los documentos en poder de la Oficina de IA.
Enmienda 531 Propuesta de Reglamento Artículo 57 bis – sección 2 – título (nuevo)
Título
SECCIÓN 2: Consejo de administración
Enmienda 532 Propuesta de Reglamento Artículo 57 bis (nuevo)
Artículo 57 bis
Composición del consejo de administración
1. El consejo de administración estará compuesto por los siguientes miembros:
a) un representante de la autoridad nacional de supervisión de cada Estado miembro;
b) un representante de la Comisión;
c) un representante del Supervisor Europeo de Protección de Datos (SEPD);
d) un representante de la Agencia de la Unión Europea para la Ciberseguridad (ENISA);
e) un representante de la Agencia de los Derechos Fundamentales de la Unión Europea (FRA)
Cada representante de una autoridad nacional de supervisión dispondrá de un voto. Los representantes de la Comisión, el SEPD, la ENISA y la FRA no tendrán derecho de voto. Cada miembro tendrá un suplente. El nombramiento de los miembros y suplentes del consejo de administración tendrá en cuenta la necesidad de equilibrio entre mujeres y hombres. Los miembros del consejo de administración y sus suplentes se harán públicos.
2. Los miembros y suplentes del consejo de administración no tendrán cargos que entren en conflicto, ni intereses comerciales, en relación con ningún tema relacionado con la aplicación del presente Reglamento.
3. Las normas para las reuniones y votaciones del consejo de administración y para el nombramiento y la destitución del director ejecutivo se establecerán en el reglamento interno a que se refiere el artículo 57 ter, letra a).
Enmienda 533 Propuesta de Reglamento Artículo 57 ter (nuevo)
Artículo 57 ter
Funciones del consejo de administración
1. El consejo de administración desempeñará las funciones siguientes:
a) tomar decisiones estratégicas sobre las actividades de la Oficina de IA y aprobar su reglamento interno por mayoría de dos tercios de sus miembros;
b) aplicar su reglamento interno;
c) aprobar el documento único de programación de la Oficina de IA, así como su informe público anual, y transmitirlos al Parlamento Europeo, al Consejo, a la Comisión y al Tribunal de Cuentas;
d) aprobar el presupuesto de la Oficina de IA;
e) nombrar al director ejecutivo y, en su caso, prorrogar o reducir el mandato del director ejecutivo o destituirlo del cargo;
f) tomar decisiones sobre la creación de las estructuras internas de la Oficina de IA y, en caso necesario, la modificación de dichas estructuras internas necesaria para el cumplimiento de las tareas de la Oficina de IA;
Enmienda 534 Propuesta de Reglamento Artículo 57 quater (nuevo)
Artículo 57 quater
Presidencia del consejo de administración
1. El consejo de administración elegirá por mayoría simple de entre sus miembros con derecho a voto un presidente y dos vicepresidentes.
2. El mandato del presidente y de los vicepresidentes será de cuatro años de duración y podrá renovarse una vez.
Enmienda 535 Propuesta de Reglamento Artículo 57 – sección 3 – título
Estructura del Comité
Secretaría
Enmienda 536 Propuesta de Reglamento Artículo 57 – apartado 1
1. El Comité estará compuesto por las autoridades nacionales de supervisión, que estarán representadas por el jefe de dicha autoridad o un funcionario de alto nivel equivalente, y el Supervisor Europeo de Protección de Datos.Se podrá invitar a otras autoridades nacionales a las reuniones, cuando los temas tratados sean de relevancia para ellas.
1. Las actividades de la secretaría serán gestionadas por un director ejecutivo.El director ejecutivo rendirá cuentas de su gestión ante el consejo de administración. Sin perjuicio de las respectivas competencias del consejo de administración y de las instituciones de la Unión, el director ejecutivo no pedirá ni recibirá instrucciones de ningún Gobierno o cualquier otro organismo.
Enmienda 537 Propuesta de Reglamento Artículo 57 – apartado 2
2. El Comité adoptará su propio reglamento interno por mayoría simple de los miembros que lo componen, tras el dictamen conforme de la Comisión. En el reglamento interno se recogerán asimismo los aspectos operativos relacionados con la ejecución de las funciones del Comité previstas en el artículo 58.El Comité podrá establecer subgrupos, según proceda, para examinar cuestiones específicas.
2. El director ejecutivo asistirá a las audiencias sobre cualquier asunto relacionado con las actividades de la Oficina de IA e informará sobre el desempeño de las funciones del director ejecutivo cuando el Parlamento Europeo o el Consejo le invite a hacerlo.
Enmienda 538 Propuesta de Reglamento Artículo 57 – apartado 3
3. El Comité estará presidido por la Comisión. La Comisión convocará las reuniones y elaborará el orden del día de conformidad con las funciones del Comité en virtud del presente Reglamento y con su reglamento interno. La Comisión prestará apoyo administrativo y analítico a las actividades del Comité en virtud del presente Reglamento.
3. El director ejecutivo representará a la Oficina de IA, también en los foros internacionales de cooperación en materia de inteligencia artificial;
Enmienda 539 Propuesta de Reglamento Artículo 57 – apartado 4
4. El Comité podrá invitar a expertos y observadores externos a que asistan a sus reuniones y podrá realizar intercambios con terceros interesados para orientar sus actividades, en la medida en que se considere apropiado. Para ello, la Comisión podrá facilitar intercambios entre el Comité y otros organismos, oficinas, agencias y grupos consultivos de la Unión.
4. La secretaría proporcionará al consejo de administración y al foro consultivo el apoyo analítico, administrativo y logístico necesario para el desempeño de las funciones de la Oficina de IA, en particular:
a) aplicando las decisiones, programas y actividades aprobadas por el consejo de administración;
b) preparando cada año el proyecto de documento único de programación, el proyecto de presupuesto, el informe anual de actividades de la Oficina de IA, los proyectos de dictamen y los proyectos de posición de la Oficina de IA, y presentándolos al consejo de administración;
c) coordinándose con foros internacionales de cooperación en materia de inteligencia artificial;
Enmienda 540 Propuesta de Reglamento Artículo 58 – sección 4 – título
Funciones del Comité
Foro consultivo
Enmienda 541 Propuesta de Reglamento Artículo 58 – párrafo 1 – parte introductoria
Cuando preste asesoramiento y asistencia a la Comisión en el contexto del artículo 56, apartado 2, el Comité, en particular:
El foro consultivo proporcionará a la Oficina de IA aportaciones de las partes interesadas en asuntos relacionados con el presente Reglamento, en particular en lo que respecta a las funciones establecidas en el artículo 56 ter, letra l).
La composición del foro consultivo representará una selección equilibrada de partes interesadas, incluidos la industria, las empresas emergentes, las pymes, la sociedad civil, los interlocutores sociales y el mundo académico. La composición del foro consultivo estará equilibrada con respecto a los intereses comerciales y no comerciales y, dentro de la categoría de intereses comerciales, con respecto a las pymes y otras empresas.
El consejo de administración nombrará a los miembros del foro consultivo de conformidad con el procedimiento de selección establecido en el reglamento interno de la Oficina de IA, teniendo en cuenta la necesidad de transparencia y de conformidad con los criterios establecidos en el párrafo 2;
El Comité Europeo de Normalización (CEN), el Comité Europeo de Normalización Electrotécnica (Cenelec) y el Instituto Europeo de Normas de Telecomunicaciones (ETSI) serán miembros permanentes del foro consultivo. El Centro Común de Investigación será miembro permanente, sin derecho de voto.
El foro consultivo establecerá su reglamento interno. Elegirá dos copresidentes de entre sus miembros, de conformidad con los criterios establecidos en el párrafo 2. El mandato de los copresidentes será de dos años, renovable una sola vez.
El foro consultivo celebrará reuniones al menos cuatro veces al año. El foro consultivo podrá invitar a expertos y otras partes interesadas a sus reuniones. El director ejecutivo podrá asistir de oficio a las reuniones del foro consultivo.
El foro consultivo podrá crear subgrupos permanentes o temporales, según proceda, para examinar cuestiones específicas relacionadas con los objetivos del presente Reglamento.
El foro consultivo redactará un informe anual de actividades. Dicho informe se pondrá a disposición del público.
Enmienda 551 Propuesta de Reglamento Artículo 58 bis – sección 5 – título (nuevo)
Autoridades europeas en materia de evaluación comparativa
Enmienda 552 Propuesta de Reglamento Artículo 58 bis (nuevo)
Artículo 58 bis
Evaluación comparativa
Las autoridades europeas en materia de evaluación comparativa a que se refiere el artículo 15, apartado 1 bis, y la Oficina de IA, en estrecha cooperación con los socios internacionales, elaborarán conjuntamente orientaciones y capacidades rentables para medir y comparar los aspectos de los sistemas de IA y componentes de IA, y en particular de los modelos fundacionales pertinentes para el cumplimiento y la aplicación del presente Reglamento sobre la base del estado de la técnica generalmente reconocido, también como se refleja en las normas armonizadas pertinentes.
Enmienda 553 Propuesta de Reglamento Artículo 59 – título
Designación de autoridades nacionales competentes
Designación de autoridades nacionales de supervisión
Enmienda 554 Propuesta de Reglamento Artículo 59 – apartado 1
1. Cada Estado miembro establecerá o designará autoridades nacionales competentes con el fin de garantizar la aplicación y ejecución del presente Reglamento.Las autoridades nacionales competentes se organizarán de manera que se preserve la objetividad e imparcialidad de sus actividades y funciones.
1. Cada Estado miembro designará una autoridad nacional de supervisión, que se organizará de manera que se preserve la objetividad e imparcialidad de sus actividades y funciones a más tardar … [tres meses después de la fecha de entrada en vigor del presente Reglamento].
Enmienda 555 Propuesta de Reglamento Artículo 59 – apartado 2
2. Cada Estado miembro designará una autoridad nacional de supervisión entre las autoridades nacionales competentes. La autoridad nacional de supervisión actuará como autoridad notificante y como autoridad de vigilancia del mercado, salvo que un Estado miembro tenga razones organizativas o administrativas para designar más de una autoridad,
2. La autoridad nacional de supervisión garantizará la aplicación y la ejecución del presente Reglamento. En lo que respecta a los sistemas de IA de alto riesgo, y en relación con los productos a los que se aplican los actos jurídicos indicados en el anexo II, las autoridades competentes designadas con arreglo a dichos actos jurídicos seguirán encargándose de los procedimientos administrativos. No obstante, en la medida en que un asunto ataña a aspectos cubiertos exclusivamente por el presente Reglamento, dichas autoridades competentes estarán obligadas por las medidas relacionadas con dichos aspectos formuladas por la autoridad nacional de supervisión designada con arreglo al presente Reglamento. La autoridad nacional de supervisión actuará como autoridad de vigilancia del mercado.
Enmienda 556 Propuesta de Reglamento Artículo 59 – apartado 3
3. Los Estados miembros informarán a la Comisión de su designación o designaciones y, en su caso, de los motivos para designar más de una autoridad.
3. Los Estados miembros pondrán a disposición del público y comunicarán a la Oficina de IA y a la Comisión, a más tardar … [tres meses después de la fecha de entrada en vigor del presente Reglamento], la autoridad nacional de supervisión, así como información sobre la manera de ponerse en contacto con ella. La autoridad nacional de supervisión actuará como punto de contacto único para el presente Reglamento, y debe ser posible contactar con ella a través de medios de comunicación electrónica.
Enmienda 557 Propuesta de Reglamento Artículo 59 – apartado 4
4. Los Estados miembros garantizarán que las autoridades nacionales competentes dispongan de recursos financieros y humanos adecuados para el desempeño de sus funciones con arreglo al presente Reglamento. En concreto, las autoridades nacionales competentes dispondrán permanentemente de suficiente personal cuyas competencias y conocimientos técnicos incluirán un conocimiento profundo de las tecnologías de inteligencia artificial, datos y computación de datos; los riesgos para los derechos fundamentales, la salud y la seguridad, y conocimientos acerca de las normas y requisitos legales vigentes.
4. Los Estados miembros garantizarán que la autoridad de supervisión disponga de recursos técnicos, financieros y humanos adecuados, así como de las infraestructuras para el desempeño eficaz de sus funciones con arreglo al presente Reglamento. En concreto, la autoridad nacional de supervisión dispondrá permanentemente de suficiente personal cuyas competencias y conocimientos técnicos incluirán un conocimiento profundo de las tecnologías de inteligencia artificial, datos y computación de datos, la protección de datos personales, la ciberseguridad, el Derecho en materia de competencia, los riesgos para los derechos fundamentales, la salud y la seguridad, y conocimientos acerca de las normas y requisitos legales vigentes. Los Estados miembros evaluarán y, si se considera necesario, actualizarán anualmente los requisitos en materia de competencias y recursos a que se refiere el presente apartado.
Enmienda 558 Propuesta de Reglamento Artículo 59 – apartado 4 bis (nuevo)
4 bis. Cada autoridad nacional de supervisión ejercerá sus poderes y desempeñará sus funciones de manera independiente, imparcial y objetiva. Los miembros de cada autoridad nacional de supervisión, en el desempeño de sus funciones y el ejercicio de sus poderes en virtud del presente Reglamento, no buscarán ni recibirán instrucciones de ningún organismo y se abstendrán de toda acción incompatible con sus funciones.
Enmienda 559 Propuesta de Reglamento Artículo 59 – apartado 4 ter (nuevo)
4 ter. Las autoridades nacionales de supervisión satisfarán los requisitos mínimos de ciberseguridad establecidos para las entidades de administración pública identificadas como operadores de servicios esenciales con arreglo a la Directiva (UE) 2022/2555.
4 quater. En el desempeño de sus funciones, la autoridad nacional de supervisión actuará de conformidad con las obligaciones de confidencialidad establecidas en el artículo 70.
Enmienda 561 Propuesta de Reglamento Artículo 59 – apartado 5
5. Los Estados miembros presentarán a la Comisión un informe anual acerca del estado de los recursos financieros y humanos de las autoridades nacionales competentes, que incluirá una evaluación de su idoneidad. La Comisión transmitirá dicha información al Comité para su debate y la formulación de posibles recomendaciones.
5. Los Estados miembros presentarán a la Comisión un informe anual acerca del estado de los recursos financieros y humanos de la autoridad nacional de supervisión, que incluirá una evaluación de su idoneidad. La Comisión transmitirá dicha información a la Oficina de IA para su debate y la formulación de posibles recomendaciones.
Enmienda 562 Propuesta de Reglamento Artículo 59 – apartado 6
6. La Comisión facilitará el intercambio de experiencias entre las autoridades nacionales competentes.
suprimido
Enmienda 563 Propuesta de Reglamento Artículo 59 – apartado 7
7. Las autoridades nacionales competentes podrán proporcionar orientaciones y asesoramiento acerca de la aplicación del presente Reglamento, incluso a proveedores a pequeña escala. Siempre que una autoridad nacional competente pretenda proporcionar orientaciones y asesoramiento en relación con un sistema de IA en ámbitos regulados por otra legislación de la Unión, se consultará a las autoridades nacionales competentes con arreglo a lo dispuesto en dicha legislación de la Unión, según proceda. Asimismo, los Estados miembros podrán establecer un punto de contacto central para la comunicación con los operadores.
7. Las autoridades nacionales de supervisión podrán proporcionar orientaciones y asesoramiento acerca de la aplicación del presente Reglamento, incluso a pymes y empresas emergentes, teniendo en cuenta las orientaciones y asesoramiento de la Comisión o la Oficina de IA. Siempre que la autoridad nacional de supervisión pretenda proporcionar orientaciones y asesoramiento en relación con un sistema de IA en ámbitos regulados por otras disposiciones del Derecho de la Unión, las orientaciones se elaborarán en consulta con las autoridades nacionales competentes con arreglo a lo dispuesto en dichas disposiciones del Derecho de la Unión, según proceda.
Enmienda 564 Propuesta de Reglamento Artículo 59 – apartado 8
8. Cuando las instituciones, agencias y organismos de la Unión entren en el ámbito de aplicación del presente Reglamento, el Supervisor Europeo de Protección de Datos actuará como autoridad competente para su supervisión.
8. Cuando las instituciones, agencias y organismos de la Unión entren en el ámbito de aplicación del presente Reglamento, el Supervisor Europeo de Protección de Datos actuará como autoridad competente para su supervisión y coordinación.
Enmienda 565 Propuesta de Reglamento Artículo 59 bis (nuevo)
Artículo 59 bis
Mecanismo de cooperación entre las autoridades nacionales de supervisión en aquellos casos que afecten a dos o más Estados miembros
1. Cada autoridad nacional de supervisión ejercerá las funciones y los poderes que se le confieran de conformidad con el presente Reglamento en el territorio de su Estado miembro.
2. De darse un caso que afecte a dos o más autoridades nacionales de supervisión, la autoridad nacional de supervisión del Estado miembro en el que haya tenido lugar la infracción será considerada la autoridad de supervisión principal.
3. En los casos a que se hace referencia en el apartado 2, las autoridades de supervisión pertinentes colaborarán e intercambiarán toda la información de interés a su debido tiempo. Las autoridades nacionales de supervisión colaborarán para llegar a una solución de consenso.
Enmienda 566 Propuesta de Reglamento Título VII
VII BASE DE DATOS DE LA UE PARA SISTEMAS DE IA DE ALTO RIESGO INDEPENDIENTES
BASE DE DATOS DE LA UE PARA SISTEMAS DE IA DE ALTO RIESGO
Enmienda 567 Propuesta de Reglamento Artículo 60 – título
Base de datos de la UE para sistemas de IA de alto riesgo independientes
Base de datos de la UE para sistemas de IA de alto riesgo
Enmienda 568 Propuesta de Reglamento Artículo 60 – apartado 1
1. La Comisión, en colaboración con los Estados miembros, creará y mantendrá una base de datos de la UE que contendrá la información prevista en el apartado 2 en relación con los sistemas de IA de alto riesgo a que se refiere el artículo 6, apartado 2, registrados con arreglo al artículo 51.
1. La Comisión, en colaboración con los Estados miembros, creará y mantendrá una base de datos de la UE que contendrá la información prevista en el apartados 2 y 2 bis en relación con los sistemas de IA de alto riesgo a que se refiere el artículo6, apartado2, registrados con arreglo al artículo51.
Enmienda 569 Propuesta de Reglamento Artículo 60 – apartado 2
2. Los proveedores introducirán en la base de datos de la UE los datos que se enumeran en el anexo VIII.La Comisión les prestará apoyo técnico y administrativo.
2. Los proveedores introducirán en la base de datos de la UE los datos que se enumeran en el anexo VIII, sección A.
Enmienda 570 Propuesta de Reglamento Artículo 60 – apartado 2 bis (nuevo)
2 bis. Los implementadores que sean autoridades públicas o instituciones, órganos y organismos de la Unión y los implementadores que sean empresas contempladas en el artículo 51, apartados 1 bis y 1 ter, o que actúen en su nombre, introducirán en la base de datos de la UE los datos que se enumeran en el anexo VIII, sección B.
Enmienda 571 Propuesta de Reglamento Artículo 60 – apartado 3
3. La información presente en la base de datos de la UE será accesible para el público.
3. La información presente en la base de datos de la UE estará disponible para el público de forma gratuita y será sencilla en cuanto al manejo y accesible, sencilla en cuanto a la navegación y legible por máquina, con datos digitales estructurados basados en un protocolo normalizado.
Enmienda 572 Propuesta de Reglamento Artículo 60 – apartado 4
4. La base de datos de la UE únicamente contendrá los datos personales que sean necesarios para la recogida y el tratamiento de información de conformidad con el presente Reglamento. Dicha información incluirá los nombres y datos de contacto de las personas físicas responsables del registro de sistema y que cuenten con autoridad legal para representar al proveedor.
4. La base de datos de la UE únicamente contendrá los datos personales que sean necesarios para la recogida y el tratamiento de información de conformidad con el presente Reglamento. Dicha información incluirá los nombres y datos de contacto de las personas físicas responsables del registro de sistema y que cuenten con autoridad legal para representar al proveedor o al implementador que sea una autoridad pública o institución, órgano u organismo de la Unión, o un implementador que actúe en su nombre o un implementador que sea una empresa contemplada en el artículo 51, apartado 1 bis, letra b), y apartado 1 ter.
Enmienda 573 Propuesta de Reglamento Artículo 60 – apartado 5
5. La Comisión será la responsable del tratamiento de la base de datos de la UE. Velará por que los proveedores cuenten con un apoyo técnico y administrativo adecuado.
5. La Comisión será la responsable del tratamiento de la base de datos de la UE. Velará por que los proveedores y los implementadores cuenten con un apoyo técnico y administrativo adecuado.
La base de datos cumplirá los requisitos de accesibilidad del anexo I a la Directiva (UE) 2019/882.
Enmienda 574 Propuesta de Reglamento Artículo 61 – apartado 2
2. El sistema de seguimiento posterior a la comercialización recabará, documentará y analizará de manera activa y sistemática datos pertinentes proporcionados por usuarios o recopilados a través de otras fuentes sobre el funcionamiento de los sistemas de IA de alto riesgo durante toda su vida útil, y permitirá al proveedor evaluar el cumplimiento de los requisitos establecidos en el título III, capítulo 2, por parte de los sistemas de IA.
2. El sistema de seguimiento posterior a la comercialización recabará, documentará y analizará de manera activa y sistemática datos pertinentes proporcionados por implementadores o recopilados a través de otras fuentes sobre el funcionamiento de los sistemas de IA de alto riesgo durante toda su vida útil, y permitirá al proveedor evaluar el cumplimiento de los requisitos establecidos en el título III, capítulo 2, por parte de los sistemas de IA. Cuando proceda, el seguimiento posterior a la comercialización incluirá un análisis de la interacción con otros entornos de sistemas de IA, incluidos otros dispositivos y software, teniendo en cuenta las normas aplicables en ámbitos como la protección de datos, los derechos de propiedad intelectual y el Derecho en materia de competencia.
Enmienda 575 Propuesta de Reglamento Artículo 61 – apartado 3
3. El sistema de seguimiento posterior a la comercialización se basará en un plan de seguimiento posterior a la comercialización. El plan de seguimiento posterior a la comercialización formará parte de la documentación técnica a que se refiere el anexo IV. La Comisión adoptará un acto de ejecución en el que se establecerán disposiciones detalladas que constituyan un modelo para el plan de seguimiento posterior a la comercialización y la lista de elementos que deberán incluirse en él.
3. El sistema de seguimiento posterior a la comercialización se basará en un plan de seguimiento posterior a la comercialización. El plan de seguimiento posterior a la comercialización formará parte de la documentación técnica a que se refiere el anexo IV. La Comisión adoptará un acto de ejecución en el que se establecerán disposiciones detalladas que constituyan un modelo para el plan de seguimiento posterior a la comercialización y la lista de elementos que deberán incluirse en él a más tardar [doce meses después de la fecha de entrada en vigor del presente Reglamento].
Enmienda 576 Propuesta de Reglamento Artículo 62 – título
Notificación de incidentes graves y fallos de funcionamiento
1. Los proveedores de sistemas de IA de alto riesgo introducidos en el mercado de la Unión notificarán cualquier incidente grave o fallo de funcionamiento de dichos sistemas que constituya un incumplimiento de las obligaciones en virtud del Derecho de la Unión destinadas a proteger los derechos fundamentales a las autoridades de vigilancia del mercado de los Estados miembros donde se haya producido dicho incidente o incumplimiento.
1. Los proveedores y, cuando los implementadores hayan identificado un incidente grave, los implementadores de sistemas de IA de alto riesgo introducidos en el mercado de la Unión notificarán cualquier incidente grave de dichos sistemas que constituya un incumplimiento de las obligaciones en virtud del Derecho de la Unión destinadas a proteger los derechos fundamentales a la autoridad nacional de supervisión de los Estados miembros donde se haya producido dicho incidente o incumplimiento.
Dicha notificación se efectuará inmediatamente después de que el proveedor haya establecido un vínculo causal entre el sistema de IA y el incidente o fallo de funcionamiento, o la posibilidad razonable de que exista dicho vínculo, y, en cualquier caso, a más tardar quince días después de que los proveedores tengan conocimiento de dicho incidente grave o fallo de funcionamiento.
Dicha notificación se efectuará sin demora indebida después de que el proveedor o, en su caso, el implementador haya establecido un vínculo causal entre el sistema de IA y el incidente, o la posibilidad razonable de que exista dicho vínculo, y, en cualquier caso, a más tardar setenta y dos horas después de que el proveedor o, en su caso, el implementador tenga conocimiento de dicho incidente grave.
Enmienda 579 Propuesta de Reglamento Artículo 62 – apartado 1 bis (nuevo)
1 bis. Una vez que hayan establecido un vínculo causal entre el sistema de IA y el incidente grave, o la posibilidad razonable de que exista dicho vínculo, los proveedores adoptarán las medidas correctoras oportunas de conformidad con el artículo 21.
Enmienda 580 Propuesta de Reglamento Artículo 62 – apartado 2
2. Tras la recepción de la notificación relativa a un incumplimiento de las obligaciones en virtud del Derecho de la Unión destinadas a proteger los derechos fundamentales, la autoridad de vigilancia del mercado informará a las autoridades u organismos públicos nacionales a que se refiere el artículo 64, apartado 3. La Comisión elaborará orientaciones específicas para facilitar el cumplimiento de las obligaciones establecidas en el apartado 1. Dichas orientaciones se publicarán en el plazo máximo de doce meses tras la entrada en vigor del presente Reglamento.
2. Tras la recepción de la notificación relativa a un incumplimiento de las obligaciones en virtud del Derecho de la Unión destinadas a proteger los derechos fundamentales, la autoridad nacional de supervisión informará a las autoridades u organismos públicos nacionales a que se refiere el artículo 64, apartado 3. La Comisión elaborará orientaciones específicas para facilitar el cumplimiento de las obligaciones establecidas en el apartado 1. Dichas orientaciones se publicarán a más tardar el [fecha de entrada en vigor del presente Reglamento] y se evaluarán periódicamente.
Enmienda 581 Propuesta de Reglamento Artículo 62 – apartado 2 bis (nuevo)
2 bis. Las autoridades nacionales de supervisión adoptarán medidas adecuadas en un plazo de siete días a partir de la fecha en que reciban la notificación a que se refiere el apartado 1. Si la infracción tiene lugar o es probable que tenga lugar en otros Estados miembros, la autoridad nacional de supervisión notificará a la Oficina de IA y a las autoridades nacionales de supervisión pertinentes de dichos Estados miembros.
Enmienda 582 Propuesta de Reglamento Artículo 62 – apartado 3
3. En el caso de los sistemas de IA de alto riesgo a que se refiere el punto 5, letra b), del anexo III introducidos en el mercado o puestos en servicio por proveedores que sean entidades de crédito reguladas por la Directiva 2013/36/UE y en el caso de los sistemas de IA de alto riesgo que sean componentes de seguridad de dispositivos o que en sí mismos sean dispositivos, regulados por el Reglamento (UE) 2017/745 y el Reglamento (UE) 2017/746, la notificación de incidentes graves y fallos de funcionamiento se limitará a aquellos que constituyan un incumplimiento de las obligaciones en virtud del Derecho de la Unión destinadas a proteger los derechos fundamentales.
3. En el caso de los sistemas de IA de alto riesgo a que se refiere el anexo III introducidos en el mercado o puestos en servicio por proveedores que se encuentren sujetos a instrumentos legislativos de la Unión que establezcan obligaciones de información equivalentes a las expuestas en el presente Reglamento, la notificación de incidentes graves que constituyan una violación de los derechos fundamentales en virtud del Derecho de la Unión se transferirá a la autoridad nacional de supervisión.
Enmienda 583 Propuesta de Reglamento Artículo 62 – apartado 3 bis (nuevo)
3 bis. Las autoridades nacionales de supervisión informarán anualmente a la Oficina de IA de los incidentes graves que se les hayan notificado de conformidad con el presente artículo.
Enmienda 584 Propuesta de Reglamento Artículo 63 – apartado 1 – parte introductoria
1. El Reglamento (UE) 2019/1020 se aplicará a los sistemas de IA cubiertos por el presente Reglamento. No obstante, a efectos de la ejecución eficaz del presente Reglamento:
1. El Reglamento (UE) 2019/1020 se aplicará a los sistemas de IA y modelos fundacionales cubiertos por el presente Reglamento. No obstante, a efectos de la ejecución eficaz del presente Reglamento:
Enmienda 585 Propuesta de Reglamento Artículo 63 – apartado 1 – letra b bis (nueva)
b bis) las autoridades nacionales de supervisión actuarán como autoridades de vigilancia del mercado de conformidad con el presente Reglamento y tendrán las mismas competencias y obligaciones que las autoridades de vigilancia del mercado en virtud del Reglamento (UE) 2019/1020.
Enmienda 586 Propuesta de Reglamento Artículo 63 – apartado 2
2. La autoridad nacional de supervisión informará periódicamente a la Comisión sobre los resultados de las actividades pertinentes de vigilancia del mercado. La autoridad nacional de supervisión comunicará sin demora a la Comisión y a las autoridades nacionales de competencia pertinentes cualquier información recabada en el transcurso de las actividades de vigilancia del mercado que pueda ser de interés potencial para la aplicación del Derecho de la Unión en materia de normas de competencia.
2. La autoridad nacional de supervisión informará anualmente a la Comisión y a la Oficina de IA sobre los resultados de las actividades pertinentes de vigilancia del mercado. La autoridad nacional de supervisión comunicará sin demora a la Comisión y a las autoridades nacionales de competencia pertinentes cualquier información recabada en el transcurso de las actividades de vigilancia del mercado que pueda ser de interés potencial para la aplicación del Derecho de la Unión en materia de normas de competencia.
Enmienda 587 Propuesta de Reglamento Artículo 63 – apartado 3 bis (nuevo)
3 bis. Con el fin de garantizar la aplicación efectiva del presente Reglamento, las autoridades nacionales de supervisión podrán:
a) llevar a cabo inspecciones in situ y a distancia, sin aviso previo, de los sistemas de IA de alto riesgo;
b) adquirir muestras relacionadas con los sistemas de IA de alto riesgo, también mediante inspecciones a distancia, al objeto de someter a ingeniería inversa a los sistemas de IA y adquirir pruebas para detectar los incumplimientos.
Enmienda 588 Propuesta de Reglamento Artículo 63 – apartado 5
5. En el caso de los sistemas de IA enumerados en el punto 1, letra a), en la medida en que los sistemas se utilicen a los efectos de la aplicación de la ley, y en los puntos 6 y 7 del anexo III, los Estados miembros designarán como autoridades de vigilancia del mercado a efectos del presente Reglamento bien a las autoridades de control encargadas de la protección de datos con arreglo a la Directiva (UE) 2016/680 o el Reglamento 2016/679, o bien a las autoridades nacionales competentes responsables de supervisar las actividades de las autoridades encargadas de la aplicación de la ley o de las autoridades de inmigración o de asilo que pongan en servicio o utilicen dichos sistemas.
5. En el caso de los sistemas de IA que se utilicen a los efectos de la aplicación de la ley, los Estados miembros designarán como autoridades de vigilancia del mercado a efectos del presente Reglamento a las autoridades de control encargadas de la protección de datos con arreglo a la Directiva (UE) 2016/680.
Enmienda 589 Propuesta de Reglamento Artículo 63 – apartado 7
7. Los Estados miembros facilitarán la coordinación entre las autoridades de vigilancia del mercado designadas con arreglo al presente Reglamento y otras autoridades u organismos nacionales pertinentes responsables de supervisar la aplicación de la legislación de armonización de la Unión citada en el anexo II u otra legislación de la Unión que pueda resultar pertinente para los sistemas de IA de alto riesgo a que se refiere el anexo III.
7. Las autoridades nacionales de supervisión designadas con arreglo al presente Reglamento se coordinarán con otras autoridades u organismos nacionales pertinentes responsables de supervisar la aplicación de la legislación de armonización de la Unión citada en el anexo II u otra legislación de la Unión que pueda resultar pertinente para los sistemas de IA de alto riesgo a que se refiere el anexo III.
Enmienda 590 Propuesta de Reglamento Artículo 64 – apartado 1
1. Se concederá a las autoridades de vigilancia del mercado acceso a datos y documentación en el contexto de sus actividades, así como pleno acceso a los conjuntos de datos de entrenamiento, validación y prueba utilizados por el proveedor, incluso mediante interfaces de programación de aplicaciones («API», por sus siglas en inglés) u otros medios técnicos y herramientas adecuados que permitan el acceso a distancia.
1. Se concederá a la autoridad nacional de supervisión, en el contexto de sus actividades y previa solicitud motivada, pleno acceso a los conjuntos de datos de entrenamiento, validación y prueba utilizados por el proveedor o, cuando proceda, por el implementador, que sean pertinentes y estrictamente necesarios para los fines de su solicitud mediante medios técnicos y herramientas adecuados.
Enmienda 591 Propuesta de Reglamento Artículo 64 – apartado 2
2. En caso necesario y previa solicitud motivada, se concederá a las autoridades de vigilancia del mercado acceso al código fuente del sistema de IA para evaluar la conformidad del sistema de IA de alto riesgo con los requisitos establecidos en el título III, capítulo 2.
2. En caso necesario y previa solicitud motivada, una vez se hayan agotado y hayan demostrado ser insuficientes todas las demás vías razonables para verificar la conformidad incluidas las previstas en el apartado 1, se concederá a la autoridad nacional de supervisión acceso al modelo entrenado y al modelo de entrenamiento del sistema de IA, incluidos los parámetros pertinentes de estos modelos, para evaluar la conformidad del sistema de IA de alto riesgo con los requisitos establecidos en el título III, capítulo 2. Toda la información obtenida de conformidad con el artículo 70 se tratará como información confidencial y estará sujeta a la legislación vigente de la Unión en materia de protección de la propiedad intelectual y los secretos comerciales, y se suprimirá una vez concluida la investigación para la que se solicitó la información.
Enmienda 592 Propuesta de Reglamento Artículo 64 – apartado 2 bis (nuevo)
2 bis. Los apartados 1 y 2 se entienden sin perjuicio de los derechos procedimentales del operador correspondiente con arreglo al artículo 18 del Reglamento (UE) 2019/1020.
Enmienda 593 Propuesta de Reglamento Artículo 64 – apartado 3
3. Las autoridades u organismos públicos nacionales encargados de supervisar o hacer respetar las obligaciones contempladas en el Derecho de la Unión en materia de protección de los derechos fundamentales con respecto al uso de sistemas de IA de alto riesgo mencionados en el anexo III tendrán la facultad de solicitar y acceder a cualquier documentación creada o conservada con arreglo al presente Reglamento cuando el acceso a dicha documentación sea necesario para el ejercicio de las competencias derivadas de sus mandatos, dentro de los límites de su jurisdicción. La autoridad o el organismo público pertinente informará sobre dicha solicitud a la autoridad de vigilancia del mercado del Estado miembro que corresponda.
3. Las autoridades u organismos públicos nacionales encargados de supervisar o hacer respetar las obligaciones contempladas en el Derecho de la Unión en materia de protección de los derechos fundamentales con respecto al uso de sistemas de IA de alto riesgo mencionados en el anexo III tendrán la facultad de solicitar y acceder a cualquier documentación creada o conservada con arreglo al presente Reglamento cuando el acceso a dicha documentación sea necesario para el ejercicio de las competencias derivadas de sus mandatos, dentro de los límites de su jurisdicción. La autoridad o el organismo público pertinente informará sobre dicha solicitud a la autoridad nacional de supervisión del Estado miembro que corresponda.
Enmienda 594 Propuesta de Reglamento Artículo 64 – apartado 4
4. A más tardar tres meses después de la entrada en vigor del presente Reglamento, cada Estado miembro identificará a las autoridades u organismos públicos a que se refiere el apartado 3 y las enumerará en una lista pública disponible en el sitio web de la autoridad nacional de supervisión. Los Estados miembros notificarán dicha lista a la Comisión y a los demás Estados miembros y la mantendrán actualizada.
4. A más tardar tres meses después de la entrada en vigor del presente Reglamento, cada Estado miembro identificará a las autoridades u organismos públicos a que se refiere el apartado 3 y las enumerará en una lista pública disponible en el sitio web de la autoridad nacional de supervisión. Las autoridades nacionales de supervisión notificarán dicha lista a la Comisión, a la Oficina de IA y a las demás autoridades nacionales de supervisión, y la mantendrán actualizada. La Comisión publicará en un sitio web específico la lista de todas las autoridades competentes designadas por los Estados miembros con arreglo al presente artículo.
Enmienda 595 Propuesta de Reglamento Artículo 64 – apartado 5
5. Cuando la documentación mencionada en el apartado 3 no baste para determinar si se ha producido un incumplimiento de las obligaciones previstas en el Derecho de la Unión destinadas a proteger los derechos fundamentales, la autoridad u organismo público a que se refiere el apartado 3 podrá presentar una solicitud motivada a la autoridad de vigilancia del mercado para organizar pruebas del sistema de IA de alto riesgo a través de medios técnicos. La autoridad de vigilancia del mercado organizará las pruebas con la estrecha colaboración de la autoridad u organismo público solicitante en un plazo razonable tras la presentación de la solicitud.
5. Cuando la documentación mencionada en el apartado 3 no baste para determinar si se ha producido un incumplimiento de las obligaciones previstas en el Derecho de la Unión destinadas a proteger los derechos fundamentales, la autoridad u organismo público a que se refiere el apartado 3 podrá presentar una solicitud motivada a la autoridad nacional de supervisión para organizar pruebas del sistema de IA de alto riesgo a través de medios técnicos. La autoridad nacional de supervisión organizará las pruebas con la estrecha colaboración de la autoridad u organismo público solicitante en un plazo razonable tras la presentación de la solicitud.
Enmienda 596 Propuesta de Reglamento Artículo 65 – apartado 1
1. Los sistemas de IA que presenten un riesgo se entenderán como productos que presentan un riesgo según la definición del artículo 3, punto 19, del Reglamento (UE) 2019/1020 en lo que respecta a los riesgos para la salud, la seguridad o la protección de los derechos fundamentales de las personas.
1. Los sistemas de IA que presenten un riesgo se entenderán como un sistema de IA que puede afectar negativamente a la salud y la seguridad, los derechos fundamentales de las personas en general, también en el puesto de trabajo, a la protección de los consumidores, al medio ambiente, a la seguridad pública, o a la democracia o al Estado de Derecho y a otros intereses públicos protegidos por la legislación de armonización de la Unión aplicable, en un grado que vaya más allá de lo que se considere razonable y aceptable en relación con su finalidad prevista o en las condiciones de uso normales o razonablemente previsibles del sistema en cuestión, incluida la duración de su utilización y, en su caso, los requisitos de su puesta en servicio, instalación y mantenimiento.
2. Cuando la autoridad de vigilancia del mercado de un Estado miembro tenga motivos suficientes para considerar que un sistema de IA presenta un riesgo según lo contemplado en el apartado 1, efectuará una evaluación del sistema de IA de que se trate para verificar su cumplimiento de todos los requisitos y obligaciones establecidos en el presente Reglamento. Cuando se presenten riesgos para la protección de los derechos fundamentales, la autoridad de vigilancia del mercado informará también a las autoridades u organismos públicos nacionales pertinentes a que se refiere el artículo 64, apartado 3. Los operadores pertinentes cooperarán en lo necesario con las autoridades de vigilancia del mercado y con las demás autoridades u organismos públicos nacionales a que se refiere el artículo 64, apartado 3.
2. Cuando la autoridad nacional de supervisión de un Estado miembro tenga motivos suficientes para considerar que un sistema de IA presenta un riesgo según lo contemplado en el apartado 1, efectuará una evaluación del sistema de IA de que se trate para verificar su cumplimiento de todos los requisitos y obligaciones establecidos en el presente Reglamento. Cuando se presenten riesgos para los derechos fundamentales, la autoridad nacional de supervisión informará también inmediatamente a las autoridades u organismos públicos nacionales pertinentes a que se refiere el artículo 64, apartado 3, y cooperará plenamente con ellos. Cuando existan motivos suficientes para considerar que un sistema de IA explota las vulnerabilidades de grupos vulnerables o viola sus derechos, ya sea de manera deliberada o no deliberada, la autoridad nacional de supervisión tendrá la obligación de investigar los objetivos de diseño, las entradas de datos, la selección de modelos, la aplicación y la información de salida del sistema de IA. Los operadores pertinentes cooperarán en lo necesario con la autoridad nacional de supervisión y con las demás autoridades u organismos públicos nacionales a que se refiere el artículo 64, apartado 3.
Cuando, en el curso de tal evaluación, la autoridad de vigilancia del mercado constate que el sistema de IA no cumple los requisitos y obligaciones establecidos en el presente Reglamento, exigirá de inmediato al operador pertinente que adopte todas las medidas correctoras oportunas para adaptar el sistema de IA a los citados requisitos o bien retirarlo del mercado o recuperarlo en un plazo razonable, proporcional a la naturaleza del riesgo, que dicha autoridad prescriba.
Cuando, en el curso de tal evaluación, la autoridad nacional de supervisión o, cuando proceda, la autoridad pública nacional a que se refiere el artículo 64, apartado 3, constate que el sistema de IA no cumple los requisitos y obligaciones establecidos en el presente Reglamento, exigirá de inmediato al operador pertinente que adopte todas las medidas correctoras oportunas para adaptar el sistema de IA a los citados requisitos o bien retirarlo del mercado o recuperarlo en un plazo razonable, proporcional a la naturaleza del riesgo, que dicha autoridad prescriba y en cualquier caso en un plazo de quince días laborables a más tardar o lo previsto en la legislación de armonización pertinente de la Unión según corresponda.
La autoridad de vigilancia del mercado informará al organismo notificado correspondiente en consecuencia. El artículo 18 del Reglamento (UE) 2019/1020 será de aplicación a las medidas mencionadas en el párrafo segundo.
La autoridad nacional de supervisión informará al organismo notificado correspondiente en consecuencia. El artículo 18 del Reglamento (UE) 2019/1020 será de aplicación a las medidas mencionadas en el párrafo segundo.
Enmienda 600 Propuesta de Reglamento Artículo 65 – apartado 3
3. Cuando la autoridad de vigilancia del mercado considere que el incumplimiento no se limita a su territorio nacional, informará a la Comisión y a los demás Estados miembros de los resultados de la evaluación y de las medidas que haya instado al operador a adoptar.
3. Cuando la autoridad nacional de supervisión considere que el incumplimiento no se limita a su territorio nacional, informará a la Comisión, a la Oficina de IA y a la autoridad nacional de supervisión de los demás Estados miembros, sin demoras injustificadas, de los resultados de la evaluación y de las medidas que haya instado al operador a adoptar.
Enmienda 601 Propuesta de Reglamento Artículo 65 – apartado 5
5. Si el operador de un sistema de IA no adopta las medidas correctoras adecuadas en el plazo a que hace referencia el apartado 2, la autoridad de vigilancia del mercado adoptará todas las medidas provisionales adecuadas para prohibir o restringir la comercialización del sistema de IA en su mercado nacional, retirarlo de dicho mercado o recuperarlo. Dicha autoridad informará sin demora a la Comisión y a los demás Estados miembros de estas medidas.
5. Si el operador de un sistema de IA no adopta las medidas correctoras adecuadas en el plazo a que hace referencia el apartado 2, la autoridad nacional de supervisión adoptará todas las medidas provisionales adecuadas para prohibir o restringir la comercialización del sistema de IA en su mercado nacional o su puesta en servicio, retirar el sistema de IA de dicho mercado o recuperarlo. Dicha autoridad informará inmediatamente a la Comisión, a la Oficina de IA y a la autoridad nacional de supervisión de los demás Estados miembros de estas medidas.
Enmienda 602 Propuesta de Reglamento Artículo 65 – apartado 6 – parte introductoria
6. La información mencionada en el apartado 5 incluirá todos los detalles disponibles, en particular los datos necesarios para la identificación del sistema de IA no conforme, el origen del sistema de IA, la naturaleza de la presunta no conformidad y del riesgo planteado, la naturaleza y duración de las medidas nacionales adoptadas y los argumentos formulados por el operador de que se trate. En particular, las autoridades de vigilancia del mercado indicarán si la no conformidad se debe a uno o varios de los motivos siguientes:
6. La información mencionada en el apartado 5 incluirá todos los detalles disponibles, en particular los datos necesarios para la identificación del sistema de IA no conforme, el origen del sistema de IA y la cadena de suministro, la naturaleza de la presunta no conformidad y del riesgo planteado, la naturaleza y duración de las medidas nacionales adoptadas y los argumentos formulados por el operador de que se trate. En particular, la autoridad nacional de supervisión indicará si la no conformidad se debe a uno o varios de los motivos siguientes:
Enmienda 603 Propuesta de Reglamento Artículo 65 – apartado 6 – letra a
a) el incumplimiento de los requisitos establecidos en el título III, capítulo 2, por parte del sistema de IA;
a) el incumplimiento de los requisitos establecidos en el presente Reglamento por parte del sistema de IA de alto riesgo;
Enmienda 604 Propuesta de Reglamento Artículo 65 – apartado 6 – letra b bis (nueva)
b bis) el incumplimiento de la prohibición de las prácticas de inteligencia artificial a que se refiere el artículo 5;
Enmienda 605 Propuesta de Reglamento Artículo 65 – apartado 6 – letra b ter (nueva)
b ter) el incumplimiento de las disposiciones establecidas en el artículo 52.
Enmienda 606 Propuesta de Reglamento Artículo 65 – apartado 7
7. Las autoridades de vigilancia del mercado de los Estados miembros distintas de la autoridad de vigilancia del mercado del Estado miembro que inició el procedimiento comunicarán sin demora a la Comisión y a los demás Estados miembros toda medida que adopten y cualquier información adicional de que dispongan sobre la no conformidad del sistema de IA en cuestión y, en caso de desacuerdo con la medida nacional notificada, sus objeciones al respecto.
7. La autoridad nacional de supervisión de los Estados miembros distintas de la autoridad nacional de supervisión del Estado miembro que inició el procedimiento comunicarán sin demora a la Comisión, a la Oficina de IA y a los demás Estados miembros toda medida que adopten y cualquier información adicional de que dispongan sobre la no conformidad del sistema de IA en cuestión y, en caso de desacuerdo con la medida nacional notificada, sus objeciones al respecto.
Enmienda 607 Propuesta de Reglamento Artículo 65 – apartado 8
8. Si, en el plazo de tres meses desde la recepción de la información indicada en el apartado 5, ningún Estado miembro ni la Comisión presentan objeción alguna sobre una medida provisional adoptada por un Estado miembro, la medida se considerará justificada. Esto se entiende sin perjuicio de los derechos procedimentales del operador correspondiente con arreglo al artículo 18 del Reglamento (UE) 2019/1020.
8. Si, en el plazo de tres meses desde la recepción de la información indicada en el apartado 5, ninguna autoridad nacional de supervisión de un Estado miembro ni la Comisión presentan objeción alguna sobre una medida provisional adoptada por una autoridad nacional de supervisión de otro Estado miembro, la medida se considerará justificada. Esto se entiende sin perjuicio de los derechos procedimentales del operador correspondiente con arreglo al artículo 18 del Reglamento (UE) 2019/1020. El plazo a que se refiere la primera frase del presente apartado se reducirá a treinta días en caso de incumplimiento de la prohibición de las prácticas de inteligencia artificial a que se refiere el artículo 5.
Enmienda 608 Propuesta de Reglamento Artículo 65 – apartado 9
9. Las autoridades de vigilancia del mercado de todos los Estados miembros velarán por que se adopten sin demora las medidas restrictivas adecuadas respecto del producto de que se trate, tales como la retirada del producto del mercado.
9. Las autoridades nacionales de supervisión de todos los Estados miembros velarán por que se adopten sin demora las medidas restrictivas adecuadas respecto del sistema de IA de que se trate, tales como la retirada del sistema de IA del mercado.
Enmienda 609 Propuesta de Reglamento Artículo 65 – apartado 9 bis (nuevo)
9 bis. Las autoridades nacionales de supervisión informarán anualmente a la Oficina de IA sobre el posible recurso a prácticas prohibidas que se hayan producido durante ese año y sobre las medidas adoptadas para eliminar o mitigar los riesgos de conformidad con el presente artículo.
Enmienda 610 Propuesta de Reglamento Artículo 66 – apartado 1
1. Cuando, en el plazo de tres meses desde la recepción de la notificación indicada en el artículo 65, apartado 5, un Estado miembro formule objeciones sobre una medida adoptada por otro Estado miembro, o cuando la Comisión considere que la medida es contraria al Derecho de la Unión, la Comisión entablará consultas sin demora con el Estado miembro y el operador u operadores pertinentes, y evaluará la medida nacional. Sobre la base de los resultados de la mencionada evaluación, la Comisión adoptará, en un plazo de nueve meses a partir de la notificación a que se refiere el artículo 65, apartado 5, una decisión en la que indicará si la medida nacional está justificada o no, y notificará dicha decisión al Estado miembro implicado.
1. Cuando, en el plazo de tres meses desde la recepción de la notificación indicada en el artículo 65, apartado 5, o de treinta días en caso de incumplimiento de la prohibición de las prácticas de inteligencia artificial a que se refiere el artículo 5, la autoridad nacional de supervisión de un Estado miembro formule objeciones sobre una medida adoptada por otra autoridad nacional de supervisión, o cuando la Comisión considere que la medida es contraria al Derecho de la Unión, la Comisión entablará consultas sin demora con la autoridad nacional de supervisión del Estado miembro y el operador u operadores pertinentes, y evaluará la medida nacional. Sobre la base de los resultados de la mencionada evaluación, la Comisión adoptará, en un plazo de tres meses, o de sesenta días en caso de incumplimiento de la prohibición de las prácticas de inteligencia artificial a que se refiere el artículo 5, a partir de la notificación a que se refiere el artículo 65, apartado 5, una decisión en la que indicará si la medida nacional está justificada o no, y notificará dicha decisión a la autoridad nacional de supervisión del Estado miembro implicado. La Comisión también informará a las demás autoridades nacionales de supervisión acerca de tal decisión.
Enmienda 611 Propuesta de Reglamento Artículo 66 – apartado 2
2. Si la medida nacional se considera justificada, todos los Estados miembros adoptarán las medidas necesarias para garantizar la retirada de su mercado del sistema de IA no conforme e informarán a la Comisión en consecuencia. Si la medida nacional se considera injustificada, el Estado miembro implicado retirará la medida.
2. Si la medida nacional se considera justificada, todas las autoridades nacionales de supervisión designadas en virtud del presente Reglamento adoptarán las medidas necesarias para garantizar la retirada sin demora de su mercado del sistema de IA no conforme e informarán a la Comisión y a la Oficina de AI en consecuencia. Si la medida nacional se considera injustificada, la autoridad nacional de supervisión del Estado miembro implicado retirará la medida.
Enmienda 612 Propuesta de Reglamento Artículo 66 bis (nuevo)
Artículo 66 bis
Investigaciones conjuntas
Cuando una autoridad nacional de supervisión tenga motivos para sospechar que la infracción del presente Reglamento cometida por un proveedor o implementador de un sistema de IA de alto riesgo o un modelo fundacional equivale a una infracción generalizada con dimensión de la Unión, o afecta o es probable que afecte al menos a 45 millones de personas, en más de un Estado miembro, dicha autoridad nacional de supervisión informará a la Oficina de IA y podrá solicitar a las autoridades nacionales de supervisión de los Estados miembros en los que se haya cometido dicha infracción que inicien una investigación conjunta. La Oficina de IA garantizará la coordinación central de la investigación conjunta. Las facultades de investigación seguirán siendo competencia de las autoridades nacionales de supervisión.
Enmienda 613 Propuesta de Reglamento Artículo 67 – apartado 1
1. Cuando, tras efectuar una evaluación con arreglo al artículo 65, la autoridad de vigilancia del mercado de un Estado miembro compruebe que un sistema de IA, aunque conforme con arreglo al presente Reglamento, presenta un riesgo para la salud o la seguridad de las personas, para el cumplimiento de las obligaciones en virtud del Derecho de la Unión o nacional destinadas a proteger los derechos fundamentales o para otros aspectos de protección del interés público, pedirá al operador correspondiente que adopte todas las medidas adecuadas para asegurarse de que el sistema de IA de que se trate ya no presente ese riesgo cuando se introduzca en el mercado o se ponga en servicio, o bien para retirarlo del mercado o recuperarlo en un plazo razonable, proporcional a la naturaleza del riesgo, que dicha autoridad determine.
1. Cuando, tras efectuar una evaluación con arreglo al artículo 65, en plena cooperación con la autoridad pública nacional a que se refiere el artículo 64, apartado 3, la autoridad nacional de supervisión de un Estado miembro compruebe que un sistema de IA, aunque conforme con arreglo al presente Reglamento, presenta un riesgo grave para la salud o la seguridad de las personas, para el cumplimiento de las obligaciones en virtud del Derecho de la Unión o nacional destinadas a proteger los derechos fundamentales o el medio ambiente o la democracia y el Estado de Derecho, o para otros aspectos de protección del interés público, pedirá al operador correspondiente que adopte todas las medidas adecuadas para asegurarse de que el sistema de IA de que se trate ya no presente ese riesgo cuando se introduzca en el mercado o se ponga en servicio.
Enmienda 614 Propuesta de Reglamento Artículo 67 – apartado 2
2. El proveedor u otros operadores pertinentes se asegurarán de que se adoptan las medidas correctoras con respecto a todos los sistemas de IA afectados que hayan comercializado en toda la Unión en el plazo determinado por la autoridad de vigilancia del mercado del Estado miembro a que se refiere el apartado 1.
2. El proveedor u otros operadores pertinentes se asegurarán de que se adoptan las medidas correctoras con respecto a todos los sistemas de IA afectados que hayan comercializado en toda la Unión en el plazo determinado por la autoridad nacional de supervisión del Estado miembro a que se refiere el apartado 1.
Enmienda 615 Propuesta de Reglamento Artículo 67 – apartado 2 bis (nuevo)
2 bis. En caso de que el proveedor u otros operadores pertinentes no adopten las medidas correctoras a que se refiere el apartado 2 y el sistema de IA siga presentando un riesgo como se indica en el apartado 1, la autoridad nacional de supervisión podrá exigir al operador pertinente que retire el sistema de IA del mercado o lo recupere en un plazo razonable, proporcional a la naturaleza del riesgo.
Enmienda 616 Propuesta de Reglamento Artículo 67 – apartado 3
3. El Estado miembro informará inmediatamente a la Comisión y a los demás Estados miembros al respecto. La información facilitada incluirá todos los detalles disponibles, en particular los datos necesarios para identificar los sistemas de IA afectados y para determinar su origen, la cadena de suministro del sistema, la naturaleza del riesgo planteado y la naturaleza y duración de las medidas nacionales adoptadas.
3. La autoridad nacional de supervisión informará inmediatamente a la Comisión, a la Oficina de IA y a las demás autoridades nacionales de supervisión al respecto. La información facilitada incluirá todos los detalles disponibles, en particular los datos necesarios para identificar los sistemas de IA afectados y para determinar su origen, la cadena de suministro del sistema, la naturaleza del riesgo planteado y la naturaleza y duración de las medidas nacionales adoptadas.
Enmienda 617 Propuesta de Reglamento Artículo 67 – apartado 4
4. La Comisión consultará sin demora a los Estados miembros y al operador correspondiente y evaluará las medidas nacionales adoptadas. Sobre la base de los resultados de la evaluación, la Comisión adoptará una decisión en la que indicará si la medida está justificada o no y, en su caso, propondrá medidas adecuadas.
4. La Comisión, en consulta con la Oficina de IA, consultará sin demora a las autoridades nacionales de supervisión de que se trate y al operador correspondiente y evaluará las medidas nacionales adoptadas. Sobre la base de los resultados de la evaluación, la Oficina de IA adoptará una decisión en la que indicará si la medida está justificada o no y, en su caso, propondrá medidas adecuadas.
Enmienda 618 Propuesta de Reglamento Artículo 67 – apartado 5
5. La Comisión dirigirá su decisión a los Estados miembros.
5. La Comisión, en consulta con la Oficina de IA, comunicará inmediatamente su decisión a las autoridades nacionales de supervisión de los Estados miembros afectados y a los operadores correspondientes. Asimismo, informará de la decisión a todas las demás autoridades nacionales de supervisión.
Enmienda 619 Propuesta de Reglamento Artículo 67 – apartado 5 bis (nuevo)
5 bis. La Comisión adoptará directrices para ayudar a las autoridades nacionales competentes a detectar y corregir, en caso necesario, problemas similares que surjan en otros sistemas de IA.
Enmienda 620 Propuesta de Reglamento Artículo 68 – apartado 1 – parte introductoria
1. Cuando la autoridad de vigilancia del mercado de un Estado miembro constate una de las situaciones indicadas a continuación, pedirá al proveedor correspondiente que subsane el incumplimiento de que se trate:
1. Cuando la autoridad nacional de supervisión de un Estado miembro constate una de las situaciones indicadas a continuación, pedirá al proveedor correspondiente que subsane el incumplimiento de que se trate:
Enmienda 621 Propuesta de Reglamento Artículo 68 – apartado 1 – letra a
a) la colocación del marcado de conformidad no es conforme con el artículo 49;
a) la colocación del marcado CE no es conforme con el artículo 49;
Enmienda 622 Propuesta de Reglamento Artículo 68 – apartado 1 – letra b
b) no se ha colocado el marcado de conformidad;
b) no se ha colocado el marcado CE;
Enmienda 623 Propuesta de Reglamento Artículo 68 – apartado 1 – letra e bis (nueva)
e bis) no se dispone de la documentación técnica;
Enmienda 624 Propuesta de Reglamento Artículo 68 – apartado 1 – letra e ter (nueva)
e ter) no se ha efectuado el registro en la base de datos de la Unión;
Enmienda 625 Propuesta de Reglamento Artículo 68 – apartado 1 – letra e quater (nueva)
e quater) cuando proceda, no se ha designado al representante autorizado.
Enmienda 626 Propuesta de Reglamento Artículo 68 – apartado 2
2. Si el incumplimiento indicado en el apartado 1 persiste, el Estado miembro correspondiente adoptará todas las medidas adecuadas para restringir o prohibir la comercialización del sistema de IA de alto riesgo o garantizar que se recupera o se retira del mercado.
2. Si el incumplimiento indicado en el apartado 1 persiste, la autoridad nacional de supervisión del Estado miembro correspondiente adoptará medidas adecuadas y proporcionadas para restringir o prohibir la comercialización del sistema de IA de alto riesgo o garantizar que se recupera o se retira del mercado sin demora. La autoridad nacional de supervisión del Estado miembro correspondiente informará inmediatamente a la Oficina de IA acerca del incumplimiento y de las medidas adoptadas.
Enmienda 627 Propuesta de Reglamento Artículo 68 – capítulo 3 bis (nuevo)
3 bis. Vías de recurso
Enmienda 628 Propuesta de Reglamento Artículo 68 bis (nuevo)
Artículo 68 bis
Derecho a presentar una reclamación ante una autoridad nacional de supervisión
1. Sin perjuicio de cualquier otro recurso administrativo o acción judicial, toda persona física o grupo de personas físicas tendrá derecho a presentar una reclamación ante una autoridad nacional de supervisión, en particular en el Estado miembro en el que tenga su residencia habitual, lugar de trabajo o lugar de la supuesta infracción, si considera que el sistema de IA que le concierne infringe el presente Reglamento.
2. La autoridad nacional de supervisión ante la que se haya presentado la reclamación informará al reclamante sobre el curso y el resultado de la reclamación, inclusive sobre la posibilidad de acceder a la tutela judicial en virtud del artículo 78.
Enmienda 629 Propuesta de Reglamento Artículo 68 ter (nuevo)
Artículo 68 ter
Derecho a la tutela judicial efectiva contra una autoridad nacional de supervisión
1. Sin perjuicio de cualquier otro recurso administrativo o extrajudicial, toda persona física o jurídica tendrá derecho a la tutela judicial efectiva contra una decisión jurídicamente vinculante de una autoridad nacional de supervisión que le concierna.
2. Sin perjuicio de cualquier otro recurso administrativo o extrajudicial, toda persona física o jurídica tendrá derecho a la tutela judicial efectiva en caso de que la autoridad nacional de supervisión competente con arreglo al artículo 59 no dé curso a una reclamación o no informe al interesado en el plazo de tres meses sobre el curso o el resultado de la reclamación presentada en virtud del artículo 68 bis.
3. Las acciones contra una autoridad nacional de supervisión deberán ejercerse ante los tribunales del Estado miembro en el que esté establecida la autoridad nacional de supervisión.
4. Cuando se ejerzan acciones contra una decisión de una autoridad nacional de supervisión que haya sido precedida de un dictamen o una decisión de la Comisión en el marco del procedimiento de salvaguardia de la Unión, la autoridad de supervisión remitirá al tribunal dicho dictamen o decisión.
Enmienda 630 Propuesta de Reglamento Artículo 68 quater (nuevo)
Artículo 68 quater
Derecho a explicación de la toma individual de decisiones
1. Toda persona afectada sujeta a una decisión adoptada por el implementador sobre la base de la información de salida de un sistema de IA de alto riesgo que produzca efectos jurídicos o que le afectan significativamente de una manera que considera que perjudica a su salud, seguridad, derechos fundamentales, bienestar socioeconómico o cualquier otro de sus derechos derivados de las obligaciones establecidas en el presente Reglamento, tendrá derecho a solicitar al implementador una explicación clara y significativa, de conformidad con el artículo 13, apartado 1, sobre el papel del sistema de IA en el procedimiento de toma de decisiones, los principales parámetros de la decisión adoptada y los datos de entrada correspondientes.
2. El apartado 1 no se aplicará a la utilización de sistemas de IA para los que el Derecho nacional o de la Unión prevea excepciones o restricciones a la obligación prevista en el apartado 1 en la medida en que dichas excepciones o restricciones respeten la esencia de los derechos y libertades fundamentales y sean una medida necesaria y proporcionada en una sociedad democrática.
3. El presente artículo se aplicará sin perjuicio de lo previsto en los artículos 13, 14, 15 y 22 del Reglamento (UE) 2016/679.
Enmienda 631 Propuesta de Reglamento Artículo 68 quinquies (nuevo)
Artículo 68 quinquies
Modificación de la Directiva (UE) 2020/1828
En el anexo I de la Directiva (UE) 2020/1828 del Parlamento Europeo y del Consejo1bis se añade el punto siguiente:
«67 bis) Reglamento xxxx/xxxx del Parlamento Europeo y del Consejo [por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (DO L ...)]».
_________________
1bis Directiva (UE) 2020/1828 del Parlamento Europeo y del Consejo, de 25 de noviembre de 2020, relativa a las acciones de representación para la protección de los intereses colectivos de los consumidores, y por la que se deroga la Directiva 2009/22/CE (DO L 409 de 4.12.2020, p. 1).
Enmienda 632 Propuesta de Reglamento Artículo 68 sexies (nuevo)
Artículo 68 sexies
Denuncia de infracciones y protección de los denunciantes
La Directiva (UE) 2019/1937 del Parlamento Europeo y del Consejo se aplicará a la denuncia de infracciones del presente Reglamento y a la protección de las personas que informen sobre dichas infracciones.
Enmienda 633 Propuesta de Reglamento Artículo 69 – apartado 1
1. La Comisión y los Estados miembros fomentarán y facilitarán la elaboración de códigos de conducta destinados a promover la aplicación voluntaria de los requisitos establecidos en el título III, capítulo 2, a sistemas de IA distintos de los de alto riesgo, sobre la base de especificaciones y soluciones técnicas que constituyan medios adecuados para garantizar el cumplimiento de dichos requisitos a la luz de la finalidad prevista de los sistemas.
1. La Comisión, la Oficina de IA y los Estados miembros fomentarán y facilitarán la elaboración de códigos de conducta, también cuando se elaboren para demostrar la conformidad de los sistemas de IA con los principios definidos en el artículo 4 bis y, por tanto, su fiabilidad, destinados a promover la aplicación voluntaria de los requisitos establecidos en el título III, capítulo 2, a sistemas de IA distintos de los de alto riesgo, sobre la base de especificaciones y soluciones técnicas que constituyan medios adecuados para garantizar el cumplimiento de dichos requisitos a la luz de la finalidad prevista de los sistemas.
Enmienda 634 Propuesta de Reglamento Artículo 69 – apartado 2
2. La Comisión y el Comité fomentarán y facilitarán la elaboración de códigos de conducta destinados a promover la aplicación voluntaria a sistemas de IA de los requisitos relativos, por ejemplo, a la sostenibilidad ambiental, la accesibilidad para personas con discapacidad, la participación de partes interesadas en el diseño y desarrollo de los sistemas de IA y la diversidad de los equipos de desarrollo, sobre la base de objetivos claros e indicadores clave de resultados para medir la consecución de dichos objetivos.
2. En particular, los códigos de conducta destinados a promover el cumplimiento voluntario de los principios en que se basan los sistemas de IA fiables:
a) tendrán como objetivo un nivel suficiente de alfabetización en materia de IA entre su personal y cualquier otra persona que se encargue del funcionamiento y la utilización de sistemas de IA con el fin de observar dichos principios;
b) evaluarán en qué medida sus sistemas de IA podrían afectar a personas vulnerables o grupos de personas vulnerables, incluidos niños, personas mayores, migrantes y personas con discapacidad, o si se podría adoptar alguna medida con el fin de aumentar la accesibilidad o apoyar de otra manera a dichas personas o grupos de personas;
c) considerarán la manera en que el uso de sus sistemas de IA podría afectar o aumentar la diversidad, el equilibrio de género y la igualdad;
d) tendrán en cuenta si sus sistemas de IA pueden utilizarse de una manera que refuerce de forma directa o indirecta y en un grado residual o significativo los sesgos o las desigualdades existentes;
e) reflexionarán sobre la necesidad y la pertinencia de contar con equipos de desarrollo diversos con vistas a asegurar un diseño inclusivo de sus sistemas;
f) prestarán una especial atención a la posibilidad de que sus sistemas tengan un impacto social negativo, en particular en relación con las instituciones políticas y los procesos democráticos;
g) evaluarán cómo los sistemas de IA pueden contribuir a la sostenibilidad ambiental y, en particular, al cumplimiento de los compromisos de la Unión en el marco del Pacto Verde Europeo y la Declaración Europea sobre los Derechos y Principios Digitales.
Enmienda 635 Propuesta de Reglamento Artículo 69 – apartado 3
3. Los códigos de conducta podrán ser elaborados por proveedores individuales de sistemas de IA, por organizaciones que los representen o por ambos, también con la participación de usuarios y de cualquier parte interesada y sus organizaciones representativas. Los códigos de conducta podrán abarcar uno o varios sistemas de IA, teniendo en cuenta la similitud de la finalidad prevista de los sistemas pertinentes.
3. Los códigos de conducta podrán ser elaborados por proveedores individuales de sistemas de IA, por organizaciones que los representen o por ambos, también con la participación de usuarios y de cualquier parte interesada, incluidos los investigadores científicos, y sus organizaciones representativas, en particular sindicatos y organizaciones de consumidores. Los códigos de conducta podrán abarcar uno o varios sistemas de IA, teniendo en cuenta la similitud de la finalidad prevista de los sistemas pertinentes. Los proveedores que adopten códigos de conducta designarán al menos a una persona física responsable del seguimiento interno.
Enmienda 636 Propuesta de Reglamento Artículo 69 – apartado 4
4. La Comisión y el Comité tendrán en cuenta los intereses y necesidades específicos de los proveedores a pequeña escala y las empresas emergentes cuando fomenten y faciliten la elaboración de códigos de conducta.
4. La Comisión y la Oficina de IA tendrán en cuenta los intereses y necesidades específicos de las pymes y las empresas emergentes cuando fomenten y faciliten la elaboración de códigos de conducta.
Enmienda 637 Propuesta de Reglamento Artículo 70 – apartado 1 – parte introductoria
1. Las autoridades nacionales competentes y los organismos notificados involucrados en la aplicación del presente Reglamento respetarán la confidencialidad de la información y los datos obtenidos en el ejercicio de sus funciones y actividades de modo que se protejan, en particular:
1. La Comisión, las autoridades nacionales competentes y los organismos notificados, la Oficina de IA y cualquier otra persona física o jurídica involucrados en la aplicación del presente Reglamento respetarán la confidencialidad de la información y los datos obtenidos en el ejercicio de sus funciones y actividades de modo que se protejan, en particular:
Enmienda 638 Propuesta de Reglamento Artículo 70 – apartado 1 – letra a
a) los derechos de propiedad intelectual y la información empresarial confidencial o los secretos comerciales de una persona física o jurídica, incluido el código fuente, salvo en los casos contemplados en el artículo 5 de la Directiva 2016/943 relativa a la protección de los conocimientos técnicos y la información empresarial no divulgados (secretos comerciales) contra su obtención, utilización y revelación ilícitas;
a) los derechos de propiedad intelectual y la información empresarial confidencial o los secretos comerciales de una persona física o jurídica, de conformidad con lo dispuesto en la Directiva 2004/48/CE y la Directiva (UE) 2016/943, incluido el código fuente, salvo en los casos contemplados en el artículo 5 de la Directiva (UE) 2016/943 relativa a la protección de los conocimientos técnicos y la información empresarial no divulgados (secretos comerciales) contra su obtención, utilización y revelación ilícitas;
Enmienda 639 Propuesta de Reglamento Artículo 70 – apartado 1 – letra b bis (nueva)
b bis) los intereses públicos y de seguridad nacional;
Enmienda 640 Propuesta de Reglamento Artículo 70 – apartado 1 bis (nuevo)
1 bis. Las autoridades involucradas en la aplicación del presente Reglamento de conformidad con el apartado 1 minimizarán la cantidad de datos solicitados para su divulgación a los datos estrictamente necesarios para la percepción del riesgo y la evaluación de dicho riesgo. Suprimirán los datos tan pronto como dejen de ser necesarios para el fin para el que se solicitaron. Establecerán medidas adecuadas y efectivas en materia de ciberseguridad, técnica y organización a fin de proteger la seguridad y la confidencialidad de la información y los datos obtenidos en el desempeño de sus funciones y actividades.
2. Sin perjuicio de lo dispuesto en el apartado 1, la información intercambiada de forma confidencial entre las autoridades nacionales competentes y entre estas y la Comisión no se revelará sin consultar previamente a la autoridad nacional competente de origen y al usuario cuando las autoridades encargadas de la aplicación de la ley o las autoridades de inmigración o de asilo utilicen los sistemas de IA de alto riesgo a que se refieren los puntos 1, 6 y 7 del anexo III y dicha divulgación pudiera comprometer los intereses públicos y de seguridad nacional.
2. Sin perjuicio de lo dispuesto en los apartados 1 y 1 bis, la información intercambiada de forma confidencial entre las autoridades nacionales competentes y entre estas y la Comisión no se revelará sin consultar previamente a la autoridad nacional competente de origen y al implementador cuando las autoridades encargadas de la aplicación de la ley o las autoridades de inmigración o de asilo utilicen los sistemas de IA de alto riesgo a que se refieren los puntos 1, 6 y 7 del anexo III y dicha divulgación pudiera comprometer la seguridad pública o nacional.
Enmienda 642 Propuesta de Reglamento Artículo 70 – apartado 3
3. Los apartados 1 y 2 no afectarán a los derechos y obligaciones de la Comisión, los Estados miembros y los organismos notificados en lo que se refiere al intercambio de información y la difusión de advertencias, ni a las obligaciones de facilitar información que incumban a las partes interesadas en virtud del Derecho penal de los Estados miembros.
3. Los apartados 1, 1 bis y 2 no afectarán a los derechos y obligaciones de la Comisión, los Estados miembros y los organismos notificados en lo que se refiere al intercambio de información y la difusión de advertencias, ni a las obligaciones de facilitar información que incumban a las partes interesadas en virtud del Derecho penal de los Estados miembros.
Enmienda 643 Propuesta de Reglamento Artículo 70 – apartado 4
4. Cuando sea necesario, la Comisión y los Estados miembros podrán intercambiar información confidencial con autoridades reguladoras de terceros países con las que hayan celebrado acuerdos de confidencialidad bilaterales o multilaterales que garanticen un nivel de confidencialidad adecuado.
4. Cuando sea estrictamente necesario y con arreglo a las disposiciones pertinentes de los acuerdos internacionales y comerciales, la Comisión y los Estados miembros podrán intercambiar información confidencial con autoridades reguladoras de terceros países con las que hayan celebrado acuerdos de confidencialidad bilaterales o multilaterales que garanticen un nivel de confidencialidad adecuado.
Enmienda 644 Propuesta de Reglamento Artículo 71 – título
Sanciones
(No afecta a la versión española).
Enmienda 645 Propuesta de Reglamento Artículo 71 – apartado 1
1. De conformidad con los términos y condiciones establecidos en el presente Reglamento, los Estados miembros determinarán el régimen de sanciones, incluidas las multas administrativas, aplicable a las infracciones del presente Reglamento y adoptarán todas las medidas necesarias para garantizar su aplicación adecuada y efectiva. Las sanciones establecidas serán efectivas, proporcionadas y disuasorias. Tendrán particularmente en cuenta los intereses de los proveedores a pequeña escala y las empresas emergentes, así como su viabilidad económica.
1. De conformidad con los términos y condiciones establecidos en el presente Reglamento, los Estados miembros determinarán el régimen de sanciones, aplicable a las infracciones del presente Reglamento por cualquier operador y adoptarán todas las medidas necesarias para garantizar su aplicación adecuada y efectiva, y su adecuación a las directrices de la Comisión y de la Oficina de IA con arreglo al artículo 82 ter. Las sanciones establecidas serán efectivas, proporcionadas y disuasorias. Tendrán particularmente en cuenta los intereses de las pymes y las empresas emergentes, así como su viabilidad económica.
Enmienda 646 Propuesta de Reglamento Artículo 71 – apartado 2
2. Los Estados miembros comunicarán a la Comisión el régimen establecido y las medidas adoptadas y le notificarán, sin demora, cualquier modificación posterior de los mismos.
2. Los Estados miembros comunicarán a la Comisión y a la Oficina el régimen establecido y las medidas adoptadas a más tardar el [doce meses después de la fecha de entrada en vigor del presente Reglamento], y les notificarán, sin demora, cualquier modificación posterior de los mismos.
Enmienda 647 Propuesta de Reglamento Artículo 71 – apartado 3 – parte introductoria
3. Las siguientes infracciones estarán sujetas a multas administrativas de hasta 30 000 000 EUR o, si el infractor es una empresa, de hasta el 6 % del volumen de negocio total anual mundial del ejercicio financiero anterior, si esta cuantía fuese superior:
3. El incumplimiento de la prohibición de las prácticas de inteligencia artificial a que se refiere el artículo 5 estará sujeto a multas administrativas de hasta 40 000 000 EUR o, si el infractor es una empresa, de hasta el 7 % del volumen de negocio total anual mundial del ejercicio financiero anterior, si esta cuantía fuese superior.
Enmienda 648 Propuesta de Reglamento Artículo 71 – apartado 3 – letra a
a) incumplimiento de la prohibición de las prácticas de inteligencia artificial a que se refiere el artículo 5;
suprimida
Enmienda 649 Propuesta de Reglamento Artículo 71 – apartado 3 – letra b
b) incumplimiento de los requisitos establecidos en el artículo 10 por parte del sistema de IA.
suprimida
Enmienda 650 Propuesta de Reglamento Artículo 71 – apartado 3 bis (nuevo)
3 bis. El incumplimiento por parte del sistema de IA de los requisitos dispuestos en los artículos 10 y 13 estará sujeto a multas administrativas de hasta 20 000 000 EUR o, si el infractor es una empresa, de hasta el 4 % del volumen de negocio total anual mundial del ejercicio financiero anterior, si esta cuantía fuese superior.
Enmienda 651 Propuesta de Reglamento Artículo 71 – apartado 4
4. El incumplimiento por parte del sistema de IA de cualquiera de los requisitos u obligaciones establecidos en el presente Reglamento distintos de los dispuestos en los artículos 5 y 10 estará sujeto a multas admin