Con fecha 9 de diciembre de 2023, El Parlamento europeo y el Consejo Europeo alcanzaron un acuerdo sobre la propuesta de reglamento europeo de inteligencia artificial, conocida como Ley de IA, con objeto de dar un impulso importante para su desarrollo e implementación a nivel europeo.

Los sistemas de IA pueden aplicarse en múltiples sectores de la economía y de la sociedad, también a escala transfronteriza y circular por todo el ámbito de la UE. Su desarrollo e implementación supondrán importantes ventajas competitivas para todos los sectores y facilitarán resultados positivos para la sociedad y el medioambiente en ámbitos tan importantes como la asistencia sanitaria, la agricultura, la educación y la formación, el transporte, la energía, los servicios públicos, la logística, la justicia, la seguridad, el cambo climático etc.. porque ayudarán a mejorar las técnicas de predicción, optimización de los recursos y operaciones.

Ahora bien, frente a esas ventajas y beneficios sociales los sistemas de IA y su información de salida pueden generar riesgos y menoscabar los intereses públicos y los derechos y libertades fundamentales de las personas también protegidos por el Derecho de la Unión de manera tangible e intangible.

De ahí la necesidad de crear un marco regulatorio armonizado orientado a impulsar el desarrollo, la utilización y la adopción en el mercado interior de la inteligencia artificial y que, al mismo tiempo ofrezca un nivel adecuado de protección de los intereses públicos, como la salud y la seguridad y de los derechos fundamentales reconocidos y protegidos por el Derecho de la Unión y que ninguno de los Estados Miembros restrinja su uso.

A través del presente artículo daremos una visión de las principales novedades que introduce tan importante norma y los retos que nos presenta.

PRINCIPALES NOVEDADES:

  1. Armonización de la definición de IA, con objeto de diferenciarla de otros sistemas de software más sencillos. La propuesta de reglamento define la IA como:

“ el software que se desarrolla empleando una o varias de las técnicas y estrategias que figuran en el anexo 1 y que puede para, un conjunto determinado de objetivos definidos por seres humanos, generar información de salida como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúa”.

De acuerdo con esta definición son elementos integrantes de la IA:

    • Que se define como un “software”,
    • Que los objetivos y finalidades se determinan por los humanos.
    • Que es generativa: de contenidos, predicciones, resultados..
  1. Se establece la prohibición de sistemas de IA que permitan prácticas de manipulación, explotación y control social, pues son contrarias al respeto a la dignidad humana, libertad e igualdad, democracia y Estado de Derecho y de los derechos fundamentales, como el derecho a la no discriminación, la protección de datos y la privacidad y los derechos de los colectivos más vulnerables, como menores y personas que presentan alguna discapacidad física y/o mental. De esta forma, quedan prohibidas las siguientes prácticas:
    • Aquellas que alteren el comportamiento humano de personas y de personas con vulnerabilidades por la edad o porque presenten alguna discapacidad física o mental.
    • Aquellas utilizadas por las autoridades públicas o en su representación con la finalidad de evaluar o clasificar la fiabilidad de personas físicas durante un período de tiempo atendiendo a su conducta social o a características personales de su personalidad conocidas o predichas
    • el uso de sistemas de identificación biométrica remota en tiempo real en espacio de acceso publico con fines de aplicación de la ley salvo que ese uso sea estrictamente necesario para alcanzar alguno de los objetivos relacionados con la prevención de delitos o para búsqueda de menores desparecidos o víctimas de delitos y siempre que cumpla unos requisitos establecidos en la norma.
  1. Se establecen normas armonizadas para el desarrollo de los sistemas de IA basado en los riesgos. Para ello, se debe utilizar una metodología de gestión de riesgos para diferenciar aquellos sistemas de IA que plantean un alto riesgo para la salud y la seguridad o los derechos fundamentales de las personas de otros sistemas de IA, que presentan menos riesgos pero siempre deberán analizarse los riesgos que puede entrañar y establecer las medidas que los mitigan pues los sistemas de IA están en constante evolución.
  2. Identificación de los sistemas de IA de alto riesgo el Reglamento (i) identifica qué concretos sistemas de IA son de alto riesgo y (ii) fija los criterios para calificar aquellos sistemas de IA de alto riesgo. Son sistemas de IA de alto riesgo:
  • Sistemas de IA cuando funcionan como componentes de productos. Es el caso de la utilización de robots cada vez más autónomos que se utilizan en las fábricas o con fines de asistencia y cuidado personal o los que se utilizan en el sector sanitario con fines de diagnóstico y de apoyo a decisiones humanas.
    • Sistemas de IA cuando funcionan como componentes de seguridad.
    • Sistmas de IA que por su finalidad a la que van destinada pueda considerarse de alto riesgo de menoscabar la seguridad y la salud o los derechos fundamentales de la persona.
    • Sistemas de IA destinados a la identificación biométrica “en tiempo real” que no estén prohibidos.
    • Sistemas de IA destinados a infraestructuras críticas.
    • Los sistemas de IA que se utilicen en la educación o la formación profesional y, en especial aquellos que determinan el acceso o distribuyen a las personas entre distintas instituciones educativas y de formación profesional o aquellos que evalúan a las personas a partir de pruebas realizadas en el marco de su educación o como condición necesaria para acceder a ella, ya que pueden decidir la trayectoria formativa y profesional de una persona.
    • Los sistemas de IA que se utilizan en el empleo, la gestión de los trabajadores y el acceso al autoempleo, sobre todo por la contratación y selección de personal para la toma de decisiones relativa a la promoción y la revisión de contratos y para la asignación de tareas y el seguimiento o la evaluación de personas en relaciones contractuales de índole laboral, de un modo considerable a las futuras perspectivas laborales y los medios de subsistencia de dichas personas.
    • Los sistemas de IA usados para evaluar la calificación crediticia o solvencia de personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones.
    • Los sistemas de IA diseñados para utilizarse con fines de aplicación de la ley. Por ejemplo los utilizados para detectar ultrafalsificaciones, prevención de delitos, los polígrafos, para evaluar riesgos derivados de la conducta humana elaboración de perfiles durante la detección, la investigación o el enjuiciamiento de infracciones penales.
    • Los sistemas de IA utilizados en el ámbito de la migración de personas, el asilo y el control transfronterizo.
    • Los sistemas de IA destinados a la administración de justicia y los procesos democráticos como las votaciones.
  1. Se regulan los requisitos que los sistemas de IA considerados de alto riesgo deben cumplir, de los que destacamos:
    • Identificación de la finalidad del sistema de IA
    • Contar con un sistema de gestión de riesgos documentado e interactivo durante todo el ciclo de vida del sistema de IA.
    • Se tendrá en cuenta los conocimientos técnicos, la experiencia, la educación y la formación que se espera posea el usuario, así como el entorno en el que esté previsto sea utilizado el sistema.
    • Contar con una evaluación de la conformidad realizada por un organismo independiente para su introducción en el mercado o puesta en servicio.
    • Contar con un sistema de gobernanza de los datos para aquellos que utilizan técnicas que implican el entrenamiento de modelos con datos que se desarrollarán a partir de conjuntos de datos de entrenamiento.
    • Contar con un sistema documental previo a la comercialización.
    • Obligación de llevar registros.
    • Cumplimiento del deber de transparencia para el que usuario y el proveedor cumplan las obligaciones previstas, debiendo ir acompañado de las instrucciones de uso.
    • Implementación de un sistema de vigilancia humana, lo que significa que se cree una interfaz humano-máquina efectiva, cuyo objetivo es reducir al mínimo los riesgos que para la salud, la seguridad y los derechos fundamentales
    • Los sistemas de IA de alto riesgo deben diseñarse de manera que alcancen un nivel adecuado de precisión, solidez y ciberseguridad.
  1. Se establecen obligaciones para los proveedores y usuarios de sistemas de IA de alto riesgo. Así los usuarios deberán utilizarlos conforme a las instrucciones de uso y se establece la obligación de cooperación entre los diferentes agentes que intervienen en los sistemas de IA. Concretamente entre los involucrados en la venta y el suministro de software, herramientas y componentes de software. Modelos preentrenados y datos o los proveedores de servicios de red.
  2. Frente a los sistemas de IA de alto riesgo, el Reglamento identifica los sistemas de IA que pueden generar riesgos de falsificación o de suplantación de la identidad. En este caso, las obligaciones van destinadas al cumplimiento de obligaciones relacionadas con el deber de información y transparencia, quedando obligados a informar de:
    • Si están expuestas a un sistema de reconocimiento de emociones.
    • Si están expuestas a un procedimiento de categorización biométrica.
    • En el caso que el sistema vaya destinado a generar imágenes, o manipularlas, archivos de audio o video que se asemejen a personas, lugares o sucesos reales deberán informar que han sido creados por sistema de IA etiquetando el contenido, imagen, audio o video que ha sido creado con sistema de IA e indicando su origen.
  1. Las autoridades deben crear espacios controlados de pruebas de creación y desarrollo de sistemas de IA.
  2. Creación de iniciativas de formación y concienciación en la creación, desarrollo y uso de los sistemas de IA.
  3. Seguimiento posterior a la comercialización.

PRINCIPALES RETOS:

Los principales retos a los que se deben enfrentar las organizaciones a la hora de implementar cualquier sistema de IA podrían ser:

1.- Privacidad de las personas.

Los sistemas de IA recopilan mucha información y entre ella numerosos datos personales, algunos de los cuales pertenecen a categorías especiales de datos pero además puede resultar que debido a la finalidad para la que utilicemos sistemas de IA nos encontremos con usos prohibidos como aquellos destinados a la manipulación cognitiva del comportamiento de personas o personas vulnerables o se utilicen para realizar una evaluación financiera que impida el acceso a un crédito para comprar una vivienda.

Otro reto fundamental será el uso de los sistemas de inteligencia artificial en el empleo y por parte de los Departamentos de Recursos Humanos y el uso de plataformas digitales que integren estos sistemas. Se deberá atender especial cuidado de los usos permitidos.

El Reglamento Europeo de Protección de Datos establece importantes sanciones económicas en caso de incumplimiento de sus obligaciones.

2.- Derechos de propiedad Intelectual e industrial.

Los sistemas de IA generativa están basados en la utilización masiva de información y contenidos para generar una nueva. Algunos de esos contenidos pueden estar protegidos por derechos de terceros, por lo que se plantean retos en el sentido de si esos terceros han autorizado el uso de sus contenidos para ser transformados en otros diferentes o simplemente si es necesario contar con el derecho para autorizar la reproducción de esos contenidos que han servido para el entrenamiento del sistema de IA.

Pero también se plantean retos para las empresas que fabricantes y desarrolladores de sistemas de IA, sobre cómo proteger esta tecnología que si tiene visos de innovación podrá ser protegible como una patente pero también podemos proteger el software.

Entre las obligaciones que establece la propuesta de reglamento se encuentra el deber de transparencia e información en lo que se refiere a revelar que el contenido ha sido generado por IA, diseñar el modelo para que evite crear contenidos ilegales así como la publicación de resúmenes de los datos protegidos por derechos de autor que fueron utilizados para el entrenamiento, para que los titulares de esos derechos puedan reclamarlos a través de vías legales en la UE.

3.- Confidencialidad de la información.

Otro reto importante a tener en cuenta en la implantación de sistemas de IA en las organizaciones es identificar qué información será objeto de análisis por el sistema de IA que implantemos.

En efecto, los sistemas de IA generativa están basados en el uso masivo de información, por lo que las organizaciones cuando utilicen o implanten estos sistemas deberán prestar especial atención en el aporte de la documentación y si es seguro subir esa información.

4.- Seguridad y confianza

Otro reto importantísimo es la seguridad y confianza en los sistemas de IA, para que el uso de los sistemas de IA se normalice es de vital importancia generar seguridad de la información y confianza que supone la necesidad de crear un sistema de homologación de proveedores de sistemas de IA

A la hora de implementar un sistema de IA, las organizaciones deben hacer un proceso de homologación de que el sistema cumple con la normativa vigente y garantiza el cumplimiento de las obligaciones y requisitos establecidos, toda vez que como usuarios profesionales de estos sistemas somos responsables de su uso y de las consecuencias que el uso de esos sistemas puede derivar. Por lo que será imprescindible realizar una Due Diligence previa del sistema de IA a utilizar.

María Suárez Pliego, Socia de privacidad, Nuevas Tecnologías y Propiedad Intelectual en Andersen y miembro del Grupo de Regulación de AUTELSI