El uso de la inteligencia artificial en la selección y gestión del personal de las administraciones públicas1

The use of artificial intelligence in public employee management and recruitment

Soriano Arnanz, Alba

Universitat de València (España)

ORCID: https://orcid.org/0000-0003-1124-1240

alba.soriano@uv.es

NOTA BIOGRÁFICA

Alba Soriano es Doctora en Derecho por la Universitat de València, donde es profesora Ayudante Doctora. Tiene un Máster en International Political Economy por la London School of Economics y el Máster de Abogacía por la Universitat Oberta de Catalunya. Su investigación se centra en la protección de los derechos fundamentales, la regulación de la inteligencia artificial y el empleo público.

RESUMEN

La creciente capacidad computacional de los sistemas que procesan información de manera automatizada ha derivado en su progresiva incorporación a multitud de ámbitos a lo largo de los últimos años. Uno de los ámbitos en los que se ha introducido la inteligencia artificial o versiones algo más sencillas de sistemas algorítmicos es la selección y gestión de recursos humanos. Si bien es cierto que las Administraciones públicas todavía no han alcanzado al sector privado en la utilización de herramientas que agilicen y aumenten la eficiencia de los procesos de selección y gestión del personal empleado público, también lo es que estos sistemas están, sin duda, llamados a utilizarse en un futuro no demasiado lejano. El presente trabajo incorpora una serie de reflexiones acerca de la conveniencia de incorporar dichas herramientas, subrayando la necesidad de que dicha incorporación se realice siempre teniendo en cuenta los riesgos propios de la automatización de procesos y respetando los principios propios con base en los cuales debe desarrollarse toda actuación administrativa.

PALABRAS CLAVE

Algoritmos; inteligencia artificial; empleo público; igualdad; función pública.

ABSTRACT

The growing computational capacity of automated information processing systems has led to their progressive incorporation into a significant number of fields in recent years. One of the areas in which artificial intelligence or simpler versions of algorithmic systems have been introduced is human resources recruitment and management. While it is true that public administrations have not yet caught up with the private sector in the use of tools that streamline and increase the efficiency of recruitment and management processes for public employees, it is also true that these systems will undoubtedly be used in the not too distant future. This paper incorporates a series of reflections on the advisability of incorporating these tools, stressing the need for such incorporation to be carried out bearing in mind the risks inherent to the automation of processes and adopting the necessary mechanisms to ensure respect to the principles on the basis of which all administrative action should be developed.

KEYWORDS

Algorithms; artificial intelligence; public employment; equality; civil service.

SUMARIO

INTRODUCCIÓN. 1. LA INTELIGENCIA ARTIFICIAL COMO HERRAMIENTA EN PROCESOS DE TOMA DE DECISIONES. 1.1. ¿QUÉ SISTEMAS EMPLEAMOS? LA ESENCIAL DISTINCIÓN ENTRE SISTEMAS AUTOMÁTICOS Y SISTEMAS AUTÓNOMOS. 1.2. EL USO DE SISTEMAS AUTOMATIZADOS EN LA GESTIÓN Y SELECCIÓN DE PERSONAL. 1.2.1. Algunas formas sencillas de automatización. 1.2.2. La introducción de herramientas más complejas en la selección y gestión del personal. 2. ALGUNOS PROBLEMAS Y CUESTIONES DERIVADAS DEL USO DE LA INTELIGENCIA ARTIFICIAL EN LA SELECCIÓN Y GESTIÓN DEL PERSONAL EMPLEADO PÚBLICO. 2.1. LA APLICACIÓN DE LA PROPUESTA DE REGLAMENTO DE INTELIGENCIA ARTIFICIAL A LA AUTOMATIZACIÓN DE PROCESOS DE SELECCIÓN DE PERSONAL EN EL ÁMBITO PÚBLICO. 2.2. ¿UNA DECISIÓN TOTALMENTE AUTOMATIZADA? 2.3. LA NATURALEZA JURÍDICA DE LOS ALGORITMOS EMPLEADOS EN LA SELECCIÓN Y GESTIÓN DE PERSONAL. 2.4. IGUALDAD, MÉRITO Y CAPACIDAD. 2.4.1. Problemas de los sistemas actuales de acceso al empleo público. 2.4.2. Problemas específicos derivados del uso de la inteligencia artificial en procesos de selección de personal empleado público. 2.5. TRANSPARENCIA Y PUBLICIDAD. CONCLUSIONES. REFERENCIAS BIBLIOGRÁFICAS.

INTRODUCCIÓN

El desarrollo de las herramientas automatizadas de procesamiento de datos contribuye a aumentar la eficiencia de los procesos de toma de decisiones tanto por el sector público como por el sector privado. Es por ello que, más allá de los usos evidentes que tienen estas tecnologías, como el que se les da en el contexto de los motores de búsqueda de Internet o en todo tipo de plataformas digitales, como redes sociales o aquéllas que agregan contenidos audiovisuales, en tiempos recientes asistimos a la creciente penetración de estos sistemas también en ámbitos en los que las decisiones han sido históricamente tomadas por seres humanos.

Uno de los procesos decisorios en los que se ha comenzado a introducir el uso de algoritmos es la selección de personal, en particular, por parte de organizaciones privadas. El uso de sistemas automatizados facilita que las empresas puedan seleccionar a las y los candidatos que más se ajusten al perfil que buscan. Estas herramientas no solo pueden ser utilizadas para seleccionar personal sino, en general, en multitud de ámbitos en el contexto de la gestión de recursos humanos. Así, pueden ser por ejemplo empleadas para evaluar al personal, para determinar que trabajadoras o trabajadores son merecedores de un ascenso, para asignar tareas de la forma más efectiva y eficiente posible o incluso con el objetivo de dirigir publicidad acerca de un puesto de trabajo a personas que se adapten al perfil y que quizás no estén buscando un empleo de manera activa (Vrontis et al., 2022).

La automatización de los procesos de selección de personal puede traer consigo significativos beneficios pero también genera riesgos y problemas que deben de ser abordados por el ordenamiento jurídico (Mittelstadt et al., 2016; Soriano Arnanz, 2021a). Especialmente en el ámbito del empleo público, que es el que nos ocupa en el presente trabajo, las deficiencias del sistema español de selección y gestión del personal de las Administraciones públicas, ya señaladas en numerosas ocasiones por la doctrina (Castillo Blanco, 2020; Fuentetaja Pastor, 2020), podrían encontrar parte de su solución en el uso de herramientas de inteligencia artificial (IA) que establezcan la forma más adecuada de seleccionar al personal empleado público o que incluso realicen directamente dicha selección. Ahora bien, precisamente porque lo que abordamos es la automatización de procesos llevados a cabo por las Administraciones públicas, resulta esencial que las exigencias especialmente intensas que son aplicables a aquéllas en materia de transparencia, control y rigurosidad de sus decisiones, se respeten también cuando se introducen herramientas algorítmicas en el marco de su actuación (Boix Palop, 2020; Valero Torrijos, 2020, pp. 56-60).

1. LA INTELIGENCIA ARTIFICIAL COMO HERRAMIENTA EN PROCESOS DE TOMA DE DECISIONES

1.1. ¿Qué sistemas empleamos? La esencial distinción entre sistemas automáticos y sistemas autónomos

Antes de comenzar a abordar el uso de la inteligencia artificial en el ámbito del empleo público, resulta esencial determinar a qué nos referimos cuando hablamos de sistemas automatizados, algorítmicos o de inteligencia artificial. Esta conceptualización resulta sobre todo relevante a la hora de determinar el tratamiento jurídico que deberíamos dar al uso de estas herramientas. Por ello, debemos necesariamente partir de la distinción entre sistemas automáticos y sistemas autónomos (Yeung, 2019, p. 22; Soriano Arnanz, 2021b, p. 60).

Los sistemas automáticos serían aquellos en los que el resultado se encuentra previamente determinado y que no disponen de la capacidad de actualizarse ni tomar decisiones de manera autónoma. En realidad, la mayoría de sistemas automatizados que se emplean actualmente por parte de las Administraciones públicas españolas se encontrarían dentro de esta categoría. Así, podemos por ejemplo citar Riscanvi, que es el sistema de predicción del riesgo de reincidencia que se aplica a las personas internas en las prisiones catalanas (Martínez Garay, 2016); VioGén, que se emplea para determinar el riesgo que tienen las víctimas de violencia de género de sufrir una nueva agresión (González Álvarez et al., 2018) o el sistema BOSCO, que se emplea para determinar las personas que cumplen con los requisitos para beneficiarse del bono social eléctrico (Fuertes, 2022, pp. 118-124). En todas estas situaciones, el programa informático se limita a procesar la información, atribuyendo a las diferentes variables concurrentes en las personas que analiza el valor y peso previamente atribuido por las y los programadores, ofreciendo un resultado que, en realidad, está predeterminado.

Por su parte, podríamos definir como sistemas autónomos aquellos que continúan actualizándose de manera independiente tras su puesta en marcha. Es decir, aquellos que, tras su puesta en funcionamiento, continúan alimentándose de nuevos datos relativos a aquel aspecto de la realidad social que deben medir y predecir, adaptando los resultados que generan a la nueva información que van recibiendo. Un ejemplo claro de esta clase de sistemas son los que se emplean por las plataformas digitales de música, series o películas, y también las redes sociales. Todas estas plataformas o aplicaciones van modificando y adaptando las sugerencias que realizan a las personas usuarias en función del contenido que estas consumen en cada momento.

El significado que atribuimos al concepto «inteligencia artificial» se encuentra en constante evolución. Así, la inteligencia artificial se imaginaba hace unos años como reproducciones robóticas de seres humanos, esto es, la plena sustitución en todas sus formas y a todos los niveles del ser humano por la máquina. Sin embargo, el desarrollo en capacidad computacional que ha tenido lugar en las últimas décadas ha derivado en una sustitución (o complementación) creciente de los seres humanos en la realización de actividades específicas. Por ello, se entiende que para hablar de inteligencia artificial es suficiente con que nos encontremos con un programa contenido en un ordenador que sea capaz de procesar datos de manera masiva, autónoma y similar a como lo haría la mente humana, llegando a conclusiones que se caracterizan por ser generalmente más precisas que aquellas que podrían ser alcanzadas por cualquier persona.

Esta conceptualización se encuentra precisamente en la línea adoptada el Consejo de la Unión Europea que, en la versión más reciente del artículo 3.1 de la Propuesta de Reglamento de Inteligencia Artificial2, define los sistemas de IA en los siguientes términos:

«Un sistema diseñado para operar con un cierto nivel de autonomía y que, basándose en datos e insumos proporcionados por máquinas y/o personas, infiere cómo lograr un conjunto determinado de objetivos definidos por el ser humano utilizando enfoques basados en el aprendizaje de máquinas y/o en la lógica y el conocimiento, y produce resultados generados por el sistema, como contenidos (sistemas de IA generativa), predicciones, recomendaciones o decisiones, que influyen en los entornos con los que interactúa el sistema de IA3».

De la anterior definición debemos extraer una conclusión necesaria, y es que los sistemas que antes hemos clasificado como automáticos en este mismo apartado no se encontrarían comprendidos dentro de la definición de inteligencia artificial que realiza la propuesta de nuevo reglamento europeo y, por tanto, de mantenerse esta definición, más restrictiva que la que se contenía en las versiones iniciales de la propuesta de Reglamento de Inteligencia Artificial4, la nueva norma no les será de aplicación.

Es por ello que nos parece bastante relevante señalar la importancia de no subestimar la capacidad y poder que pueden llegar a tener los sistemas automáticos. Por una parte, porque estos sistemas son los que se suelen todavía emplear por las Administraciones públicas y, por otra, porque también estos sistemas son capaces de analizar ingentes cantidades de datos de manera muy rápida y, aunque el resultado esté predeterminado, pueden también caracterizarse por una complejidad significativa que dificulte la posibilidad de comprender su contenido.

Además, cabe destacar que las Administraciones públicas se han mostrado generalmente reticentes a revelar el contenido de toda clase de sistemas, incluidos los que son, en teoría, más sencillos. Cabe citar aquí como ejemplo el ya conocido caso del algoritmo empleado en la asignación del bono social eléctrico, el sistema BOSCO, el acceso al código fuente del cual ha sido rechazado, en primer lugar por el Ministerio de Transición Ecológica, en segundo lugar por el Consejo de Transparencia y Buen Gobierno y, finalmente, por el Juzgado Central de lo Contencioso-Administrativo núm. 8 en su sentencia de 30 de diciembre de 2021 (actualmente recurrida ante el Tribunal Supremo).

Por tanto, y a pesar de que es cierto que tampoco resulta necesario ni recomendable considerar cualquier estrategia estadística como sistema de inteligencia artificial, como lo hacía la versión inicial de la propuesta de reglamento, quizás sí sería conveniente, al menos por ahora, mantener una definición algo más amplia que también incluyese a los sistemas automáticos más complejos.

1.2. El uso de sistemas automatizados en la gestión y selección de personal

1.2.1. Algunas formas sencillas de automatización

Si bien es cierto que, hasta la fecha, versiones complejas de aplicaciones de inteligencia artificial no se han empleado en el contexto de la selección de personal de las Administraciones públicas españolas, también lo es que estas herramientas están, sin duda, llamadas a utilizarse en un futuro no demasiado lejano, como ya se hace en algunas empresas del sector privado. Es más, sí podemos encontrar algunos casos en los que se están empleando ya por las Administraciones programas informáticos bastante sencillos que contribuyen a agilizar la tramitación de los procedimientos de selección y gestión del personal empleado público.

Las herramientas automatizadas pueden emplearse con multitud de objetivos en el ámbito de la selección y gestión de personal. En el ámbito de la selección de personal pueden utilizarse con el objetivo de automatizar total o parcialmente dichos procedimientos. Por ejemplo, estos sistemas pueden ser empleados para hacer un cribado inicial de las personas aspirantes a ocupar un puesto de trabajo. Así, en el ámbito de la selección de personal empleado público puede fácilmente automatizarse la determinación de las personas admitidas y excluidas en una convocatoria. También se ha automatizado ya la corrección de las pruebas tipo test en muchos casos, pues estas se corrigen empleando una lectora óptica5.

Otros ámbitos en los que ya se emplean sistemas automatizados relativamente sencillos son, por ejemplo, en la selección de personas para realizar tareas concretas distintas de las que normalmente desempeñan en su día a día. Por ejemplo, en Catalunya se utiliza un sistema automatizado para determinar, de manera aleatoria, los profesores y profesoras encargados de evaluar los exámenes de acceso a la universidad cada año6. Asimismo, en Italia, se emplea un sistema algorítmico para gestionar la movilidad del profesorado. Ambos sistemas han sido objeto de controversia por su falta de transparencia, cuestión que se tratará más adelante7.

Evidentemente, cuando nos adentramos en el ámbito de la utilización de la inteligencia artificial, no resulta de tanto interés examinar aquellos procesos en los que la automatización responde a parámetros de carácter mecánico. Lo que resulta verdaderamente interesante es examinar aquellas situaciones en las que se pueden llegar a emplear sistemas más complejos, capaces de analizar enormes cantidades de datos procedentes de diferentes fuentes de información.

Sin embargo, no debemos despreciar los efectos que la plena automatización de algunas fases del proceso de selección puede llegar a tener ya que, en caso de eliminarse por completo el elemento humano, por ejemplo, en la determinación de las personas admitidas y excluidas en una determinada convocatoria, esto puede derivar en que la máquina cometa errores que no se detecten. Es por ello necesario establecer los mecanismos adecuados para asegurar que se controlan los posibles errores cometidos por el sistema así como cualquier otro problema del que pueda adolecer la herramienta algorítmica empleada y asegurar la protección de los derechos e intereses de las personas afectadas.

En relación con la relevancia que pueden llegar a tener los programas automatizados sencillos empleados en el contexto de la selección y gestión de personal, cabe citar la sustitución de la elección presencial de las plazas MIR por la asignación telemática8. Si bien es cierto que este sistema se limita a otorgar las plazas en función de la nota obtenida por las personas aspirantes de manera automática, restringe la libertad de elección en la medida en la que, con el anterior sistema, en el momento de seleccionar la plaza podían verse las plazas que todavía quedaban vacantes y elegir entre estas mientras que con el sistema actual, la asignación se realiza de manera automática teniendo en cuenta el listado de preferencias previamente presentado por las y los aspirantes. Aunque pueda parecer que la trascendencia que tenga el uso de este sistema no es demasiado elevada, no debemos menospreciar los efectos que esta limitación de facto a la libertad de elección puede tener sobre las vidas personales de las y los médicos internos residentes.

1.2.2. La introducción de herramientas más complejas en la selección y gestión del personal

La forma más evidente en la que pueden emplearse sistemas más complejos de inteligencia artificial en el contexto de la selección y gestión de personal es encargando a estos sistemas que directamente seleccionen al personal empleado público, o que al menos sugieran qué personas deberían ser contratadas, aunque la decisión final continúe recayendo en manos de una persona humana. Cabe también incidir en que la clase de programas empleados con el objetivo de seleccionar a personal para las Administraciones públicas, pueden ser también utilizados en los procesos de promoción, es decir, en relación con todas aquellas finalidades que impliquen alguna forma de selección (Kim, 2017, p. 860).

Además, la inteligencia artificial podría emplearse con el objetivo de diseñar las pruebas de selección para acceder al empleo público. Así, sería conveniente plantearse la posibilidad de diseñar sistemas automatizados que fuesen capaces de establecer las pruebas más adecuadas para seleccionar a las y los mejores candidatos para cada ámbito concreto de las Administraciones públicas. Consideramos que, teniendo en cuenta los problemas de los que adolecen nuestros actuales sistemas de selección de personal empleado público, la utilización de la inteligencia artificial con el objetivo de adecuar las pruebas a las necesidades reales de las Administraciones públicas supondría una mejora significativa en la eficiencia y efectividad de los procesos de selección (Berryhill et al., 2019, p. 60).

En la actualidad nos encontramos con procesos selectivos fundamentalmente centrados en evaluar la capacidad memorística de las personas candidatas y que, en muchos casos, ni siquiera garantizan que verdaderamente se comprenda el contenido estudiado. Tampoco se evalúan otras habilidades, como la adaptabilidad, imaginación, capacidad de trabajo en grupo, organizativa o analítica, que son esenciales para el buen funcionamiento de cualquier organización (Catalá y Cortés, 2020, pp. 43-47). Por tanto, como primer paso en la introducción de la inteligencia artificial en los procesos selectivos, antes de sustituir el elemento humano en la corrección de pruebas y selección de personal, sería conveniente hacer uso de la inteligencia artificial para analizar, de manera global, las necesidades de cada Administración, cada órgano y cada servicio y crear pruebas adaptadas a dichas necesidades.

También es posible emplear la inteligencia artificial con el objetivo de dirigir publicidad acerca de puestos vacantes a personas cuyo perfil profesional se adecúe a las necesidades de la organización. La búsqueda proactiva de personal no ha sido una actuación característica de las Administraciones públicas españolas en la medida en la que, dadas las mejores condiciones laborales que, como norma general, el sector público tiende a ofrecer en España en comparación con el sector privado, las convocatorias de empleo público se han caracterizado siempre por contar con cantidades muy significativas de personas candidatas. Sin embargo, en la actualidad asistimos a un cambio de paradigma derivado de las crecientes necesidades de personal en todas las Administraciones públicas españolas consecuencia del envejecimiento de las plantillas. A mayor abundamiento, esa complacencia que ha caracterizado a las Administraciones públicas hasta la fecha ha dificultado la captación de perfiles profesionales que mejoren de manera significativa el funcionamiento de estas organizaciones. Por esta razón, es recomendable valorar el uso de plataformas como LinkedIn o desarrollar sistemas propios que puedan ayudar a detectar profesionales que quizás no estén buscando un empleo en el ámbito público pero que cuenten con una serie de habilidades que serían de enorme utilidad para la mejora de las organizaciones públicas. A esto cabe añadir que contar con personas que inicialmente no busquen trabajar para el sector público también implica introducir un mayor grado de heterogeneidad en la composición del empleo público, algo que resulta innegablemente positivo para cualquier organización.

Además, también se pueden emplear estas herramientas para gestionar a los recursos humanos de los que ya disponen las Administraciones. Más allá de los procesos de promoción interna antes indicados o incluso de servir de ayuda para seleccionar las personas que ocuparán puestos de libre designación, las herramientas algorítmicas pueden ser empleadas para evaluar el rendimiento del personal, detectar situaciones de descontento o desmotivación y proponer soluciones frente a estos problemas. Asimismo, debería valorarse el uso de estos sistemas para gestionar y asignar tareas en las organizaciones de forma que se consiga una gestión más eficiente del trabajo y los recursos humanos.

Entre las posibles aplicaciones de la inteligencia artificial en el ámbito del empleo público cabría también considerar su uso para la evaluación de la regulación y políticas públicas en esta materia. Por ejemplo, las tasas de reposición, adoptadas con el objetivo de reducir el gasto público, han generado una serie de disfunciones y distorsiones significativas y contribuido a introducir significativas quiebras en los procesos de selección de personal por la enorme cantidad de personal funcionario interino y, en general, de carácter temporal, que las Administraciones se han visto obligadas a contratar y que, finalmente, están terminando por acceder a la función pública a través de procesos que muy dudosamente respetan de verdad los principios de igualdad, mérito y capacidad9. Así, el uso de herramientas algorítmicas de evaluación de medidas podría ayudar a determinar la conveniencia o desaconsejar la adopción de determinadas estrategias regulatorias referidas a la gestión del empleo público a nivel global. También en parecido sentido cabría considerar la inteligencia artificial como instrumento para detectar posibles vulneraciones del derecho a la igualdad y sugerir mejoras asegurando, entre otras cuestiones, la eficacia verdadera de los planes de igualdad.

Como inciso final, también consideramos necesario valorar el impacto que la inteligencia artificial tendrá en los próximos años en el funcionamiento de nuestras Administraciones públicas. Estos desarrollos tecnológicos pueden fácilmente provocar una sustitución de seres humanos por máquinas en la realización de muchas tareas, lo que requerirá un ajuste en la forma en la que se gestiona el sector público en general y sus recursos humanos en particular. En este sentido, se podrían emplear las propias herramientas algorítmicas con el objetivo de adaptar las organizaciones del sector público a las necesidades cambiantes derivadas de la creciente automatización (Cerrillo i Martínez, 2019, pp. 24-26; Jiménez Asensio, 2018; Ramió Matas, 2018).

2. ALGUNOS PROBLEMAS Y CUESTIONES DERIVADAS DEL USO DE LA INTELIGENCIA ARTIFICIAL EN LA SELECCIÓN Y GESTIÓN DEL PERSONAL EMPLEADO PÚBLICO

En los últimos años venimos asistiendo a una reacción generalizada, en particular, por parte del legislador europeo, con el objetivo de hacer frente a los diferentes retos y riesgos generados por el creciente uso de inteligencia artificial en toda clase de ámbitos. Los siguientes apartados analizan la forma en la que algunas de las normas aplicables al uso de inteligencia artificial pueden afectar a la automatización de los procesos de toma de decisiones en el contexto del personal empleado público.

Asimismo, cabe destacar que, cuando nos referimos y estudiamos la aplicación de la inteligencia artificial en diferentes contextos, resulta esencial no solamente analizar el marco normativo que regula el uso de las herramientas algorítmicas, sino también las normas específicamente aplicables en el ámbito concreto cuya automatización total o parcial se plantea. Es por ello que en las próximas páginas dedicamos el presente estudio también a abordar las exigencias que, de las normas en materia de empleo público en España, se derivarían para las Administraciones públicas en caso de utilizar sistemas de inteligencia artificial para la selección de personal empleado público.

2.1. La aplicación de la propuesta de Reglamento de Inteligencia Artificial a la automatización de procesos de selección de personal en el ámbito público

Un elemento importante a tener en cuenta en el contexto de la automatización de procesos de selección de personal y su estudio es la diferenciación entre los sistemas automáticos y sistemas autónomos, establecida al principio del presente trabajo. Como ya se ha indicado, teniendo en cuenta la definición de sistemas de inteligencia artificial que fija el artículo 3 de la propuesta normativa, los sistemas automáticos, esto es, aquellos en los que las instrucciones relativas a cómo el sistema debe procesar la información de la que se alimenta se encuentran ya previamente determinadas, se encontrarían fuera del ámbito de aplicación del nuevo reglamento de inteligencia artificial. Partiendo de esta premisa, conviene identificar el régimen jurídico que sería aplicable a los sistemas a los que sí sea de aplicación el reglamento de inteligencia artificial, aquellos sistemas que se consideran autónomos.

La propuesta de reglamento de inteligencia artificial emplea un enfoque basado en el riesgo (Veale y Zuiderveen Borgesius, 2021, p. 98) en virtud del cual establece una clasificación que diferencia entre:

• Sistemas prohibidos, esto es, aquellos que generan tal elevado nivel de riesgo que no es siquiera asumible (Título II).
• Sistemas de alto riesgo (Título III).
• Sistemas a los que, por sus características especiales, se exige un elevado nivel de transparencia (Título IV).
• Los restantes sistemas, para los que se recomienda la adopción de códigos de conducta pero en relación con los cuales no se fijan requisitos para su puesta en marcha o funcionamiento (Título IX).

Debemos pues determinar en qué categoría deberán clasificarse los sistemas empleados en el contexto de la selección de personal empleado público para así poder a su vez establecer los requisitos con los que deberán cumplir estos sistemas.

El artículo 6 de la propuesta de reglamento se remite a sus anexos II y III para determinar aquellos casos en los que los sistemas deberán ser clasificados como de alto riesgo. El anexo II se refiere a aquellos sistemas que están destinados a ser utilizados como componentes de seguridad en uno de los productos a los que la legislación de armonización de la UE exige someterse a una evaluación de conformidad realizada por un organismo independiente para su introducción en el mercado o puesta en servicio. Estos incluyen, los sistemas empleados como componentes de seguridad en juguetes, ascensores, embarcaciones de recreo y motos acuáticas, entre otros muchos.

El anexo III establece otros sistemas de inteligencia artificial que también deben ser clasificados como de alto riesgo y que no constituyen componentes de seguridad de otros productos, entre estos el apartado cuarto del anexo III indica que deben ser considerados sistemas de IA de alto riesgo:

«(a) Sistemas de IA destinados a ser utilizados para la contratación o selección de personas físicas, en particular para publicar anuncios de empleo específicos, analizar y filtrar solicitudes de empleo y evaluar candidatos;

(b) la IA destinada a ser utilizada para tomar decisiones sobre la promoción y la terminación de las relaciones contractuales relacionadas con el trabajo, para asignar tareas basadas en el comportamiento individual o en los rasgos o características personales y para supervisar y evaluar el rendimiento y el comportamiento de las personas en dichas relaciones10».

Así pues, los sistemas utilizados en el contexto de la selección de personal empleado público se incluirían bajo la clasificación de sistemas de alto riesgo. Con respecto a la clase de requisitos con los que deben cumplir estos sistemas, la propuesta de reglamento establece que se deberá establecer un sistema de gestión del riesgo. Asimismo, de conformidad con el artículo 10 de la propuesta de reglamento, debe también cumplirse con las disposiciones relativas a la calidad de los datos y su tratamiento, lo cual resulta de especial importancia en aras a evitar situaciones de discriminación ya que las situaciones de discriminación algorítmica pueden fácilmente derivarse de los sesgos contenidos en la base de datos que entrena al sistema. Por ejemplo, un sistema entrenado con los datos sobre las contrataciones realizadas por una empresa en los años anteriores contendrá los sesgos de las personas del departamento de recursos humanos que se encargaron de llevar a cabo esos procesos de contratación.

Otros de los requisitos o exigencias aplicables se refieren a la transparencia, explicabilidad y comprensibilidad de los sistemas. Así, por ejemplo, el artículo 11 establece la obligación de preparar y mantener actualizada la documentación técnica del sistema, a cuyo contenido se refiere el Anexo IV y que incluye, entre otras cuestiones, la información sobre el propósito para el que será empleado el sistema, las diferentes versiones del software, una descripción de la base de datos de entrenamiento empleada, las especificaciones e instrucciones dadas al sistema y los métodos y pasos empleados durante el desarrollo del sistema de IA. Asimismo, será necesario mantener un registro de las acciones del sistema (artículo 12). Por su parte, el artículo 13 se refiere a la “Transparencia y suministro de información a los usuarios”. Es importante indicar, en relación con esta cuestión, que la nueva propuesta de reglamento no se refiere prácticamente en ningún momento a las personas cuyos derechos e intereses pueden resultar afectados por el sistema, esto es, a las personas que son procesadas por el sistema. Así, cuando se refiere a «usuarios» debemos entender «cualquier persona física o jurídica, incluida una autoridad pública, agencia u otro organismo, que utilice un sistema de IA bajo su autoridad11». Por tanto, en el caso que nos ocupa, este precepto será de relevancia en la medida en que las Administraciones públicas adquieran los sistemas que empleen de desarrolladores externos, algo que, por otra parte, es bastante probable. Con respecto a la información a la que deben tener acceso los usuarios cabe destacar la información referida al nivel de precisión del sistema y las especificaciones de los datos de entrada, entre otras cuestiones.

Con respecto a los mecanismos de evaluación y control que establece la nueva propuesta normativa, cabe destacar la exigencia de que los sistemas de alto riesgo puedan ser supervisados de manera eficaz por un ser humano (artículo 14). Asimismo, se plantea la realización de una evaluación de conformidad (artículo 43) como mecanismo de control ex ante. Sin embargo, aunque para algunos sistemas de alto riesgo se establezca la obligación de que la evaluación de conformidad la realice una entidad certificadora externa (los organismos notificados regulados en el artículo 33 de la propuesta normativa), para los sistemas de alto riesgo que ahora nos ocupan, esto es, los utilizados en el contexto del empleo, dicha evaluación de conformidad únicamente se debe llevar a cabo a nivel interno. Si bien es cierto que sí se establece una suerte de mecanismo de control externo en la medida en la que las autoridades notificantes, esto es, las instituciones o agencias independientes encargadas de controlar el uso de la IA, pueden solicitar información sobre el sistema, esta se articula como una mera posibilidad y no como un procedimiento obligatorio al que deban someterse todos los sistemas de IA.

Se establece asimismo, como mecanismo de control y transparencia, la creación de una base de datos Europea de sistemas de alto riesgo del anexo III del nuevo Reglamento de IA. Esta es una estrategia que ya ha sido adoptada en ciudades como Ámsterdam o Helsinki y que facilita la rendición de cuentas de las organizaciones que empleen sistemas de inteligencia artificial (Soriano Arnanz, 2021b, p. 115).

2.2. ¿Una decisión totalmente automatizada?

El marco jurídico en materia de protección de datos ha sido, hasta hace muy poco, la principal herramienta dirigida a abordar de manera conjunta los diferentes problemas surgidos como consecuencia del creciente uso de herramientas algorítmicas. Al fin y al cabo, sobre todo cuando nos referimos a decisiones mediadas por el uso de algoritmos que afectan directamente personas concretas, necesariamente nos encontramos analizando una situación en la que se ha producido un tratamiento de datos personales.

En este contexto debemos referirnos al artículo 22 del Reglamento General de Protección de Datos (en adelante, RGPD), el cual establece el derecho de las personas interesadas «a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar». Este derecho se articula, en realidad, como una prohibición, tal como entendió el Grupo de Trabajo del Artículo 2912.

Entre las exclusiones que el propio artículo 22 establece a dicha prohibición, cabe destacar la que se refiere a aquellos casos en los que el ordenamiento jurídico de los Estados miembros autorice dicho tratamiento y siempre que se establezcan «medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos» de las personas interesadas (Palma Ortigosa, 2019, p. 14). En el ámbito de las Administraciones públicas españolas, nuestro ordenamiento jurídico ha establecido dicha exclusión a través del artículo 41 de la Ley 40/2015, el cual contiene una de las pocas previsiones normativas en materia de automatización de procedimientos en el ámbito de las Administraciones públicas españolas en los siguientes términos:

«1. Se entiende por actuación administrativa automatizada, cualquier acto o actuación realizada íntegramente a través de medios electrónicos por una Administración Pública en el marco de un procedimiento administrativo y en la que no haya intervenido de forma directa un empleado público.

2. En caso de actuación administrativa automatizada deberá establecerse previamente el órgano u órganos competentes, según los casos, para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente. Asimismo, se indicará el órgano que debe ser considerado responsable a efectos de impugnación13.».

Así, el citado precepto autoriza la existencia de procedimientos administrativos en los que se realicen actuaciones puramente automatizadas. De lo aquí expuesto podemos concluir que las Administraciones públicas españolas podrían automatizar de manera plena los procedimientos de selección y gestión de personal o, al menos, algunas fases dentro de estos.

Ahora bien, lo más habitual, al menos por el momento, es que exista un grado, al menos mínimo, de intervención humana en todos aquellos procesos decisorios en los que se están comenzando a emplear herramientas automatizadas. En todo caso, es recomendable, tal como exige el artículo 41 de la Ley 40/2015, que se establezcan mecanismos de supervisión humana que aseguren, sobre todo en los primeros momentos tras la puesta en marcha del sistema, que este funciona correctamente. Esto es así, tanto cuando el sistema que se emplea es capaz de aprender de manera autónoma tras su puesta en funcionamiento (sistemas autónomos), como cuando las reglas que tiene en cuenta el sistema se hallan totalmente predeterminadas (sistemas automáticos), ya que también en el caso de los sistemas automáticos estos pueden contener errores desde la programación que, de no supervisarse el sistema una vez es puesto en marcha y aplicado a casos reales, pueden derivar en que se evalúe de manera errónea a las personas que, por ejemplo, sean candidatas a un determinado cuerpo funcionarial.

Los sistemas de supervisión humana deben, en todo caso, articularse con sumo cuidado ya que, como se ha demostrado en no pocas ocasiones, los seres humanos tendemos a confiar en los resultados ofrecidos por los sistemas algorítmicos, sin cuestionar o preguntarnos si estos pueden haber cometido un error o haber tomado una decisión basada en datos sesgados (Ponce Solé, 2019, pp. 17-23). Por tanto, las personas físicas encargadas de controlar que el sistema funciona correctamente y de, entre otras cuestiones, resolver posibles recursos o alegaciones presentadas a lo largo de todo el proceso de selección, deben necesariamente estar correctamente formadas y conocer los riesgos derivados del uso de sistemas de inteligencia artificial, así como la forma de detectarlos (De-Arteaga et al., 2020).

2.3. La naturaleza jurídica de los algoritmos empleados en la selección y gestión de personal

Uno de los debates más relevantes que han tenido lugar en los últimos años en relación con el uso de sistemas algorítmicos por parte de las Administraciones públicas es el que tiene que ver con la determinación de la naturaleza jurídica que tienen estos sistemas. Entre otras cuestiones, es particularmente importante determinar la naturaleza jurídica de los sistemas de inteligencia artificial públicos porque, en función de esta, variarán los requisitos que serán de aplicación a dichos sistemas.

Consideramos que la propuesta formulada por el profesor Boix Palop (2020), relativa a la naturaleza reglamentaria de los sistemas algorítmicos empleados en el ámbito público, constituye probablemente la aproximación más acertada a la calificación jurídica que deben recibir estos sistemas. Así, los sistemas algorítmicos empleados por el sector público predeterminarían la respuesta a aplicar en cada caso concreto. Cada vez que se aplique el sistema a un caso concreto y ofrezca una predicción o decisión que afecte a un individuo o grupo de individuos nos encontraríamos con un acto administrativo singular o general.

Ahora bien, en el caso de la aplicación de sistemas automatizados para gestionar procesos de selección de personal, cabe detenerse en la calificación que reciben las convocatorias de acceso al empleo público, pues estas constituyen actos administrativos y no reglamentos. Así, el acto jurídico específico en el que se determinan las diferentes fases del proceso de selección y los elementos concretos que se tendrán en cuenta y serán evaluados constituye, en el presente caso, un acto administrativo. Por consiguiente, en este caso concreto, dado que previsiblemente se desarrollará un sistema algorítmico específico para cada proceso de selección, estos deberían ser considerados como actos administrativos equivalentes a las convocatorias de empleo público, debiendo cumplir, por tanto, con los requisitos exigidos a estas.

En todo caso, lo que resulta indiscutible, más allá de que en cada caso concreto calificamos los sistemas de inteligencia artificial como actos administrativos o normas jurídicas, es que los sistemas algorítmicos empleados con el objetivo de seleccionar y gestionar al personal empleado público tienen naturaleza jurídica. No pueden ser considerados como meras herramientas o instrumentos de apoyo ya que, en la medida en la que contribuyen a determinar la forma en la que se evaluará a las personas o se gestionarán los recursos humanos, debemos considerar que se produce una afectación directa sobre sus derechos. En este sentido, consideramos relevante referirnos al llamativo contraste entre la sentencia italiana núm. 3769 de 22 de marzo de 2017 de la Sección III bis del Tribunal Administrativo de Lazio-Roma y la sentencia española núm. 143/2021, de 30 de diciembre, del Juzgado Central de lo Contencioso-Administrativo núm. 8.

En el caso italiano, el Tribunal Administrativo de Lazio-Roma dictaminó que un algoritmo utilizado por el Ministerio de Educación italiano para gestionar la movilidad de los profesores tenía efectos jurídicos. El Ministerio de Educación italiano defendía que los sistemas automatizados son meros programas informáticos que no tienen ninguna repercusión jurídica, mientras que la parte demandante consideraba que el algoritmo tenía efectos jurídicos y, por tanto, debía ser considerado como un acto administrativo, debiéndose otorgar pleno acceso al demandante al contenido del sistema algorítmico que le había procesado.

El Ministerio de Educación argumentó que la actuación de estos sistemas se limita a la ejecución de actos administrativos ya adoptados por lo que los algoritmos no deberían estar sujetos a los requisitos de transparencia aplicables a los documentos administrativos.

Sin embargo, el tribunal consideró que el algoritmo sí tenía efectos jurídicos y, de hecho, constituía un acto administrativo y así lo expresa en su sentencia:

«El algoritmo acaba, por tanto y en última instancia, proporcionando la base para el procedimiento mencionado anteriormente, ya que la identificación, en términos concretos, de la ubicación específica de cada profesor individual en el contexto de la movilidad es identificada exclusivamente por el algoritmo mencionado anteriormente;

Los actos endoprocesales de recogida de los datos necesarios para los fines del procedimiento, así como el acto final del propio procedimiento, se han fusionado y agotado sólo en el funcionamiento del algoritmo en cuestión, con la consecuencia adicional de que la asimilación del algoritmo en cuestión al acto administrativo puede y debe ser considerada...».

Cuando se emplean sistemas algorítmicos en procedimientos públicos de toma de decisiones que afectan a la ciudadanía, incluso aunque sus objetivos se limiten a la aplicación de decisiones preestablecidas, pueden cometer errores que tengan efectos negativos (jurídicos) para los particulares. Cuando un algoritmo, sea automático o autónomo, interviene en un procedimiento administrativo, el hecho de que la decisión tomada o implementada por el algoritmo tenga efectos jurídicos sobre los particulares hace que el programa informático deba ser necesariamente considerado y tratado como un instrumento jurídico.

Por eso sorprende especialmente la sentencia del Juzgado Central de lo Contencioso-Administrativo núm. 8 que, en el caso del sistema automatizado empleado en el procedimiento de concesión del bono social eléctrico, ha considerado que este no tiene verdaderos efectos jurídicos pues es un órgano administrativo el que toma la decisión final sobre si se concede o deniega dicha ayuda y el sistema automatizado constituye una mera herramienta de apoyo. El sistema BOSCO, que es como se denomina el programa informático que utiliza el Ministerio de Transición Ecológica para comprobar si las personas solicitantes del bono social eléctrico cumplen con los requisitos para ser beneficiarias de esta ayuda, se limita a contrastar la información presentada por las solicitantes con los requisitos dispuestos en la norma. Sin embargo, durante un tiempo, un fallo en el sistema hizo que muchas ayudas se denegasen a quienes sí podían acceder al bono social. Es decir, los efectos jurídicos que tiene el sistema en este caso son más que evidentes. Incluso cuando una de estas herramientas se emplea con fines que son, en teoría, de mero apoyo para el órgano que tramita el procedimiento, la complejidad que les caracteriza y la tendencia de los seres humanos a confiar en los resultados, recomendaciones o predicciones que realiza «la máquina» hacen que esta tenga verdaderos efectos jurídicos sobre la esfera de los derechos e intereses de las personas a las que analiza.

2.4. Igualdad, mérito y capacidad

2.4.1. Problemas de los sistemas actuales de acceso al empleo público

Conviene comenzar este punto señalando que los sistemas tradicionales de selección de personal, en particular, las tradicionales oposiciones de contenido eminentemente memorístico, no se caracterizan por respetar los principios de igualdad, mérito y capacidad. Si bien es cierto que, de manera progresiva, algunas Administraciones tratan de ir innovando en sus procesos de selección de personal, todavía hoy nos encontramos, incluso en aquellos casos en los que existe la voluntad de modificar el sistema, importantes resistencias al cambio. Así, en la actualidad, son muchas las pruebas de acceso al empleo público en muchos ámbitos que evalúan muy pocas capacidades de las personas candidatas a ocupar un puesto de trabajo en el empleo público, que se centran sobre todo en el elemento memorístico y ni tan solo acreditan la comprensión de los contenidos que se han estudiado (Ramió y Salvador, 2018).

Con respecto al principio de igualdad, sobre todo cuando nos referimos al acceso a cuerpos funcionariales de más elevado nivel, el hecho de que su preparación requiera una dedicación exclusiva durante varios años impide que muchas personas puedan siquiera plantearse intentar acceder a esta clase de puestos de trabajo. Así, son muchas las familias que no pueden permitirse tener a uno de sus miembros sin trabajar durante años tras terminar la carrera universitaria y menos todavía abonar los honorarios de preparadores y preparadoras (Boix Palop y Soriano Arnanz, 2021, pp. 55-56).

También resulta oportuno abordar las distorsiones provocadas por el acceso preferente del personal funcionario interino que ha generado importantísimas quiebras en el sistema de acceso al empleo público (Fuentetaja Pastor, 2020). El acceso masivo de personal interino a las Administraciones públicas, parcialmente provocado por las tasas de reposición, ha derivado en una serie de procesos de estabilización y consolidación que han permitido el acceso de personal al empleo público a través de vías que en absoluto puede considerarse que respeten los principios de mérito, capacidad e igualdad y que, además, dificultan el rejuvenecimiento de las Administraciones públicas (Ramió y Salvador, 2018).

En virtud de todo lo expuesto, teniendo en cuenta las disfunciones propias del modelo actual de selección de personal empleado público y su rigidez, es probablemente uno de los ámbitos en los que el uso de inteligencia artificial sería más recomendable, aunque siempre por supuesto, aplicando las salvaguardias necesarias para proteger los derechos e intereses de las personas interesadas en el procedimiento de selección.

2.4.2. Problemas específicos derivados del uso de la inteligencia artificial en procesos de selección de personal empleado público

Durante los últimos años ha aparecido una creciente preocupación relativa a los efectos discriminatorios que pueden derivarse del uso de sistemas automatizados y que perjudican en mayor medida a las personas pertenecientes a grupos desaventajados o vulnerables. Dichos efectos discriminatorios son, generalmente, el reflejo de la sociedad en la que desarrollamos estos sistemas (Soriano Arnanz, 2021c; Bornstein, 2019; Crawford, 2016; O’Neil, 2017).

Si bien es cierto que la idea de que los algoritmos se limitan a reproducir el contexto social discriminatorio en el que se desarrollan y operan ha sido reiterada en numerosas ocasiones por la doctrina, no deja de ser relevante subrayarla. Esto es así por cuanto que la alarma generada en aquellos casos en los que se demuestran vulneraciones al derecho y principio de igualdad mediadas por el uso de sistemas automatizados deriva, en no pocas ocasiones, en un rechazo generalizado al uso de sistemas de inteligencia artificial. Es por ello necesario hacer hincapié en que se ha demostrado en diversos estudios, no solamente que los sistemas automatizados son generalmente más precisos que los seres humanos, sino que, si se diseñan correctamente, producirán menos efectos discriminatorios que las decisiones tomadas por seres humanos (Kleinberg et al., 2017).

Los problemas que se derivan del uso de sistemas automatizados se deben, en no pocas ocasiones, a los datos con los que estos han sido entrenados. Si la base de datos con la que se entrena el sistema contiene errores o está sesgada, es fácil que el sistema reproduzca estos errores y sesgos (Barocas y Selbst, 2016). Por eso es importante controlar la calidad de las bases de datos empleadas. Además, hay un elemento adicional que debe valorarse cuando se comience a introducir la inteligencia artificial en la selección de personal empleado público, y es que debemos preguntarnos si queremos seguir seleccionando a perfiles como los que hasta ahora han accedido a estos puestos de trabajo. Si no es así, no podemos entrenar el sistema utilizando los perfiles de las personas que han accedido al empleo público hasta la fecha, sino que deberá emplearse otra clase de información y entrenamiento.

Una última cuestión sobre la que nos gustaría reflexionar es la importancia que puede llegar a tener el empleo público como mecanismo de ascenso social de las personas. Sobre todo para aquellas personas sin elevados niveles de estudios y procedentes de entornos socioeconómicos más vulnerables, el acceso a un puesto de trabajo en las Administraciones públicas (de nivel C1 o C2, por ejemplo), significa aportar un elemento de seguridad vital básica que difícilmente conseguirían en el sector privado. Es por ello que debe tenerse especial cuidado a la hora de automatizar estos procesos de selección en la medida en la que estas personas pueden no disponer de los mismos recursos para enfrentarse a los sistemas de inteligencia artificial que aquellas personas con mayores niveles de estudios y procedentes de entornos socioeconómicos más acomodados.

En relación con esta cuestión cabe establecer un paralelismo entre las necesarias cautelas que deben adoptarse cuando los sistemas de inteligencia artificial se introducen en el contexto de procesos de asignación de ayudas públicas o distribución de servicios públicos, ya que las personas que hacen uso de esta clase de actividades materiales de la Administración tienden a encontrarse en situaciones de mayor vulnerabilidad, por lo que es absolutamente necesario asegurar que disponen de los mecanismos para defender sus derechos e intereses.

2.5. Transparencia y publicidad

La transparencia algorítmica es uno de los elementos centrales tanto de las normas jurídicas examinadas hasta el momento, en particular la propuesta de Reglamento de Inteligencia Artificial, como de la discusión relativa a la naturaleza jurídica de los sistemas algorítmicos. Esto es así porque una de las principales preocupaciones en relación con el uso de sistemas de inteligencia artificial es su opacidad. Esta opacidad se refiere tanto a su propio uso (en muchas ocasiones no somos siquiera conscientes de que estamos siendo procesadas o procesados por sistemas de IA) como a su contenido.

La transparencia de las actuaciones llevadas a cabo por los poderes públicos es necesaria por varias razones. En primer lugar, porque la transparencia y publicidad facilitan la participación de la ciudadanía en los procesos públicos de toma de decisiones, aumentando de esta forma la calidad democrática de los Estados y la legitimidad de las acciones llevadas a cabo por las instituciones públicas. En segundo lugar, siendo esta la razón que más nos ocupa y preocupa, la transparencia se articula como elemento necesario para poder controlar el ejercicio del poder. Si se desconocen las acciones que se están llevando a cabo o las razones (motivación) por las que se toma una decisión concreta, resulta mucho más complicado defender los derechos e intereses específicos afectados, así como, de manera más general, el respeto al ordenamiento jurídico y a los principios y valores que deben protegerse por los Estados democráticos (Soriano Arnanz, 2021a).

La transparencia (absoluta o parcial) de los sistemas algorítmicos es esencial para garantizar que se pueda ejercer un control efectivo sobre estos (Orofino, 2020). Conviene subrayar, en este sentido, que no es siempre necesario garantizar un acceso pleno a cualquier persona al sistema, ya que esto puede derivar en que se revelen datos de carácter personal o incluso a dinámicas en las que se trate de engañar al sistema tras conocer la lógica subyacente a las decisiones que toma. Sin embargo, sí debería exigirse que los sistemas de IA utilizados por las Administraciones públicas puedan ser al menos examinados por órganos o entidades con cierto grado de independencia (Soriano Arnanz, 2021b, pp. 264-268).

En relación con esta cuestión, resulta sobre todo preocupante la falta de voluntad que, en los últimos años, han mostrado las Administraciones públicas a la hora de dar acceso a los sistemas automatizados que emplean. Así, por ejemplo, en el caso del sistema empleado para seleccionar al profesorado que evalúa las pruebas de acceso a la universidad en Catalunya, la Comisión de Garantía del Derecho de Acceso a la Información Pública de Cataluña, en sus resoluciones acumuladas de 123 y 124 de 21 de septiembre de 2016 estableció que el Consejo Interuniversitario, órgano responsable del algoritmo, debía revelar a las partes reclamantes el contenido del algoritmo bien en lenguaje matemático, bien en lenguaje natural, esto es, una explicación de la lógica subyacente al sistema.

Por su parte, el Tribunal Administrativo de Lazio-Roma, Sección III bis, estableció en la sentencia núm. 3769 de 22 de marzo de 2017, ya antes citada, que la parte demandante debía tener pleno acceso al algoritmo utilizado para gestionar la movilidad de los profesores, ya que determinó la existencia de un «interés directo, concreto y efectivo correspondiente a una situación jurídicamente protegida y vinculada al documento al que el acceso [fue] solicitado14». También estableció que este mandato de transparencia no se limitaba a explicaciones generales, sino al código fuente completo del programa informático utilizado.

Cabe asimismo citar la recientemente aprobada Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación se hace eco de la preocupación existente en relación con la IA y establece, en su artículo 23, una serie de principios en materia de transparencia aplicables a los sistemas de inteligencia artificial empleados por las Administraciones públicas. En concreto, el apartado segundo de dicho precepto establece que «las administraciones públicas, en el marco de sus competencias en el ámbito de los algoritmos involucrados en procesos de toma de decisiones, priorizarán la transparencia en el diseño y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos». En este sentido, entendemos que la transparencia y el establecimiento de mecanismos de control es esencial a la hora de evitar la perpetuación de la desigualdad mediada por el uso de sistemas algorítmicos.

En el ámbito del empleo público las exigencias en materia de transparencia y publicidad son significativamente elevadas. Así, el artículo 1.3.h) del Estatuto Básico del Empleado Público de 201515 (en adelante, TREBEP) establece ya la transparencia como fundamento de actuación de las Administraciones públicas en materia de empleo público. Asimismo, el artículo 20 del TREBEP también establece que «los sistemas de evaluación del desempeño se adecuarán, en todo caso, a criterios de transparencia […]». También el artículo 55 de dicha norma establece que en los procedimientos de selección del personal laboral y funcionario de las Administraciones Públicas se deberá garantizar la publicidad de las convocatorias y de sus bases y la transparencia. Conviene recordar así que el Tribunal Constitucional, en su Sentencia núm. 85/1983, de 25 de octubre consideró que «la publicidad es un elemento indispensable de exteriorización de la convocatoria», esencial para garantizar el acceso en condiciones de igualdad a la función pública.

Por lo que, en aplicación de esta norma, cuando se utilicen sistemas automatizados en la selección y gestión de los recursos humanos de las Administraciones públicas, deberían, en todo caso, ser públicos y transparentes. Es en este sentido de vital importancia no caer en algunos de los argumentos simplistas que se han esgrimido por parte de las Administraciones públicas cuando han tratado de evitar que se acceda al contenido de los sistemas automatizados que emplean (Boix Palop, 2020). Los sistemas algorítmicos empleados en el contexto del empleo público deben ser, en todo caso, transparentes y comprensibles porque así lo han sido hasta ahora los sistemas de selección y gestión de los recursos humanos en el ámbito público.

CONCLUSIONES

A modo de conclusión principal del presente trabajo nos gustaría señalar la importancia de comenzar a introducir herramientas de inteligencia artificial con el objetivo de mejorar las significativas deficiencias del actual sistema español de acceso y gestión del personal empleado público. Los sistemas algorítmicos pueden contribuir a detectar problemas y sugerir las soluciones más adecuadas para abordar aquéllos de forma mucho más rápida y precisa que cualquier persona humana. Ahora bien, esta progresiva automatización debe realizarse siempre siendo conscientes de los riesgos que la inteligencia artificial genera e incorporando las necesarias cautelas y salvaguardias para asegurar que las Administraciones respeten los derechos e intereses de la ciudadanía, así como aquellos principios y valores que están llamadas a proteger.

REFERENCIAS BIBLIOGRÁFICAS

Barocas, S. y Selbst, A. D. (2016). Big data’s disparate impact. California Law Review, 104(3), 671-732. https://www.californialawreview.org/wp-content/uploads/2016/06/2Barocas-Selbst.pdf

Berryhill, J., Heang, K. K., Clogher, R. y McBride, K. (2019). Hello, World! Artificial Intelligence and its Use in the Public Sector [OECD Working Paper on Public Governance]. OECD Library. https://doi.org/10.1787/726fd39d-en

Boix Palop, A. (2020). Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones. Revista de Derecho Público: Teoría y Método, 1, 223-270. https://doi.org/10.37417/RPD/vol_1_2020_33

Boix Palop, A. y Soriano Arnanz, A. (2021). Sobre las posibilidades de reforma del modelo de empleo público español: límites constitucionales y jurídicos al modelo actual y sus sistemas de acceso. Revista Vasca de Gestión de Personas y Organizaciones Públicas, 20, 52-73. https://doi.org/10.47623/ivap-rvgp.20.2021.03

Bornstein, S. (2019). Antidiscriminatory algorithms. Alabama Law Review, 70(2), 519-572. https://ssrn.com/abstract=3307893

Castillo Blanco, F. (2020). Un sistema de empleo público distópico: ¿sería preciso reformar el EBEP? Documentación Administrativa, Nueva época, 7, 8-32. https://doi.org/10.24965/da.i7.10889

Catalá, R. y Cortés, O. (2020). Talento público para una Administración tras el corona shock. Propuestas para una reforma ineludible. ESADE – PwC. Disponible en: https://www.pwc.es/es/publicaciones/tercer-sector/talento-publico-para-administracion-corona-shock.pdf

Cerrillo i Martínez, A. (2019). El impacto de la inteligencia artificial en el derecho administrativo ¿nuevos conceptos para nuevas realidades técnicas? Revista General de Derecho Administrativo, 50. Disponible en: https://www.iustel.com//v2/revistas/detalle_revista.asp?id_noticia=421172

Crawford, K. (2016, 25 de junio). Artificial Intelligence’s White guy problem. The New York Times. Disponible el 10 de octubre de 2022 en: https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html

De-Arteaga, M., Fogliato, R. y Chouldechova, A. (2020). A case for humans-in-the-loop: decisions in the presence of erroneous algorithmic scores. En CHI ‘20: Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery. https://doi.org/10.1145/3313831.3376638

Fuentetaja Pastor, J. (2020). El funcionario interino: entre la temporalidad y la estabilidad. Documentación Administrativa, Nueva época, 7, 88-103. https://doi.org/10.24965/da.i7.10892

Fuertes, M. (2022). Reflexiones ante la acelerada automatización de actuaciones administrativas. Revista Jurídica de Asturias, 45, 105-124. https://reunido.uniovi.es/index.php/RJA/article/view/18989

González Álvarez, J. L., López Ossorio, J. J., Rodríguez Díaz, M. y Urruela Cortés, C. (2018). Sistema de Seguimiento Integral de los Casos de Violencia de Género: Sistema VioGén. Behavior & Law Journal, 4(1), 29-40. https://doi.org/10.47442/blj.v4.i1.56

Huergo Lora, A. (2021). El uso de algoritmos y su impacto en los datos personales. Revista de Derecho Administrativo, 20, 166-193. https://revistas.pucp.edu.pe/index.php/derechoadministrativo/article/view/25207

Jiménez Asensio, R. (2018). Doce tesis y seis hipótesis sobre la selección de empleados públicos y su futuro. Disponible en: https://rafaeljimenezasensio.files.wordpress.com/2019/04/doce-tesis-y-seis-hipocc81tesis-sobre-la-selecciocc81n-de-empleados-pucc81blicos-y-su-futuro-3.pdf

Kim, P. T. (2017). Data-driven discrimination at work. William & Mary Law Review, 58(3), 857-936. https://scholarship.law.wm.edu/wmlr/vol58/iss3/4

Kleinberg, J., Lakkaraju, H., Leskovec, J., Ludwig, J. y Mullainathan, S. (2017). Human decisions and machine predictions. The Quarterly Journal of Economics, 133(1), 237-293. https://doi.org/10.3386/w23180

Martín Delgado, I. (2009). Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada. Revista de Administración Pública, 180, 353-386. https://www.cepc.gob.es/publicaciones/revistas/revista-de-administracion-publica/numero-180-septiembrediciembre-2009/naturaleza-concepto-y-regimen-juridico-de-la-actuacion-administrativa-automatizada-2

Martínez Garay, L. (2016). Errores conceptuales en la estimación de riesgo de reincidencia. Revista Española de Investigación Criminológica, 14, 1-31. https://doi.org/10.46381/reic.v14i0.97

Mittelstadt, B. D., Allo, P., Taddeo, M., Wachter, S. y Floridi, L. (2016). The ethics of algorithms: mapping the debate. Big Data & Society, 3(2), 1-21. https://doi.org/10.1177/2053951716679679

O’Neil, C. (2017). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Penguin Random House LLC.

Orofino, A. G. (2020). The Implementation of the Transparency Principle in the Development of Electronic Administration. European Review of Digital Administration & Law, 1(1-2), 123-142. https://doi.org/10.4399/978882553896012

Palma Ortigosa, A. (2019). Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos. Revista General de Derecho Administrativo, 50. Disponible en: https://www.iustel.com/v2/revistas/detalle_revista.asp?id_noticia=421173

Ponce Solé, J. (2019). Inteligencia artificial, derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico. Revista General de Derecho Administrativo, 50. Disponible en: https://www.iustel.com/v2/revistas/detalle_revista.asp?id_noticia=421176

Ramió Matas, C. (2018). El impacto de la inteligencia artificial y de la robótica en el empleo público. GIGAPP Estudios/Working Papers, 5(98-110) [Número Especial: Estado, gestión y políticas públicas: Argentina bajo la lupa], 401-421. https://www.gigapp.org/ewp/index.php/GIGAPP-EWP/article/view/115

Ramió Matas, C. y Salvador Serna, M. (2018). Relevo intergeneracional y procesos selectivos: ¿cómo puede la administración pública captar talento joven? Revista Vasca de Gestión de Personas y Organizaciones Públicas, 14 [Número Especial 2], 156-171. https://apps.euskadi.eus/z16-a5app2/es/t59auUdaWar/R3/verArticulo?numejem=3&tipo=S&seccion=51&correlativo=1&contenido=9&locale=es

Soriano Arnanz, A. (2021a). Decisiones automatizadas. Problemas y soluciones jurídicas: más allá de la protección de datos. Revista de Derecho Público: Teoría y Método, 3, 85-127. https://doi.org/10.37417/RPD/vol_3_2021_535

Soriano Arnanz, A. (2021b). Data protection for the prevention of algorithmic discrimination. Thomson Reuters – Aranzadi.

Soriano Arnanz, A. (2021c). Decisiones automatizadas y discriminación: aproximación y propuestas generales. Revista General de Derecho Administrativo, 56. Disponible en: https://www.iustel.com/v2/revistas/detalle_revista.asp?id_noticia=423439

Valero Torrijos, J. (2020). The Legal Guarantees of Artificial Intelligence in Administrative Activity: Reflections and Contributions from the Viewpoint of Spanish Administrative Law and Good Administration Requirements. European Review of Digital Administration & Law, 1(1-2), 55-61. https://doi.org/10.4399/97888255389605

Veale, M. y Zuiderveen Borgesius, F. (2021). Demystifying the Draft EU Artificial Intelligence Act - Analysing the good, the bad, and the unclear elements of the proposed approach. Computer Law Review International, 22(4), 97-112. https://doi.org/10.9785/cri-2021-220402

Vrontis, D., Christofi, M., Pereira, V., Tarba, S., Makrides, A. y Trichina, E., (2022). Artificial intelligence, robotics, advanced technologies and human resource management: a systematic review. The International Journal of Human Resources Management, 33(6), 1237-1266. https://doi.org/10.1080/09585192.2020.1871398

Yeung, K. (2019). Why worry about decision-making by machine? En K. Yeung y M. Lodge (eds.), Algorithmic regulation (pp. 21-48). Oxford University Press.