El uso de sistemas basados en inteligencia artificial por las Administraciones públicas: estado actual de la cuestión y algunas propuestas ad futurum para un uso responsable1

The use of systems based on artificial intelligence by public administrations: current situation and some ad futurum proposals for responsible use

Berning Prieto, Antonio David

Universidad Pablo de Olavide de Sevilla. Departamento de Derecho Público (España – Spain)

ORCID: http://orcid.org/0000-0002-7644-8210

aberning@upo.es

NOTA BIOGRÁFICA

El autor ha centrado su investigación en las vicisitudes de la administración electrónica en conexión con cuestiones capitales de la Parte General del Derecho Administrativo, con publicaciones en editoriales de prestigio. Ha sido beneficiario de varias becas formativas en régimen de concurrencia competitiva, de la que cabe destacar la FPU para la consecución de la tesis doctoral, cuyo resultado se publicó como monografía. Ha realizado estancias de investigación en Freiburg (Alemania) y Firenze (Italia). Profesor responsable de diversos contratos de investigación para la transferencia del conocimiento, imparte docencia con plena dedicación en la Universidad Pablo de Olavide como Profesor Ayudante Doctor de Derecho Administrativo, si bien también ha impartido docencia en diversos posgrados de instituciones privadas de prestigio, habiendo impartido también numerosas sesiones formativas para diversas administraciones públicas. Ha participado como miembro investigador en diversos Proyectos de Investigación centrados en cuestiones trascendentales del Derecho Administrativo.

RESUMEN

El empleo por parte de la administración central, autonómica y local de sistemas basados en inteligencia artificial supone un claro avance y múltiples beneficios relacionados con la eficacia y eficiencia en su funcionamiento, pero va acompañada de múltiples riesgos que se deben gestionar desde la toma de la decisión acerca de su desarrollo o adquisición, hasta su puesta en funcionamiento y durante su ciclo de vida.

Dado que tampoco existe en la actualidad una regulación adecuada que proporcione seguridad jurídica y garantice los derechos de los ciudadanos cuando se toman decisiones que les afectan, el presente trabajo pretende tratar ciertas cuestiones que deberán ser objeto de regulación en el futuro para que las administraciones públicas puedan utilizar este tipo de sistemas con las debidas garantías.

PALABRAS CLAVE

Inteligencia artificial; decisiones administrativas; datos; transparencia; motivación; contratación pública; innovación.

ABSTRACT

The use by the central, regional and local administration of systems based on artificial intelligence represents a clear advance and multiple benefits related to the effectiveness and efficiency in its operation, but it is accompanied by multiple risks that must be managed from the moment the decision is made. decision about its development or acquisition, until its commissioning and during its life cycle. Given that there is currently no adequate regulation that provides legal certainty and guarantees the rights of citizens when decisions that affect them are made, this paper aims to address certain issues that must be regulated in the future so that public administrations can use this type of system with the proper guarantees.

KEYWORDS

Artificial intelligence; administrative decisions; data; transparency; motivation; public procurement; innovation.

SUMARIO

1. INTRODUCCIÓN. 2. LA FUNCIÓN DE LOS ALGORITMOS EN LA INTELIGENCIA ARTIFICIAL. 3. CUESTIONES RELEVANTES EN EL EMPLEO DE SISTEMAS DE INTELIGENCIA ARTIFICIAL POR LAS ADMINISTRACIONES PÚBLICAS. 3.1. LA TELEASISTENCIA MEDIANTE CHATBOTS. 3.2. LOS FORMULARIOS «INTELIGENTES» Y EL DERECHO DE SUBSANACIÓN DE LOS INTERESADOS EN EL PROCEDIMIENTO ADMINISTRATIVO. 3.3. LA NECESARIA RESERVA DE HUMANIDAD EN EL EMPLEO DE SISTEMAS DE INTELIGENCIA ARTIFICIAL. 3.4. BREVE REFERENCIA A LA IMPUTACIÓN ORGÁNICA DE LA DECISIÓN ADMINISTRATIVA ADOPTADA MEDIANTE SISTEMAS DE INTELIGENCIA ARTIFICIAL. 3.5. LA NECESARIA REGULACIÓN, A TRAVÉS DE LA CONTRATACIÓN PÚBLICA, DE LA ADQUISICIÓN DE SOLUCIONES DE INTELIGENCIA ARTIFICIAL POR LAS ADMINISTRACIONES PÚBLICAS. 4. CONCLUSIONES. REFERENCIAS BIBLIOGRÁFICAS.

1. INTRODUCCIÓN

Ninguna duda cabe de que la inteligencia artificial ha irrumpido de forma abrumadora en el orden socioeconómico. Así se demuestra con su cada vez más extendida presencia: desde la toma de decisiones en ciudades inteligentes hasta la adopción de medidas extraordinarias sanitarias en función de datos epidemiológicos, como se ha demostrado con la reciente crisis provocada por COVID-19, en la cual la predicción basada en algoritmos e inteligencia artificial han demostrado ser grandes aliados, y más recientemente se está observando con aplicaciones como ChatGPT2, que proporcionan respuesta a múltiples interrogantes en tiempo real.

La gestión documental administrativa es una de las más relevantes cuestiones que las Administraciones Públicas deben adecuar para beneficiarse de la inteligencia artificial de la forma más eficiente posible. Y es que, como ha tenido ocasión de afirmar Valero Torrijos (2018, p. 389), la modernización tecnológica implica no sólo la sustitución de la gestión en papel de los documentos por su equivalente electrónico y transmitirlos telemáticamente, sino desvincular los datos del documento original y procesarlos de forma independiente.

Esta desvinculación de datos del documento original comporta la posibilidad de tratamiento diferenciado, pudiendo proporcionar múltiples utilidades a la Administración Pública, pero debe llevarse a cabo con las debidas garantías jurídicas, lo que algún autor ha venido a denominar principio de precaución (Boix Palop, 2020, pp. 225 y ss.), ya que la aplicación de la inteligencia artificial a tales datos supone un riesgo inherente a la propia tecnología, toda vez que gracias a los algoritmos matemáticos que rigen dicho tratamiento se puede llegar a una toma de decisiones absolutamente independiente, que sustituyan verdaderamente a la inteligencia humana. Esta independencia puede resultar beneficiosa en determinados supuestos, como podría ser la adopción de decisiones discrecionales a las que, de esta forma, se las dota de cierta imparcialidad u objetividad, si bien en otras ocasiones podría resultar menos conveniente, de ser precisa cierta reserva de humanidad en la adopción de la decisión.

Dicha sustitución puede realizarse de dos formas, conforme algún autor como Carloni (2020, p. 4) ha apuntado: una primera, en la que la decisión administrativa basada en algoritmos es adoptada por una máquina en ausencia de intervención humana en la fase de toma de decisiones; y una segunda, en la que la operación automatizada cumple un papel decisivo en la toma de decisiones mediando intervención humana, pero dicha intervención se caracteriza por ser «al servicio» de la máquina, sin posibilidad de control alguno sobre la misma y, por ende, sobre la decisión que aquélla adopta. Este aspecto resulta relevante ya que, como ha tenido ocasión de afirmar Martín Delgado (2023, p. 135), los sistemas que se están creando producen resultados útiles, pero no inteligentes.

Es por ello que, en cada caso, las garantías jurídicas que deben protegerse difieren, ya que mientras que en el primer supuesto no existe intervención humana y, por ende, las garantías jurídicas del sistema deben ser máximas, en el segundo la intervención humana es decisiva y ésta únicamente se sirve de la tecnología o sistema de inteligencia artificial como auxilio, por lo que las garantías jurídicas se relajan, siempre y cuando la decisión adoptada por el funcionario público correspondiente esté debidamente motivada.

Es por ello que se torna necesario examinar el funcionamiento interno de los sistemas de inteligencia artificial, con la finalidad de determinar las garantías a establecer en cada caso concreto, comenzando para ello con los algoritmos como motor de este tipo de sistemas.

2. LA FUNCIÓN DE LOS ALGORITMOS EN LA INTELIGENCIA ARTIFICIAL

Si bien existen diversas definiciones de inteligencia artificial, resulta a veces complejo que la definición comprenda todos los elementos necesarios y no excluya ningún supuesto posible, por lo que, siguiendo a Zlotnik (2019, p. 26), podría definirse la inteligencia artificial también por la vía negativa, esto es, la inteligencia artificial actual no es inteligencia, en el sentido que los seres humanos otorgamos a esa palabra. Y es que, como justifica dicho autor, los sistemas de inteligencia artificial deben nutrirse de un conjunto de variables de entrada y salida, logrando sus resultados mediante el proceso de aprendizaje que permite el empleo de algoritmos, los cuales utilizan datos masivos que los guían en su tarea.

La Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de Inteligencia Artificial y se modifican determinados actos legislativos de la Unión (Comisión Europea, 2021) –también Propuesta de Reglamento de IA, en adelante– reconoce la dificultad de ofrecer una definición de inteligencia artificial la cual, en todo caso, debe complementarse tanto con basarse en las principales características funcionales del software, y en particular en su capacidad para generar, en relación con un conjunto concreto de objetivos definidos por seres humanos, contenidos, predicciones, recomendaciones, decisiones u otra información de salida que influyan en el entorno con el que interactúa el sistema, ya sea en una dimensión física o digital, como con una lista de las técnicas y estrategias concretas que se usan en su desarrollo, la cual debe mantenerse actualizada atendiendo a los avances tecnológicos y del mercado (Considerando 6).

La definición de «sistema de inteligencia artificial» que ofrece la Propuesta de Reglamento de IA, la cual pretende ser tecnológicamente neutral y válida en el tiempo, la concreta en:

«el software que se desarrolla empleando una o varias de las técnicas y estrategias que figuran en el anexo I y que puede, para un conjunto determinado de objetivos definidos por seres humanos, generar información de salida como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúa».

Dicho software utiliza algoritmos, para el cual todos los datos pueden encontrarse en un mismo nivel de importancia, independientemente de su naturaleza, siempre que le sirvan para ofrecer resultados; ello trae consigo para el precitado autor varias consecuencias directas con relevancia jurídica: la posibilidad de ofrecer resultados sesgados, reducción del nivel de rendimiento de los modelos y la dificultad de comprender cómo se ha conseguido el resultado obtenido.

Por tanto, en los sistemas de inteligencia artificial se torna necesario no sólo conceptualizar los algoritmos como motor interno de los mismos, sino dotarlos de un régimen jurídico adecuado y proporcionar, en el ámbito del sector público, garantías suficientes a los ciudadanos en general, principales destinatarios de la actividad administrativa. Y es que, en caso contrario, como alerta Martín Delgado (2023, p. 138), el algoritmo podría convertirse en la práctica en el sustituto de la Ley, tanto por acción como por omisión, lo cual no ocurriría en caso de estar dotado de un régimen jurídico concreto y garantista que ofreciese una adecuada cobertura legal a su empleo en el seno de las administraciones públicas, aspecto capital en su implantación.

En este sentido, el término «algoritmo» es definido por el Diccionario de la Real Academia Española3, como un «conjunto ordenado y finito de operaciones que permite hallar la solución de un problema», o como «método y notación en las distintas formas del cálculo», concepto genérico que ha sido precisado por algún organismo4, como «procedimiento de cálculo que consiste en cumplir un conjunto ordenado y finito de instrucciones con unos datos especificados para llegar a la solución del problema planteado».

Ahora bien, todo algoritmo se basa en un código fuente, que constituye el conjunto de órdenes internas que emplea aquél para desarrollar su cometido, pudiendo definirse, con el Consejo de Transparencia y Buen Gobierno de la Administración General del Estado5, como «archivo o conjunto de archivos que tienen un conjunto de instrucciones muy precisas, basadas en un lenguaje de programación, que se utiliza para poder compilar los diferentes programas informáticos que lo utilizan y se puedan ejecutar sin mayores problemas», las cuales, evidentemente, son posteriormente dotadas de una interfaz gráfica para facilitar el uso al usuario final, sin necesidad de que tenga que interpretar tales códigos o instrucciones directamente.

A pesar de tener un origen matemático, atribuyéndose generalizadamente al matemático y astrónomo Muḥammad ibn Mūsā al-Khwārizmī, autor del primer Tratado de Álgebra cuya traducción Algoritmi de numero Indorum dio lugar al término actual de «algoritmo»6, atendiendo a su definición, un algoritmo puede servir a muchas finalidades diversas y, como apunta López Pulido (2021, p. 6), expresarse de distintas formas, como los diagramas de flujo o incluso lenguaje natural; por ejemplo, las redes sociales son en la actualidad máximo exponente de su continuo empleo para ofrecer información acorde a nuestros intereses, e incluso las plataformas de streaming actuales los utilizan para sugerir contenidos según nuestro perfil y experiencia previa de usuario, lo cual redunda en una mejora de la experiencia como regla general, al recibir sugerencias personalizadas; no obstante, esta personalización no está exenta de errores o resultados irrelevantes para el destinatario de las mismas, lo cual sucederá en cualquier ámbito en que se utilice una solución basada en inteligencia artificial. La diferencia estriba en que un fallo algorítmico en este tipo de servicios digitales provocará el descontento del usuario con lo ofrecido (música, vídeos, etc.), pero, si esa disfunción se da en el seno de un procedimiento administrativo, las consecuencias son bien distintas, toda vez que podría implicar la denegación de una ayuda a alguien que tiene derecho a ella y, en determinados casos, sin conocimiento concreto del motivo de la desestimación, como se verá, por no ser objeto de publicidad el algoritmo que se ha aplicado.

Estas funcionalidades aparecen también en la aplicación de algoritmos al Derecho, no sólo como auxilio en la toma de decisiones, sino que se puede llegar a plantear el empleo de algoritmos incluso para adoptar una determinada decisión. Ya existen antecedentes en otros ordenamientos jurídicos, como el estadounidense, en el que se emplean algoritmos para predecir posibles comportamientos reincidentes de personas privadas de libertad en aras a la concesión o no de la libertad condicional, a través del programa Correctional Offender Management Profiling for Alternative Sanctions (COMPAS), lo cual resulta altamente arriesgado por no ser siempre acertadas las decisiones basadas en datos, como ha tenido ocasión de concluir Muñoz Rodríguez (2020).

Debe partirse de la base, de acuerdo con Huergo Lora (2020, p. 27), de que los procedimientos administrativos o judiciales tradicionales obedecen ya realmente a reglas algorítmicas, al componerse de una serie de pasos con un contenido determinado que deben darse para llegar a la resolución del procedimiento, si bien no lo hacen de forma idéntica a un programa informático, toda vez que el instructor tiene una vinculación jurídica distinta de la operativa mecanicista que sigue el segundo; así, mientras que el programa tendrá que seguir todos los pasos preestablecidos por el programador del mismo mediante lenguaje informático (programación), el instructor podría omitir alguno, sin perjuicio de las consecuencias que ello pudiese traer consigo, y lo que resulta aún más importante, como se verá, dicho instructor podrá en determinados casos introducir elementos correctores de la decisión sobre la base de los principios que resulten de aplicación, al poder apreciar circunstancias que así lo exijan para el caso concreto, lo cual es inviable para un sistema decisor no humano.

Para el autor, al no sustituir el algoritmo en ningún caso a la norma, sino automatizar su aplicación, en caso de error o defecto que origine un resultado incorrecto que se materializa en un acto administrativo por estar mal configurado el algoritmo, se originará la invalidez del mismo, en tanto en cuanto prevalece la norma sobre aquél.

No obstante, no es lo mismo emplear algoritmos predictivos que no predictivos, ya que estos últimos sustituyen en la práctica la actividad mecánica que anteriormente realizaba un funcionario manualmente y, en consecuencia, automatizan procedimientos cuyo esquema estaba previamente establecido normativamente, de forma que no existe realmente ninguna innovación del ordenamiento jurídico. Y es que, como bien explican González Cabanes y Díaz Díaz (2023, pp. 40 y ss.), la inteligencia artificial es la disciplina que intenta replicar y desarrollar la inteligencia natural, de humanos y seres vivos, a través de computadoras o máquinas, pero ésta comprende actuaciones automatizadas, basadas en algoritmos tradicionales, y sistemas más avanzados, como el deep learning o las redes neuronales, siendo la fuente de todos ellos el big data o los datos masivos de que se nutren, tanto para ofrecer resultados automáticamente en el primer caso como para efectuar las complejas relaciones de datos en los dos últimos.

Pero, respecto a los algoritmos predictivos, no sólo pueden automatizar procedimientos, sino que pueden llegar a innovar el ordenamiento jurídico, como ha tenido ocasión de plantear Cerrillo Martínez (2019a, p. 10), ya que, a partir de datos obtenidos por el sistema (el cual, a su vez, se nutre de datos masivos7), el algoritmo es capaz de generar nuevas decisiones adaptándose a los mismos en función de diversas variables, esto es, realmente entrena y aprende de su experiencia (Zlotnik, 2019, p. 26), por lo que podría hacernos dudar acerca de si realmente están innovando el ordenamiento jurídico y, por ende, adquiriendo naturaleza normativa.

Los datos de los que necesita nutrirse un algoritmo de inteligencia artificial son mucho mayores de los que necesita una persona para llegar a la misma solución, además de tener que ser datos de calidad y estructurados, de forma que se reduzcan al máximo las posibilidades de errar en la solución. En estos casos, se torna imprescindible tener disponibles datos suficientemente representativos y, a pesar de ello, podrán originarse errores que, como apunta Zlotnik (2019, pp. 29-30), debe asumir la entidad que haga uso de este tipo de sistemas; errores que, además, pueden ser de mayor o menor impacto, aspecto que debe ser objeto de valoración por parte de la Administración Pública que pretenda implantar un sistema de inteligencia artificial en orden a determinar si realmente es asumible o no.

Además de lo anterior, el empleo de algoritmos para su empleo en sistemas de automatización de procesos podría ser admisible en el tráfico de las administraciones públicas, pero los de aprendizaje automático, deep learning o las redes neuronales plantean la complicación adicional de la complejidad de determinar el razonamiento que ha seguido el sistema para ofrecer el resultado, por lo que su empleo en el sector público es mucho más limitado a aquellas tareas domésticas o internas que puedan dar lugar al otorgamiento de preferencia a determinadas políticas públicas frente a otras, por ejemplo, pero no en aquellos casos en que exista incidencia en derechos de terceros (fundamentalmente ciudadanos).

3. CUESTIONES RELEVANTES EN EL EMPLEO DE SISTEMAS DE INTELIGENCIA ARTIFICIAL POR LAS ADMINISTRACIONES PÚBLICAS

3.1. La teleasistencia mediante chatbots

Las diferentes finalidades para las que puede hacerse uso de sistemas basados en inteligencia artificial abarcan desde la adopción de decisiones de forma automatizada, hasta el empleo de estos sistemas de forma auxiliar por el personal al servicio de la Administración para la adopción posterior, por parte de éste, de la decisión administrativa. Asimismo, recientemente se están empleando cada vez con mayor frecuencia los sistemas de inteligencia artificial para asistir a los ciudadanos en general de forma automatizada, de forma que no es necesaria la presencia de personas, permitiendo que cualquier consulta pueda ser respondida a cualquier hora del día o la noche, sea festivo o no. Me refiero a los conocidos chatbots, como asistentes virtuales, que permiten resolver consultas sencillas o proporcionar información de carácter general sin necesidad de presencia ni intervención humana.

De acuerdo con Ponce Solé (2023, p. 198), estos asistentes no deben tener encomendadas funciones decisorias, si bien estas soluciones pueden resultar útiles, sin duda, para proporcionar a los ciudadanos una atención rápida y directa sin desplazamientos cuando quieren recabar información genérica. Pero en ningún caso puede llegar a sustituir a la atención presencial, aspecto que recientemente se está descuidando8, en algunos casos debido a la implantación de este tipo de servicios de teleasistencia robótica. Por tanto, el empleo de inteligencia artificial en sistemas de asistencia al ciudadano puede resultar útil para la resolución de determinadas cuestiones o dudas puntuales, pero no debe alcanzar cotas que impidan una asistencia presencial de calidad, por lo que su empleo debe tener ciertos límites, ya que, si bien puede resultar en una reducción de costes y de personal dedicado a la atención ciudadana, lo es a costa de la calidad del servicio público que se ofrece a los ciudadanos.

A mayor abundamiento, debe tenerse en cuenta que el big data se erige como fuente de alimentación de los sistemas de inteligencia artificial, por lo que la disponibilidad de datos masivos en los sistemas de inteligencia artificial es un aspecto fundamental, ya que los algoritmos en que basan su funcionamiento interno se nutren de los mismos para su ejecución.

Por tanto, para un desarrollo adecuado de sistemas de inteligencia artificial resulta fundamental disponer de una base de datos lo más completa posible y, el ámbito local es, sin lugar a duda, una de las principales fuentes de captación de datos generados por los propios ciudadanos, bien directamente, bien mediante sus patrones de uso9. La utilización de chatbots puede suponer en la práctica una fuente de información directa de las preocupaciones o intereses de los ciudadanos, al recibir constantemente consultas o peticiones directas de la ciudadanía, lo cual sin duda puede resultar útil en relación con las decisiones institucionales que se adoptan, tales como el destino de determinadas partidas presupuestarias en función de las medidas que pueden resultar más populares o bienvenidas por la ciudadanía, o ámbitos en los que debe mejorarse la información ofrecida a los ciudadanos.

Este empleo de datos masivos debe llevarse a cabo en todo caso de forma responsable, de conformidad con la normativa europea y nacional vigente en materia de protección de datos, a saber, Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y Garantía de los Derechos Digitales, respectivamente, toda vez que el uso desmedido o abuso de este tipo de tecnología podría dar lugar a situaciones nada deseables y vulneradoras de derechos de los ciudadanos. En este sentido, científicos como Hawking10 concluyen que la inteligencia artificial debe estar en todo caso al servicio de las personas, y no deberían poder nunca llegar a sustituirlas, por lo que la ética es fundamental en el uso de herramientas basadas en esta tecnología, de forma que se utilice en beneficio del progreso humano, al servicio de éstos, y no al contrario.

3.2. Los formularios «inteligentes» y el derecho de subsanación de los interesados en el procedimiento administrativo

En el caso de la utilización de sistemas de inteligencia artificial como herramienta automatizada de cumplimentación de formularios o de comprobación automática de información aportada es bien conocida en ámbitos como el tributario, para las autodeclaraciones de impuestos, como sucede con el programa «Renta Web»11, práctica que es ya habitual y no suele presentar inconvenientes, más bien al contrario, suponen una facilidad para el administrado, quién únicamente se debe preocupar de comprobar que los datos proporcionados son correctos y adicionar aquellos no incluidos.

No obstante, el establecimiento de formularios precumplimentados en determinados casos ha llegado a sustraer a los interesados el derecho a la subsanación de solicitudes recogido en el artículo 68 LPAC, no sólo por la incapacidad del sistema de recabar los datos imprescindibles (vulnerando con ello el derecho a no aportar datos o documentos que ya obren en poder de la Administración, previsto en el artículo 28.3 LPAC), sino porque la propia configuración del sistema impide al interesado continuar el trámite y presentarlo en registro electrónico sin haber cumplimentado determinados campos faltantes, que suelen marcarse como «obligatorios» o «de cumplimentación preceptiva».

En este sentido, el diseño de las aplicaciones que sustentan la cumplimentación de formularios o solicitudes online suelen incorporar campos de cumplimentación obligatoria, sin la que no es posible continuar y presentarlas en registro electrónico, difiriendo de lo que ocurre tradicionalmente en soporte papel, que en caso de no aportar algún dato necesario para tramitar la solicitud, el artículo 68 LPAC reconoce el derecho del interesado a subsanar su solicitud, para lo cual se permite un plazo común de diez días a fin de que se subsane el defecto; en el caso de formularios (precumplimentados o no) este derecho resulta cercenado, a menos que el interesado busque fórmulas alternativas imaginativas para hacerlo efectivo12, actuación nada deseable, siendo preferible dar la posibilidad a los ciudadanos que otorga el artículo 68, para en caso de no presentar todos los datos o documentos exigidos para el procedimiento de que se trate.

Cuestión distinta, pero no menos relevante, supone el ejercicio del derecho de subsanación no sólo en cuanto a la posibilidad de aportar documentación o datos que son necesarios para la tramitación del procedimiento, sino para el empleo de medios electrónicos por parte de los ciudadanos.

En este sentido, en relación con la subsanación y mejora de la solicitud, el tenor literal del artículo 68.4 LPAC establece que:

«si alguno de los sujetos a los que hace referencia el artículo 14.2 y 14.3 presenta su solicitud presencialmente, las Administraciones Públicas requerirán al interesado para que la subsane a través de su presentación electrónica. A estos efectos, se considerará como fecha de presentación de la solicitud aquella en la que haya sido realizada la subsanación».

Esta regulación ha dado lugar en la práctica a situaciones en las que, tanto en relación con la presentación de solicitudes, como en dar cumplimiento a requerimientos o presentar recursos administrativos, la Administración ha procedido a admitir el escrito, otorgar un plazo de subsanación de diez días si bien, al subsanar el administrado dentro de esos diez días conferidos, pero ya fuera del plazo inicial que debía observar (como es obvio), la Administración ha inadmitido posteriormente aquél escrito por entender que se ha presentado fuera de plazo.

Para Gamero Casado (2016, pp. 15-27), los sujetos obligados a relacionarse electrónicamente no pueden verse privados de su derecho a subsanar, por lo que la ambigüedad de la redacción del artículo 68.4 LPAC debe propiciar su interpretación de la forma más favorable al ciudadano, permitiéndole subsanar y tener por presentado su escrito en plazo tras dicha subsanación. Esta problemática no ha sido resuelta de forma clara para los sujetos que se encuentran obligados a relacionarse electrónicamente con la Administración, para quienes la presentación en soporte papel debe conllevar la mera advertencia de la Administración de que deben efectuar la presentación de forma electrónica, pues en caso contrario resultaría incongruente la apertura de un plazo de subsanación cuando podría haber concluido el plazo de presentación de solicitudes (en este sentido, la sentencia 276/2018, de 29 de mayo, del Tribunal Superior de Justicia de Madrid), otorgándose un tratamiento diferente en relación con la presentación de solicitudes y con la de presentación de recursos administrativos, derivada del juego existente entre los apartados 1 y 4 del artículo 68 LPAC, respectivamente13.

Otra disfunción existente es la problemática derivada de la falta de alguno de los trámites finales del procedimiento administrativo electrónico, incluyendo la falta de firma o registro electrónicos tras la verificación de los trámites iniciales del mismo. Son diversos los pronunciamientos judiciales que se han ido dictando los últimos años tratando esta cuestión, pudiendo citarse la sentencia 762/2021, de 31 de mayo, del Tribunal Supremo, en la que el Alto Tribunal estableció que:

«el deber de dar un plazo de diez días para la subsanación de las solicitudes que hayan omitido la “firma del solicitante o acreditación de la autenticidad de su voluntad expresada por cualquier medio”, en palabras del vigente artículo 66.1.e) de la Ley 39/2015, está expresamente previsto por el artículo 68 del mismo cuerpo legal. Y que la vigente legislación de procedimiento administrativo ha sido ya pensada para la llamada “Administración electrónica” resulta evidente de la simple lectura de la citada Ley 39/2015, para la que el modo tendencialmente normal de comunicación entre la Administración y los particulares es el electrónico. Así las cosas, sería sumamente difícil –por no decir imposible– argumentar que la previsión legal del carácter subsanable de la omisión de firma en las solicitudes no es aplicable a las solicitudes presentadas por vía electrónica. Ello vale igualmente para aquellas omisiones que, sin referirse a la firma electrónica propiamente dicha, afectan a la “acreditación de la autenticidad de la voluntad” del solicitante, como podría ser el paso final de validar lo formulado y enviado por vía electrónica».

Doctrina que reitera posteriormente en otras, de las que cabe destacar la sentencia 224/2022, de 22 de febrero, ya que va más allá al afirmar que «la Administración no puede escudarse en el modo en que ha sido diseñado el correspondiente programa informático para eludir el cumplimiento de sus deberes frente a los particulares, ni para erosionar las garantías del procedimiento administrativo». De este modo, en esta última sentencia falla en favor de la recurrente, y reconoce que, habiendo realizado todos los pasos salvo la firma electrónica y presentación en registro electrónico, debió dársele derecho a subsanar procediendo a la presentación telemática, independientemente de que, por tratarse de una persona física, tuviese derecho a presentar el escrito también en soporte papel por los medios tradicionales ex artículo 14.2 LPAC.

Resulta evidente que, en ambos casos, tanto en el ejercicio del derecho de subsanación electrónica por parte de los obligados a relacionarse electrónicamente con la Administración como en la posibilidad de los no obligados de presentar sus solicitudes por medios electrónicos, se deben interpretar bajo el principio pro actione, y la jurisprudencia está marcando una tendencia claramente en favor del administrado para que la implantación y el recurso a la administración electrónica no suponga una merma de los derechos y garantías de los interesados, sino una forma de facilitar las relaciones entre la Administración y éstos, aspecto que en muchos casos se está obviando en la práctica.

3.3. La necesaria reserva de humanidad en el empleo de sistemas de inteligencia artificial

El empleo de algoritmos predictivos en determinados ámbitos presenta ciertos riesgos, como indican autores como Bull (2017, p. 416), pues implica el empleo del Big Data o datos masivos como base de las predicciones basadas en datos que, posteriormente, se emplean en la generación automática de actos administrativos o se materializan en el inicio de procedimientos de inspección.

Este tipo de algoritmos, los predictivos, son un tipo específico de algoritmo desarrollado para procesar datos masivos puestos a su disposición en aras a la consecución de una finalidad que se concreta en obtener resultados ajustados a unas necesidades específicas. Como apunta Ponce Solé (2019, p. 7), los algoritmos han pasado de ser estáticos (no predictivos) a ser dinámicos (predictivos), pudiendo distinguirse en esta dinamicidad aquellos de aprendizaje automático o machine learning, que tienen capacidad de aprender con el tiempo y la experiencia, dando lugar a soluciones distintas a las inicialmente programadas, susceptibles de proporcionar cierta trazabilidad, y los de aprendizaje profundo o deep learning, que forman redes neuronales complejas a partir de datos masivos, cuya trazabilidad es prácticamente inexistente. Esta ausencia de trazabilidad hace que el autor los califique como «opacos», ya que incluso a sus creadores les resulta imposible conocer cómo ha sido el proceso lógico seguido para adoptar una determinada decisión, independientemente de que sea ésta ajustada a Derecho o no, y de que resulte justa o injusta.

En este sentido, dado que los sistemas de inteligencia artificial basan su funcionamiento en algoritmos y éstos hacen depender su funcionamiento y precisión no sólo en cantidades masivas de datos, sino que además éstos deben ser de calidad, también pueden introducirse sesgos en las decisiones que se adopten, si los datos proporcionados están sesgados o el sistema no ha sido configurado adecuadamente, por lo que la imposibilidad de conocer qué datos concretos han sido empleados por el sistema para adoptar una decisión y cómo han sido relacionados tales datos resulta algo inadmisible en el ordenamiento jurídico-administrativo.

De acuerdo con Huergo Lora (2020, p. 43), las predicciones algorítmicas han llegado a sustituir los juicios de valor individuales emitidos por expertos, ya que tienen una capacidad adaptativa superior, motivo por el cual su desarrollo más relevante se ha dado en el sector privado, haciéndose uso por parte de las entidades bancarias para analizar riesgos en la concesión de préstamos hipotecarios, por las aseguradoras para los cálculos de riesgo de siniestralidad de potenciales asegurados o por servicios de streaming para ofrecer automáticamente determinados contenidos a sus clientes relacionados con anteriores patrones de uso.

La distinción fundamental entre algoritmos predictivos y no predictivos radica no sólo en su conceptualización y régimen jurídico, ya que los sistemas que se implanten basados en estos deberán proporcionar un el mismo nivel de garantías, especialmente en aquellos supuestos en que las decisiones que se adopten basados en ellos tengan incidencia sobre terceros, sino que implantar dichas garantías no resulta tan sencillo en el caso de los predictivos como en los no predictivos, dada la vocación de autoaprendizaje que se predica de los primeros frente a los segundos, que simplemente traducen la norma, automatizándola, para facilitar su aplicación.

Esta tarea predictiva de este tipo de algoritmos y las dificultades que entraña garantizar los derechos de los ciudadanos en su utilización ha sido objeto ya de algunos pronunciamientos jurisprudenciales en Europa, si bien merece destacar, por su gran trascendencia, el relativo al caso «SyRI», que ha sido objeto de estudio por autores como Cotino Hueso (2020). En este caso, se utilizaba la aplicación System Risk Indication (SyRI), basado en algoritmos predictivos, por parte de la administración holandesa con fines de investigación en materia tributaria y de seguridad social, la cual se nutría de datos masivos de los ciudadanos, de forma que, a partir de éstos, el sistema generaba informes de riesgo, notificando cuando había probabilidades de que se cometiesen irregularidades constitutivas de fraude o evasión fiscal por determinados grupos de obligados tributarios, gracias a los cuales se conseguía determinar si alguno de los sujetos que el sistema de inteligencia artificial consideraba de riesgo debían ser objeto de investigación. Este empleo de algoritmos predictivos y la ingente cantidad de datos inherentes a los ciudadanos relativos a su trabajo, sanciones administrativas, datos fiscales, bienes muebles e inmuebles, beneficios sociales, comerciales, de vivienda, de identificación, de integración cívica, cumplimiento de la legislación, educación, pensiones, deudas, permisos y exenciones, esto es, toda una suerte de datos sobre la vida cotidiana de los ciudadanos, fue lo que motivó el recurso y el posterior pronunciamiento judicial.

A pesar de que el sistema contaba con múltiples garantías, como de anonimización, división funcional, eliminación o de confidencialidad, un Tribunal de La Haya, tras examinar a fondo su funcionamiento, dictó sentencia el 5 de febrero de 202014, en la que, a pesar de reconocer los esfuerzos de la Administración Pública por ofrecer ciertas garantías en el uso de la aplicación, determinó que su empleo resultaba contrario al artículo 22 RGPD y al artículo 8 del Convenio Europeo de Derechos Humanos, ya que había carencias como la ausencia de auditorías externas independientes sobre el funcionamiento del algoritmo y la posible incidencia en derechos fundamentales de los ciudadanos, así como problemas derivados de la opacidad o «caja negra» (black box15) del sistema, esto es, falta de transparencia y explicabilidad del algoritmo en que se basaba el sistema de inteligencia artificial implantado por la Administración.

En definitiva, el Tribunal sentó las bases de que el principio de transparencia es un garante de la protección de datos y los derechos fundamentales de los ciudadanos; el propio sistema SyRI discriminaba determinadas zonas de la ciudad por su nivel bajo de renta sobre la base de los datos de los que se nutría el sistema de inteligencia artificial basado en algoritmos, motivo por el cual un alto porcentaje de la actividad investigadora se centraba en los ciudadanos residentes en esas localizaciones. Estos sesgos que introducía el sistema de inteligencia artificial tampoco son controlables en la práctica de forma efectiva, pues al tratarse de sistemas de autoaprendizaje los propios resultados sesgados pasan a ser resultados para tener en cuenta en futuras decisiones, que vuelven a resultar sesgados.

De acuerdo con la opinión de Cotino Hueso (2020, p. 3), en el desarrollo de sistemas de inteligencia artificial basados en algoritmos debe darse preferencia a aquellos que responden a white boxes, en contraposición a los black boxes, esto es, más transparentes pues, aunque sus resultados puedan ser menos efectivos, se incrementan las garantías y, con ello, la verificación de los principios y derechos constitucionalmente reconocidos a los ciudadanos en sus relaciones con las administraciones públicas.

Y es que una Administración actual y moderna debe ser, por utilizar el acertado término acuñado por Gamero Casado (2022, p. 271), una Administración facilitadora, en el sentido de procurar agilizar y simplificar el ejercicio de derechos de los ciudadanos, manifestación directa del Estado garante, lo cual debe pasar por la implementación de sistemas que agilicen y faciliten la actividad administrativa, como sucede con los sistemas de inteligencia artificial pero, al mismo tiempo, debe garantizar la observancia del principio de transparencia y la explicabilidad de los algoritmos que se emplean en la adopción de decisiones que afectan a los derechos e intereses de aquéllos.

Algunas administraciones públicas están trabajando en esta línea, como el Ayuntamiento de Barcelona, el cual ha elaborado un documento de “Definición de metodologías de trabajo y protocolos para la implementación de sistemas algorítmicos”16 en el que establece exigencias de (i) transparencia en el procedimiento, a fin de suministrar información pública relativa al sistema algorítmico o al proceso seguido en el desarrollo y la aplicación de dicho sistema y de los datos utilizados, de forma que, en caso de derivarse daños por el uso de sistemas de inteligencia artificial, pueda detectarse su origen y causas; (ii) transparencia técnica, en virtud de la cual todo proveedor de sistemas algorítmicos deba facilitar a la Administración información acerca del funcionamiento técnico de los mismos, incluyendo el código fuente, especificaciones técnicas, los datos utilizados y el proceso de obtención de los mismos, la justificación de la elección del modelo concreto y sus parámetros, así como información sobre el rendimiento del sistema; y (iii) explicabilidad, en el sentido de conocer los factores clave que han llevado a un sistema algorítmico a un resultado concreto y los cambios que tienen que hacerse en los datos de entrada con el fin de obtener un resultado diferente.

Este último requisito es de extrema importancia no sólo para poder llevar a cabo auditorías de los sistemas de inteligencia artificial basados en algoritmos, sino también y más importante, para la motivación de los actos administrativos en los casos exigidos ex artículo 35 LPAC, toda vez que la motivación consiste precisamente en poner de manifiesto las razones de hecho y de Derecho que justifican una determinada decisión, y su ausencia en los casos exigibles podría dar lugar a supuestos de invalidez de los actos dictados prescindiendo de la debida motivación.

Resulta por tanto fundamental distinguir la transparencia exigible a los sistemas de inteligencia artificial, de la explicabilidad de las decisiones adoptadas por éstos. La transparencia, de acuerdo con Loi et al. (2021), obedece a diversas finalidades como la prevención de adopción de decisiones sesgadas o no éticas, difundir el conocimiento de los sistemas para su mejora técnica o de la propia tecnología empleada, o permitir la participación individual o colectiva (democrática) en la adopción y condiciones de uso de este tipo de sistemas. La explicabilidad, por su parte, tiene como principal finalidad permitir la motivación de las decisiones adoptadas haciendo uso de sistemas de inteligencia artificial basados en algoritmos.

Como apunta Cotino Hueso (2022, pp. 29 y ss.), las acepciones de la transparencia son variadas, y en múltiples ámbitos, no sólo en el Derecho, pero la explicabilidad es un concepto distinto asociado a aquélla, en tanto en cuanto supone la capacidad para proporcionar a las personas las razones de la adopción de una determinada decisión, a pesar de que ello suponga un detrimento en la calidad o precisión del propio sistema de inteligencia artificial. Dependiendo de la finalidad para la que se emplea el sistema, podrá darse prioridad a la precisión o exactitud del sistema (reduciendo su explicabilidad) o al conocimiento detallado de las razones por las que se adopta una determinada decisión administrativa (reduciendo su exactitud); por tanto, si se trata de un acto administrativo dirigido a un ciudadano, deberán exponerse las razones que han dado lugar al mismo, proporcionando de esta forma seguridad jurídica y permitiéndole impugnar la decisión, ya que difícilmente podrá hacerlo con plenas garantías de su derecho de defensa (artículo 24 CE) sin conocer las razones reales por las que se adoptó, pudiendo dar lugar, en caso contrario, a vicios de invalidez relacionados con la vulneración de derechos fundamentales constitucionalmente reconocidos.

Si bien la transparencia puede ofrecer una forma efectiva de proporcionar información, a la ciudadanía en general, de los sistemas de inteligencia artificial que se emplean, así como para evaluar cómo funcionan los algoritmos en que se sustentan, la explicabilidad va más allá, de forma que, gracias a su observancia, se puede no sólo conocer el funcionamiento intrínseco del sistema de inteligencia artificial, sino también cómo se nutre de los datos, con el fin de corregir este sistema de entrada en caso de que los resultados no sean satisfactorios o se detecten sesgos en las decisiones adoptadas. Y es que resulta imprescindible recordar que cualquier sistema de inteligencia artificial y su algoritmo requiere de datos de entrada para su funcionamiento, por lo que la exactitud y selección de estos determina tanto el rendimiento del sistema como la posibilidad de introducir los nada deseables sesgos17, por lo que debería establecerse una estrategia a tal fin desde el diseño del sistema hasta su puesta en funcionamiento, debiéndose además controlar, auditar y actualizar en caso necesario durante el funcionamiento de dicho sistema de inteligencia artificial para garantizar que éste sigue siendo correcto, corrigiendo los defectos que se detecten en caso contrario.

A estos efectos, entre las recomendaciones incluidas por Loi et al. (2021, p. 2) se encuentran analizar los riesgos de un sistema de inteligencia artificial caso a caso, no de forma generalizada, y de forma transparente con el fin de no vulnerar principios éticos ya que, a juicio de la autora, aunque la transparencia no elimina los riesgos éticos del empleo de sistemas de inteligencia artificial, es un requisito para tal fin.

Es por ello que la transparencia puede encontrarse prácticamente en cualquier documento publicado por organismos públicos, entre los que se encuentra la Comisión Europea, como principio de necesaria observancia sin el cual no se concibe una inteligencia artificial adecuada. Por ejemplo, el High-Level Expert Group on Artificial Intelligence (AI HLEG) o Grupo de Expertos de Alto Nivel en Inteligencia Artificial, en su reciente documento “The assessment list for trustworthy artificial intelligence (ALTAI18)” exige como cuarto requisito la observancia del principio de transparencia, que subdivide en exigencias de (1) trazabilidad, para conocer en todo momento la calidad de los datos que emplea el sistema de inteligencia artificial, tanto de entrada como de salida, y tener conocimiento permanente del proceso que emplea para adoptar decisiones; (2) explicabilidad, en el sentido de conocer las razones por las que el sistema ha adoptado una determinada decisión, debiendo tener especial cuidado con los black boxes y permitiendo obtener cierta retroalimentación de los destinatarios de tales decisiones, de forma que se pueda conocer la opinión de los mismos lo cual, aplicado al sector público, debería suponer efectuar auditorías que incluyan encuestas de satisfacción por parte de ciudadanos, de forma que puedan comprobarse si las decisiones se están adoptando de forma correcta o no; y (3) comunicación con los usuarios del sistema, de forma que se les informe de los riesgos, limitaciones y posibilidades que ofrece esta tecnología para que tengan en cuenta las circunstancias en que se están adoptando las decisiones por parte de los poderes públicos. Esta última cuestión debería replantearse normativamente, pues lo más conveniente sería exigirse la previa aprobación del empleo de sistemas de inteligencia artificial (y sus algoritmos, por tanto) por parte de las administraciones públicas con exigencias de publicación, de forma que los ciudadanos puedan consultar, incluso a través de los portales de transparencia, si sus decisiones van a ser adoptadas haciendo uso de esta tecnología, de forma que se verifique el principio de seguridad jurídica y se proporcione, de esta forma, un espacio de confianza en la adopción de decisiones basadas en inteligencia artificial.

Estas exigencias de publicidad exigirían la necesaria aprobación y publicación posterior de los sistemas basados en automatismos e inteligencia artificial por parte de los órganos competentes de la Administración que los va a implantar; no obstante, en la actualidad, a pesar de haberse previsto en el artículo 13.2 RAE, el precepto es de aplicación estatal, por lo que no resulta suficiente a mi juicio. Esta regulación exige la aprobación de la implantación mediante un acto administrativo, sin perjuicio de que, como apunta Gamero Casado (2023, p. 407), también se haya llevado a la práctica mediante normas con rango de Ley.

Para la actividad administrativa automatizada en el ámbito tributario, por ejemplo, la regulación también resulta claramente insuficiente (Berning Prieto, 2022, pp. 25 y ss.), toda vez que el artículo 96.4 de la Ley 58/2003, de 17 de diciembre, General Tributaria (LGT) exige la previa aprobación de los programas y aplicaciones electrónicas, informáticas y telemáticas que vayan a ser utilizados por la Administración tributaria para el ejercicio de sus potestades administrativas19 «de la forma que reglamentariamente se determine», dicho desarrollo reglamentario se encuentra en el artículo 85 del Real Decreto 1065/2007, de 27 de julio, por el que se aprueba el Reglamento General de las actuaciones y los procedimientos de gestión e inspección tributaria y de desarrollo de las normas comunes de los procedimientos de aplicación de los tributos (RLGT), el cual establece una serie de reglas para determinar la competencia para la previa aprobación de los programas y aplicaciones, siempre y cuando estos efectúen tratamientos de información cuyo resultado sea utilizado por la Administración tributaria para el ejercicio de sus potestades y por las que se determine directamente el contenido de las actuaciones administrativas:

• Resolución del órgano responsable a efectos de la impugnación de los correspondientes actos administrativos que pretendan dictarse.
• Resolución del órgano superior jerárquico común de la Administración tributaria de que se trate, sin perjuicio de las facultades de delegación establecidas en el ordenamiento jurídico, para aquellos supuestos en que se trate de distintos órganos de la Administración tributaria no relacionados jerárquicamente.

No obstante, no se especifica el procedimiento concreto a seguir para su aprobación, ni la publicidad o posibilidad de participación de terceros en dicha decisión, toda vez que no se exige que se tramite conforme al procedimiento previsto para disposiciones de naturaleza reglamentaria20, caso en que gozaría de tales exigencias participativas, sino que resulta suficiente la mera adopción de un acto administrativo de aprobación del programa con carácter previo a su puesta en funcionamiento.

En cumplimiento de las previsiones normativas anteriormente referidas, en el ámbito de la Administración tributaria, se han publicado las aplicaciones y programas informáticos autorizados para su empleo en la actividad administrativa automatizada mediante Resolución de la Dirección General de la Agencia Estatal de Administración Tributaria de 29 de diciembre de 2010, por la que se aprueban las aplicaciones informáticas para las actuaciones administrativas automatizadas. Sin embargo, del examen del contenido de la precitada resolución administrativa se desprende que todas las aplicaciones que aprueba están destinadas a la actividad administrativa automatizada de mero trámite, ya que se trata de actividades tales como la obtención por los ciudadanos de diversos certificados: el de encontrarse al corriente de las obligaciones tributarias, de residencia fiscal, etc. o la generación de diversas diligencias como la de constancia de la transmisión del resultado de las actuaciones consecuencia de diligencias de embargo de cuentas bancarias presentadas por medios telemáticos, de embargo de bienes muebles, etc. e incluso la generación de una copia electrónica a partir de un documento en soporte papel, entre otros.

Ciertamente mediante la precitada resolución se da cumplimiento al mandato normativo anteriormente mencionado de aprobación previa de las aplicaciones y programas informáticos, no obstante lo cual en la misma no se contempla la aprobación de programas de uso interno que emplean inteligencia artificial para la toma de decisiones, sean éstas utilizadas para determinar los contribuyentes a los que se va a efectuar un control o inspección en materia de tributos, sean para adoptar resoluciones que ponen fin a un procedimiento tributario.

Y es que en este punto habrían de distinguirse dos supuestos bien diferenciados a la hora de regular la cuestión: la aprobación de programas para actuaciones de mero trámite o auxiliares, y la de programas con trascendencia para los ciudadanos o interesados, caso este último en que sería aconsejable permitir la participación de terceros en el procedimiento de aprobación de la aplicación, con conocimiento además de los datos que van a emplearse durante su uso, por ejemplo. Este aspecto resulta crucial, ya que proporcionaría garantías adicionales en relación con el uso de datos personales por los sistemas de inteligencia artificial, permitiendo desarrollar evaluaciones de impacto normativo y daría lugar posteriormente a auditorías algorítmicas, como sugiere Olivares Olivares (2022, p. 259).

En este último supuesto resultaría más conveniente la previa aprobación, con publicidad posterior, de los programas que se empleen para determinar aquellos supuestos en que se utilizan datos masivos en la adopción de decisiones, de forma que se pueda, al menos, conocer la tipología de software que se está empleando por parte de la administración tributaria, sin perjuicio de que determinados aspectos de su funcionamiento interno no sean objeto de publicidad, toda vez que pueden existir razones de interés general o de seguridad nacional que conlleven una menor publicidad únicamente de aquellos aspectos que, de publicarse, podría poner en peligro la seguridad de los sistemas informáticos de la Administración o el buen fin de la actuación administrativa que se pretende llevar a cabo.

No obstante, la regulación en el ámbito tributario de la actividad administrativa automatizada adolece de similares carencias a las existentes en la LRJSP puestas de manifiesto por autores como Díaz Calvarro (2020, p. 9), toda vez que no se prevén consecuencias en supuestos de no publicarse la información relativa a la programación previa, la supervisión del sistema de información o la aprobación y publicidad de programas y aplicaciones informáticas, que lleva a proponer a algún autor incluso la introducción como causa de anulabilidad del acto su incumplimiento, cuestión discutible pero no carente de lógica, como tuve ocasión de apuntar con anterioridad (Berning Prieto, 2019).

No cabe duda de que la inteligencia artificial y su empleo por parte de las administraciones públicas adolece en la actualidad de una absoluta falta de regulación, pues las únicas previsiones normativas existentes (como la relativa a la actividad administrativa automatizada en los artículos 41 y ss. LRJSP) resultan del todo insuficientes, y dicha regulación deberá comprender, entre otros aspectos, la publicidad a que deben someterse tanto los sistemas de inteligencia artificial como el funcionamiento de los algoritmos en que éstos se basan, así como la necesidad de establecer adecuadamente las cláusulas de los contratos que se liciten por parte del sector público y cuyo objeto sea el desarrollo, la adquisición o la implantación de sistemas basados en inteligencia artificial.

La Unión Europea ha dado ya serios pasos en este ámbito, encontrándose en tramitación la Propuesta de Reglamento de IA, norma que regulará a nivel comunitario el uso de sistemas de inteligencia artificial, cuya regulación se basa en una clasificación de los sistemas en función de su nivel de riesgo, de forma que se inadmiten los que presentan un riesgo inaceptable y se regula la admisión de sistemas con riesgo alto o mínimo. No obstante, el establecimiento de la obligación de aprobar las aplicaciones o servicios basados en inteligencia artificial es una cuestión nacional que deberá regularse por los Estados Miembros de la Unión, sin que la Propuesta contenga previsiones en ese sentido; no obstante, dicha aprobación por parte de la Administración debería contener un pronunciamiento expreso indicando el nivel de riesgo que presenta el sistema de inteligencia artificial que pretende implantar.

3.4. Breve referencia a la imputación orgánica de la decisión administrativa adoptada mediante sistemas de inteligencia artificial

Cuestión aparte merece la eventual imputación a la Administración autora del acto administrativo que contenga una determinada decisión administrativa adoptada mediante sistemas de inteligencia artificial.

La teoría del órgano fue ampliamente tratada en su concepción tradicional por autores como Santamaría Pastor (1984, pp. 43-86), si bien otros han abordado la cuestión recientemente al tratar la actuación administrativa automatizada, entre los que cabe destacar el precursor de estos planteamientos, Valero Torrijos, para quién:

«[…] la adopción de los actos administrativos como resultado de un proceso automatizado en el que se ha desplazado completamente toda intervención humana directa produce una quiebra del elemento subjetivo del acto administrativo en la medida en que no existe una intervención inmediata del titular del órgano en la determinación de su contenido, por lo que difícilmente cabe imputarle de forma directa la producción del acto incluso en el caso de que estampara personalmente su firma en el mismo dado que se limita a validar formalmente la respuesta elaborada por un sistema automatizado».

Por su parte, otros como Martín Delgado (2009, p. 366) han defendido que la automatización no influye en la teoría del órgano, sobre la base de que:

«toda persona jurídica –también la Administración– necesita con carácter general de personas físicas que realicen materialmente las actuaciones que pueden-deben llevar a cabo. Esa actividad material, y aquí radica la novedad, puede ser actualmente desarrollada por un ordenador en ejecución de una aplicación informática específicamente creada y configurada para ello. Pero esto es irrelevante para la teoría del órgano, pues la actuación se sigue imputando al órgano que tiene encomendada la competencia, que es además quien firma el acto; y también lo es para la concepción del acto administrativo, pues su contenido puede ser el mismo. La única diferencia radica en que la conexión no tiene lugar a través de la intervención directa del titular del órgano, sino mediante el empleo de un sistema de firma».

En el mismo sentido, Delgado y Oliver (2007) se cuestionan si, cuando es una aplicación informática exclusivamente quien dicta un acto administrativo, afectaría o no a la validez del propio acto, caso en que advierten que las posiciones doctrinales están encontradas al respecto puesto que, si bien es cierto que las aplicaciones informáticas carecen de voluntad propia, ya que son el resultado de datos y programas, ello no obsta para considerar válidos los actos producidos de esta manera, respetando los requisitos que exige la normativa legal relativos a la identificación de los órganos competentes para la programación y supervisión del sistema de información y, por otro lado, de los órganos competentes para resolver los recursos que puedan interponerse, para garantizar el derecho a la defensa de los ciudadanos. Por tanto, a juicio de tales autores, es posible entender la imputación del acto dictado a los órganos competentes para la programación y supervisión del funcionamiento de los sistemas de información empleado.

Alguna norma también ha hecho eco de estos planteamientos, como la Ley catalana 26/2010, de 3 de agosto, de régimen jurídico y de procedimiento de las administraciones públicas de Cataluña, cuando señala en su artículo 44.3 que «la actuación administrativa automatizada no afecta a la titularidad de la competencia de los órganos administrativos ni a las competencias atribuidas para la resolución de los recursos administrativos».

Para Ponce Solé (2019, p. 28) resulta claro que los algoritmos se limitan a sustituir al decisor humano, por lo que entiende que la máquina adopta la decisión por delegación del humano, siendo a éste a quién se imputa a todos los efectos la citada decisión, al igual que otros como Parada (1999), para quién los actos administrativos son manifestaciones de voluntad y las máquinas, al no tenerla, carecen de posibilidad de producir actos jurídicos y lo que reflejan no es más que el resultado de los datos y programas que se introducen en ellas, por lo que la producción jurídica sigue estando referida a los funcionarios y autoridades que se sirven de aquéllas. Ponce Solé examina igualmente la posibilidad de utilizar sistemas de inteligencia artificial en la adopción de decisiones discrecionales, cuyo parecer es que puede traer consigo ventajas e inconvenientes, toda vez que, si bien es cierto que los algoritmos tienen una capacidad superior de generar alternativas y ponderarlas, no lo es menos que carecen de la empatía que exige el ejercicio de potestades discrecionales, como la necesidad de tener en cuenta en determinados casos conceptos jurídicos valorativos como la buena conducta, la buena fe o la equidad en supuestos de revisión de oficio revocación de actos declarativos de derechos, al carecer los sistemas de inteligencia artificial de consciencia, emoción o humanidad; por todo ello aboga por una regulación que prohíba el uso de inteligencia artificial en la adopción de decisiones discrecionales.

Ciertamente resulta una postura claramente garantista y plenamente justificada. No obstante, en mi opinión, si bien la regulación que se efectúe del uso de sistemas de inteligencia artificial en la adopción de decisiones que afectan a derechos e intereses de los ciudadanos debe realizarse con las precauciones debidas, prohibir de forma generalizada su empleo por el mero hecho de tratarse de una decisión discrecional podría conllevar la pérdida de las ventajas que ofrece esta tecnología y que podría servir a objetivos de eficiencia y objetividad en la toma de decisiones jurídico-administrativas por parte de los poderes públicos.

Quizás una solución intermedia podría ser permitir la adopción de decisiones discrecionales mediante sistemas de inteligencia artificial introduciendo, al mismo tiempo, un elemento de control final de las decisiones en aquellos supuestos en que deban tenerse en cuenta aspectos como los enunciados por Ponce Solé (2019, p. 29), de forma que el interés público pueda beneficiarse de aspectos tales como la objetivación de decisiones discrecionales y la celeridad en su resolución, pero al mismo tiempo introduciendo elementos garantistas para los derechos e intereses de los ciudadanos destinatarios del ejercicio de tales potestades discrecionales.

Volviendo a la posible necesidad de reformulación de la teoría del órgano, su tradicional conceptualización podría estar siendo superada por la intervención tecnológica, de acuerdo con autores como Valero Torrijos (2007, pp. 72 y ss.), Alamillo Domingo y Urios Aparisi (2007, p. 4). Para Martín Delgado (2009, pp. 356 y ss.), no obstante, la actividad administrativa automatizada se encuentra perfectamente alineada tanto con la teoría del órgano como con la del acto administrativo.

En este sentido, el autor defiende, de un lado, que el hecho de que la decisión la adopte una máquina no quiere decir que no pueda imputarse a un órgano, ya que la autoría del acto recaerá sobre el órgano administrativo que ejerce la potestad y tiene encomendada la competencia ex lege; y, de otro, que un acto administrativo dictado por una máquina sigue respondiendo a su definición, esto es, si se cumple el supuesto de hecho previsto en la norma, se aplica la consecuencia jurídica en ella contenida por lo que, mediante este simple proceso, se satisface el interés general, radicando la diferencia únicamente en que este proceso intelectivo lo realiza una máquina y no una persona, ya que la imputación de la voluntad al órgano es en realidad una ficción, ya sea dictado automática o manualmente.

Dicha afirmación resulta claramente aplicable al ámbito de la actuación administrativa automatizada basada en algoritmos no predictivos, pero con el uso de los algoritmos predictivos es necesario detenerse a examinar si se mantiene la validez de la teoría del órgano y del acto administrativo (Berning Prieto, 2023, pp. 96 y ss.). Y es que, a pesar de que Martín Delgado (2009, p. 357) defiende que de la incorporación de nuevas tecnologías de este tipo a las administraciones públicas se derivan consecuencias, pero no para los conceptos de órgano o acto administrativo, sino sobre su régimen jurídico, quizás haya llegado el momento de repensar la teoría del órgano en el sentido de imputar la actividad basada en inteligencia artificial (en definitiva, en algoritmos) a la propia entidad en lugar de a un órgano concreto de la misma.

3.5. La necesaria regulación, a través de la contratación pública, de la adquisición de soluciones de inteligencia artificial por las administraciones públicas

Con un empleo cada vez más habitual de sistemas de inteligencia artificial por parte de las administraciones públicas, ninguna duda cabe de que su adquisición se llevará a cabo, fundamentalmente, mediante procedimientos de adjudicación regulados por la Ley 9/2017, de Contratos del Sector Público (LCSP, en adelante). Como se ha tenido ocasión de examinar, las vicisitudes prácticas a que puede dar lugar su empleo hacen necesaria una correcta regulación no sólo en su empleo, sino también a la hora de adquirir tales soluciones basadas en inteligencia artificial, toda vez que de ello dependerá su posterior utilización y el grado de transparencia o explicabilidad que puedan ofrecer los sistemas.

En primer lugar, resulta evidente que, tanto para la preparación como para la adjudicación del contrato de soluciones basadas en inteligencia artificial, como durante la ejecución del contrato, es necesaria la intervención de personas de diversa cualificación, no sólo especialistas informáticos, sino también juristas para gestionar adecuadamente dicha licitación, debiendo por tanto ser un equipo multidisciplinar el que intervenga a lo largo de las diversas fases, en el que tendrían cabida también, de acuerdo con Gallego Córcoles (2023, p. 511), filósofos del Derecho o politólogos, e incluso personal técnico o administrativo que ejerza funciones de atención al ciudadano, o funcionarios que prestan sus servicios en la Oficina de Asistencia en Materia de Registro, toda vez que son los que tienen conocimiento en primer lugar de las vicisitudes que los ciudadanos sufren en sus relaciones (electrónicas fundamentalmente) con la Administración.

Dicha intervención debe comenzar durante la preparación del expediente de contratación, dado que para la determinación de las necesidades a satisfacer y para concluir que éstas pueden ser satisfechas por un sistema de inteligencia artificial es necesario que expertos de diversos ámbitos intervengan en la toma de decisiones. A este respecto debe tenerse en cuenta que, si bien es cierto que las personas que participen en la elaboración de la documentación contractual no pueden posteriormente formar parte de la mesa de contratación ex artículo 326 LCSP, no lo es menos que sí pueden ser llamados por aquélla para ser asesorados técnicamente de conformidad con el artículo 326.5 LCSP.

Durante la motivación de la necesidad del contrato resulta especialmente relevante tener en cuenta que la contratación pública actual debe responder también a necesidades sociales y medioambientales, y las soluciones de inteligencia artificial pueden tener incidencia en el ámbito social (pueden provocar la reducción de puestos de trabajo, o reducción de su carga, por lo que habría de motivarse si precisamente se busca reducir la carga de trabajo inespecífica en beneficio de una dedicación de ese mismo personal a tareas más específicas o complejas) y medioambiental (el coste energético de la inteligencia artificial, al basarse en la realización de cálculos matemáticos complejos que requieren energía eléctrica, se incrementa considerablemente). Por ejemplo, siguiendo a González Cabanes y Díaz Díaz (2023, p. 67), en aquellos casos en que un algoritmo tradicional pueda dar respuestas a las necesidades exigidas, será preferible frente a un sistema basado en deep learning o redes neuronales, toda vez que éstos consumirán muchos más recursos.

En segundo lugar, debe tenerse en cuenta que previamente a la licitación puede hacerse uso de las consultas preliminares de mercado reguladas en el artículo 115 LCSP, de forma que de las mismas se pueda conseguir información muy valiosa para la preparación de la misma, tanto del mercado en sí como de las propias soluciones de inteligencia artificial que serían viables para la necesidad a satisfacer con la contratación pretendida. Los resultados obtenidos de dichas consultas se incorporarían al redactar la documentación que rija la licitación, debiéndose motivar en caso contrario la decisión de no hacerlo.

En tercer lugar, una vez determinadas las necesidades a satisfacer y que la fórmula más adecuada para ello se basa en una solución de inteligencia artificial, se estará en disposición de determinar las especialidades o especificidades a prever en la documentación contractual, en la que uno de los aspectos de mayor trascendencia será las condiciones exigibles de transparencia y explicabilidad del algoritmo que sustenta dicho sistema, especialmente por las necesidades específicas de motivación de los actos administrativos a que se deben las administraciones públicas ex artículo 35 LPAC.

Si bien el citado precepto establece los supuestos en que deben motivarse los actos administrativos, su amplitud hace que, en la práctica, la mayoría de los actos administrativos deban dictarse de forma motivada, aspecto que ha sido recordado por el Tribunal Constitucional en su sentencia 46/2014, entre otras, especialmente para los actos que limiten o restrinjan derechos de los interesados. Por tanto, al emplear sistemas de inteligencia artificial, es imprescindible que estos permitan motivar los actos que se dicten a su amparo o incluso se motiven directamente por los mismos, en caso de tratarse de actividad administrativa automatizada, si dicha motivación puede efectuarse de esta forma por ser susceptible de programación previa.

En este sentido, debe tenerse en cuenta que la posibilidad del ciudadano de conocer la motivación que sustenta el acto no supone una explicación detallada, sino que se trata de que el mismo pueda tener acceso a los medios necesarios para justificar los criterios y procesos mediante los que el sistema ha adoptado la decisión, de forma que, si lo estima conveniente, pueda recurrirla con pleno conocimiento de los motivos y razones o fundamentos que han llevado al sistema basado en inteligencia artificial a adoptar un criterio, y no otro. Para dar cumplimiento a esta exigencia es imprescindible que la Administración, al adquirir una solución basada en inteligencia artificial, garantice para sí misma (y, por ende, para los ciudadanos que posteriormente sean destinatarios de su empleo) el acceso al código fuente y la programación de la misma, de forma que se pueda «descifrar» posteriormente el proceso lógico que ha seguido el sistema al adoptar una decisión.

Debe tenerse en cuenta que hay ya diversos pronunciamientos jurisprudenciales que han anulado decisiones basadas en sistemas de inteligencia artificial por no poder ofrecer la debida motivación (sentencias n.º 2270, de 8 de abril de 2019, y 8472, de 13 de diciembre posterior, del Consiglio di Stato italiano), e incluso se ha anulado algún sistema por introducir sesgos de diversa índole en las decisiones administrativas, como ocurrió en el caso SyRI, como se tuvo ocasión de comentar anteriormente21.

Esta situación puede ocasionar problemas de oscurantismo, sin duda, que han sido puestos de manifiesto, entre otros, por De la Cueva (2018), para quién esta problemática se suscita en dos ámbitos funcionales: en los de gestión y en los de control, de forma que la modificación de una determinada aplicación podría modificar de forma directa la Ley o el Reglamento a que su funcionamiento obedece, transgrediendo de forma directa el principio de legalidad y alterando el sistema de fuentes en la adopción de la decisión, llegando incluso a afirmar la posibilidad de encontrarnos ante casos que supongan una verdadera dictadura de la máquina.

Si bien dicha apreciación parece excesiva, no puede obviarse que el control del funcionamiento de las aplicaciones es un verdadero reto para los poderes públicos que hacen uso de ellas, ya que pasaría por formar grupos de expertos interdisciplinares que aunasen a informáticos y juristas (algo cada vez más necesario en la administración electrónica) para verificar periódicamente que el funcionamiento se ajusta a la norma.

A tal fin, se torna necesario, a la hora de adquirir soluciones de inteligencia artificial, el establecimiento en la documentación contractual de la obligación de que se proceda a la cesión, por parte del adjudicatario, de los derechos de propiedad intelectual o industrial referidos a las aplicaciones que se desarrollen durante la ejecución del contrato, de forma que se pueda tener acceso a los mismos una vez implantado y de esta forma poder controlar periódicamente su adecuación a la normativa que deben aplicar, de forma que en el supuesto de surgir nuevas necesidades o cambios normativos, también dichos sistemas adquiridos puedan ser susceptibles de modificación o adaptación.

Evidentemente, esta opción no será viable en aquellos supuestos en que, en lugar de licitar un contrato de prestación de servicios consistente en el desarrollo de una solución basada en inteligencia artificial, se licite un contrato de suministro para la adquisición de licencias de uso de soluciones ya existentes, por lo que para conseguir una verdadera actuación administrativa garantista se deberá apostar por el desarrollo de aplicaciones para uso exclusivo por las administraciones públicas y posterior compartición con el resto a través de las herramientas en materia de transferencia de tecnología reguladas en el artículo 158 LRJSP materializado en el Centro de Transferencia de Tecnología de la Administración General del Estado22.

De hecho, la redacción actual del artículo 16.4 ENI dispone, en relación con las condiciones de licenciamiento, que:

«A efectos de facilitar el establecimiento de las condiciones de licenciamiento, las Administraciones Públicas incluirán en los pliegos de cláusulas técnicas de aquellos contratos que tengan por finalidad el desarrollo de nuevas aplicaciones informáticas, los siguientes aspectos:

a) Que la Administración contratante adquiera los derechos completos de propiedad intelectual de las aplicaciones y cualquier otro objeto de información que se desarrollen como objeto de ese contrato.

b) Que, en el caso de reutilizar activos previamente existentes, la Administración contratante reciba un producto que pueda ofrecer para su reutilización posterior a otras Administraciones Públicas. Además, en el caso de partir de productos de fuentes abiertas, que sea posible declarar como de fuentes abiertas la futura aplicación desarrollada».

El propio Comité de Ministros del Consejo de Europa es sensible a esta problemática y, en este sentido, ya afirmó en su Declaración de 8 de abril de 202023 que:

«los Estados deberían establecer niveles adecuados de transparencia con respecto a los criterios y métodos básicos de contratación pública, utilización, diseño y procesamiento de los sistemas algorítmicos aplicados por y para ellos, o por agentes del sector privado. Los marcos legislativos para la propiedad intelectual o los secretos comerciales no deben impedir esa transparencia, ni los Estados o los particulares deben tratar de explotarlos con este fin. Los niveles de transparencia deben ser lo más altos posible y proporcionales a la gravedad de los impactos adversos en los derechos humanos, incluidas las etiquetas o sellos éticos de los sistemas algorítmicos para permitir a los usuarios navegar entre sistemas. El uso de sistemas algorítmicos en los procesos de toma de decisiones que conllevan altos riesgos para los derechos humanos debe estar sujeto a normas particularmente estrictas en lo que respecta a la explicabilidad de los procesos y los resultados».

Por tanto, resulta inexcusable proporcionar a los ciudadanos una transparencia efectiva y la trazabilidad debida de los sistemas algorítmicos empleados por los poderes públicos en su toma de decisiones, especialmente las que afectan a los ciudadanos, sin que deban objetarse derechos de propiedad intelectual, secreto comercial o criterios de seguridad por oscuridad para evitarlo.

En estos últimos supuestos, incluso sería posible un acceso parcial a la información, como sucede en materia de transparencia cuando existen datos inaccesibles protegidos, para permitir el acceso únicamente a aquellos datos relevantes a efectos de motivación, sin otorgar acceso a aquellas partes de la programación que pudiesen poner en peligro la seguridad de los sistemas de información del sector público.

4. CONCLUSIONES

La adopción de sistemas de inteligencia artificial por parte de las administraciones públicas es una necesaria adaptación al momento histórico-tecnológico en que nos encontramos, y sin duda puede proporcionar múltiples beneficios tanto a la Administración Pública, mediante un incremento de la eficacia y eficiencia, como para los ciudadanos, que pueden ver reducidos los tiempos de respuesta a sus necesidades.

No obstante lo anterior, la implantación de sistemas de inteligencia artificial no sólo proporciona ventajas y beneficios, sino que también puede traer consigo inconvenientes o perjuicios en determinados casos si no se dota de un régimen jurídico adecuado por parte de los poderes públicos y así se consigue que su implantación tenga las garantías jurídicas necesarias a tal fin, como también ha tenido ocasión de apuntar Chiarello (2022, p. 186) en relación con la prestación de servicios públicos basados en inteligencia artificial. Esta necesidad regulatoria resulta fundamental para proporcionar seguridad jurídica en el uso de esta tecnología y exige un esfuerzo por parte de los poderes públicos que, en el ámbito de la Unión Europea, tiene su máximo exponente en la Propuesta de Reglamento de IA, esfuerzo que no excluye la necesidad de que también cada Estado Miembro regule convenientemente su empleo, especialmente en el sector público. En nuestro ordenamiento jurídico, más allá de la regulación de la actividad administrativa automatizada efectuada en la LRJSP, que deviene claramente insuficiente a tal fin, no existe una regulación expresa de la inteligencia artificial ni de su uso por parte del sector público, por lo que resulta imprescindible que se aborde esta cuestión y se proporcione un marco jurídico adecuado, conforme con la regulación europea que se encuentra en gestación, para que el resultado de la aplicación de esta tecnología tenga más ventajas que inconvenientes y salvaguardar de esta forma la seguridad jurídica y las garantías debidas a los ciudadanos.

Como recientemente ha apuntado Barrio Andrés (2020), en el que el autor denomina «Estado algorítmico de Derecho» deben establecerse mecanismos jurídicos para evaluar no sólo la exactitud, relevancia y calidad de los datos de entrenamiento, sino también otros aspectos conexos e imprescindibles como la publicidad del código fuente, la fiscalización algorítmica y de los sistemas, tanto ex ante como ex post, el control de los sesgos en los sistemas de aprendizaje automático, la fundamentación de las decisiones adoptadas o, como se ha denominado en el presente trabajo, la motivación de las mismas, así como las posibilidades de defensa y recurso frente a ellas, lo cual entronca directamente con la sugerencia de revisión de la teoría del órgano a que me referí anteriormente.

En definitiva, resulta positivo que las administraciones públicas, tanto en el ámbito estatal, autonómico como local, aboguen por la implantación de sistemas de inteligencia artificial para la mejora de la prestación de servicios públicos y para la gestión interna de procesos y la adopción de decisiones, pero se torna necesario el desarrollo normativo que sustente convenientemente dicha implantación con garantías suficientes, sin el cual el esfuerzo en la adquisición, implantación y puesta en funcionamiento de tales sistemas devendría inútil si, por ejemplo, las resoluciones administrativas adoptadas por éstos devienen inválidas y son anuladas judicialmente por no estar debidamente motivadas.

Otro aspecto práctico que debería tenerse en cuenta es la disponibilidad presupuestaria de las distintas administraciones públicas, ya que varía considerablemente. De hecho, la administración central tiene mucha más disponibilidad presupuestaria (recursos económicos) para la adquisición de soluciones basadas en inteligencia artificial, mientras que la autonómica y la local disponen de menos posibilidades económicas para hacer frente a tales adquisiciones, que suelen ser costosas. El Centro de Transferencia de Tecnología puede ser una baza a favor de las entidades locales en este sentido, no obstante lo cual, deberían habilitarse vías de financiación específicas para la adquisición de este tipo de soluciones para que los beneficios no sólo sean predicables de las administración central, sino también de las que, por otra parte, son más abundantes y resultan más accesibles y habituales para los ciudadanos, esto es, las entidades locales.

Por último, pero no por ello menos importante, debe tenerse en cuenta que la debida formación del personal al servicio de las administraciones públicas en cuestiones tecnológicas es fundamental para propiciar el cambio y una efectiva innovación, toda vez que una verdadera apuesta por la implantación de este tipo de sistemas basados en inteligencia artificial deben ir acompañadas de sesiones formativas adecuadas para propiciar la asimilación por quienes van a utilizarlos, tal y como expone Barrio Andrés24 en el reciente Informe Break the limits, en el que afirma que:

«[…] si el trabajo jurídico depende de los algoritmos y es realizado por ellos de forma gradual, es crucial que todos los profesionales jurídicos comprendan mejor la analítica de datos y la IA. Por ello, todos los profesionales del Derecho tienen que ser capaces de entender –en algún nivel– los conceptos y los fundamentos tecnológicos subyacentes».

Y es que la inversión en capacitación del personal al servicio de las administraciones públicas debería ser uno de los aspectos fundamentales a tener en cuenta al implantar este tipo de sistemas, que podrían incluso incluirse en los pliegos de cláusulas administrativas particulares en los contratos de adquisición de soluciones basadas en inteligencia artificial, de forma que la formación o capacitación en las soluciones adquiridas sea una obligación del adjudicatario, el cual, por otra parte, será el que mejor conozca la herramienta o solución a implementar y mejor pueda formar a sus futuros usuarios.

Diversas comunidades autónomas han impulsado iniciativas o participan en ellas para implementar soluciones de inteligencia artificial en virtud del programa RETECH (Redes Territoriales de Especialización Tecnológica), impulsado por la Estrategia Nacional de Inteligencia Artificial, con la que se pretende financiar diversas iniciativas regionales en diversos ejes de actuación, tales como el turismo (con el proyecto Spain Living Lab: Misión IA, coordinado por Canarias y siendo participantes Baleares, Andalucía, Aragón, Navarra, Asturias y Castilla-La Mancha), la salud (con el proyecto Salud Digital Inteligente coordinado por Murcia o blockchain (con el proyecto Infraestructura para Red Española de Blockchain, coordinado por la Comunidad de Madrid y siendo participantes Asturias y Canarias), entre otros25.

Al igual que en el ámbito estatal, también las comunidades autónomas están planificando el uso de la inteligencia artificial, como sucede en Andalucía, la cual ha aprobado recientemente mediante Acuerdo de 20 de junio de 2023, del Consejo de Gobierno, por el que se aprueba la “Estrategia Andaluza de Inteligencia Artificial 2030”26, con los objetivos de posicionar a la comunidad autónoma a la vanguardia en el ámbito europeo en el uso de este tipo de tecnologías, mejorar la competitividad y posicionamiento del tejido empresarial productivo, incrementar la confianza, el uso responsable y ético de la inteligencia artificial y fomentar el uso de estas tecnologías en las administraciones públicas andaluzas. Anteriormente otras comunidades autónomas, como Cataluña27, e incluso entidades locales como el Ayuntamiento de Barcelona28, habían dado serios pasos en este sentido, con la aprobación de sus respectivas estrategias en materia de inteligencia artificial.

Este tipo de planificaciones autonómicas supone una clara apuesta por la inteligencia artificial y su efectiva implantación en el funcionamiento de las administraciones públicas de forma responsable, lo cual resulta crucial para proporcionar las garantías debidas al tiempo que se propicia su expansión, si bien debería proyectarse ad futurum también a la Administración Local a través de incentivos para su desarrollo e implantación, no sólo de naturaleza económica, sino también técnica y jurídica, para proporcionar los medios necesarios a aquellas entidades que desean posicionarse a la vanguardia tecnológica.

REFERENCIAS BIBLIOGRÁFICAS

Alamillo Domingo, I. y Urios Aparisi, X. (2007). Los límites a la utilización del sello de órgano por parte de las Administraciones Públicas en la Ley 11/2007 [comunicación presentada a las X Jornadas sobre Tecnologías de la Información para la Modernización de las Administraciones Públicas (TECNIMAP 2007) – Gijón]. Generalidad de Cataluña.

Barrio Andrés, M. (2020). Luces y sombras del Estado algorítmico de Derecho. Derecho Digital e Innovación, (5).

Barrio Andrés, M., Campos Acuña, C., Alamillo, N., Cuesta, P., Estrelles, A., Fontana, R., de Gaviria, N., Mad, S., Muñoz Lombardía, A., Nava, E., Perea, A., Pérez-Llorca, P., Prado Blanco, A., Remón, J. y Vives, F. (2023). La visión de los expertos. En Informe Break the limits 2023 (The Legal Innovation Report). Fundación Aranzadi La Ley.

Berning Prieto, A. D. (2019). Validez e invalidez de los actos administrativos en soporte electrónico. Thomson-Reuters Aranzadi.

Berning Prieto, A. D. (2021). La subsanación electrónica en el procedimiento administrativo: una cuestión pendiente de resolver en la jurisprudencia española. European Review of Digital Administration & Law. 2(1), 249-254. https://doi.org/10.53136/979125994243218

Berning Prieto, A. D. (2022). Implicaciones de la inteligencia artificial y los algoritmos en el sector público y sus particularidades en la Administración Tributaria. En B. D. Olivares Olivares (coord.), La inteligencia artificial en la relación entre los obligados y la Administración tributaria: retos ante la gestión tecnológica (pp. 23-45). La Ley.

Berning Prieto, A. D. (2023). La naturaleza jurídica de los algoritmos. En E. Gamero Casado (dir.) y F. L. Pérez Guerrero (coord.), Inteligencia artificial y sector público: retos, límites y medios, (pp. 95-130). Tirant Lo Blanch.

Boix Palop, A. (2020). Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones. Revista de Derecho Público: Teoría y Método, (1), 223-270. https://doi.org/10.37417/rpd/vol_1_2020_33

Bull, H. P. (2017). Der »vollständig automatisiert erlassene« Verwaltungsakt – Zur Begriffsbildung und rechtlichen Einhegung von »E-Government«. Deutsches Verwaltungsblatt, 132(7), 409-477. https://doi.org/10.1515/dvbl-2017-0705

Carloni, E. (2020). IA, algoritmos y Administración pública en Italia. Revista de Internet, Derecho y Política, (30). https://doi.org/10.7238/idp.v0i30.3228

Cerrillo Martínez, A. (2019a). El impacto de la inteligencia artificial en el Derecho Administrativo: ¿nuevos conceptos para nuevas realidades técnicas? Revista General de Derecho Administrativo, (50). https://www.iustel.com//v2/revistas/detalle_revista.asp?id_noticia=421172

Cerrillo Martínez, A. (2019b). How can we open the black box of public administration? Transparency and accountability in the use of algorithms. Revista Catalana de Dret Públic, (58), 13-28. https://doi.org/10.2436/rcdp.i58.2019.3277

Chiariello, A. M. (2022). AI and Public Services: a challenging relationship between benefits, risks and compliance with unavoidable principles. European Review of Digital Administration & Law, 2(2), 185-203. https://doi.org/10.53136/979125994752916

COMISIÓN EUROPEA (2021). Propuesta de reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión [COM/2021/206 final]. https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex%3A52021PC0206

Cotino Hueso, L. (2020). «SyRI, ¿a quién sanciono?» Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020. La Ley Privacidad, (4).

Cotino Hueso, L. (2022). Transparencia y explicabilidad de la inteligencia artificial y «compañía» (comunicación, interpretabilidad, inteligibilidad, auditabilidad, testabilidad, comprobabilidad, simulabilidad…). Para qué, para quién y cuánta. En L. Cotino Hueso y J. Castellanos Claramunt (eds.), Transparencia y explicabilidad de la inteligencia artificial, (pp. 29-70). Tirant Lo Blanch.

De la Cueva, J. (2018). Código fuente, algoritmos y fuentes del Derecho. El Notario del Siglo XXI: revista del Colegio Notarial de Madrid, (77), 24-27. https://www.elnotario.es/index.php/hemeroteca/revista-77/opinion/opinion/8382-codigo-fuente-algoritmos-y-fuentes-del-derecho

Delgado, A. M. y Oliver, R. (2007). La actuación administrativa automatizada. Algunas experiencias en el ámbito tributario. Revista Catalana de Dret Públic, (35). http://revistes.eapc.gencat.cat/index.php/rcdp/article/view/2533

Díaz Calvarro, J. M. (2020). Garantías de los derechos de los obligados tributarios. Los principios de seguridad y transparencia ante el uso de la informática decisional en la Administración tributaria. Anuario de la Facultad de Derecho. Universidad de Extremadura, (36), 219-248. https://doi.org/10.17398/2695-7728.36.219

Gallego Córcoles, I. (2023). La contratación de soluciones de inteligencia artificial. En E. Gamero Casado (dir.) y F. L. Pérez Guerrero (coord.), Inteligencia artificial y sector público: retos, límites y medios (pp. 503-567). Tirant Lo Blanch.

Gamero Casado, E. (2016). Panorámica de la administración electrónica en la nueva legislación administrativa básica. Revista Española de Derecho Administrativo, (175), 15-27.

Gamero Casado, E. (dir.) (2021). La potestad administrativa: concepto y alcance práctico de un criterio clave para la aplicación del Derecho administrativo. Tirant Lo Blanch.

Gamero Casado, E. (2022). La Administración facilitadora: el papel de la Administración pública en el nuevo orden socio económico. Revista Andaluza de Administración Pública, (113), 271-291. https://doi.org/10.46735/raap.n113.1355

Gamero Casado, E. (2023). Las garantías de régimen jurídico del sector público y del procedimiento administrativo común frente a la actividad automatizada y la inteligencia artificial. En E. Gamero Casado (dir.) y F. L. Pérez Guerrero (coord.), Inteligencia artificial y sector público: retos, límites y medios, (pp. 397-461). Tirant Lo Blanch.

González Cabanes, F. y Díaz Díaz, N. (2023). ¿Qué es la Inteligencia Artificial? En E. Gamero Casado (dir.) y F. L. Pérez Guerrero (coord.), Inteligencia artificial y sector público: retos, límites y medios, (pp. 37-72). Tirant Lo Blanch.

Hawking, S. (2018). Breves respuestas a las grandes preguntas. Crítica.

Huergo Lora, A. (2020). Una aproximación a los algoritmos desde el Derecho Administrativo. En A. Huergo Lora (dir.) y G. M. Díaz González (coord.), La regulación de los algoritmos, (pp. 23-87). Thomson-Reuters Aranzadi.

Loi, M., Mätzener, A., Müller, A. y Spielkamp, M. (2021). Automated Decision-Making Systems in the Public Sector. An Impact Assessment Tool for Public Authorities. Algorithm Watch. https://algorithmwatch.ch/en/adms-impact-assessment-public-sector-algorithmwatch/

López Pulido, J. P. (2021). El derecho de acceso a los algoritmos y al código fuente, en la actuación administrativa automatizada y su afectación en las entidades locales. La Administración Práctica: enciclopedia de administración municipal, (11), 43-53.

Martín Delgado, I. (2009). Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada. Revista de Administración Pública, (180), 353-386. https://www.cepc.gob.es/publicaciones/revistas/revista-de-administracion-publica/numero-180-septiembrediciembre-2009/naturaleza-concepto-y-regimen-juridico-de-la-actuacion-administrativa-automatizada-2

Martín Delgado, I. (2023). La aplicación del principio de transparencia a la actividad administrativa algorítmica. En E. Gamero Casado (dir.) y F. L. Pérez Guerrero (coord.), Inteligencia artificial y sector público: retos, límites y medios, (pp. 131-194). Tirant Lo Blanch.

Muñoz Rodríguez, A. B. (2020). El impacto de la inteligencia artificial en el proceso penal. Anuario de la Facultad de Derecho. Universidad de Extremadura, (36), 695-728. https://doi.org/10.17398/2695-7728.36.695

Olivares Olivares, B. D. (2022). La teoría de las garantías adecuadas en materia de protección de datos y sus implicaciones respecto de la toma de decisiones automatizadas en la Administración tributaria. En B. D. Olivares Olivares (coord.), La inteligencia artificial en la relación entre los obligados y la Administración tributaria: retos ante la gestión tecnológica (pp. 240-263). La Ley.

Parada, R. (1999). Régimen jurídico de las Administraciones Públicas y Procedimiento Administrativo Común (estudio, comentarios y texto de la Ley 30/1992, de 26 de noviembre). Marcial Pons.

Ponce Solé, J. (2019). Inteligencia artificial, derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico. Revista General de Derecho Administrativo, (50). https://www.iustel.com//v2/revistas/detalle_revista.asp?id_noticia=421176&popup=

Ponce Solé, J. (2023). Seres humanos e inteligencia artificial: discrecionalidad artificial, reserva de humanidad y supervisión humana. En E. Gamero Casado (dir.) y F. L. Pérez Guerrero (coord.), Inteligencia artificial y sector público: retos, límites y medios (pp. 195-225). Tirant Lo Blanch.

Santamaría Pastor, J. A. (1984). La teoría del órgano en el Derecho Administrativo. Revista Española de Derecho Administrativo (40-41), 43-86.

Valero Torrijos, J. (2007). El régimen jurídico de la e-Administración. El uso de medios informáticos y telemáticos en el procedimiento administrativo común (2.ª ed.). Comares.

Valero Torrijos, J. (2018). La necesaria reconfiguración de las garantías jurídicas en el contexto de la transformación digital del sector público. En T. de la Quadra-Salcedo y J. L. Piñar Mañas (dirs.), Sociedad Digital y Derecho (pp. 375-396). Ministerio de Industria, Comercio y Turismo.

Zlotnik, A. (2019). Inteligencia Artificial en las Administraciones Públicas: definiciones, evaluación de viabilidad de proyectos y áreas de aplicación. Revista de la Asociación Profesional de Cuerpos Superiores de Sistemas y Tecnologías de la Información de las Administraciones Públicas, (84), 24-32. Disponible en: https://www.ciegs.upv.es/wp-content/uploads/2023/06/Inteligencia-Artificial-en-las-Administraciones-definiciones-evaluacion-de-viabilidad-alexander_zlotnik-2019.pdf