La transparencia algorítmica en las administraciones públicas

El caso Bosco y la transparencia algorítmica TVR como paradigmas de una administración opaca.

Mariam Bataller

 

En las últimas décadas, la irrupción de tecnologías basadas en inteligencia artificial y aprendizaje automático ha transformado progresivamente los mecanismos de funcionamiento del sector público. Cada vez con mayor frecuencia, la Administración delega parte de sus funciones decisorias en sistemas automatizados que procesan grandes volúmenes de datos con el fin de agilizar, homogeneizar y “objetivar” la adopción de decisiones. Este fenómeno, que en apariencia responde a criterios de eficiencia y modernización administrativa, plantea sin embargo serias implicaciones jurídicas, democráticas y éticas, en la transparencia algorítmica, especialmente cuando tales decisiones inciden sobre derechos fundamentales como la libertad personal, el acceso a prestaciones sociales o el principio de igualdad ante la ley.

En España, el uso de algoritmos en el ámbito de la Administración pública es ya una realidad consolidada pero escasamente regulada y visibilizada. Desde la asignación de becas hasta la fiscalización tributaria, desde la concesión de ayudas sociales hasta la gestión penitenciaria, son múltiples los procedimientos en los que intervienen sistemas automatizados sin que el ciudadano tenga conocimiento ni posibilidad de cuestionar su funcionamiento o lógica interna. Esta opacidad estructural y transparencia algorítmica, agravada por la ausencia de un marco normativo específico sobre transparencia algorítmica ha generado un preocupante déficit de garantías procesales que compromete pilares esenciales del Estado de derecho, como la motivación de los actos administrativos, la tutela judicial efectiva y el derecho a no ser objeto de decisiones automatizadas sin supervisión humana significativa.

Casos como el algoritmo Bosco, utilizado para resolver solicitudes del bono social eléctrico, o la Tabla de Variables de Riesgo (TVR), empleada en el ámbito penitenciario para evaluar el grado de peligrosidad de los internos, evidencian el riesgo de que la automatización administrativa sin transparencia algorítmica, derive en procesos arbitrarios, discriminatorios o ininteligibles, en los que los ciudadanos se ven privados de las mínimas condiciones de defensa y transparencia. En particular, la utilización de algoritmos en el campo de la ejecución penal, donde está en juego el derecho a la libertad y la dignidad personal, exige una reflexión urgente sobre los límites del uso legítimo de estas tecnologías por parte del poder público.

El presente artículo tiene como objetivo analizar jurídicamente la utilización de algoritmos, la transparencia algorítmica, y los sistemas automatizados en el contexto de la Administración pública española, con especial atención a su aplicación en materia penitenciaria. Se estudiará el marco legal vigente, las carencias institucionales en materia de transparencia y control, la jurisprudencia más relevante y las propuestas legislativas emergentes en el contexto europeo. Finalmente, se formularán recomendaciones concretas orientadas a garantizar la compatibilidad entre innovación tecnológica y respeto a los derechos fundamentales, reforzando el principio de legalidad, la trazabilidad de las decisiones administrativas y la rendición de cuentas en la era digital.

Desde una perspectiva técnica, un algoritmo puede definirse como un conjunto finito y ordenado de instrucciones o reglas que permiten resolver un problema o realizar una tarea específica mediante la transformación de datos de entrada en resultados de salida. En el ámbito de la informática, estos algoritmos se implementan en programas computacionales que automatizan procesos, tomando decisiones en función de parámetros previamente definidos.

En el contexto jurídico-administrativo, sin embargo, esta definición debe ampliarse para incluir no solo el código informático que ejecuta instrucciones, sino también el conjunto de reglas, datos, modelos estadísticos y decisiones intermedias que configuran el proceso automatizado de decisión. A efectos jurídicos, se considera que un algoritmo puede adquirir relevancia normativa cuando su resultado afecta derechos subjetivos, deberes u obligaciones de los ciudadanos. De este modo, no se trata solo de una herramienta técnica, sino de una infraestructura de poder con consecuencias jurídicas directas.

Numerosos autores han propuesto definiciones normativas del algoritmo público. El Consejo de Europa, en sus recomendaciones de 2021 sobre inteligencia artificial, lo describe como “un sistema diseñado para operar con cierto grado de autonomía y que puede emitir recomendaciones, decisiones o predicciones que afectan la vida de las personas”. Por su parte, en el ámbito español, la Agencia Española de Protección de Datos (AEPD) ha identificado como especialmente relevantes los llamados Sistemas de Decisión Automatizada (SDA), definidos como aquellos que adoptan decisiones sin intervención humana directa, o que utilizan modelos predictivos como parte del proceso decisorio.

La Administración pública española ha incorporado, de forma progresiva y en múltiples niveles, sistemas automatizados y algoritmos como herramientas para la toma de decisiones administrativas. Sin embargo, esta transición hacia una administración algorítmica no ha venido acompañada de una política pública de transparencia algorítmica ni de mecanismos institucionales de seguimiento, evaluación y control. De hecho, no existe un registro oficial, centralizado ni actualizado que permita conocer cuántos algoritmos están actualmente en funcionamiento, qué organismos los utilizan, en qué procedimientos intervienen y con qué grado de autonomía o impacto sobre los ciudadanos.

Esta carencia de información impide a la ciudadanía y a los órganos de control ejercer un escrutinio real sobre la legalidad, proporcionalidad y no discriminación de las decisiones automatizadas. La opacidad algorítmica se convierte así en un problema estructural que compromete tanto la seguridad jurídica como la calidad democrática de las actuaciones administrativas.

Se han documentado múltiples casos en los que se han empleado algoritmos sin aviso previo a las personas afectadas, en ámbitos como la fiscalidad, los servicios sociales, la educación o la gestión de prestaciones. En todos ellos, se advierte una falta de trazabilidad institucional, una ausencia de documentación técnica accesible y una débil o inexistente rendición de cuentas por parte de los órganos responsables.

Uno de los aspectos más preocupantes del uso actual de algoritmos en la Administración española es su invisibilidad ante los ojos de la ciudadanía. La mayoría de las personas afectadas por decisiones automatizadas ignoran completamente que un sistema no humano ha intervenido en su caso, lo que limita gravemente su capacidad para ejercer derechos básicos como el de defensa, contradicción o solicitud de revisión.

Esta invisibilidad institucionalizada se debe, en parte, a la falta de normativa específica que obligue a las administraciones a informar proactivamente cuando se ha utilizado una herramienta algorítmica. A pesar de las recomendaciones de órganos europeos como el Supervisor Europeo de Protección de Datos o el Comité Europeo de Protección de Datos, en España no existe un mandato legal claro que obligue a incluir dicha información en las resoluciones administrativas.

Además, en muchos casos se produce una forma de delegación implícita y acrítica de responsabilidad: los algoritmos son tratados como meros instrumentos técnicos, cuando en realidad constituyen infraestructuras decisionales con un notable margen de discrecionalidad codificada. Este fenómeno da lugar a lo que algunos autores han denominado la “ficción de la intervención humana”, una apariencia de control que no se corresponde con la realidad práctica del funcionamiento administrativo.

El uso no transparente ni auditado de algoritmos por parte de la Administración entraña graves riesgos para la protección de los derechos fundamentales, especialmente cuando dichos sistemas se aplican en contextos de especial sensibilidad jurídica, como el acceso a ayudas sociales, la clasificación penal, la sanción administrativa o la denegación de permisos penitenciarios.

Entre los riesgos más destacados se encuentran:

• La reproducción automatizada de sesgos estructurales, cuando los algoritmos son entrenados con datos históricos que reflejan desigualdades preexistentes (por ejemplo, discriminación por origen nacional o situación socioeconómica).
• La falta de motivación comprensible de las decisiones, lo que impide al afectado conocer las razones del acto administrativo y, por tanto, ejercer su derecho a impugnarlo.
• La despersonalización de los procedimientos, que transforma al ciudadano en un expediente procesado por una fórmula estadística, sin contacto humano ni consideración de circunstancias particulares.

Estas disfunciones afectan de forma especialmente intensa a colectivos vulnerables: personas migrantes, personas en situación de exclusión social o personas privadas de libertad. En todos estos casos, el uso de algoritmos sin garantías puede consolidar una burocracia digital deshumanizada, con un fuerte impacto en la legitimidad de las decisiones públicas.

 

El caso Bosco: automatización opaca en ayudas sociales

El algoritmo denominado Bosco es una herramienta automatizada implementada por el Ministerio para la Transición Ecológica y el Reto Demográfico con el fin de gestionar de forma ágil y eficiente las solicitudes del bono social eléctrico, una ayuda dirigida a consumidores vulnerables para reducir el coste de su factura energética. Este sistema se encarga de procesar automáticamente las solicitudes presentadas, verificar el cumplimiento de los requisitos exigidos cruzando datos entre diferentes bases de la Administración y emitir un dictamen favorable o desfavorable que, en la práctica, determina la concesión o denegación de la ayuda.

Desde el punto de vista funcional, Bosco actúa como un sistema de decisión automatizada que aplica reglas lógicas codificadas, integradas en un flujo de trabajo cerrado. Pese a su aparente neutralidad técnica, este sistema sustituye el juicio humano por una lógica binaria de validación, sin margen para la interpretación o adaptación a las particularidades de cada caso individual.

El sistema ha sido objeto de controversia por su falta de transparencia, errores de funcionamiento y ausencia de mecanismos accesibles para la impugnación o revisión de sus decisiones. Esta situación motivó que se emprendiera un proceso de litigación para reclamar el acceso al código fuente, las reglas de decisión y la documentación técnica del algoritmo, invocando el derecho a la información pública y la transparencia administrativa.

El conflicto jurídico en torno a Bosco se inicia cuando la fundación Civio, amparándose en la Ley 19/2013 de transparencia, acceso a la información pública y buen gobierno, solicitó formalmente al Ministerio la documentación técnica y lógica de funcionamiento del sistema. El objetivo era verificar cómo se tomaban las decisiones, si existía sesgo en los datos utilizados, y si el sistema podía generar resultados erróneos o arbitrarios.

La solicitud fue denegada por la Administración, que alegó razones de seguridad, confidencialidad y protección de la propiedad intelectual. Civio recurrió entonces ante el Consejo de Transparencia y Buen Gobierno, que dio la razón a la entidad solicitante. No obstante, el Ministerio impugnó dicha resolución ante la jurisdicción contencioso-administrativa.

La Audiencia Nacional, en sentencia de 2023, y posteriormente el Tribunal Supremo, en 2024, fallaron a favor del Estado, sosteniendo que el código fuente del algoritmo constituye una obra protegida por derechos de autor, y que su divulgación podría comprometer la seguridad del sistema y facilitar usos fraudulentos. Con ello, se estableció un precedente restrictivo que limita gravemente el derecho de acceso a la información cuando se trata de algoritmos públicos con impacto social directo.

La decisión del Tribunal Supremo en el caso Bosco representa un punto de inflexión preocupante para la garantía de derechos en el contexto de la digitalización de la Administración. En primer lugar, consagra la idea de que el interés público en la transparencia puede ceder ante intereses como la seguridad o la propiedad intelectual, incluso cuando se trata de sistemas que afectan directamente a la ciudadanía más vulnerable.

En segundo lugar, la sentencia no aborda de forma adecuada el equilibrio entre el secreto técnico y el derecho a saber cómo se decide, lo cual deja a la ciudadanía en una situación de indefensión jurídica. La lógica de “caja negra” propia del funcionamiento opaco de algoritmos complejos se ve reforzada por una doctrina judicial que legitima la opacidad bajo el paraguas de la complejidad técnica.

Tercero, se abre la puerta a que otros algoritmos utilizados en la administración pública, por ejemplo, en los ámbitos fiscal, penal o penitenciario, queden igualmente excluidos del control público y judicial efectivo, consolidando un modelo en el que las decisiones automatizadas quedan fuera del alcance del escrutinio democrático.

El caso Bosco pone en evidencia los límites actuales del derecho administrativo y de la transparencia pública para hacer frente al desafío algorítmico. Aunque las leyes vigentes reconocen formalmente el derecho a la información, los tribunales han interpretado este derecho de forma restrictiva cuando se trata de sistemas automatizados, privilegiando la protección de intereses técnicos o comerciales sobre los principios de legalidad, igualdad y rendición de cuentas.

Desde una perspectiva constitucional, esta situación plantea interrogantes profundos sobre la legitimidad democrática de las decisiones automatizadas adoptadas por el Estado. Si los ciudadanos no pueden conocer, comprender ni impugnar los mecanismos que determinan sus derechos, el principio de soberanía popular y el control del poder público se ven gravemente debilitados.

El caso Bosco debe ser entendido, por tanto, no como una excepción, sino como un paradigma del conflicto emergente entre tecnología, poder y derechos fundamentales. Su análisis resulta esencial para comprender los desafíos actuales en el diseño de un marco normativo que garantice una digitalización justa, transparente y acorde con los principios del Estado de derecho.

 

El sistema TVR en ejecución penal: automatización sin actualización ni transparencia algorítmica

La Tabla de Variables de Riesgo (TVR) es un instrumento de origen estadístico utilizado en el sistema penitenciario español desde 1993, inicialmente concebido como herramienta auxiliar para evaluar la probabilidad de reincidencia y orientar decisiones sobre progresión de grado, concesión de permisos ordinarios y clasificación penitenciaria. Su introducción estuvo motivada por una demanda social de mayor seguridad tras el mediático caso de Alcàsser y el creciente uso de herramientas de evaluación del riesgo delictivo en criminología aplicada.

En la práctica, la TVR consiste en un modelo de puntuación basado en variables personales, sociales y penales (edad, historial delictivo, consumo de drogas, estabilidad familiar, etc.), que otorga una valoración numérica del riesgo que supuestamente representa un recluso. Aunque no se trata formalmente de un algoritmo en sentido estricto, su funcionamiento responde a una lógica de automatización normativa y predictiva que influye decisivamente en la toma de decisiones por parte de las Juntas de Tratamiento y órganos de vigilancia penitenciaria.

A pesar de su longevidad, la TVR no ha sido objeto de revisión metodológica ni actualización técnica significativa en más de tres décadas, lo que plantea serias dudas sobre su validez actual. Tampoco ha sido sometida a auditorías independientes ni a procesos públicos de validación científica o jurídica, lo que la sitúa en el terreno de los sistemas opacos y desfasados.

Diversos especialistas en ejecución penal y criminología han señalado que la TVR adolece de graves limitaciones metodológicas. En primer lugar, muchas de las variables que emplea carecen de fundamentación empírica robusta, se basan en correlaciones débiles o presentan un sesgo estructural que penaliza a determinados perfiles sociodemográficos, como personas extranjeras, sin domicilio estable o sin red familiar. En segundo lugar, la ponderación de variables y la escala de riesgo se mantienen inalteradas desde su origen, sin incorporar los avances de la investigación criminológica ni las nuevas formas delictivas o contextos sociales emergentes.

Además, se ha detectado que el modelo tiende a confundir correlación con causalidad, lo cual lleva a calificar como “riesgo” comportamientos o circunstancias que no son intrínsecamente peligrosos, sino reflejo de vulnerabilidad social. Este sesgo técnico se traduce, en la práctica, en una sobrerrepresentación de ciertos colectivos en las categorías de mayor riesgo, con consecuencias negativas para su tratamiento penitenciario y su acceso a derechos como permisos, terceros grados o libertad condicional.

En este contexto, diversos estudios recientes (Civio, 2024) han documentado cómo la TVR ha sido utilizada como justificación casi automática para denegar permisos en más de 200 resoluciones, con una tasa de denegación superior al 80%. Este uso masivo y acrítico convierte lo que debería ser una herramienta auxiliar en un mecanismo decisorio de facto, que desplaza el juicio individualizado y la valoración del caso concreto exigidos por la legislación penitenciaria con poca transparencia algorítmica.

El mantenimiento inalterado de la TVR desde hace más de treinta años constituye un caso paradigmático de automatización sin revisión. Esta situación no solo erosiona la fiabilidad técnica del instrumento, sino que genera efectos discriminatorios indirectos, especialmente sobre internos extranjeros, jóvenes de entornos marginales o personas con trayectorias penales discontinuas. Estos perfiles, sistemáticamente clasificados como “alto riesgo”, ven restringidas sus posibilidades de reinserción y se enfrentan a un trato penitenciario más rígido y menos flexible, con una falta de transparencia algorítmica.

La carencia de un mecanismo institucional de actualización, revisión o impugnación de la TVR agrava el problema. En ningún momento el sistema ha sido sometido a una evaluación ex ante o ex post sobre su eficacia real, su grado de acierto predictivo o su impacto sobre la igualdad de trato. Tampoco existe transparencia respecto a cómo se aplica en cada centro penitenciario ni criterios públicos sobre su utilización por parte de las Juntas de Tratamiento.

Este vacío normativo y operativo contrasta con el principio de legalidad y la exigencia constitucional de motivación de las decisiones administrativas, especialmente en un ámbito como el penitenciario, donde están en juego derechos fundamentales como la libertad personal, la dignidad y la no discriminación.

La utilización acrítica de la TVR para denegar permisos o limitar derechos de las personas privadas de libertad plantea serias tensiones con el orden constitucional español y el derecho internacional de los derechos humanos. En primer lugar, la libertad personal solo puede restringirse mediante decisión motivada, proporcional y basada en hechos individualizados. Un sistema que convierte una puntuación estadística en fundamento decisorio incumple este estándar mínimo de motivación.

En segundo lugar, la falta de transparencia de la TVR impide que el interno afectado pueda conocer los motivos reales de la decisión, ejercer su derecho a la defensa o presentar alegaciones fundamentadas. Nos encontramos, por tanto, ante una forma de justicia algorítmica encubierta, que sustituye el razonamiento jurídico por un cálculo automatizado y no verificable.

Desde la perspectiva del derecho administrativo sancionador y del principio de proporcionalidad, esta situación es inaceptable. La ejecución penal no puede basarse en mecanismos de predicción sin supervisión, sin derecho a contradicción y sin control jurisdiccional efectivo. La delegación técnica de la libertad individual a una fórmula estadística heredada de los años noventa representa un retroceso incompatible con el constitucionalismo democrático.

 

Riesgos jurídicos y democráticos

Una de las piedras angulares del derecho administrativo es el principio de motivación de los actos que afecten derechos o intereses legítimos. Este principio, recogido en el artículo 35.1 de la Ley 39/2015 del Procedimiento Administrativo Común, se ve gravemente comprometido cuando las decisiones se toman o fundamentan a partir de sistemas automatizados cuya lógica interna no es accesible ni comprensible para los afectados. La motivación de una resolución basada en la “puntuación” asignada por un algoritmo sin explicar el razonamiento concreto ni ofrecer posibilidad de contradicción vacía de contenido real el derecho a conocer las razones de la decisión.

Este déficit afecta directamente al control judicial de los actos administrativos, ya que los jueces no pueden verificar ni cuestionar decisiones que no están suficientemente motivadas o que se basan en sistemas de cálculo opacos. Así, los algoritmos actúan como pantallas técnicas que impiden el escrutinio institucional efectivo, erosionando los principios de legalidad y de sometimiento de la Administración al Derecho.

En el ámbito penitenciario, donde la libertad personal está en juego, esta problemática adquiere una gravedad aún mayor. La utilización de herramientas como la TVR sin explicación de sus parámetros, sin posibilidad de revisión y sin fundamento personalizado configura una práctica lesiva del derecho a la tutela judicial efectiva (artículo 24 CE), al impedir al interno comprender por qué se le deniega un permiso, una clasificación o una medida alternativa a la prisión.

Los algoritmos públicos no son neutros. Incorporan, reproducen y a menudo amplifican los sesgos estructurales presentes en los datos con los que han sido entrenados, en las reglas que codifican sus operaciones y en los fines institucionales que orientan su diseño. Este fenómeno, ampliamente documentado por la doctrina internacional, tiene consecuencias especialmente graves cuando afecta a colectivos vulnerables o históricamente discriminados.

En el caso español, se ha observado que las herramientas automatizadas tienden a penalizar a personas extranjeras, sin arraigo familiar o social, o con antecedentes sociales estigmatizados. La TVR, por ejemplo, utiliza variables como la residencia, el empleo anterior o la vinculación familiar como indicadores de riesgo, lo que lleva a puntuaciones más elevadas para personas que no se ajustan al perfil “normalizado” de la población reclusa. Este patrón, lejos de neutralizar la desigualdad, la refuerza institucionalmente.

Desde la perspectiva constitucional, estos efectos implican una discriminación indirecta prohibida por el artículo 14 CE y por el derecho europeo de igualdad de trato. El hecho de que dicha discriminación se produzca por medio de una herramienta técnica no la legitima, sino que agrava su falta de transparencia y su resistencia a la impugnación.

Uno de los elementos esenciales del debido proceso es la posibilidad de contradicción, es decir, la capacidad de la persona afectada para conocer la información en la que se basa la decisión, rebatirla con pruebas propias y obtener una revisión imparcial. Este derecho procesal básico se ve fuertemente debilitado en los procedimientos automatizados, donde ni el contenido lógico del algoritmo, ni los datos que lo alimentan, ni su modo de funcionamiento suelen ser accesibles al interesado, mostrando una falta de transparencia algorítmica.

Esta asimetría entre el ciudadano y la Administración sitúa al primero en una posición de indefensión. En contextos como la ejecución penal, donde las decisiones afectan derechos fundamentales, esta falta de información y de mecanismos de defensa vulnera garantías esenciales del Estado de derecho. La persona afectada no puede saber si el resultado fue producto de un error, de un sesgo, o de una simplificación normativa mal planteada.

Además, en muchos casos, los tribunales aceptan sin crítica el uso de herramientas automatizadas como parte del expediente administrativo, sin exigir que se demuestre su validez técnica o que se explique su aplicación al caso concreto. Esto genera un círculo vicioso de delegación y validación acrítica, que consolida prácticas opacas bajo apariencia de objetividad, pero sin una transparencia algorítmica detrás.

 

La figura del “funcionario asistido” y la ficción de supervisión humana

Uno de los argumentos más utilizados por las administraciones para justificar el uso de algoritmos es que las decisiones finales siguen siendo tomadas por funcionarios humanos, lo que garantizaría la legalidad y legitimidad del procedimiento. Sin embargo, en la práctica, esta figura del “funcionario asistido por algoritmo” es frecuentemente una ficción formal, ya que las herramientas automatizadas ofrecen resultados que son aceptados sin cuestionamiento, bajo la lógica de la estandarización y la eficiencia, pero sin una clara transparencia algorítmica.

Este fenómeno da lugar a una delegación técnica de facto, en la que el funcionario se convierte en ejecutor automático de un dictamen algorítmico, sin analizar sus fundamentos ni adaptarlo al caso individual, basándose en una supuesta transparencia algorítmica detrás de la decisión. El resultado es una Administración que actúa por automatismos sin responsabilidad clara, donde las decisiones se despersonalizan, falta transparencia algorítmica y se deslindan del juicio crítico que exige toda actuación con efectos jurídicos.

Desde la perspectiva del derecho administrativo, esto plantea un problema estructural de atribución de responsabilidad y de motivación del acto, y desde una perspectiva constitucional, configura un modelo de gestión pública que se aleja de los principios democráticos de deliberación, razonamiento público y rendición de cuentas.

 

Registro público estatal y transparencia algorítmica

Una de las primeras medidas imprescindibles para garantizar la transparencia algorítmica y la rendición de cuentas en el uso de algoritmos por parte de la Administración pública es la creación de un registro estatal público y obligatorio de todos los sistemas de decisión automatizada utilizados en procedimientos administrativos. Este registro debe incluir:

• La identificación del organismo responsable.
• El propósito y ámbito de aplicación del sistema.
• La naturaleza de los datos utilizados.
• La lógica general del funcionamiento del algoritmo.
• El nivel de intervención humana en la toma de decisiones.
• Evaluaciones de impacto realizadas, si las hubiere.

Este instrumento jurídico permitiría no solo garantizar el derecho a la información de la ciudadanía, sino también ofrecer una base empírica para el control parlamentario, judicial y académico del uso de tecnologías automatizadas por el poder público. Su creación responde a una exigencia de buena administración en la era digital y debe tener rango legal, con obligaciones específicas de actualización y accesibilidad.

 

Evaluaciones de la transparencia algorítmica

Al igual que las infraestructuras físicas o los proyectos urbanísticos están sometidos a evaluaciones de impacto ambiental, los algoritmos utilizados por la Administración deberían estar sujetos a evaluaciones de impacto de transparencia algorítmica. Estas evaluaciones deben realizarse:

• Antes de la implementación del sistema (ex ante).
• Periódicamente durante su uso (monitorización).
• Al detectar errores o sesgos con efectos significativos (ex post).

El objetivo de estas evaluaciones es detectar riesgos de discriminación, opacidad o error sistémico, así como garantizar que el sistema respeta los principios de legalidad, proporcionalidad, no discriminación y rendición de cuentas. Deben realizarse por organismos independientes y ser publicadas con carácter general, salvo excepciones justificadas por razones de seguridad.

 

Garantías mínimas: derecho a saber, contradicción y revisión humana

Cualquier uso de algoritmos en decisiones públicas debe respetar un núcleo mínimo de garantías procedimentales, entre las que destacan:

• El derecho del ciudadano a ser informado de que su expediente ha sido evaluado mediante una herramienta automatizada.
• El derecho a conocer los criterios generales del algoritmo, así como la lógica aplicada a su caso concreto.
• El derecho a formular alegaciones y presentar prueba en contra, lo que implica que el algoritmo no puede sustituir por completo el procedimiento contradictorio.
• El derecho a la revisión humana significativa, ejercida por un funcionario con competencia, formación y autonomía suficientes para verificar la corrección y legalidad del resultado.

Estas garantías deben plasmarse no solo en normas generales, sino también en los protocolos internos de uso, guías técnicas y resoluciones administrativas aplicadas en cada organismo.

 

Supervisión judicial reforzada en decisiones que afectan derechos fundamentales

En todos aquellos casos en que los algoritmos intervienen en decisiones que afectan directa o indirectamente a derechos fundamentales, como ocurre en el ámbito de la ejecución penal, extranjería, acceso a ayudas sociales o clasificación penitenciaria, es imprescindible prever un mecanismo de revisión judicial reforzada.

Esto implica:

• Que la jurisdicción contencioso-administrativa y penal esté capacitada técnicamente para valorar decisiones automatizadas.
• Que existan expertos independientes adscritos al poder judicial para auditar sistemas algorítmicos, análogamente a los peritos forenses.
• Que se habiliten procedimientos específicos de impugnación cuando el ciudadano sospeche que su derecho ha sido lesionado por una decisión automatizada, incluso sin conocer su funcionamiento exacto.

Este modelo se alinea con las propuestas de regulación avanzada como el AI Act europeo, que prevé un tratamiento especialmente exigente para los denominados sistemas de “alto riesgo”, dentro de los cuales se incluyen los aplicados a justicia, detención o libertad.

El actual marco jurídico español resulta claramente insuficiente para regular de forma adecuada el uso de algoritmos en la Administración pública, especialmente en contextos de alta densidad constitucional como el penitenciario. Las propuestas aquí recogidas no suponen un freno a la innovación tecnológica, sino un refuerzo imprescindible de los principios democráticos, del Estado de derecho y de la tutela de los derechos fundamentales, fomentando la transparencia algorítmica.

Sin medidas estructurales y normativas como las señaladas, el riesgo de consolidar una “burocracia automatizada sin rostro ni responsabilidad” es real y creciente. En este escenario, la legitimidad de las decisiones públicas no puede depender de fórmulas estadísticas opacas, sino del cumplimiento riguroso de los principios de transparencia algorítmica, legalidad, motivación y control.