Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1474

Incidentes Asociados

Incidente 1371 Reporte
Israeli Tax Authority Reportedly Used an Opaque Automated System to Issue a Fine, Declining to Explain or Disclose the Underlying Calculation

Loading...
Cuando un granjero israelí declaró la guerra a un algoritmo
haaretz.com · 2021

Una disputa fiscal entre un rancho en el desierto de Negev, en el sur de Israel, y la autoridad fiscal del país ha dado lugar a un problema que podría tener repercusiones de gran alcance en la capacidad del público para supervisar e incluso comprender los actos del gobierno.

El tema, actualmente en debate en el Ministerio de Justicia, es si un software o su código fuente pueden ser vistos como “información” que las autoridades están obligadas a revelar al público.

La historia comenzó en 2014 cuando la finca Har Shemesh, que no forma parte de ninguna comunidad, solicitó a la Autoridad Tributaria que explicara cómo había calculado una multa que debían pagar.

Los funcionarios de la autoridad no pudieron explicar cómo habían llegado al monto final de la multa, alegando que el cálculo se había realizado automáticamente mediante su software de computadora. Los dueños de las granjas pidieron más detalles y finalmente solicitaron el programa o su código fuente para poder examinar la fórmula con la que se calculó la multa. Sin embargo, la Autoridad Tributaria se negó.

El Tribunal de Distrito rechazó la apelación de la finca para recibir el código del programa y aceptó la posición del estado. La granja luego apeló a la Corte Suprema y el Movimiento por la Libertad de Información se unió al caso. El Estado se retractó de su posición y el Ministerio de Justicia ahora está debatiendo el tema.

Discreción del software

La granja, representada por su propietario Moshe Har Shemesh, argumentó que la computadora de la Autoridad Tributaria estaba programada para ejercer discreción en lugar de los funcionarios de la autoridad. Dijo que el software tiene la autoridad para hacer lo que se supone que deben hacer los empleados de impuestos: impone multas en declaraciones de ingresos tardías, deduce declaraciones de impuestos, impone sanciones financieras e incluso niega el derecho a la deducción en la fuente.

La decisión de la autoridad de otorgar estos poderes a un programa de software es una decisión, afirma, que se tomó como una medida administrativa, sin discusión pública y en ausencia de suficiente conciencia pública de las implicaciones, argumentó.

No solo se le dio discrecionalidad a la computadora, sino que no se dieron a conocer al público ni a los propios empleados de la autoridad los lineamientos para llevarlo a cabo, dijo.

“Cuando un sistema computarizado tiene la tarea de implementar el procedimiento, las pautas de operación se programan en el software. Son inéditos y desconocidos, aparte de esos 'gurús de la programación' que los programaron en el lenguaje informático”, dijo.

Har Shemsh mencionó una demanda colectiva presentada por Aiad Mahajna, quien descubrió que la misma computadora de la autoridad fiscal volvía a calcular las multas por pagos retrasados del IVA solo cuando el índice de precios al consumidor subía, pero no cuando bajaba. Las pautas dadas al programa en el caso no se habían puesto por escrito y ni el fiscal ni el público tenían forma de entenderlas. Solo podían inferirse mediante una laboriosa recopilación de datos. El juez falló en el otro caso a favor del demandante y ordenó a Israel que pagara una compensación de más de 2 millones de shekel.

La Autoridad Tributaria argumentó ante el tribunal que no tenía forma de extraer las pautas del software, porque no se trataba simplemente de presionar un botón, y que exigiría una asignación irrazonable de recursos.

“Para obtener las pautas, se requeriría que la autoridad use técnicas de ingeniería inversa y rastree los procesos de programación”, escribió la autoridad. “No es del todo seguro que estas técnicas produzcan los resultados deseados. Además, obligaría a la autoridad a conformar un equipo de programadores para identificar todo el software de la computadora que atiende esta solicitud”.

La autoridad estimó que la tarea tomaría miles de horas de trabajo del programador.

En cuanto a entregar el propio software al apelante para que él mismo extrajera las directrices, la autoridad afirmó que esto pondría en peligro la seguridad del Estado.

Tal movimiento, afirma la autoridad, podría interrumpir su función, ya que abre el software a agentes hostiles que podrían atacar el sistema informático crítico de la autoridad y hacerlo vulnerable a amenazas cibernéticas y fugas de datos, alterando así el sistema tributario y otras cosas.

programas legales

El juez de distrito de Jerusalén, Ram Vinograd, dijo que el software no puede constituir información, ya que es más bien un producto externo o una "herramienta de trabajo". El juez argumentó que la solicitud equivalía a que una oficina del gobierno ordenara a un diseñador de interiores que modificara su oficina para que cumpliera con las pautas legales y, por lo tanto, la oficina misma se convertiría en "información" en virtud de que se basa en esos requisitos.

Una herramienta de trabajo, ya sea una oficina, una cortadora o un programa, dijo, no se convierte en “información” porque haya sido creada para servir fines legales o cumplir requisitos legales.

También dictaminó que la autoridad, que creó el software y tenía sus directrices programadas en él, es el propietario de la propiedad intelectual del software. Esta propiedad tiene valor económico, incluso si la autoridad no planea venderla.

En contraste, Har Shemesh argumentó que las pautas administrativas, ya sea en una carpeta de papel o en un software de computadora, no pueden ser propiedad intelectual privada de la autoridad, al igual que la Knesset no es propietaria de los derechos de autor de la legislación y las enmiendas que emite.

En cuanto al valor financiero, así como es impensable que Israel compre a Islandia las pautas para implementar las leyes fiscales de este último, también es impensable que algún estado compre las pautas administrativas de Israel.

También dijo que afirmar que el software tiene valor financiero contradice la afirmación de que el software era secreto y que su publicación podría dañar la seguridad del estado.

“Si darle la información a alguien pudiera dañar la seguridad del Estado, entonces obviamente no tiene valor comercial, porque la autoridad nunca la vendería y comprometería la seguridad del Estado”, dijo.

El Movimiento por la Libertad de Información, una ONG apolítica creada para promover el derecho a la información en Israel, solicitó unirse a la apelación como amigo de la corte y mostrar por qué el término "información" consiste en toda la información que se puede transmitir: incluyendo software, código o algoritmo.

La ONG dijo que la ley de libertad de información estaba destinada a permitir que el público supervisara las actividades gubernamentales y que en un mundo tecnológico, donde las decisiones también las toman las computadoras, el software también debe estar abierto al escrutinio. El público no puede supervisar al gobierno si la ley está “oculta” en el algoritmo de un programa. Además, exime totalmente a los guardianes del autoexamen.

Los activistas de la ONG dijeron que durante años los funcionarios del gobierno han estado utilizando varios programas informáticos, como programas comerciales estándar o programas creados para el estado por empresas comerciales. En muchos casos, el software llega con solo un archivo ejecutable (archivo .exe) escrito en lenguaje informático, a diferencia de un código fuente que los programadores entienden. En este caso, toda la supervisión está condicionada a la ingeniería inversa, en la que se realizan experimentos prolongados sobre el software para conocer su código fuente. En ausencia de un ser humano para tomar la decisión y sin un software de código abierto, no hay un verdadero supervisor -un empleado público, un guardián o el público- sobre la forma en que se toman las decisiones.

Los seres humanos, como los empleados de la Autoridad Tributaria en este caso, tienen una tendencia a confiar en la decisión de la máquina, pero el resultado que alcanza la máquina no es necesariamente el correcto, y las decisiones de la máquina deben ser supervisadas. Esta no es una afirmación teórica: un software que evalúa el peligro de los reclusos en los Estados Unidos, por ejemplo, atribuyó una importancia considerable al color de la piel del detenido y aumentó los sesgos estructurales en el sistema de justicia.

Software estatal de código abierto

La ONG dice que las consideraciones en el diseño del programa o la inteligencia artificial que ahora reemplaza, aunque sea parcialmente, el juicio humano, deben estar abiertas al público. Las leyes de privacidad en el RGPD de Europa requieren que, en el caso de decisiones informáticas automáticas, se proporcione información sobre el razonamiento involucrado en la decisión, su importancia y sus implicaciones esperadas. Una ley francesa de 2016 obliga a explicar las decisiones, incluidos los procesos de programación que llevaron a eso.

Para hacer esto, el estado debe tener acceso completo al software que opera, e incluso debe ser de código abierto, con el código y el software abiertos para todos. Esto permite que sea examinado por otros.

El uso de software de código abierto permitirá encontrar errores en el código de un programa y permitirá la supervisión de la forma en que se construyó o implementó el software. También permitirá a la comunidad de desarrolladores mejorar el código y rastrear vulnerabilidades en él, dice la ONG.

La posición de la ONG fue escrita por la abogada directora ejecutiva del movimiento Rachely Edri y el abogado Or Sadan, con la asistencia de los estudiantes Shir Toledano, Shahar Mandil e Igor Bistrov de la clínica de libertad de información de Sadan en The College of Management Academic Studies. También asistieron estudiantes de la clínica de derechos humanos cibernéticos de la Universidad de Haifa, guiados por el Dr. Dalit Ken-Dror.

La Corte Suprema devolvió el caso a la Corte de Distrito para completar el proceso.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd