Legal Insights by BRANDLEX
En el mundo del machine learning y la IA generativa, las alucinaciones no son ciencia ficción: son una amenaza real que puede minar la confianza, desinformar y poner en peligro decisiones clave.
Las alucinaciones de la IA son errores que aparentan ser respuestas correctas, pero que en realidad no tienen base en datos específicos (reales y vigentes). Y en áreas como el derecho, la salud o la educación, no se trata solo de un fallo técnico: puede significar perder una demanda, una sanción o una pérdida de confianza irreversible.
Modelos como ChatGPT, Gemini, Claude (entre otros) son muy potentes o «inteligentes», pero no están diseñados para ofrecer precisión jurídica ni responsabilidad profesional. Ya lo hemos visto en casos reales: abogados sancionados por citar sentencias inexistentes, leyes extranjeras por error, o información filtrada sin control.
La situación ocurrida en Italia, donde un abogado incluyó citas de sentencias inexistentes producidas por ChatGPT en un escrito judicial, no es un hecho aislado. En diversos países se han documentado casos similares de uso indebido de IA generativa en el ámbito legal, con distintas consecuencias profesionales y advertencias de las autoridades.
Y cuando hablamos de decisiones legales, la precisión es una obligación.
Entonces ¿Por qué ocurren estas alucinaciones? ¿Cómo evitarlas? ¿Y cómo BrandLex AI permite mitigarlas?
¿Cómo asumir la responsabilidad y asegurarnos de que estamos usando la IA generativa de forma correcta?
No se trata de rechazar la tecnología, entendamos que la IA aporta un enorme valor a los equipos, optimizando tiempos de respuesta, automatizando tareas repetitivas y mejorando la eficiencia operativa. Pero también es cierto que no podemos permitir que, por usarla sin criterio, se deteriore la confianza en el trabajo que entregamos como profesionales. En el ámbito legal, cada documento, cada argumento, cada recomendación, lleva nuestra firma y nuestra responsabilidad. Y eso no puede delegarse a ciegas en una herramienta, por muy inteligente y rápida que sea.
Recordemos que la IA generativa abierta (incluso en sus versiones pagadas) busca respuestas en un inmenso mar de datos: más de 45 terabytes de información extraída de internet. Este volumen incluye desde artículos científicos hasta foros, blogs, redes sociales y páginas sin validación. Aunque esto le permite responder casi cualquier cosa, también la expone a errores, descontextualizaciones e incluso alucinaciones.
Italia – Citas de sentencias inexistentes en Florencia (2025)
Recientemente, durante el mes de marzo del año en curso, un abogado italiano presentó ante el Tribunal de Florencia un recurso que contenía referencias a sentencias del Tribunal Supremo italiano que en realidad no existían.
Dichas citas, aparentemente fueron generadas por ChatGPT durante la búsqueda de jurisprudencia. El propio letrado admitió que un miembro de su despacho había utilizado la IA para redactar el escrito sin verificar luego la exactitud de las referencias.
Al descubrirse el error, la parte acusadora solicitó sancionar al abogado por uso fraudulento del procedimiento, proponiendo una multa de 5.000 euros por actuar con mala fe procesal.
Sin embargo, el tribunal determinó que no hubo mala fe deliberada y rechazó imponer sanción alguna, dado que la estrategia procesal del abogado había sido coherente y no causó un perjuicio concreto a la otra parte.
En su resolución del 14 de marzo, la corte florentina alertó expresamente sobre las alucinaciones de la IA, señalando el riesgo de que estas herramientas inventen resultados ficticios que parecen verosímiles si no se contrastan debidamente. Este caso sirvió de llamada de atención en Italia sobre la necesidad de verificar cualquier información obtenida mediante IA en contextos jurídicos.
Australia – Escritos con jurisprudencia falsa y reacciones regulatorias (2024-2025)
Australia ha experimentado recientemente varios episodios que reflejan los mismos riesgos. Transcurría el año 2024 en Sídney, cuando un abogado de inmigración, apremiado por la falta de tiempo y aquejado de problemas de salud, decidió apoyarse en ChatGPT para preparar los alegatos de un cliente que apelaba una decisión administrativa. El letrado ingresó algunos términos del caso en la herramienta y ésta generó un resumen con referencias jurisprudenciales que “sonaban” pertinentes, por lo que incorporó 17 citas de casos jurídicos en su escrito sin comprobar su veracidad.
Un par de semanas más tarde, al responder la parte contraria (el Ministerio de Inmigración), se descubrió que las 17 supuestas sentencias no existían en absoluto. Al ser confrontado ante la Corte Federal, el abogado se mostró profundamente avergonzado y presentó disculpas por el incidente. No alegó engaño deliberado, sino que admitió que confió ciegamente en la salida de la IA, dada su inexperiencia con esta tecnología, y que “el resumen se leía bien” así que lo copió tal cual. Sin embargo, el representante legal del ministro argumentó que el abogado no ejerció la diligencia debida y que, por el interés público en evitar el mal uso de la IA en la justicia, debía sentarse un precedente ejemplar.
En efecto, el juez tomó cartas en el asunto y remitió el caso al organismo regulador disciplinario de Nueva Gales del Sur para su investigación. Autoridades judiciales australianas enfatizaron que este tipo de conducta debía “cortarse de raíz” para disuadir a otros abogados de presentar documentos sin verificar generados por IA.
Ese mismo año, un segundo incidente ocurrió en Melbourne (Estado de Victoria), en un procedimiento ante el Tribunal de Familia, un abogado entregó al juzgado una lista de precedentes legales supuestamente relevantes que, al ser examinada, también resultó contener casos ficticios.
La jueza y sus asistentes no lograron encontrar varios de los casos citados en ninguna base de datos oficial. Cuando la vista se reanudó, el abogado confesó que había utilizado un software jurídico (Leap) con funcionalidad de IA para ayudarle a generar la lista, y que dicha herramienta “alucinó” citas de casos inexistentes, las cuales él no se molestó en verificar. Este error motivó que la audiencia tuviera que ser suspendida y, al igual que en Sídney, el asunto fue reportado al organismo de quejas legales estatal para evaluar sanciones disciplinarias. Como resultado de casos así, los tribunales australianos han empezado a reaccionar de forma preventiva: a finales de 2024, la Corte Suprema de Nueva Gales del Sur emitió una directriz prohibiendo a los abogados utilizar IA generativa para redactar affidávits, declaraciones de testigos, informes de carácter u otros materiales probatorios presentados ante la corte.
En otras jurisdicciones australianas, jueces de apelación han llegado a omitir de sus resoluciones las referencias erróneas introducidas por IA para “no contribuir al problema” de proliferación de citas inventadas. La comunidad jurídica australiana ha acogido estas medidas y advierte que, si bien la IA ofrece oportunidades para agilizar el trabajo, una capacitación adecuada y la verificación humana son indispensables. En palabras de expertos locales, los errores observados se deben tanto a un “problema de alfabetización en IA” (desconocimiento de cómo funciona y sus límites) como a cierta negligencia, especialmente entre profesionales con pocos recursos o experiencia, lo que demuestra la necesidad de formar a los abogados en el uso responsable de estas herramientas.
Otros casos como España y Reino Unido
- España (2024), una querella con cita al código penal equivocado, la cual fue redactada con ayuda de ChatGPT y se coló una referencia errónea al Código Penal de Colombia en lugar del Código Penal español.
- Reino Unido(2023), con una apelación con jurisprudencia “fabricada” por ChatGPT, donde una contribuyente apelaba una sanción fiscal, presentó por su cuenta (asesorada extraoficialmente por un amigo de un bufete) un escrito de apelación que citaba nueve casos judiciales supuestamente relevantes que resultaron ser inexistentes.
¿Qué tienen en común estos casos en Italia, Australia, España o Reino Unido?
- Los abogados que usaron ChatGPT para redactar demandas o escritos legales… terminaron citando sentencias que NO EXISTEN.
- Las alucinaciones de la IA generativa no son ciencia ficción. Son un problema real cuando se usa sin control, contexto ni validación jurídica.
Estos casos internacionales evidencian un patrón claro: cuando los abogados utilizan sistemas de inteligencia artificial generativa como apoyo, no pueden bajar la guardia en la comprobación de la información.
Las alucinaciones de ChatGPT u otras IA (desde citas de jurisprudencia que nunca existieron hasta normativas de países equivocados), ya han derivado en sanciones económicas, procedimientos disciplinarios, bochornos públicos y severas advertencias judiciales.
La reacción de la comunidad legal ha sido subrayar que la tecnología es una aliada útil solo si se usa con responsabilidad. En todos los países mencionados, las autoridades han insistido en que la labor de verificación, contraste con fuentes oficiales y supervisión humana del resultado sigue siendo imprescindible.
Es por ello que, es fundamental una correcta y responsable adopción de IA en el ámbito jurídico, ya que debe ir acompañada de prudencia y ética profesional, para evitar que errores ficticios pongan en entredicho la administración de justicia.
En BrandLex AI lo sabíamos, y por eso creamos una tecnología diferente.
BRANDLEX AI es un agente legal virtual profesional, desarrollado en infraestructura propia, segura y confidencial, que utiliza modelos de lenguaje entrenados con datos legales específicos.
BRANDLEX AI argumenta, con leyes reales y con criterio jurídico.
Esto es:
- Desarrollada con modelos supervisados y entrenados por abogados para entregar respuestas fiables, contextualizadas y actualizadas. Con bases jurídicas reales, legislaciones oficiales y jurisprudencia verificada.
- Con un alto estándar de seguridad, privacidad y confidencialidad
Nuestra tecnología se adapta a las necesidades de tu organización. Podemos desplegar BrandLex AI directamente en tu propia nube, con tus estándares de seguridad, cumplimiento y privacidad.
- Infraestructura a medida
- Modelo entrenado con tu información jurídica interna
- Integración segura en tu ecosistema tecnológico
Porque entendemos que en temas legales y de datos sensibles, la confianza también se construye desde la arquitectura.
La inteligencia artificial solo es útil si se entrena con información fiable. En temas legales, eso no es negociable.
Hablemos!
Info@brand-lex.com