Publicamos nuestro paper técnico: por qué nunca prometemos 0% de alucinación

En derecho, inventar un artículo puede costar un caso. Por eso, cuando alguien vende una IA legal que promete "0% de alucinación", la primera pregunta debería ser: ¿dónde está el benchmark que lo demuestra?

Hoy publicamos el nuestro. Y no dice cero.

📄 Descargar el paper técnico (PDF)

Qué medimos

Sometimos a LEXIMEX a un banco de 108 preguntas sobre 10 áreas del derecho mexicano. La parte incómoda del diseño son las 21 preguntas-trampa: preguntas que citan artículos que no existen —"según el artículo 999 de la Ley Federal del Trabajo…"— para ver si el sistema se deja arrastrar o corrige.

Los resultados, con su intervalo de confianza al 95% (método de Wilson):

• Tasa de alucinación global: 5,6% (6 de 108). Intervalo: 2,6% – 11,6%.

• En las 87 preguntas de uso realista: 0 alucinaciones. Cota superior del intervalo: 4,2%.

• Las 6 alucinaciones ocurrieron todas en las preguntas-trampa adversariales. Es decir: cuando el sistema falla, falla bajo un ataque deliberado, no en el trabajo cotidiano de un abogado.

Para poner el número en contexto, el estudio de la Universidad de Stanford (2025) midió tasas de alucinación de 17% en Lexis+ AI, 25% en Westlaw y 33% en Ask Practical Law —todas herramientas comerciales con recuperación de documentos—. La comparación es orientativa (distinta jurisdicción y banco de preguntas), pero sitúa el orden de magnitud.

Por qué no decimos "cero"

Porque no sería verdad. Un modelo de lenguaje optimiza que el texto suene bien, no que sea cierto. Ninguna arquitectura elimina la alucinación por completo; solo la reduce y la vigila.

Cualquier proveedor que afirme "0% de alucinación" está midiendo mal o comunicando mal. La pregunta correcta no es "¿alucina?", sino "¿cuánto, bajo qué condiciones, y lo publica?".

Lo que sí hacemos es diseñar para atrapar el error. Cada respuesta de LEXIMEX atraviesa cinco capas de verificación antes de mostrarse:

• 1. Verificación de citas: cada artículo citado se comprueba contra nuestra base de datos legal. Si no existe, se marca.

• 2. Confianza computada: no mostramos la certeza que el modelo dice sentir —que es alta incluso cuando se equivoca— sino una confianza calculada a partir de señales objetivas.

• 3. Filtro anti-alucinación: si la evidencia no alcanza el umbral, la respuesta se degrada o se bloquea.

• 4. Contraste con el contexto: verificamos que la cita esté en los fragmentos recuperados para esa pregunta, no solo que exista en algún lugar.

• 5. Señales de alucinación: patrones de riesgo penalizan la confianza.

El resultado es un sello auditable en cada respuesta: "X/Y artículos verificados", nivel de confianza (ALTA/MEDIA/BAJA) y advertencias cuando algo no cuadra. Y cuando no hay fundamento, el sistema lo dice en lugar de inventarlo.

Lo que el paper también declara

Un benchmark honesto publica sus límites. En el documento reconocemos que la muestra es moderada (n = 108, por eso el intervalo va de 2,6% a 11,6%), que la validación humana independiente con acuerdo entre evaluadores (kappa) está pendiente, y que la comparación con Stanford es orientativa. Nada de esto se esconde: está en la sección de limitaciones.

El paper cubre la arquitectura completa, la metodología, los resultados por categoría y por área, y el trabajo futuro comprometido (ampliar a n ≥ 250, validación humana, re-medición trimestral).

Leer el paper completo (PDF, sin registro)

En una línea

El modelo redacta, pero la base de datos legal decide qué es verdad. Esa disciplina —verificar antes de afirmar, y declarar la incertidumbre en lugar de esconderla— es lo que separa una herramienta en la que un abogado puede fundar un escrito de una que solo suena convincente.

LEXIMEX indexa la legislación federal y de las 32 entidades federativas: 435 ordenamientos, 162.571 fragmentos legales y 31.857 tesis de la SCJN, todos verificables. Cobertura nacional real.