Dime si esto es IA: un detector de textos de IA que enseña sus pruebas

Hace unas semanas, el detector Pangram atribuyó un 99 % de IA a Donde el agua trabaja, la novela que había ganado el premio Almadía Ventosa-Arrufat, cuyas bases prohibían usarla. El autor lo niega y la editorial suspendió las presentaciones mientras revisa el caso, sin una conclusión definitiva (el caso, aquí). Lo que más llamaba la atención no era la cifra, sino lo poco que la acompañaba: un porcentaje sin pruebas que mirar y una tasa de error que solo declaraba la propia empresa (lo explicaba El País).

Por eso he creado Dime si esto es IA, un detector de textos generados por inteligencia artificial que parte de la idea contraria: una cifra sin el porqué no sirve para decidir nada. Es gratis, no pide registro y está pensado para textos en español. Es un proyecto mío, como IA para hoy, y te invito a probarlo.

Qué hace

Pegas un texto (un trabajo de clase, un correo, una reseña, un artículo) y en unos segundos te devuelve un dictamen con tres cosas:

• Una probabilidad de que lo haya escrito una IA, con un sello que resume el veredicto: de «Humano, muy probable» a «IA, muy probable», pasando por «no está claro» cuando no hay indicios suficientes y por «Mixto» cuando parece que hay de las dos cosas.
• El porqué: los fragmentos exactos que delatan a una máquina o a una persona, citados literalmente, y las mediciones en las que se apoya.
• El texto subrayado párrafo a párrafo, cada uno con su propia puntuación. Así se ven los textos mixtos: una introducción escrita por alguien y un desarrollo generado, o al revés.

Además del texto pegado, admite un archivo (Word, PDF, texto o una página guardada, hasta 5 MB) o la dirección de una página web, de la que lee el texto principal sin menús ni comentarios.

Cómo decide

Hace dos lecturas independientes:

1. La de un modelo de lenguaje. Claude, de Anthropic, lee el texto con instrucciones de perito: buscar lo que delata a una máquina y también lo que delata a una persona, y citar los fragmentos. Se le pide prudencia justo donde los detectores suelen patinar: la formalidad no prueba nada, quien escribe en un idioma que no es el suyo puede parecer artificial y un texto corto da poca evidencia.
2. Las señales de estilo, lo que se puede contar sin modelo: cuánto varía la longitud de las frases, las muletillas típicas de los chatbots, los restos de una conversación pegada («¿Quieres que lo amplíe?»), el formato de chat, la uniformidad de los párrafos o los caracteres invisibles.

La cifra final no es una media a ojo: sale de una calibración hecha con textos de origen conocido. Y si quieres aprender a mirar tú mismo, la web tiene una guía para saber si un texto es de IA.

Cuánto acierta, con sus límites

Un detector que no dice cuánto se equivoca no merece confianza, así que la medición es pública en Cuánto acierta. Se reunieron 270 textos de origen conocido: 160 escritos por personas antes de que existiera ChatGPT (enciclopedia, noticias, reseñas, literatura, textos jurídicos y redacciones) y 110 generados por IA (Claude Haiku, Sonnet y Opus, y GPT-3.5). Con la mitad se calibró la cifra; con la otra mitad, que no se usó para nada más, se midió.

En la medición publicada el 10 de noviembre:

• Ningún texto humano se tomó por IA (0 de 80). Es el error que más importa, porque es el que acusa a alguien.
• Señaló como IA el 81,5 % de los textos generados. Del resto, la mitad quedó en duda y la otra mitad pasó por humana.

Con tan pocos textos, las cifras bailan: el porcentaje real de humanos tomados por IA podría llegar al 4,6 %, y el de textos de IA detectados estar entre el 69 % y el 90 %. La página lo dice así, con sus intervalos. Es justo lo que se echa en falta en detectores que anuncian aciertos del 99 % medidos en buena parte con pruebas propias (como en este caso).

También imágenes

En la pestaña «Imagen», primero lee lo que la imagen declara: las credenciales de contenido C2PA (quién la firma y si se generó o retocó con IA), la marca de «creada con IA» que algunos programas dejan en los metadatos y los parámetros que guardan generadores como Stable Diffusion. Después, el modelo la mira en busca de manos imposibles, texto inventado o luces que no cuadran.

Lo declarado con una firma de confianza es casi una prueba; sin ella, un indicio fuerte; lo visual, solo un indicio. Un consejo: sube el archivo original y no una captura, porque las capturas y las redes sociales borran los metadatos.

Para docentes

El modo docente examina hasta 40 trabajos de una vez y devuelve una tabla ordenada por probabilidad, con el párrafo más sospechoso y el indicio principal de cada uno, descargable en CSV. Está pensado para decidir con quién hablar, no para poner notas: ante un dictamen alto, lo sensato es preguntar por el trabajo y pedir los borradores o el historial de versiones del documento.

Compartir, descargar y corregir

Cada dictamen se puede compartir con un enlace que caduca a los 30 días o descargar en PDF, con aire de acta notarial y la advertencia, en cada folio, de que no es un acta ni prueba nada. En todos hay un botón, «¿Acertamos?», para decir si se ha equivocado: es la forma más directa de mejorarlo.

Lo que no hace

• No guarda tus textos ni los escribe en sus registros. Solo se guarda un dictamen si tú lo compartes, y caduca a los 30 días. Los detalles, en su política de privacidad.
• No dicta sentencia. Ningún detector, tampoco este, es una prueba. Fallan más con quien escribe en un idioma que no es el suyo y con textos muy formales o muy cortos. Las marcas de agua que empiezan a poner los fabricantes en sus textos tampoco resuelven el problema todavía: se pierden al editar el texto o se desactivan con un simple ajuste (lo vimos con Anthropic y con OpenAI).

La idea principal

Un porcentaje sin explicación sirve para acusar, no para entender. Dime si esto es IA intenta lo contrario: enseñar las pruebas, decir cuánto se equivoca y quedarse en «no está claro» cuando no lo está. Pruébalo con un texto tuyo y con otro de un chatbot, y si falla, cuéntamelo con el botón «¿Acertamos?» o desde su página de contacto.