Lo que hemos medido, con sus condiciones
Tiempos y costes de lectura, exactitud del folio, calidad de búsqueda, citas inventadas y latencias, tal como salieron en el banco de pruebas del 6 de octubre de 2026, con lo que esas cifras no dicen.
Revisado el Esta página en Markdown
Las condiciones
Todo se midió el 6 de octubre de 2026, desde un Mac en Tenerife, por la red de casa, contra las API en la nube (Gemini 3.5 Flash-Lite y 3.8 Flash, Gemini Transcribe, Gemini Embedding 2 a 1536 dimensiones, Jev, Crossref y OpenAlex) y sin GPU local. No se midió en Cloudflare, que debería ser más estable; tampoco la latencia de «preguntar». Las cifras en dólares son el coste de los proveedores, no un precio.
Leer un documento
| Documento | Antes (primera Scholaris) | Ahora | Coste |
|---|---|---|---|
| Entrevista en vídeo, 54 min | 3 h 39 min | 45 s (30 s sin atribuir hablantes) | 0,41 $ |
| Entrevista en vídeo (Cortázar), 2 h 2 min | las de 83 min tardaban 5 h 43 min | 70 s | 0,94 $ |
| The Discarded Image, 245 p., con un OCR antiguo | sin registro | mediana de 85 s en 16 ejecuciones (de 37 a 175 s) | 0,64 $ |
| El casamiento en la muerte, 43 p. escaneadas, siglo XVII | sin registro | 27 s | 0,20 $ |
| Attention Is All You Need, 15 p. digitales | sin registro | 12 s | 0,04 $ |
| El perseguidor, 37 p. digitales | sin registro | 15 s | 0,04 $ |
Los tiempos son de principio a fin, con la conversión incluida. Las primeras páginas se pueden buscar antes: en menos de una décima de segundo en un PDF digital, en unos 3 a 6 segundos en un escaneado y en unos 3 a 6 segundos en un vídeo. La lentitud de algunas ejecuciones del libro de 245 páginas vino de la API o de la red, no del código. En los medios muy cortos (un minuto) el documento tarda ahora algo más en quedar listo que antes: de 5 a 6 segundos se pasó a entre 8 y 10.
El modo económico bajó el coste del Casamiento de 0,206 $ a 0,111 $ (un 46 % menos), a cambio de que tardara 6,9 minutos en lugar de 19,7 segundos. Transcribir cuesta unos 0,005 $ por minuto.
Leer bien
- Errores de carácter (CER) en teatro del siglo XVII: 0,007 con Gemini 3.8 Flash, frente a 0,073 del lector de la primera Scholaris. Medido sobre una sola página transcrita a mano.
- The Discarded Image: la primera Scholaris dejaba 195 páginas vacías (74 000 caracteres en total); ahora salen 358 000 caracteres y 7 páginas vacías.
- Folio impreso: 64 de 64 exactos en las páginas comprobadas a ojo (45 de 45 con el número a la vista). En The Discarded Image, 229 folios leídos coinciden con las etiquetas del PDF en 229 de 232 páginas.
- Hablantes: atribución correcta en 20 de 21 turnos y en 23 de 23 en dos entrevistas (25 turnos al azar en cada una, anotados leyendo el texto).
- Fichas: 55 de 55 comprobaciones correctas en 9 documentos tras contrastar con las fuentes externas (antes, 30 de 55).
Buscar bien
Sobre 183 consultas y 8879 juicios de relevancia. Los juicios son «de plata»: los hicieron dos modelos y un árbitro, no personas; coincidieron entre sí en un 82 % exacto y en un 99 % con un punto de margen, y de 30 revisados a mano, el autor estuvo de acuerdo con 29.
| Sistema | nDCG@10 | Recall@20 | MRR |
|---|---|---|---|
| Primera Scholaris | 0,695 | 0,618 | 0,925 |
| Solo léxica | 0,564 | ||
| Solo visual | 0,199 | ||
| Solo semántica | 0,804 | 0,860 | 0,931 |
| Híbrida sin reordenar | 0,818 | 0,884 | 0,942 |
| La de ahora (híbrida y reordenada) | 0,889 | 0,904 | 0,979 |
Por tipo de consulta (nDCG@10 del sistema actual): entre lenguas 0,897; literales 0,880; audio y vídeo 0,882; grafía antigua 0,814; visuales 0,950 (solo 4 consultas).
Grafía antigua: en El casamiento en la muerte de Lope, con 30 consultas, la exhaustividad media por consulta pasó del 32 % al 100 % con la capa de grafía modernizada; en documentos modernos, 250 de 250 búsquedas devolvieron exactamente lo mismo.
Latencia: mediana de unos 650 ms desde casa, sin cachés (unos 360 ms el vector de la consulta y unos 300 ms el juez); sin reordenar, unos 350 ms con nDCG 0,818. En las ejecuciones medidas, la mediana y el percentil 95 fueron 687 y 856 ms.
Citar bien
Sobre 41 afirmaciones (30 respaldadas y 11 que no lo estaban): precisión del 95,1 %, exhaustividad del 96,7 %, cero citas inventadas, cero citas en afirmaciones sin respaldo y el veredicto de verificación, correcto en el 100 %. Cada afirmación tardó 998 ms y costó 0,0054 $.
Lo que estas cifras no dicen
- Son de una red doméstica, no de Cloudflare, y no incluyen la latencia de «preguntar».
- Quedan 1594 juicios de relevancia con árbitro o discrepancia pendientes de revisión humana.
- El CER se calculó sobre una sola página.
- El banco es pequeño y lo hizo quien hace Scholaris. Si quieres repetirlo con tus documentos, escríbenos.