Consorcio alemán lanza Soofi S, un modelo abierto de 30B que lidera benchmarks en inglés y alemán

Un consorcio alemán coordinado por la KI Bundesverband (Asociación Alemana de IA) lanzó Soofi S 30B-A3B, un modelo de lenguaje abierto que según su reporte de preentrenamiento logra los mejores puntajes en benchmarks de inglés y alemán entre modelos completamente open source, superando a OLMo 3 32B del Allen Institute for AI y Apertus 70B de ETH Zurich y EPFL. El modelo se entrenó completamente en la Industrial AI Cloud de Deutsche Telekom en Múnich, marcando un avance en soberanía tecnológica europea.

Arquitectura híbrida que mantiene velocidad en contextos largos

Soofi S es un modelo mixture-of-experts con 31.6 mil millones de parámetros totales, pero activa solo 3.2 mil millones por token generado. Esto coloca su costo computacional cerca de un modelo de 3B convencional, no de uno de 30B. El consorcio adoptó sin modificaciones la arquitectura de Nvidia Nemotron 3 Nano: un diseño híbrido que combina capas Mamba-2 con capas de atención estándar.

La diferencia clave frente a transformers convencionales está en el manejo de memoria. Solo 6 de las 52 capas de Soofi S mantienen el KV cache que almacena tokens previos para cálculos de atención. En modelos densos, ese cache crece linealmente con la longitud del contexto y se convierte en cuello de botella con inputs largos y múltiples consultas paralelas.

El resultado práctico se ve en throughput de generación. Con contextos de 40,000 tokens y 32 solicitudes paralelas, Soofi S genera aproximadamente ocho veces más tokens por segundo por GPU que modelos densos de 14 a 24 mil millones de parámetros. Mientras el throughput cae significativamente en modelos convencionales al crecer el contexto, Soofi S se mantiene casi plano entre 4,000 y 256,000 tokens. El único modelo con comportamiento similar en las mediciones es Qwen3.5 35B-A3B de Alibaba, que también usa arquitectura híbrida.

Mezcla de entrenamiento construida alrededor del alemán

El consorcio procesó aproximadamente 27 billones de tokens en tres fases. La primera fase entrena fundamentos lingüísticos con unos 20 billones de tokens de web, código, matemática y textos especializados. Una segunda fase sigue con 6 billones de tokens de fuentes de mayor calidad. Una tercera fase corta extiende la ventana de contexto entrenando en documentos de hasta un millón de tokens.

El foco deliberado en alemán es central. En la primera fase, el alemán representa el 7.2% de la mezcla; en la segunda, ese porcentaje sube a 15.3%. En la receta de referencia de Nvidia Nemotron, todos los idiomas no ingleses combinados representan solo cerca del 5%.

Las fuentes incluyen texto web alemán de HPLT, el corpus German Commons bajo licencia abierta, porciones alemanas de FinePDFs y FineWiki, y el corpus comercial Genios con 193 millones de artículos periodísticos de 916 publicaciones alemanas. Textos alemanes traducidos automáticamente y generados sintéticamente completan la mezcla.

Mejores puntajes open source en ambos idiomas

En evaluaciones contra 16 modelos abiertos, Soofi S lidera a todos los modelos completamente open source en puntajes agregados para alemán e inglés, según el reporte. Contra cada baseline soberano europeo, el modelo supera todos los benchmarks alemanes del conjunto, a veces por márgenes de dos dígitos.

En benchmarks de código, Soofi S anota 73.8% en HumanEval, 70.2% en MBPP y 84.2% en la variante alemana de MBPP, los mejores resultados entre pares open source. En INCLUDE-DE, un test de conocimiento regional específico de Alemania, Soofi S empata en primer lugar con 61.2 puntos junto a Qwen3.5 35B-A3B.

Comparado con el baseline Nemotron, la receta de datos alemana mejora la competencia lingüística en 15.1 puntos y el test de ciencias GPQA-Diamond en 9.6 puntos, sin sacrificar rendimiento en inglés.

Soofi S no rinde tan bien en matemática competitiva alemana, donde anota 56 puntos en Minerva MATH-DE, muy por detrás de Qwen3.5 35B-A3B (76.5) y Gemma 3 27B (65.6). También queda rezagado en recuperación factual abierta en NaturalQuestions. Esto último probablemente se relaciona con tener solo 3 mil millones de parámetros activos, que pueden almacenar menos conocimiento del mundo que un modelo denso de 27B.

Por qué importa

Soofi S es el primer modelo de lenguaje grande entrenado íntegramente en infraestructura europea que alcanza rendimiento competitivo global sin depender de clouds estadounidenses o asiáticos. Para gobiernos y empresas europeas que operan bajo GDPR y regulaciones de soberanía de datos, esto representa una alternativa técnicamente viable.

La arquitectura híbrida demuestra que es posible mantener rendimiento competitivo con costos de inferencia radicalmente menores. Para equipos que necesitan procesar contextos largos — análisis de documentos, transcripciones extensas, bases de código — Soofi S ofrece throughput sostenido donde modelos densos colapsan. Un modelo de 3B activos que rinde como uno de 30B cambia la economía de deployments a escala.

El foco en alemán sin sacrificar inglés prueba que los modelos multilingües verdaderamente capaces no requieren compromisos. Para organizaciones que operan en mercados hispanohablantes, alemanes o cualquier idioma fuera del inglés mainstream, Soofi S marca un camino: datos de calidad en el idioma objetivo, arquitecturas eficientes y entrenamiento soberano pueden producir modelos que compiten con los mejores globales.