alguien logró poner en marcha un modelo de voz en un Apple Watch.

no es una demo de juguete. granite 4.0 1B de voz acaba de quedar en PRIMER lugar en la tabla de clasificación de OpenASR.
esto es lo sorprendente:
• 1B de parámetros - la mitad del tamaño de granite 3.3 2B
• mayor precisión en transcripciones en inglés que el modelo más grande
• decodificación especulativa para inferencia más rápida en hardware diminuto
• 6 idiomas - inglés, francés, alemán, español, portugués, japonés
• sesgo en la lista de palabras clave para que realmente reconozca nombres y siglas correctamente
la parte de la que nadie habla:
estás pagando por llamadas a la API de whisper cada mes mientras un modelo de la mitad del tamaño de su predecesor lo supera en rendimiento en un dispositivo sujeto a tu muñeca.
eso no es una optimización menor. es toda la estructura de costos de las aplicaciones de voz en el borde colapsando.
modelo más pequeño. mejor precisión. CERO dependencia de la nube.