Liquid AI hat LiquidCodec veröffentlicht, einen Streaming-Audio-Codec mit etwa 74 Millionen Parametern, der als Grundlage für seine Modelle LFM3-Audio-2B und LFM3-Omni-2B dient. Er wandelt Sprache in Tokens um, diskrete Einheiten, die ein Sprachmodell vorhersagen kann, und konvertiert diese Tokens dann zurück in Audio. Die Gewichte sind auf Hugging Face verfügbar.
LiquidCodec verarbeitet einen bei 24 kHz abgetasteten Ton und unterteilt ihn in 80 ms lange Frames. Jeder Frame wird zu 12 Tokens, aufgeteilt in 12 Streams, gemäß dem Modellblatt von LFM3-Audio-2B. Der Codec ersetzt Mimi von Kyutai, das Liquid AI in LFM2-Audio-1.5B verwendete. Mimi hat 96,2 Millionen Parameter.
Ein Drei-Stufen-Verfahren
Die Funktionsweise basiert auf einer dreistufigen Kette: Kodierung, Quantisierung, Dekodierung. Liquid AI verwendet Blöcke seiner LFM3-Architektur sowohl im Encoder als auch im Decoder, zwei symmetrische Teile. Der Encoder ist vollständig kausal, das heißt, er stützt sich nur auf bereits empfangene Töne, was für Streaming geeignet ist.
Für die Quantisierung verwendet LiquidCodec eine Methode namens GFSQ (Grouped Finite Scalar Quantization) anstelle von RVQ (Residual Vector Quantization). Bei RVQ korrigiert jedes Codebuch, was das vorherige nicht erfasst hat. Bei GFSQ sind die Gruppen unabhängig, sodass die 12 Streams parallel von MaskGIT-Transformatoren vorhergesagt werden können. Der Decoder sagt direkt die Spektralkoeffizienten voraus, ohne den Schritt des Upsampling durch transponierte Faltung, der in Wellenform-Decodern oft rechenintensiv ist.
Das Training erfolgte in zwei Phasen. Die erste nutzte 264.000 Stunden Sprache in 107 Sprachen, ohne adversariale Verluste. Die zweite wurde auf 55.000 Stunden Breitbandsprache (24 kHz oder mehr) verfeinert, mit adversariellen Kritikern. Laut Liquid AI entfernte dieser Schritt die verbleibenden metallischen Artefakte. Ein letzter Schritt, die Trainingsbewusste Quantisierung (QAT) nur am Decoder, zielt auf Inferenz auf Edge-Geräten ab.
Geschwindigkeit und Qualität laut Liquid AI
Liquid AI hat die Geschwindigkeit in FP32 auf einem einzelnen CPU-Thread eines MacBook Pro mit einem Apple M4 Max Chip gemessen. Nach diesen, als deklarativ angegebenen Zahlen, verarbeitet LiquidCodec die Kodierung mit etwa der 361-fachen Echtzeitgeschwindigkeit und die Dekodierung mit etwa der 87-fachen. Der Echtzeitfaktor (RTF) ist die Verarbeitungszeit geteilt durch die Audiodauer: Je niedriger, desto schneller die Verarbeitung. Der Kodierungs-RTF beträgt 0,0028, gegenüber 0,0361 für Mimi, 0,2145 für NanoCodec und 0,7359 für X-Codec 2. Bei der Dekodierung liegt er bei 0,0115, gegenüber 0,0329, 0,2543 und 0,0379.
Für die Qualität nutzte Liquid AI acht Testdatensätze: LibriSpeech test-clean, Seed-TTS auf Englisch und Mandarin sowie fünf Sprachen aus FLEURS (Deutsch, Französisch, Mandarin, Japanisch, Koreanisch). LiquidCodec erzielt die beste ViSQOL-Punktzahl und die geringste Mel-Distanz in allen acht Datensätzen. Bei LibriSpeech erreicht die ViSQOL-Punktzahl 4,319, gegenüber 4,219 für NanoCodec, 4,119 für X-Codec 2 und 4,031 für Mimi. In Tests zur Sprachsynthese, die auf den Tokens jedes Codecs trainiert wurden, zeigt LiquidCodec die beste UTMOSv2-Punktzahl in allen acht Datensätzen. Die Wortfehlerrate bei LibriSpeech beträgt 3,15 %, gegenüber 6,27 % für Mimi.
NanoCodec erzielt jedoch eine bessere PESQ (WB)-Punktzahl in sieben der acht Datensätze und übertrifft LiquidCodec bei der Sprecherähnlichkeit auf LibriSpeech (SECS 0,836 gegenüber 0,785).
Bereitstellung
Der Codec wird mit Hugging Face Transformers geladen, indem trust_remote_code=True aktiviert wird. Die Funktion encode() erzeugt die Audiocodes und decode() stellt die Wellenform wieder her. Eine native Klasse, LiquidCodecStreamingCache, ermöglicht eine stückweise Dekodierung. Die Beispiele im Modellblatt verwenden CUDA-GPUs im bfloat16-Format.
Für eingebettete Geräte bietet Liquid AI GGUF-Versionen Q4_0, Q4_K_M und Q8_0 für llama.cpp sowie GGUF-Repositories für LFM3-Audio-2B und LFM3-Omni-2B an. Laut Unternehmen reduziert die Kombination aus Q4_0 und der QAT des Decoders dessen Speicherbedarf um den Faktor 3,5. Die ViSQOL-Punktzahl bei LibriSpeech sinkt dann von 4,319 auf 4,292.
