Liquid AI heeft LiquidCodec uitgebracht, een streaming audiocodec met ongeveer 74 miljoen parameters, die als basis dient voor zijn LFM3-Audio-2B- en LFM3-Omni-2B-modellen. Het zet spraak om in tokens, discrete eenheden die een taalmodel kan voorspellen, en zet deze tokens vervolgens weer om in audio. De gewichten zijn beschikbaar op Hugging Face.
LiquidCodec verwerkt een geluid bemonsterd op 24 kHz en snijdt het in frames van 80 ms. Elk frame wordt 12 tokens, verdeeld over 12 streams, volgens de modelkaart van LFM3-Audio-2B. De codec vervangt Mimi van Kyutai, die Liquid AI gebruikte in LFM2-Audio-1.5B. Mimi heeft 96,2 miljoen parameters.
Een werking in drie stappen
De werking berust op een keten in drie stappen: codering, kwantisatie, decodering. Liquid AI gebruikt blokken van zijn LFM3-architectuur in zowel de encoder als de decoder, twee symmetrische delen. De encoder is volledig causaal, wat betekent dat hij alleen afhankelijk is van reeds ontvangen geluiden, wat geschikt is voor streaming.
Voor de kwantisatie gebruikt LiquidCodec een methode genaamd GFSQ (grouped finite scalar quantization) in plaats van RVQ (residual vector quantization). Bij RVQ corrigeert elk codeboek wat de vorige niet heeft vastgelegd. Bij GFSQ zijn de groepen onafhankelijk, zodat de 12 streams parallel kunnen worden voorspeld door MaskGIT-type transformers. De decoder voorspelt direct de spectrale coëfficiënten, zonder de stap van upsampling via transposed convolution, die vaak duur is in golfvorm-decoders.
De training vond plaats in twee fasen. De eerste gebruikte 264.000 uur spraak in 107 talen, zonder adversarial losses. De tweede werd verfijnd op 55.000 uur full-band spraak (24 kHz of meer), met adversarial critics. Volgens Liquid AI heeft deze stap de resterende metalen artefacten verwijderd. Een laatste stap, training-aware kwantisatie (QAT) alleen op de decoder, is gericht op inferentie op edge-apparaten.
Snelheid en kwaliteit volgens Liquid AI
Liquid AI heeft de snelheid gemeten in FP32 op een enkele CPU-thread van een MacBook Pro met een Apple M4 Max-chip. Volgens deze cijfers, die declaratief zijn, verwerkt LiquidCodec de codering op ongeveer 361 keer realtime en de decodering op ongeveer 87 keer. De realtime factor (RTF) is de verwerkingstijd gedeeld door de duur van de audio: hoe lager, hoe sneller de verwerking. De coderings-RTF is 0,0028, tegen 0,0361 voor Mimi, 0,2145 voor NanoCodec en 0,7359 voor X-Codec 2. Bij decodering is deze 0,0115, tegen 0,0329, 0,2543 en 0,0379.
Voor kwaliteit gebruikte Liquid AI acht test sets: LibriSpeech test-clean, Seed-TTS in Engels en Mandarijn, en vijf talen van FLEURS (Duits, Frans, Mandarijn, Japans, Koreaans). LiquidCodec behaalt de beste ViSQOL-score en de laagste mel-afstand op alle acht sets. Op LibriSpeech bereikt de ViSQOL-score 4,319, tegen 4,219 voor NanoCodec, 4,119 voor X-Codec 2 en 4,031 voor Mimi. In tests van spraaksynthese getraind op de tokens van elke codec, toont LiquidCodec de beste UTMOSv2-score op alle acht sets. Het woordfoutpercentage op LibriSpeech is 3,15%, tegen 6,27% voor Mimi.
NanoCodec behaalt echter een betere PESQ (WB)-score op zeven van de acht sets, en overtreft LiquidCodec in spreker-gelijkenis op LibriSpeech (SECS 0,836 tegen 0,785).
Implementatie
De codec wordt geladen met Hugging Face Transformers, door trust_remote_code=True in te schakelen. De functie encode() produceert de audiocodes en decode() herstelt de golfvorm. Een native klasse, LiquidCodecStreamingCache, maakt decodering stukje bij beetje mogelijk. De voorbeelden in de modelkaart gebruiken CUDA GPU’s in bfloat16.
Voor embedded apparaten biedt Liquid AI GGUF-versies Q4_0, Q4_K_M en Q8_0 bedoeld voor llama.cpp, evenals GGUF-repositories voor LFM3-Audio-2B en LFM3-Omni-2B. Volgens het bedrijf reduceert de combinatie van Q4_0 en de QAT van de decoder de footprint van de laatste met een factor 3,5. De ViSQOL-score op LibriSpeech gaat dan van 4,319 naar 4,292.
