Liquid AI ha pubblicato LiquidCodec, un codec audio in streaming di circa 74 milioni di parametri, che funge da base per i suoi modelli LFM3-Audio-2B e LFM3-Omni-2B. Trasforma la voce in token, unità discrete che un modello linguistico può prevedere, per poi riconvertire questi token in audio. I pesi sono disponibili su Hugging Face.
LiquidCodec elabora un suono campionato a 24 kHz e lo suddivide in frame da 80 ms. Ogni frame diventa 12 token, distribuiti in 12 flussi, secondo la scheda del modello LFM3-Audio-2B. Il codec sostituisce Mimi, di Kyutai, che Liquid AI utilizzava in LFM2-Audio-1.5B. Mimi conta 96,2 milioni di parametri.
Un funzionamento in tre fasi
Il funzionamento si basa su una catena in tre tempi: codifica, quantizzazione, decodifica. Liquid AI utilizza blocchi della sua architettura LFM3 sia nell’encoder che nel decoder, due parti simmetriche. L’encoder è interamente causale, cioè si basa solo sui suoni già ricevuti, il che lo rende adatto allo streaming.
Per la quantizzazione, LiquidCodec utilizza un metodo chiamato GFSQ (grouped finite scalar quantization) anziché la RVQ (residual vector quantization). Nella RVQ, ogni dizionario di codici corregge ciò che il precedente non ha catturato. Con la GFSQ, i gruppi sono indipendenti, così che i 12 flussi possono essere previsti in parallelo da trasformatori di tipo MaskGIT. Il decoder prevede direttamente i coefficienti spettrali, senza la fase di sovracampionamento per convoluzione trasposta, spesso costosa nei decoder d’onda.
L’addestramento si è svolto in due fasi. La prima ha utilizzato 264.000 ore di parlato in 107 lingue, senza perdite adversariali. La seconda è stata affinata su 55.000 ore di parlato a banda piena (24 kHz o più), con critiche adversariali. Secondo Liquid AI, questa fase ha eliminato gli artefatti metallici residui. Un’ultima fase, la quantizzazione consapevole dell’addestramento (QAT) sul solo decoder, mira all’inferenza su dispositivi periferici.
Velocità e qualità secondo Liquid AI
Liquid AI ha misurato la velocità in FP32 su un singolo thread di CPU di un MacBook Pro dotato di chip Apple M4 Max. Secondo questi dati, che sono dichiarativi, LiquidCodec elabora la codifica a circa 361 volte il tempo reale e la decodifica a circa 87 volte. Il fattore tempo reale (RTF) è il tempo di elaborazione diviso per la durata dell’audio: più è basso, più l’elaborazione è veloce. L’RTF di codifica è 0,0028, contro 0,0361 per Mimi, 0,2145 per NanoCodec e 0,7359 per X-Codec 2. In decodifica, è 0,0115, contro 0,0329, 0,2543 e 0,0379.
Per la qualità, Liquid AI ha utilizzato otto set di test: LibriSpeech test-clean, Seed-TTS in inglese e in mandarino, e cinque lingue di FLEURS (tedesco, francese, mandarino, giapponese, coreano). LiquidCodec ottiene il miglior punteggio ViSQOL e la minore distanza di mel sugli otto set. Su LibriSpeech, il punteggio ViSQOL raggiunge 4,319, contro 4,219 per NanoCodec, 4,119 per X-Codec 2 e 4,031 per Mimi. In test di sintesi vocale addestrati sui token di ogni codec, LiquidCodec mostra il miglior punteggio UTMOSv2 sugli otto set. Il tasso di errore sulle parole su LibriSpeech è del 3,15%, contro il 6,27% di Mimi.
NanoCodec ottiene tuttavia un punteggio PESQ (WB) migliore su sette degli otto set, e supera LiquidCodec in similarità del parlante su LibriSpeech (SECS 0,836 contro 0,785).
Distribuzione
Il codec si carica con Hugging Face Transformers, attivando trust_remote_code=True. La funzione encode() produce i codici audio e decode() restituisce la forma d’onda. Una classe nativa, LiquidCodecStreamingCache, permette una decodifica pezzo per pezzo. Gli esempi della scheda utilizzano processori grafici (GPU) CUDA in bfloat16.
Per i dispositivi embedded, Liquid AI propone versioni GGUF Q4_0, Q4_K_M e Q8_0 destinate a llama.cpp, oltre a repository GGUF per LFM3-Audio-2B e LFM3-Omni-2B. Secondo l’azienda, la combinazione di Q4_0 e della QAT del decoder riduce l’impronta di quest’ultimo di un fattore 3,5. Il punteggio ViSQOL su LibriSpeech passa quindi da 4,319 a 4,292.
