In un servizio clienti, sapere quando parlare e quando tacere conta tanto quanto il contenuto delle risposte. In un articolo di blog, ElevenLabs dettaglia come i suoi agenti vocali gestiscono questa alternanza dei turni di parola, o « turn taking », nell’intelligenza artificiale conversazionale.
Gli agenti devono trovare un equilibrio delicato: tacere abbastanza a lungo per lasciar parlare l’interlocutore, senza aspettare così tanto che la latenza (il ritardo di risposta) e i silenzi imbarazzanti compromettano la qualità dello scambio. Per questo, i modelli devono valutare rapidamente l’intenzione di parlare, piuttosto che affidarsi a timer di silenzio rigidi. ElevenLabs afferma che la sua architettura unificata analizza continuamente tono, ritmo e contesto delle parole.
Tre decisioni per ogni scambio
Secondo l’articolo, un modello conversazionale segue regole che determinano il momento più appropriato per rispondere, mantenere la parola o ascoltare. Nel primo caso, l’agente risponde direttamente: a una richiesta di saldo, indica « The account balance is $57.34. », ovvero « Il saldo del conto è di 57,34 $ ».
Per mantenere la parola, il modello continua a parlare e segnala che non ha terminato, anche quando fa una pausa. Nell’esempio fornito, l’agente annuncia il saldo, poi menziona un pagamento in sospeso per lo stesso importo, prima di chiedere se il chiamante vuole sapere quando questo pagamento sarà addebitato senza penali. Nel terzo caso, l’agente tace mentre il cliente spiega la sua situazione. L’esempio mostra un cliente che conferma che il suo pagamento è stato inviato diversi giorni fa; l’agente risponde che di solito occorrono tre giorni per elaborarlo e che non verranno applicate penali.
La documentazione per sviluppatori parla spesso di rilevazione del turno o di « end-of-turn detection ». I sistemi che combinano il rilevamento dell’attività vocale (VAD, che classifica l’audio in parlato o silenzio) con la comprensione del linguaggio per giudicare se l’interlocutore ha finito sono descritti come « semantic VAD ».
Una catena di elaborazione in tempo reale
Secondo ElevenLabs, ElevenAgents elabora queste decisioni in tre fasi. Il VAD classifica il flusso audio in parlato o silenzio diverse decine di volte al secondo, poi il rilevamento dell’intenzione determina se il parlante ha realmente finito o se sta semplicemente facendo una pausa. Indizi come un’intonazione discendente o una frase sintatticamente completa possono confermare la fine del turno, mentre un’intonazione sospesa o esitazioni come « umm… » segnalano una pausa.
Il ritardo di risposta è un fattore chiave, perché può spingere un chiamante ad abbandonare la conversazione. Secondo lavori pubblicati nel Journal of Cognition, gli intervalli tra i turni di parola tra esseri umani sono in media di circa 200 ms a seconda delle culture. ElevenLabs indica che con Eleven v4 Turbo utilizzato con ElevenAgents, il ritardo mediano tra la richiesta e il parlato udibile è di 142 ms.
Interruzioni ed errori comuni
Quando un chiamante interrompe realmente la parola, ad esempio per correggere un dettaglio del conto, ElevenAgents invia, secondo l’azienda, un segnale di stop in meno di 200 ms, e l’agente si interrompe a metà frase. I modelli devono però distinguere queste interruzioni dai « backchannels », quei piccoli segnali di ascolto come « I see » o « yeah », che non sono prese di parola.
L’articolo identifica tre principali carenze: una rilevazione prematura della fine del turno, silenzi troppo lunghi e falsi rilevamenti legati al rumore o alle parole di assenso. Per rispondere, ElevenLabs propone di regolare la « turn eagerness » su tre livelli: Eager, Normal (predefinito) e Patient, ad esempio quando il chiamante compita un numero di telefono. Il tempo di attesa può anche essere regolato, con, per il servizio clienti, 5-10 secondi di silenzio secondo l’articolo, e 15-30 secondi per comunicazioni legali.
Infine, i team di qualità monitorano due indicatori: il tasso di interruzione, che misura la frequenza con cui il modello interrompe erroneamente un chiamante, e la latenza di risposta. L’articolo precisa che il VAD è solo uno dei dati: il rilevamento del turno aggiunge contesto, intenzione e prosodia.
