كيف تعمل التوليف الصوتي : من النص إلى صوت طبيعي

كيف يعمل التوليف الصوتي

تتم العملية في مرحلتين رئيسيتين. الأولى، وتسمى الواجهة الأمامية (frontend)، تنظف النص، وتقطعه إلى وحدات (رموز) (وهي وحدات لغوية، يمكن أن تكون كلمة، أو جزءًا من كلمة، أو علامة ترقيم) وتحوله إلى تمثيلات رياضية، تسمى متجهات، يمكن للنظام التعامل معها. الثانية، وتسمى الواجهة الخلفية (backend)، تحول هذه البيانات إلى أشكال موجية تمثل الكلام.

يجب على المحرك أيضًا تفسير الرموز. فهو يقرأ مثلاً « $11 » على أنها « eleven dollars ». كما يجب عليه التعامل مع النبرة، أي طبقة الصوت وإيقاعه، اللذين يمنحان الكلام طابعه الطبيعي. ويعتمد في ذلك على السياق، خاصة فيما يتعلق بـ الكلمات المتجانسة كتابةً، وهي كلمات تُكتب بنفس الطريقة لكنها لا تُنطق دائمًا بنفس الطريقة.

يتتبع المقال جملة، « Mr. Ríos paid $11 on 10/06. »، عبر العملية. يقوم المحرك بتطوير « Mr. » إلى « Mister »، ويقرأ « $11 » على أنها « eleven dollars »، ويقرر ما إذا كان « 10/06 » يعني « October sixth » أو « the tenth of June »، حسب اللغة والسياق. ثم يضع التركيز على « eleven dollars »، ويضيف وقفة قصيرة قبل التاريخ، ويخفض طبقة الصوت في نهاية الجملة. بعد ذلك ينتج النموذج الصوتي مخطط طيف الميل، وهو تمثيل للترددات وطاقة الصوت عبر الزمن، والذي يحوله المشفر الصوتي إلى موجة صوتية. وبالتالي، فإن أي خطأ في المراحل السابقة، مثل قراءة تاريخ بشكل خاطئ، يظهر في الصوت النهائي.

لماذا يبدو الصوت العصري أكثر إنسانية

تستخدم المحركات العصبية، وهي الأحدث، شبكة عصبية عميقة، مُدربة على كميات كبيرة من التسجيلات الصوتية المرتبطة بنصوصها. وهي تتقن إنتاج كلام طبيعي وواضح، وهما معياران يستخدمهما المهندسون لتقييم هذه المحركات.

تأتي هذه المحركات بعد جيلين من التقنيات. فالتوليف الصوتي القائم على القواعد، الذي كان سائدًا في السبعينيات والثمانينيات، كان يولد أصواتًا مصممة بناءً على قواعد رياضية. كان واضحًا، لكنه كان رتيبًا وآليًا. أما التوليف الصوتي بالربط، المستخدم من التسعينيات حتى العقد الأول من الألفية، فكان يجمع عينات صغيرة من صوت بشري مأخوذة من مجموعة كبيرة. كان أكثر طبيعية، لكنه قد يبدو متقطعًا.

يميز المقال أيضًا بين التوليف الصوتي و«مولدات الصوت بالذكاء الاصطناعي»، وهو مصطلح تسويقي يشير إلى مجموعة أوسع من التقنيات، تشمل تصميم الصوت، واستنساخ الصوت، ونقل أسلوب الصوت. ويشكل التوليف الصوتي جزءًا منها.

استخدامات وضبط النطق

يُستخدم التوليف الصوتي في السرد، والتعليق الصوتي، والدبلجة، والكتب الصوتية، وحوارات ألعاب الفيديو. ويذكر المقال حالة TAP، التي استخدمت ElevenLabs TTS لإنتاج محتويات تعليمية للمدارس في الهند. كما يُستخدم لتحسين إمكانية الوصول، خاصة مع قارئات الشاشة، ومساعدة القراءة لذوي عسر القراءة، وتعلم اللغات. في دعم العملاء، تجمع وكلاء الصوت بين التعرف على الكلام، ونماذج اللغة الكبيرة (LLM)، والأدوات المتصلة. وفقًا للمصدر، قللت شركة Klarna وقت الحل بمقدار 10 أضعاف بفضل ElevenAgents.

لتصحيح أخطاء النطق، خاصة في الأسماء الخاصة أو المصطلحات المتخصصة، تقدم ElevenAPI قواميس نطق بصيغة PLS، تربط بين أشكال الكتابة والفونيمات، بالإضافة إلى علامات صوتية بتدوين IPA (الألفبائية الصوتية الدولية) مباشرة في النص. يمكن للمطورين أيضًا ربط تطبيقاتهم عبر واجهة برمجة التطبيقات (API)، عن طريق إرسال نص، ومعرف صوت، ومعرف نموذج. وفقًا للمقال، يمكن تقليل زمن التأخير إلى حوالي 100 مللي ثانية قبل الصوت الأول لوكلاء المحادثة.