マイクロソフトは、生放送で撮影された人物の発話を「クリーンアップ」し、新しいテキストに合わせて唇の動きまで修正可能な人工知能（AI）を記述した特許を出願した。この文書は、Patentlyzeによって発見され、「AIによるビデオストリームまたは拡張現実イベントプレゼンテーションのほぼリアルタイムでの向上」について言及している。
不要語の削除から翻訳まで
特許に記述されたソフトウェアは、ビデオストリーム上で発話された特定の単語を置き換え、修正部分の前後の映像と音声を調整して、遷移が目立たないようにすることができる。発表された「リアルタイム」は実際には1〜10秒の遅延に対応し、その間にシステムがこれらの操作を実行する。
置き換える単語は、一般的なパラメータに加え、ユーザーの年齢、話す言語、居住地などのプロファイルに基づいて選択される。目的は、「えーっと」や誤発音、卑語、背景ノイズなどを除去した、パーソナライズされたストリームを生成することである。
特許は翻訳にも言及している。ビデオがユーザーの話さない言語で配信される場合、ソフトウェアは発話を翻訳し、唇の動きを調整して、映像が新しい音声トラックに一致するようにする。このような能力は、既に人工知能にさらされている二つの職業、翻訳者と吹き替え俳優を脅かす可能性がある。
このフィルターは最終的に、「個人的な表現」、「創作語」、または「くだけた表現」を対象とする可能性がある。テキストは、ユーザーのプロファイルに合わないアイデンティティのマーカーを失う可能性のある、丁寧な言語について言及している。
生放送の完全性を損なう技術？
誤情報やAIで改ざんされた偽の動画・音声記録であるディープフェイクが懸念される状況において、この特許は新たなフィルタリング手法を記述している。説明によれば、各視聴者は、実際に発言された内容を確実に聞くことなく生イベントを視聴する可能性があり、これはほぼリアルタイムでの現実の改変となる。
ただし、ソフトウェアは「参照」バージョンのアーカイブを想定している。電話、タブレット、カメラ、スマートグラスなど、様々なデバイスで動作する可能性がある。
現時点では単なる特許であり、この技術が展開されていることを示すものではない。また、文書は変更されたストリームを識別するための手がかりを一切提供していない。この種のツールが実現した場合、生放送への信頼は損なわれ、「ライブ」が「真実」としての価値を失う可能性がある。
