FacebookやInstagramを運営するMetaが「Seamless」という新しいAI言語翻訳システムを発表しました。このシステムは、リアルタイムで異なる言語間の会話を可能にし、話者の表現や感情が損なわれないようになっているとのことです。
引用元：Introducing a suite of AI language translation models that preserve expression and improve streaming
今回発表された「Seamless」とは
今回発表された「Seamless」はMetaが開発したM4T v2という高性能な翻訳システムに、2つの新しいシステムを統合して作られました。
Seamless M4T v2と、統合された二つの翻訳システムについて
Seamless M4T v2はMeta社によって開発されたAI翻訳モデルで自動音声認識（ASR）、音声から音声、音声から文章、文章から音声に翻訳する能力を持っています。特に、音声から文章および音声から音声の翻訳において100言語以上に対応し、また翻訳のためのリソースが少ない言語においても優れた性能を示しています
メタはこの翻訳モデルに更に以下２つの翻訳モデルを統合しました。
- SeamlessExpressive: 感情などの表現を伝えられる翻訳モデル。話者の感情やスタイルを保ちながら、スピーチの翻訳を行います。
- SeamlessStreaming: 約2秒の遅延で動作するストリーミング翻訳モデル。話者が話している間に翻訳を生成し、リアルタイムでの会話を可能にします。
これらの統合により「Seamless」ではほぼ時間差がなく人間的な翻訳を実現しているとのことです。公開されたデモでは、ささやき声の入力がささやき声の翻訳音声で出力されています。
セキュリティと倫理への取り組み
Meta社は、翻訳システムの正確性と安全性にも重点を置いています。翻訳エラーや意図せず出現した悪意のある表現を少なくするためのフィルタリングを実装しています。さらに、合成音声と人間の音声を区別するためのウォーターマーキング(透かし)も導入しているとのことです。
ビッグテックのAI翻訳開発レース
今回発表された「Seamless」のように、AIを活用した翻訳システムの開発は盛んに行われています。先日の「アドバンスト・メディアが開発した「AI茨ひより」が英語対応を発表。シンガポールで茨城の魅力を発信」という記事では、Microsoft出資先でもあるOpenAIのChatGPTを用いた翻訳システムが用いられたと紹介しました。このように今後、翻訳システム市場はこうしたビッグテック同士の争いの場ともなりそうです。
MetaのAI技術への取り組みについて
メタ社は、AI技術の開発と応用において、独自のAIスーパーコンピュータ「RSC」の使用や、大規模AIモデルのトレーニング、新しい拡張現実ツールやリアルタイム翻訳技術などに注力しています。これらの技術は、コンテンツ理解システムの強化や、新しいAIアプリケーションの開発、さらには長期的なメタバース構築のために活用される予定だとのことです。
参照元：Introducing a suite of AI language translation models that preserve expression and improve streaming
まさか「ほんやくこんにゃく」が現実のものになるとは…