音声合成

パイプラインモデル

例えば補助変数として言語特徴量と音響特徴量を導入し次のように定式化する。音声信号の性質を表す音響特徴量を${\displaystyle {\mathcal {O}}}$（データベース）および${\displaystyle {\boldsymbol {o}}}$（合成）、テキストの性質を表す言語特徴量を${\displaystyle {\mathcal {L}}}$（データベース）および${\displaystyle {\boldsymbol {l}}}$（任意に与えられたテキスト）、言語特徴量が与えられた際の音響特徴量の生起確率を表現するパラメトリックな音響モデルを${\displaystyle \lambda }$としたとき、予測分布は以下のように分解できる。$${\displaystyle {\begin{aligned}p({\boldsymbol {x}}\mid {\boldsymbol {w}},\mathrm {X} ,{\mathcal {W}})&=\iiint \sum _{\forall {\boldsymbol {l}}}\sum _{\forall {\mathcal {L}}}p({\boldsymbol {x}},{\boldsymbol {o}},{\boldsymbol {l}},{\mathcal {O}},{\mathcal {L}},\lambda \mid {\boldsymbol {w}},\mathrm {X} ,{\mathcal {W}})d{\boldsymbol {o}}d{\mathcal {O}}d\lambda \\&=\sum _{\forall {\boldsymbol {l}}}\sum _{\forall {\mathcal {L}}}\iiint p({\boldsymbol {x}}\mid {\boldsymbol {o}})p({\boldsymbol {o}}\mid {\boldsymbol {l}},\lambda )p({\boldsymbol {l}}\mid {\boldsymbol {w}}){\frac {p(\mathrm {X} \mid {\mathcal {O}})p({\mathcal {O}}\mid {\mathcal {L}},\lambda )p(\lambda )p({\mathcal {L}}\mid {\mathcal {W}})}{p(\mathrm {X} )}}d{\boldsymbol {o}}d{\mathcal {O}}d\lambda \\\end{aligned}}}$$あとは補助変数について周辺化を行えばよいが、これを補助変数の同時確率を最大化する点で近似すると、予測分布は以下のように近似できる。$${\displaystyle p({\boldsymbol {x}}\mid {\boldsymbol {w}},\mathrm {X} ,{\mathcal {W}})\approx p({\boldsymbol {x}}\mid {\hat {\boldsymbol {o}}})}$$ただし、$${\displaystyle \{{\hat {\boldsymbol {o}}},{\hat {\boldsymbol {l}}},{\hat {\lambda }},{\hat {\mathcal {O}}},{\hat {\mathcal {L}}}\}={\rm {arg~max}}_{{\boldsymbol {o}},{\boldsymbol {l}},\lambda ,{\mathcal {O}},{\mathcal {L}}}{\big \{}p({\boldsymbol {x}}\mid {\boldsymbol {o}})p({\boldsymbol {o}}\mid {\boldsymbol {l}},\lambda )p({\boldsymbol {l}}\mid {\boldsymbol {w}})p(\mathrm {X} \mid {\mathcal {O}})p({\mathcal {O}}\mid {\mathcal {L}},\lambda )p(\lambda )p({\mathcal {L}}\mid {\mathcal {W}}){\big \}}}$$である。

しかし、同時確率の最大化もなお困難であるため、さらに逐次最適化で近似すると、以下の6つの副問題をそれぞれ最適化することになる。

• ${\displaystyle {\hat {\mathcal {O}}}={\rm {arg~max}}_{\mathcal {O}}p(\mathrm {X} \mid {\mathcal {O}})}$（音響特徴量の抽出）
• ${\displaystyle {\hat {\mathcal {L}}}={\rm {arg~max}}_{\mathcal {L}}p({\mathcal {L}}\mid {\mathcal {W}})}$（言語特徴量の抽出）
• ${\displaystyle {\hat {\lambda }}={\rm {arg~max}}_{\lambda }p({\hat {\mathcal {O}}}\mid {\hat {\mathcal {L}}},\lambda )}$（音響モデルの学習）
• ${\displaystyle {\hat {\boldsymbol {l}}}={\rm {arg~max}}_{\boldsymbol {l}}p({\boldsymbol {l}}\mid {\boldsymbol {w}})}$（言語特徴量の予測）
• ${\displaystyle {\hat {\boldsymbol {o}}}={\rm {arg~max}}_{\boldsymbol {o}}p({\boldsymbol {o}}\mid {\hat {\boldsymbol {l}}},{\hat {\lambda }})}$（音響特徴量の予測）
• ${\displaystyle {\hat {\boldsymbol {x}}}\sim p({\boldsymbol {x}}\mid {\hat {\boldsymbol {o}}})}$（音声波形の生成）

End-to-Endモデル

中間特徴量を用いず直接音声波形を生成するモデルを End-to-End モデルという。すなわち ${\displaystyle p(wave|text,\theta )}$ を1つのモデルで表現し、コーパスを用いて ${\displaystyle \theta }$ を学習する。

規則合成

規則合成^[11]は、研究を通じて得られた音声生成に関する知識を元に規則を定め、その規則に基づいて音声を生成する。歴史的には比較的古い。例えば以下のようなものがある^[12]。

波形接続型音声合成

波形接続型音声合成（はけいせつぞくがたおんせいごうせい、（英: concatenation-based synthesis）は音声素片を調整・連結して音声を合成する手法の総称である^[18]。

波形接続型音声合成では、短い音声波形を素片としこれらを調整したうえで連結して音声を合成する^[18]。出力目標に近い素片があれば繋ぐだけで自然な音声を合成できる一方、無ければ素片の調整が必要となり自然性が調整法の品質に依存する。また幅広い表現のためには幅広い表現の素片を用意する、あるいは自然かつ表現力のある調整法を採用する必要があり^[19]、様々な手法が開発されている（例: PSOLA - 音高操作^[19]、MBROLA^[要出典]）。これらの前提として、表現を言語化しその音響的特徴を理解する必要がある（収集基準の設定、調整法の考案、合成時の選択に必須）。

統計的パラメトリック音声合成

統計的パラメトリック音声合成（英: statistical parametric speech synthesis; SPSS）は統計モデルに基づく音声合成、すなわち確率的音声合成の総称である^[24]。

録音された音声から音声の特徴を学習したパラメトリックな生成モデルを作り、その生成モデルの出力を元に音声を合成する。波形接続型音声合成では条件次第で合成された音声の滑らかさに問題が生じうるが、統計的音声合成では基本的には滑らかな音声を合成できる。また手法により、複数話者の中間声質、感情が込められた変化の激しい音声など、柔軟で多様な音声合成が可能である。

ニューラルネットワーク音声合成

ニューラルネットワーク音声合成はニューラルネットワークを音声合成モデルに利用した音声合成である。

音響モデル（言語特徴量 to 音響特徴量）をニューラルネットワークでモデル化する、言語特徴量で条件付けられる音声波形確率分布（生成モデル）自体をニューラルネットワークでモデル化する等の方法がある。ニューラルネットワークモデルは隠れマルコフモデルに比べて表現力が高く自然性が高い一方、モデルのパラメータ数、学習・音声合成計算コストは大きい^[要出典]。

生成元

• テキスト: テキスト音声合成
• 音声: 音声変換
  • 歌声: 歌声変換（Singing Voice Conversion）
• 脳活動: Brain-Machine Interfaceの一種^[58]
• （音響特徴量: ボコーダー。しばしばテキスト音声合成や音声変換に組み込まれる）

合成先

• 歌声: 歌声合成（英: singing voice synthesis; SVS）^[59]

テキスト音声合成

テキスト音声合成（テキストおんせいごうせい、（英: text-to-speech, TTS）はテキスト（文章）を音声に変換するタスクである。この変換は「テキストとそれに対応する音声波形の組があるとき、任意に与えられたテキストに対応する音声波形を求める」問題と捉えられる^[60][61]。

テキスト音声合成においては、入力されたテキスト（文章）の読み方を正しく推定することが必要である。一般には規則・辞書・統計的手法などを組み合わせて行う。しかし、これには様々な困難がある。例えば日本語では、漢字の音読み・訓読みの区別（あるいはそれぞれが複数ある場合にどの読み方か推定する）、同形異音語の区別、アクセントの推定、人名や地名の読み方の推定などを正しく行うには困難が伴う。

音声変換

音声変換（おんせいへんかん、（英: voice conversion, VC）は入力音声がもつ特徴の一部を変換するタスクである^[62]。言語内容を維持したまま話者を変える話者変換^[63]、声のトーンのみを変える感情変換など、様々なサブタスクに分類できる。話者性や音色を維持し言語内容のみを外国語に変えるタスクは音声翻訳タスクとも音声変換タスクとも捉えられる。

帯域拡張

帯域拡張（たいいきかくちょう、（英: bandwidth extension, BWE）は入力音の実効周波数帯域を合成により引き上げるタスクである^[64]。周波数帯域拡張（英: frequency bandwidth extension）、音響超解像（英: audio super-resolution）とも^[65]。

ヒトは20kHzまでの音を聞き取る能力をもつ（可聴域）が、様々な制約によりそれ以下の周波数成分までしか持たない合成音は様々存在する（例: 固定電話）。下限についても同様であり、この失われた周波数帯域を推定し補完する音声合成タスクが帯域拡張である。帯域拡張を実現できれば音響・音声の明瞭性や自然性を向上でき、また帯域拡張を前提とした高圧縮アルゴリズムにも貢献できる。

帯域拡張は狭帯域音声を入力として広帯域音声を合成するタスクであるため、条件付け音声合成の一種と見做せる^[66]。

品質の客観評価

音声合成の品質のうち、合成音声の自然性を客観的に評価するのは困難である。専門家の間で共通して有効であると認識されているような客観指標は存在しない。目的話者との類似性や、目的の発話スタイルの再現性などについても同様である。

性能の公平な比較

音声合成の手法は研究者によってそれぞれ独自のデータセットを用いてモデル学習を行い、かつ独自の課題により評価することが少なくなく、性能を公平に比較することが困難な場合がある。そこで、音声に関する国際学会であるInternational Speech Communication Association（ISCA） のSpeech Synthesis Special Interest Group（SynSIG）では、2005年より毎年Blizzard Challenge^[67]という競技会を行っている。この競技会では、共通のデータセットを学習に用いた音声合成システムを、共通の課題により評価することで、性能の公平な比較を可能としている。

なお、特に商用の音声合成システムではその目的に応じたデータセットを用いることでその目的に特化した性能向上を図ることがあり、これは各社のノウハウとなっている。

音声合成向け共通インターフェース

主要なOSの音声合成向けの共通インターフェースには以下が存在する:

• Microsoft Windows
  • Speech Application Programming Interface (SAPI) - COM API
  • .NET Framework の System.Speech.Synthesis 名前空間^[70]
  • Windowsランタイム の Windows.Media.SpeechSynthesis 名前空間^[71]
• macOS、iOS
  • Application Servicesフレームワークの Speech Synthesis Manager（旧Speech Manager、非推奨）^[72]
  • AppKit の NSSpeechSynthesizer（非推奨）^[73]
  • AVFAudio の AVSpeechSynthesizer^[74]
  • sayコマンド
• Android
  • android.speech.tts パッケージ^[75]
• Linux/Unix
  • Speech Dispatcher - Free(b)softプロジェクトの一部。例えばUbuntuがこれを採用している^[69]。spd-sayコマンドもある。

またクロスプラットフォームの音声合成向け共通インターフェースには例えば以下が存在する:

• Qt の Qt TextToSpeech モジュール^[76]
• .NET MAUI の TextToSpeech クラス^[77]

Web向けには以下が存在する:

• HTML5オーディオ の Web Speech API^[78]

なお OS にはスクリーンリーダーとは別に音声アシスタントも存在するが、音声アシスタントの実装は非公開APIが中心となっている（macOS の Siri^{[注 3]}、MicrosoftのCortana^{[注 4]}）。

現行の音声合成バックエンド

• Apple
  • MacInTalk（英語版）（Macintosh, 1984〜） - PlainTalk（英語版）の一部
• Microsoft
  • Microsoft text-to-speech voices（英語版） - Microsoft Windowsで使われる。
• Google
  • Speech Recognition & Synthesis（英語版） - Androidで使われる。
  • Gemini^[82]
• Samsung
  • Samsung Text-to-Speech - Samsung製のAndroidデバイスで使われている^[83]。
• オープンソース
  • eSpeak（英語版） NG - フォルマント合成ベース。eSpeakの後継。Ubuntuのデフォルトバックエンドとして採用されている^[69]。日本語は平仮名とカタカナのみ対応 (espeak-ng -v ja)。
  • RHVoice - 統計的パラメトリック合成ベース。日本語未対応
  • Piper - ニューラル合成ベース。事前に音素化を行う。
  • PaddleSpeech（百度） - PaddlePaddleベースの音声ツールキット。英語および中国語に対応。
  • ESPnet
  • NVIDIA NeMo^[84] - 多言語対応モデルではMagpie-TTSに対応している^[85]。
  • VOICEVOX（オープンソース版） - 製品版はプロプライエタリライセンス
  • llama.cpp（英語版） (llama-tts) - - GGMLベース。元々はLLMの実装であるが、LLMベースのTTSにも対応している。
  • audio.cpp - GGMLベース。日本語対応TTSモデルは Qwen3 TTS、Higgs TTS、MOSS‑TTS、MioTTS、OuteTTS、Irodori-TTSなどに対応している。
  • CrispASR - GGMLベース。

クラウド音声合成サービス

• Google Cloud Text-to-Speech^[86]
• Microsoft Azure Speech service^[87]
• Amazon Polly（英語版）
• IBM Watson Text to Speech
• Oracle Cloud Infrastructure (OCI) Speech
• さくらのAI Engine 音声合成(TTS)API - VOICEVOXベース^[88]

過去

• TI-99/4Aには音声合成機能をオプションで追加可能であった^[89]。
• PC-6001は音声合成カートリッジが追加でき、PC-6001mkIIには音声合成機能が内蔵されていた。後継のPC-6001mkIISRやPC-6601では歌うことも可能であった。
• FM-7/FM-77シリーズには音声合成ボード (MB22437/FM-77-431) がオプションとして用意されていた。
• MZ-1500/2500/2861にはオプションとしてボイスボード (MZ-1M08) が存在した。五十音と、いくつかのフレーズを外部チップにサンプリングされROMとして焼きこまれており、制御によって再生するものである。
• 富士通は、セントロニクス規格プリンタポートに接続する外付けハードウエアFMVS-101日本語音声合成装置を出していた。ASCIIもOEMしていた。これはプリンタポートさえあれば機種を問わず動作していた。
• NEC PC-9801シリーズにて、外付けハードウェア無しに（BEEP音スピーカを使う）ソフトだけで実現する音声合成ソフトが複数でていた。校了Jrなど。
• オープンソース
  • Festival Speech Synthesis System（英語版）
  • Gnuspeech（英語版）
  • HMM-based Speech Synthesis System (HTS)
  • Galatea Talk - 日本語音声対話システム Galatea の音声合成部分。日本語形態素解析に ChaSen、日本語アクセント結合処理に ChaOne、日本語アクセント辞書に UniDic ^{[注 5]}を使用していた^[90]。
  • Open JTalk（HTSに基づいた日本語向け音声合成システム）
  • Coqui-TTS - Mozilla TTSの後継^[91]。複数のTTSモデルに対応している（日本語対応のモデルではBarkとⓍTTSに対応）。
  • MaryTTS - Java言語ベース。

学術雑誌

• European Association for Signal Processing (EURASIP) Speech Communication（ISCAと合同）
• IEEE
  • IEEE Transaction on Information and Systems
  • IEEE Transaction on Signal Processing
• International Speech Communication Association (ISCA)
  • Computer Speech and Language
  • Speech Communication（EURASIPと合同）
• シュプリンガー・サイエンス・アンド・ビジネス・メディア International Journal of Speech Technology

• 日本音響学会
  • 日本音響学会誌
  • Acoustical Science and Technology (AST)
• 電子情報通信学会 電子情報通信学会論文誌
• 情報処理学会 情報処理学会論文誌

学会

研究機関

音声合成マークアップ言語 (Speech Synthesis Markup Language; SSML)

音声合成においてテキスト解析を100%正しく行うことは困難である。また、テキストからは解釈できない、特定の読み方をさせたいこともある。そこで何らかの方法により情報を指定する必要があるが、ドメイン固有言語により行う方法のほか、W3Cにより定義された音声合成マークアップ言語 (Speech Synthesis Markup Language; SSML) により行う方法がある。