トピックモデル
From Wikipedia, the free encyclopedia
トピックモデル（Topic model）は、統計学および自然言語処理において、文書集合に存在する抽象的な「トピック」を発見するための一種の統計モデルである。トピックモデリングは、テキスト集合に隠れた意味構造を発見するためのテキストマイニング手法として頻繁に用いられる。
直感的には、ある文書が特定のトピックに関するものであれば、関連する語が高頻度で現れると期待できる。たとえば「犬」と「骨」は犬に関する文書で多く現れ、「猫」と「ニャー」は猫に関する文書で多く現れ、「the」や「is」などはどちらの文書にも同程度に現れる。多くの文書は複数のトピックを異なる割合で含んでいる。たとえば、ある文書が猫に10%、犬に90%関連しているとすれば、犬に関連する語の方が約9倍多くなると予測される。トピックモデルによって得られる「トピック」とは、意味的に似た語のクラスタである。トピックモデルはこの直観を数学的枠組みで表現し、文書集合を解析して語の出現頻度に基づき、どのようなトピックがあるか、各文書にどのトピックがどの程度含まれるかを推定する。
トピックモデルは「確率的トピックモデル」とも呼ばれ、膨大なテキストから潜在的な意味構造を発見する統計的アルゴリズムである。情報の時代において、日常的に接する文書量は人間の処理能力を超えており、トピックモデルは未構造なテキスト集合を整理し、理解するための手段となる。もともとはテキストマイニングのために開発されたが、現在ではバイオインフォマティクス[1]やコンピュータビジョン[2]など、他分野にも応用されている。
初期のトピックモデルの1つは、パパディミトリウ、ラガヴァン、タマキ、ヴェンパラによって1998年に記述された[3]。
もう一つのトピックモデルは、トーマス・ホフマンによって1999年に提案された確率的潜在意味解析（PLSA）である[4]。
現在最も一般的に使用されているトピックモデルである潜在的ディリクレ配分法（LDA）は、PLSAを一般化したものである。LDAは2002年にデイヴィッド・ブレイ、アンドリュー・ン、マイケル・I・ジョーダンによって開発された。このモデルは、文書-トピックおよびトピック-単語分布に疎なディリクレ分布の事前分布を導入しており、「文書は少数のトピックをカバーし、トピックは限られた語彙で表現される」という直感を数理的に表現している[5]。
その他のトピックモデルの多くは、LDAの拡張である。たとえば、パチンコ配分モデルは、LDAに加えてトピック間の相関もモデル化することで、表現力を高めている。
また、階層潜在木分析（Hierarchical Latent Tree Analysis, HLTA）は、LDAの代替手法であり、潜在変数の木構造を用いて単語の共起をモデル化する。潜在変数の状態は文書の「ソフトクラスタ」として解釈され、それらがトピックとして扱われる。
コンテキスト情報に対するトピックモデル
時間的情報に関するアプローチとして、ブロックとニューマンによる『ペンシルベニア・ガゼット』（1728年～1800年）のトピックの時間的変化の特定がある。グリフィスとステイバースは、『米国科学アカデミー紀要』誌の1991年から2001年までの要旨を用いて、人気が上昇または下降したトピックを識別するためにトピックモデルを使用した。一方、ランバとマドゥスーダンは、1981年から2018年までの DJLIT 誌から取得した全文研究記事にトピックモデリングを適用した。図書館情報学の分野では[6][7][8][9]、 インドのさまざまな情報源（学術論文や電子学位論文（ETDs））にトピックモデリングを適用している。
ネルソン[10] は、『リッチモンド・タイムズ・ディスパッチ』誌における時間と共に変化するトピックを分析し、アメリカ南北戦争時代のリッチモンドにおける社会的・政治的変化および継続性を理解しようとしている。ヤン、トージェット、ミハルチャは、1829年から2008年の新聞にトピックモデリング手法を適用した。ミムノは、古典文献学と考古学に関する24の学術誌にわたる150年分のジャーナルを使ってトピックモデリングを行い、トピックが時間とともにどのように変化し、雑誌同士がどのように似たり異なったりしていくかを調べた。
インら[11] は、文書の地理的位置を、推論中に検出される潜在的な地域によって説明する、地理的に分布した文書に対応するトピックモデルを提案した。
チャンとブレイ[12] は、文書同士のリンク（ネットワーク）情報を取り込む関係トピックモデルを提案し、ウェブサイト間のリンクをモデル化した。
ローゼン＝ズヴィら[13] による著者-トピックモデルは、文書の著者情報を利用して、トピック検出を改善するために、著者に関連付けられたトピックをモデル化する。
HLTAは、主要なAIおよび機械学習分野の学会に発表された最新の研究論文群に適用され、その結果得られたモデルはThe AI Treeと呼ばれている。このトピック群はaipano.cse.ust.hkにて文書を索引付けするために使われており、研究者が研究のトレンドを追跡し、読むべき論文を特定する手助けをする。また、学会やジャーナルの編集者が論文の査読者を特定するためにも役立っている。
コンピュータが抽出したトピック（クラスタ）が、人間の直感とどれだけ整合するかという「整合性スコア」の有効性を評価し、生成されたトピックの質や一貫性を向上させようとする研究も進められている[14][15]。 整合性スコアは、文書コーパスから抽出すべき最適なトピック数を決定するための指標でもある[16]。
アルゴリズム
実際には、研究者は最大尤度に基づいた適合手法のいずれかを用いて、コーパスに適したモデルパラメータをフィッティングしようとする。ブレイによる調査では、これらのアルゴリズム群が紹介されている[17]。
パパディミトリウらに始まるいくつかの研究グループは、理論的保証を持つアルゴリズムの設計を試みてきた[3]。これは、データが実際にそのモデルによって生成されたと仮定し、元のモデルを高い確率で復元するアルゴリズムの設計を目指すものである。ここで用いられる手法には、特異値分解（SVD）やモーメント法がある。
2012年には、非負値行列因子分解（NMF）に基づいたアルゴリズムが導入され、トピック間の相関も扱えるトピックモデルへと一般化された[18]。
2017年には、ニューラルネットワークを用いたトピックモデリングが登場し、推論処理を高速化することに成功した[19]。さらに、弱教師あり学習へと拡張されたバージョンも登場している[20]。
2018年には、トピックモデルに対する新たなアプローチが提案された。それは確率的ブロックモデルに基づいており、トピックモデルをネットワークの観点から捉えるものである[21]。
さらに近年では、大規模言語モデル（LLM）の登場により、トピックモデリングは文脈埋め込み[22]やファインチューニングによっても強化されている[23]。
