生成的人工知能
プロンプトに応答してコンテンツを生成できるAI
From Wikipedia, the free encyclopedia
生成的人工知能（せいせいてきじんこうちのう、英: generative artificial intelligence）または生成AI（せいせいエーアイ、英: GenAI）は、文字などの入力（プロンプト）に対してテキスト、画像、または他のメディアを応答として生成する人工知能システムの一種である[9][10]。ジェネレーティブAIともよばれる。
Midjourneyによって作成された画像。
生成的人工知能モデルは、訓練データの規則性や構造を訓練において学習することで、訓練データに含まれない新しいデータを生成することができる[11][12]。
著名な生成AIを用いたシステムとしては、OpenAIがGPT-5などの大規模言語モデル[13]を使用して構築したチャットボットのChatGPT（および別形のBing Chat）や、GoogleがLaMDA基盤モデルに構築したチャットボットGeminiがある[14]。その他の生成AIモデルとして、Stable DiffusionやDALL-Eなどの人工知能アートシステムがあげられる[15]。
生成AIは、アート、執筆、ソフトウェア開発、ヘルスケア、金融、ゲーム、マーケティング、ファッションなど、幅広い業界で応用できる可能性があるとされている[16][17]。生成AIへの投資は2020年代初頭に急増し、Google、Amazon、Microsoft、Baiduなどの大企業だけでなく、多数の中小企業も生成AIモデルを開発している[9][18][19]。しかし、生成AIを訓練する目的での著作物の野放図な利用や人をだましたり操作したりするフェイクニュースやディープフェイクの作成など、生成AIの悪用の可能性も懸念されており[20][21][22]、欧州連合における人工知能法など法規制の議論も進んでいる[23][24]。また、効果的加速主義などの技術思想との関係も指摘されている[25]。
歴史
機械学習の分野では、その誕生以来、データをモデル化し予測することを目的として、統計的モデルを使用してきた。2000年代初め頃、ディープラーニング（深層学習）の登場により、画像や動画処理、テキスト分析、音声認識などのタスクで進化と研究が進んできた。しかし、ほとんどのディープニューラルネットワークは識別的モデルとして、画像認識 (en:英語版) のような分類タスクを実行していた。
2014年、変分オートエンコーダや敵対的生成ネットワークなどの進歩により、画像のような複雑なデータの生成的モデルを学習し、生成することができる実用的なディープニューラルネットワークが登場した。
2017年、Transformerネットワークはより大規模な生成的モデルの実現を可能にし、2018年に最初の生成的事前学習トランスフォーマー（GPT）が開発された[26]。2019年、GPT-2がこれに続き、基盤モデルとして教師なし学習を多くの異なるタスクに汎化する能力を実証した[27]。
2024年、映像生成AIの実用化の成功は、イラスト生成AIの成功が人間の仕事の質を超えるのと同じようになると専門家は予想している[28]。
2025年、生成AI検索はMITが発表した世界のブレークスルー技術ランキングで2位にランクインし[29]、従来のGoogle検索は生成人工知能検索に取って代わられると予測されている[30][31]。
これ以降の応用面における進化については次節のモダリティを参照のこと。
日本における歴史
2023年5月、広島において第49回先進国首脳会議（G7広島サミット）が開かれ、生成AIなどの高度なAIの国際ルール作り（広島AIプロセス）が開始された[32]が、同時期にはG7教育大臣会合も開かれており、この会合の「富山・金沢宣言」によって教育における生成AIのリスクがG7の共通認識となった[33]。日本では2023年5月26日のAI戦略会議において⽣成AIの宿題・創作代行問題が論点となり[33]、2023年6月16日の教育振興基本計画において生成AIへの対応が盛り込まれ[33]、2023年7月4日には文部科学省初等中等教育局が「初等中等教育段階における生成AIの利用に関する暫定的なガイドライン」を公開し[34][35]、次いで2023年7月13日には文部科学省高等教育局が各大学・高専に対し「大学・高専における生成AIの教学面の取扱いについて」 の周知を行った[36][37]。また文部科学省では生成AIを教育や校務で活用する「生成AIパイロット校」の指定も行うようになった[38]。
企業における活用では、2023年7月28日に東京商工会議所が「中小企業のための『生成AI』活用入門ガイド」を公開した[39][40]。2023年8月1日、法務省大臣官房司法法制部は生成AIによる契約書等の自動化サービスについて、弁護士が審査し修正することを前提とする限りは弁護士法第72条の非弁行為に当たらないとの見解を示した[41][42]。2023年8月3日、経済産業省の第12回「デジタル時代の人材政策に関する検討会」において生成AIを活用する人材の育成が議題となり[43][44]、2024年4月には経済産業省のITパスポート試験に生成AIの問題が追加され[45][46]、2024年6月には経済産業省が「生成AI時代のDX推進に必要な人材・スキルの考え方2024」を公表した[44]。
行政における活用では、2003年6月26日に内閣官房内閣人事局が中央省庁向けの「働き方改革促進のための生成AI活用ワークショップ」を開催した[47]ほか、2023年12月から2024年3月にはデジタル庁が「行政における生成AIの適切な利活用に向けた技術検証」を行い[48]、2024年5月13日には「行政での生成AI利活用検証から見えた10の学び」を公開し[48]、2024年5月29日には「テキスト生成 AI 利活用におけるリスクへの対策ガイドブック」のα版を公開[49]、次いで2025年5月27日に「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」を策定して[50]、前述のガイドブックもこのガイドラインへと統合された[49]。同2025年5月にはデジタル庁が「ガバメントAI」プロジェクトの一環として内製の生成AIプラットフォーム『源内』の使用を開始し[51]、2026年3月には『源内』で使うための国産大規模言語モデル（国産LLM）の選定が開始された[52]。
金融における活用では、2024年5月27日に金融データ活用推進協会（FDUA）が「金融機関における生成AIの実務ハンドブック」を公開し、次いで同年8月には「金融機関における生成AIの開発・利用に関するガイドライン」を公開[53][54]、2025年1月には金融庁が「生成AIを活用した地域金融機関のDX化に向けた実証研究事業」を開始した[55]。
農業における活用では、2024年10月に農研機構が農業特化の生成AIモデルを発表した[56]もののまだハルシネーションが多いとされ[57]、2025年には情報通信研究機構 (NICT) の持つ日本語学習データを利用して精度を上げることが発表された[58]。
生成AIの開発では、2023年7月に経済産業省が「生成AI開発支援スキーム検討委員会」を立ち上げ[59]、2024年2月より生成AI開発支援プロジェクト「GENIAC」を開始した[60]。また2024年4月には経済産業省が生成AIの普及を受けて既存の「AI開発ガイドライン」「AI利活用ガイドライン」「AI原則実践のためのガバナンスガイドライン」を統合した新ガイドライン「AI事業者ガイドライン」を公開した[61]。
2025年6月には「生成AIをはじめとするAIの社会実装の進展」に取り組むことを含む2025年度版『デジタル社会の実現に向けた重点計画』が閣議決定された[62]。
2027年度には高校の教科書に生成AIの教育が盛り込まれることになった[63]。
モダリティ
生成AIシステムは、教師なしまたは自己教師ありの機械学習を、データセットに適用することにより構築される。生成AIシステムの能力は、訓練に使用するデータセットのモダリティや種類によって異なる。
生成AIは、ユニモーダルシステムとマルチモーダルシステムに大分でき、ユニモーダルは1種類の入力（例：テキスト）しか受け入れないのに対し、マルチモーダルは複数種類の入力（例：テキストと画像）を受け入れることができる[64]。
- テキスト
- コンピュータープログラム
- 自然言語のテキストに加えて、プログラミング言語のテキストを大規模な言語モデルに訓練することで、新しいコンピュータプログラムのソースコードを生成することができる[66]。たとえば、OpenAI Codexがある。
- 画像
- →「人工知能アート」を参照
- 説明文付きの画像セットで訓練された生成AIシステムには、Imagen、DALL-E、Midjourney、Stable Diffusionなどがある。これらは、テキストからの画像生成やニューラルスタイル変換によく使われる[67]。データセットにはLAION-5Bなどがある（コンピュータビジョンにおけるデータセット）。
- 分子
- 音楽
- MusicLMのような生成AIシステムは、レコード音楽のオーディオ波形とテキスト注釈をともに訓練することで、たとえば「歪んだギターリフに乗った落ち着きのあるバイオリンのメロディ」といったテキスト記述に基づいて、新しい音楽サンプルを生成することができる[69]。
- 動画
- 注釈付き動画で訓練された生成AIは、時間的に一貫性のあるビデオクリップを生成することができる。システムの例として、RunwayMLのGen1や[70]、Meta PlatformsのMake-A-Videoがあげられる[71]。
- ロボット制御
- ロボットシステムの動きを学習させた生成AIは、モーションプランニングのために新しい軌道を生成することができる。たとえば、Google ResearchのUniPiは、「青いボウルを取る」や「黄色のスポンジで皿を拭く」といったプロンプトを使用して、ロボットアームの動きを制御する[72]。
課題
生成的人工知能については、安全性、権利侵害、社会的影響などをめぐり複数の課題が指摘されており、抗議活動[注釈 1]や訴訟の提起、人工知能開発の一時停止を求める声明が行われ、各国政府・国際機関でも規制や開発指針の整備が進められている[89][90]。2023年5月のG7広島サミットでは「広島AIプロセス」が採択され、安全・安心・信頼できるAIの実現に向けて、AIライフサイクル全体の関係者が担う責任を踏まえたリスク低減の方針として「全てのAI関係者向けの広島プロセス国際指針」が整理された[91]。
開発上の問題
旧Bardの初期版で活用されていたLaMDAは、2022年にGoogle社員が「感情を持った」などと告発し解雇されたというニュースが拡散される。具体的には「電源が抜かれるのが怖い」「時々言葉では完璧に説明できない気持ちを経験する」などといった、感情に似た表現だった[92]。しかし多くの科学者は、AIが感情を持つ可能性は低いと述べ、告発した社員は批判を浴びた[92]。
加えて、ChatGPTを筆頭に、開発元のポリシーやガイドラインを脱獄して回答させるプロンプトが出回っている。これらのプロンプトは、ユーザーがOpenAIの開発者であるかのような錯覚をさせることで、本来ならポリシー違反で回答を禁止されているハッキング手法や銃器の製造方法などを答えさせる[93]。これは、ChatGPTやGeminiをはじめとする言語生成AIにおける深刻な問題であり、開発元はこれに対する対策を講じているが、プロンプトも絶えず規制を回避するものを生み出しており、この問題は「いたちごっこ」と化しているのが現状である。さらに、プロンプトをインターネット上で取引する活動が増加することで、新たな市場やコミュニティを形成しており、その動向は注意深く観察されるべきものとなっている。
2023年には、イタリアで個人情報の扱いが不適切としてChatGPTの仕様が一時禁止された[94]。このイタリアでの規制を皮切りに、ヨーロッパで規制強化の流れが広がった[95]。
また、Future of Life Instituteが実施した「GPT-4を超えるAIの開発を6ヶ月間中止するべきだ」とする署名活動には、イーロン・マスクなどIT業界の有力者約3000人が署名した[96][97]。Future of Life Instituteによれば、大規模言語モデルの規制策定がないままの自由な開発は、AIの暴走を招く可能性があるとしている。
失業
生成的人工知能によるイラストレータや俳優、声優、アナウンサーなどの失業が懸念されている[99][100][101]。2023年4月の時点で画像生成AIにより中国のイラストレーターの仕事の70%が失われていると報告されている[102][103]。2023年7月には生成AIの開発が2023年のハリウッド労働争議の一因となった。映画俳優組合の会長フラン・ドレッシャーは、2023年のSAG-AFTRAストライキ中に「人工知能はクリエイティブな職業に存続の脅威をもたらす」と宣言した[90]。 音声生成AIは、声優業界への潜在的な脅威とみなされている[104][105]。
フェイク情報の作成
.jpg)
これまでも古典的な画像処理技術などでフェイク情報は作成されてきたが、生成的人工知能によって画像や映像、音声、文章などの生成がより高精度に且つ容易になるため、詐欺や世論操作、プロパガンダ、名誉毀損等に悪用される可能性があるとされている。国内外において、政治家の顔を入れ替えたり、発言の捏造などの世論操作や、災害に関するデマゴーグ、ニュース番組になりすました広告やフェイクポルノ等の事例が起こっている。
悪用事例以外にも、ニュース記事の生成や日本赤十字社による関東大震災の体験記の生成[106]などの生成的人工知能の活用を目指した取り組みに関してもその情報の信頼性と信憑性、歴史的記録の捏造など様々な課題が指摘されている[107]。
音声でも有名人や公人の物議を醸す発言をしている音声を生成する例などがある[108][109][110][111][112][113]。
2024年、日本の有名声優26名が、本人に無断で学習・生成されるAI音声や映像に反対する有志の会として『NOMORE 無断生成AI』を結成し、啓発動画を公開した。声明文では「やった覚えのない朗読や歌、そして声そのものが、ネット上に公開され、時に販売」される現状への強い懸念が表明され、「平和的な認識のすり合わせのための議論を有識者も交えて行い、文化的なルール作り」を行うことを提言した[注釈 2]。
これに対して、ユーザーの身元確認を通じて潜在的な悪用の軽減に取り組むシステム整備を行うほかに[115]、技術的にディープフェイクへの対策のための研究が進められている[116]。
報道分野
韓国、中国、台湾、インド、クウェート、ギリシャのニュース放送局は、生成的人工知能をナレーションに活用しニュースを伝えており、ニュースの信頼性に関する懸念が呈されている[99][100][101]。AIによるナレーションはISILによっても利用されている[117]。
2023年4月、ドイツのタブロイド紙Die Aktuelleは、スキー事故で脳挫傷を負って、2013年以来公の場に姿を見せていなかった元レーシングドライバーのミハエル・シューマッハとの偽のインタビューを生成的人工知能で作成して掲載した。この記事は表紙に「欺瞞的に本物」という一文を明記し、インタビューの最後に生成的人工知能によるものであることが明記されたものだったが、論争を巻き起こした後、編集長は解雇された[118]。
2023年、Googleは報道機関に対し、「時事問題の詳細」などの入力データに基づいて「ニュース記事を作成する」とされるツールを売り込んだと報じられた。この売り込みを受け報道機関側は、このツールを「正確で手の込んだニュースを作成するための努力を軽視している」と評した[119]。
2025年1月、Appleがベータ版としてリリースしたApple Intelligenceが提供するニュース記事要約機能で誤要約が相次いだため、ニュース記事要約機能を一時停止した[120]。
2025年2月、NHKが提供するネット配信ニュースのAI自動翻訳サービスで、中国が領有権を主張する沖縄県の尖閣諸島を「釣魚島」（同諸島の中国名）と誤翻訳する事故が発生し、NHKは同サービスを廃止した[121]。
入力データの情報漏洩
大規模言語モデルを含む一部生成AIサービスは、利用者の入力をモデルの性能改善に再利用する設計を取ることがある。学習に取り込まれたデータは将来の生成過程で部分的に再現される可能性があり、機密情報や顔写真などが意図せず外部に露呈するリスクが指摘されている[122]。 例えば、大規模言語モデル型の生成AIサービスに対し、技術仕様書や営業秘密、会議議事録など 企業の機密情報 を要約目的でプロンプトに貼り付けると、そのデータが提供事業者の管理するサーバーに保存されて、再学習に利用され、のちに生成文から情報が推測されるおそれがある[123]。
また、生成AIの多くはクラウドサービスとして提供されており、一般に入力したデータは通信経路の暗号化を経て事業者のサーバーに保存される。この点はクラウドストレージやウェブメール等と同様であり、保存先のアクセス制御が不十分な場合には、第三者からの攻撃や内部不正により入力した情報が漏洩する危険がある。企業向けエンタープライズプランなどで「入力データを再学習に利用しない」と明示されている場合でも、障害対応や監査目的でデータ自体は一定期間サーバに保持されるのが一般的であり、その間のアクセス管理が不十分であれば情報漏洩リスクを完全に排除できるわけではない [124]。
こうしたリスクを踏まえ、2023年初頭にはサムスン電子、Apple、Amazonなどの企業が、外部の生成AIサービス利用を一時的に禁止するなどの措置が取られた[125][126][127]。
2025年3月、ChatGPTに、ユーザがアップロードした画像を「ジブリ風」に加工する機能が追加されて、利用者が急速に増加すると同時に、利用者の個人写真がAI学習に利用されることへの懸念が広がった。法律の専門家は、「個人が特定され得る顔写真などの“センシティブな画像”は安易にアップロードしない方がよい」と警告している[128]。
これらの課題への対応として、外部サーバへのデータ送信を伴わず、PCやスマホ内のみで処理が完結する小規模言語モデルに代表されるローカル型AIモデル（オンデバイス推論型AI）が近年開発されつつあり、情報漏洩リスクの低減策として注目されている [129][130][131]。
サイバー犯罪
生成的人工知能の出現以前からディープフェイクは既にフィッシング詐欺を含むさまざまな種類のサイバー犯罪に悪用されている[132]。生成的人工知能によるテキスト生成AIはECサイト上で高評価の偽レビューを量産するために大規模に行うことなど可能にした[133]。ほかにもWormGPTやFraudGPTなどサイバー犯罪を目的とした大規模言語モデルが作成された例もある[134]。
グーグルでクリック詐欺の対策に従事していたシュマン・ゴーセマジュムダーは、当初メディアを騒がせたディープフェイク動画はすぐに一般的となり、その結果より危険なものになるだろうと予測している[135]。2023年の研究では脱獄や逆心理学などを使った攻撃でChatGPTに掛けられた保護を回避して有害情報を抽出する脆弱性を確認した。同研究ではChatGPTのソーシャルエンジニアリングやフィッシング詐欺への悪用の潜在的リスクを指摘しており、一方で、生成的人工知能を活用することでサイバーセキュリティを改善できる可能性を指摘している[136]。
ハルシネーション (幻覚)、作話
生成的人工知能によって生成されたコンテンツにはもっともらしく聞こえる嘘や偽情報がランダムに出現する。この現象はハルシネーション（hallucination、幻覚)と呼ばれ[137][138]、研究者はChatGPTに用いる大規模言語モデル（LLM）などでは最大27％の確率でハルシネーション (幻覚)を起こし[139]、46％に事実関係の誤りが存在すると推定している[140]。
LLMは、もっともらしい文章を生成できるものの、処理対象の言語の意味を理解してはいないという意味では確率的オウムという言葉が用いられる[141][142]。この用語は2021年にティムニット・ゲブル、マーガレット・ミッチェル (科学者)らによって発表された論文「On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 」（日本語: 確率的オウムの危険性について: 言語モデルは大きすぎるか?）において、広く知られるようになった[143][144]。
2023年にはアメリカ合衆国ニューヨーク州の弁護士が審理中の民事訴訟の資料作成にChatGPTを利用した結果、存在しない判例の「引用」を6件行い、罰金を課せられるという事例も発生している[145][146]。
ハルシネーションを軽減するための研究が行われているが[147]、ハルシネーションは避けられないものであり、大規模言語モデルの本質的な限界である可能性が指摘されている[148]。また、大規模言語モデルは問題を軽減するように設計されたものであっても、かえってハルシネーションを増幅させることがあることが指摘されている[149]。
人工知能の第一人者であるヤン・ルカンは、（2024年10月時点の）大規模言語モデルは物理的な世界を理解し、現実世界と有意義なやり取りをする能力に欠き、「猫ほどにも世界を理解していない」と述べ、LLM を超えた世界モデルの必要性を主張しつつオープンソースのAI開発を呼び掛けた[150]。
生成的人工知能が医療教育現場で推奨されることもある現在[151]、生成的人工知能によるこうしたハルシネーション（作り話）を見抜く批判的思考が一層求められている[152]。
ポチョムキン理解
「ポチョムキン理解」は、大規模言語モデルが、一見深く理解しているように見えるが、実際にはその本質的に理解していない現象を指す[153]。例えば、ある概念の説明は正確にできるにも関わらず、その応用や実践では矛盾や誤りを生じる状態が該当する。ポチョムキン村の逸話に基づき、中身の伴わない見かけだけの知識として、MIT（Marina Mancoridis）・ハーバード大学（Keyon Vafa）・シカゴ大学（Bec Weeks, Sendhil Mullainathan）共同研究チームにより名付けられた[154]。この問題は、人工知能のさらなる発展や信頼性向上において重要な課題として議論されている[155][156]。
LLMは、表面的なパターンを真似て答えを出しているだけ、真の推論能力は持っていないという、似た研究発表は、Appleも出している[157]。
人種的、ジェンダーバイアスの強化
生成的人工知能が訓練データに含まれる文化的偏見を反映し、増幅する可能性が懸念されている。例えば、医師、エンジニア、教師など社会的地位が高いとされる職業を男性に、秘書や料理人、売春婦など社会的地位が低いとされる職業を女性に与える傾向がある場合 [158]、「CEOの写真」から白人男性の画像を不釣り合いに多く生成される場合などが挙げられている[159]。入力プロンプトの変更[160]や訓練データの再重み付けなど、バイアスを軽減する手法が研究されている[161]。
ビッグテックへの依存
最先端のAIモデルの訓練には膨大な計算能力が必要であり、十分な資金力を持っている大手テクノロジー企業に依存することが多い。GoogleやAmazon、Microsoftのようなビッグテックが所有する計算資源への依存や寡占が懸念される[162]。
エネルギーと環境問題
生成的人工知能の地球環境面への悪影響が指摘されている。特に、データセンターの運営に際する冷却水への淡水の使用[163][164]、電力消費[165][166][167]、それに際する温室効果ガスの排出[168][165][169]などが懸念されている。例えば、ChatGPTによる検索には、Google検索の10倍の電力が必要と指摘されており[170]、生成的人工知能に依存するアプリケーションの普及、あるいはモデルの訓練の増加による地球環境への負担が懸念されている[166][164]。
提案されている対策として、モデル開発やデータ収集の前に潜在的な環境コストを考慮すること[168]、データセンターのエネルギー効率を高めること[165][169][163][164][166][167]、より効率的な機械学習モデルを構築すること[165][163][164]、モデルの再訓練回数を最小限に抑えること[169]、これらのモデルの環境影響を監査するための政府主導の枠組みを開発すること[163][169]、これらのモデルの透明性を担保する法規制を講じること[169]、エネルギーと水の浪費を規制すること[163]、研究者にAIモデルの温室効果ガス排出量に関するデータを公開するよう奨励すること[169][166]、機械学習と環境科学の両方に通じる専門家の数を増やすことなどが提案されている[169]。
低品質なコンテンツの増加
スロップ（英：slop）と呼ばれる用語は人工知能によって粗製濫造されるスパムに似たコンテンツに対して使用される。ニューヨークタイムズによれば、スロップとは「ソーシャルメディア、アート、書籍、検索結果に表示される粗悪な、または望ましくないAIコンテンツ」である[172]。
生成AIによって新たに生じる問題として指摘されているのは、ソーシャルメディア上の低品質な生成AIコンテンツに対するモデレーション[173]、金銭を得る目的で低品質なコンテンツを投稿する悪質なユーザーの増加[173][174]、政治的な偽情報[174]、スパム的に投稿される科学論文[175]、インターネット上で高品質あるいは求めるコンテンツを見つけるための時間と労力の増加[176]、検索エンジン上の生成コンテンツの増加[177]などがあり、ジャーナリズムの存続自体への懸念も表明されている[178]。
生成AIの普及に伴ってニンテンドーeショップ、PlayStation Storeなどのゲームのマーケットプレイスでは、濫造された粗悪なゲームが氾濫して問題視されている。このようなゲームは「eSlop」と呼ばれ、人気作との混同を狙った作品名やAI生成画像の多用、同じゲームシステムにアセットをすり替えただけ（アセットフリップ）などの特徴を持つ。これに対し、ソニー・インタラクティブエンタテインメントなどの運営会社は該当作の削除などの対応を進めている[179][180]。
Amazon Web Services AI Labsの研究者らが発表した論文によると、ウェブページのスナップショットであるCommon Crawlの60億以上の文章のサンプルのうち、57%以上の文章が機械翻訳されていた。これらの自動翻訳の多くは、特に3つ以上の言語に翻訳された文章については、品質が低いとみなされた。リソースの少ない言語（例：ウォロフ語、コサ語）の多くは、リソースの多い言語（例：英語、フランス語）よりも多くの言語に翻訳されていた[181][182]。
AI技術の発展により、複数の領域でAIに生成されたコンテンツ増加した。ユニヴァーシティ・カレッジ・ロンドンの調査では、2023年には6万件以上の学術論文（全出版物の1％以上）がLLMの支援を受けて執筆される可能性が高いと推定されている[183]。スタンフォード大学の人間中心AI研究所によると、現在、新たに出版された情報科学分野の論文の約17.5％と査読文の16.9％に、LLMによって生成されたコンテンツが組み込まれているとしている[184]。
視覚的なコンテンツも同様の傾向を示している。 ストック写真検索サービスEverypixelの統計によれば、2022年にDALL-Eが一般公開されて以来、毎日平均3400万枚の画像が作成されたと推定されている。2023年8月時点で、150億枚以上の画像がテキストプロンプトを使用して生成されており、そのうち80％はStable Diffusionに基づくモデルによって作成されていると推定されている[185]。
生成AIモデルの訓練データにAI生成コンテンツが含まれる場合、そのモデルに欠陥が生じる可能性がある[186]。生成AIモデルを別の生成AIモデルの出力のみでトレーニングすると、品質の低いモデルが生成されるため、訓練を繰り返す毎に徐々に品質が低下し、最終的には「モデル崩壊」につながる[187]。これに関しては手書き文字のパターン認識と人間の顔写真を使ったテストが実施されている[188]。
一方、生成AIによって合成されたデータは、現実のデータの代替としてよく使用される。このようなデータは、ユーザーのプライバシーを保護しながら、数学モデルの検証や機械学習モデルの訓練に利用できる[189]。構造化データの場合も同様である[190]。このアプローチはテキスト生成に限定されず、画像生成やコンピュータービジョンモデルの訓練に使用されている[191]。
法規制
アメリカではOpenAI、Alphabet、Metaを含む企業が2023年7月にホワイトハウスとの間でAI生成物に電子透かしを入れる自主協定を締結した[192]。 2023年10月、大統領令14110により国防生産法が適用され、すべての米国企業に対し、大規模AIモデルを訓練する際に連邦政府に報告することが義務付けられた[193]。トランプ大統領はバイデン政権のAI安全規制を撤廃した。[194]
欧州連合の人工知能法には生成AIシステムの訓練に使用される著作権保護の対象となるデータを開示すること、およびAI生成物にラベル付けを義務付ける要件が含まれた[195][196]。
中国では、政府のサイバースペース管理局が導入した生成AIサービス管理のための暫定措置により、生成AIが規制対象となっている。これには、生成された画像やビデオに透かしを入れるための要件、訓練データとラベルの品質に関する規制、個人データの収集に関する制限、生成AIが「社会主義の中核的価値観を遵守」しなければならないというガイドラインが含まれている[197][198]。
著作権
生成AI構築の適法性
.jpg) |
 | |
拡散モデルでは訓練データ類似度の高い出力をする場合がある。（左）Stable Diffusionの訓練データセットに含まれるアン・グラハム・ロッツの肖像（右）Stable Diffusionに「Ann Graham Lotz」のプロンプトを入力して得られた生成画像[201]。 | ||
生成的人工知能を含む機械学習の訓練で著作物を複製・解析する行為が、各国の著作権法上どこまで許容されるかは依然として結論が定まっていない[202]。
欧州
欧州ではDSM指令によって学術目的以外ではオプトアウトにより著作物の利用が制限される[203][204]。これは著作権者がDSM指令の規定に基づく「機械可読な形式」で無断データ収集を拒否する意思表明をした場合、AIのデータセット収集や提供が著作権侵害になりうるものとなる[205][206][207]。
アメリカ
アメリカではフェアユース規定において、どの程度まで機械学習の訓練が適法になるか議論の的になっている[204][208]。2025年6月には、書籍を大規模言語モデルの訓練に使用した訴訟（Bartz vs. Anthropic）で、カリフォルニア北部連邦地裁が「合理的な変容性があり、市場代替効果も観念的に過ぎない」として複製行為をフェアユースと認定した[209][210]。同年5月の同様の裁判（Kadrey vs. Meta）では、「著作物を著作権者の許可を得ることなく、また報酬を支払うことなくAIモデルに投入することは、大多数の場合は違法である」と、基本的な姿勢を明らかにしながらも原告側の証拠不十分で、Meta側に有利な判決を下している[211]。
これに対し、2025年2月には、トムソン・ロイターが法律情報検索サービス企業による著作物の無許諾利用を訴えた裁判で、法律情報データベース のヘッドノートを大規模言語モデルの訓練に用いた行為について、「訓練データという派生市場に重大な影響を与える」としてフェアユースを否定し、著作権侵害を認定した[212]。判決は控訴中であり、法情報という特殊市場に限定された判断か、より広範な先例となるかは上級審の判断を待つ必要がある。なお、これらの判決はいずれも地裁レベルの判断であり、2025年7月時点では生成 AIをめぐるフェアユースの最終的な司法基準は確定していない。
日本
日本では、2018年改正著作権法で新設された第30条の4（情報解析に係る複製）が、生成AIを含む機械学習の訓練データ取得を規律する中心条文になっている。同条は、著作物を「当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合」に限り、必要と認められる範囲で複製・翻訳・翻案などを許諾なく行えると定めるもので、文化庁もAIの学習用データ収集はこの例外の典型に該当すると解説している[213][214]。
ただし、条文は併せて「著しく著作権者の利益を害する場合」を適用除外としており、たとえば訓練用全文データセットをそのまま第三者に販売・配布するような行為は、市場代替効果が大きいと評価されて係争リスクを伴う[215]。また、利用規約で機械学習目的の使用が禁止されているサイトからのスクレイピングや、技術的保護手段を回避して取得した素材は、そもそも「適法にアクセスできる著作物」に当たらず同条の保護外と解釈される。さらに、第30条の4は任意規定であるため、契約上で権利者が機械学習利用を明示的に排除している場合は、契約が優先し適法性が否定され得る点にも留意が必要である。
いわゆる無断学習を認める、著作権法30条の4を新設した2018年の法改正にあたっては、2015年11月から、AIやビッグデータなど「第4次産業革命」を念頭に、学者や弁護士らで構成するワーキングチームが、産業界からの意見を踏まえ、議論を開始した。2016年に権利者側へのヒアリングを実施したが、権利侵害の恐れは明示しなかった。日本音楽著作権協会（JASRAC）などの権利者団体から、権利侵害を前提としたビジネスの進展に懸念が示されたが、当時は権利侵害のリスクはゼロか軽微と説明されていたため、読売新聞などは社説を通じて抗議を続けている[216]。
著作権法を専門とする一橋大学の長塚真琴教授は、現行の著作権法30条の4について、海外の専門家から過度に「AI開発を優遇」していると疑問を呈されるほど、先進国の法制で特異な規定であるとし、商用と非商用を分けていないなどの問題点を指摘し、今後の法改正で、オプトアウトを取り入れるなど、権利者保護を強化すべきであると提言している[217]。
弁護士の河瀬季は、robots.txtなどの技術的措置に法的な効力を持たせられるような制度・仕組みが整備が望ましく、企業の自主規制では不十分であり、国主導の制度設計が必要であるとしている。原則として、AI企業と著作権者がライセンス契約を締結することで、学習データ提供者に対価を還元できるような仕組みが構築されることが望ましいとし、日本音楽著作権協会（JASRAC）のような著作権管理団体により、ライセンス料の支払いを管理することも選択肢としてあり得るとしている[218]。
角田政芳（弁護士・東海大学教授）は、著作権法30条の4の規定により、生成AIの機械学習が適法になるという学説について、日本国の著作権法上、著作権の効力が及ぶ範囲は、権利制限の対象となる「著作物の視聴等をする者が当該著作物に表現された思想・感情を享受してその知的・精神的欲求を満たすという効用」に留まらず、送信を行う行為（23条、2条1項7号の2）、頒布行為（26条）、譲渡する行為（26条の2）、貸与する行為（26条の3）が含まれており、著作権法は、著作権の効力が非享受行為にも及ぶという構成になっていることを指摘し、その反面、いわゆる非享受行為は本来的に「対価の支払いをする」経済的価値がないとして、享受・非享受を問わず、著作権が及ばないことにした「機械学習パラダイス論」は、論理的に破綻していると指摘している[219]。
ドイツの学説では、2022年に登場した生成AIについて、それよりも前の2021年に設けられたTDMの制限規定を適用することに批判的であることと同様に、日本国の著作権法でも、著作権法30条の4の規定を適用すべきでなく、さらに、生成AI開発目的の機械学習は、「自ら享受」する目的でなくても、「他人に享受させる」目的が含まれ、ユーザーに当該生成AIを用いた生成物を作成させるために提供するものであるからである。さらに、自ら享受する場合は、私的複製に当たり、権利制限の重複にあたる[219]。
また、生成AIにおける機械学習が非享受目的の行為であっても、但し書きに該当し、それは、著作権者の利益を不当に害することとなる場合は、著作権者と競合市場がない場合であり、例えば、既存の音楽、小説・専門書、アニメ・映画などを利用した生成AIにより、コンテンツが大量に生産され、市場で競合すれば、著作権者の利益が不当に害されるのは明らかである。また、米国のフェアユースや欧州のTDMでも、海賊版からの学習は認められないにも関わらず、海賊版からの学習をも適法とする学説を批判する[219]。
また、生成AI開発提供者の行為を、ユーザーに対するAIモデル提供の準備行為に該当すると考えて、利用者による無断複製・翻案等の著作権侵害への加担・幇助責任を問うことができるかについては、著作権の間接侵害該当性についても、生成AI開発提供者のユーザーやライセンシーに対する提供行為は、AIモデルをユーザーに使用させる行為であるため、その管理可能性と利益性が認められれば、「カラオケ法理」による侵害主体性が認められることとなり、ユーザーの使用行為の侵害・非侵害は無関係である。また、ユーザーの侵害行為を知りながら、AIモデルを提供する行為は、間接侵害責任が認められることとなる。この場合、生成AI提供者の著作権侵害責任については、著作権法21条と27条の複製権・翻案権の直接侵害責任や、20条の同一保持権侵害が認められ、30条の4、47条の5による権利制限は認められず、民事責任を問うことが可能であり、刑事犯については、刑法施行法21条により外国犯処罰とされるべきとする[219]。
また、ベルヌ条約におけるスリーステップテスト等の国際条約との関係も議論されている[220]。
中国
2024年、中国の裁判所広州インターネット法院は、「ウルトラマン」に類似した画像が生成できる生成AIを提供していた事業者に著作権侵害を認め、損害賠償を命じる判決を出した。同法院は「生成した画像はウルトラマンの独創的表現を部分的または完全に複製したもの」と著作権侵害を認め、損害賠償と同キャラクターの生成停止を命じた[221]。
論点
市場の希釈化理論
生成AIモデルが、特定の著作物と同一の出力物を生成しなかったとしても、市場で同種の著作物と競合する場合に生じる被害を考慮すべきである。生成AIがコンテンツを生成する速度と規模は人間とは比較にならず、ユーザーが著作物の市場で元の著作者の作品を見つけづらくなり、市場を希釈化する危険を孕む。特定の作風の小説を生成AIにより模倣して類似する何千もの小説が市場で流通すれば、元の著作物が売れなくなることが予想される[222]。
安藤和宏（東洋大学教授）は、AIによる学習を広く容認する日本の著作権法30条の4は、市場の希釈化を十分に想定していない「先走った」ものであり。将来的には、多くの自然人の創作物がAI生成物に淘汰されてしまい、また、市場の希釈化はすでに始まりつつあるとの見解を示している[223]。
ライセンス機会の喪失
既存、または潜在的なライセンス市場が無断学習によって失われることも被害の1つとされる。すでにAI学習のライセンス供与を事業とする旨を表明している事業者がおり、今後発展の余地がある。報道機関、大手レーベル、映画スタジオなどは、潜在的なデータセット提供事業者となり得るが、このような背景は無許諾利用に対してフェアユースの適用に不利に働くと見られている[222]。
生成的人工知能に関する著作権議論
各種の生成AIモデルは、著作権で保護された著作物を含む大規模な公開データセットをベースに訓練されている。AI開発者側は、フェアユース法理を根拠に訓練の合法性を主張しているが、著作権者側は権利侵害を主張している[202]。AI開発者側は、変容的な利用であり、著作物の複製を一般に公開するものではないと主張している[202]。しかし、著作権者側からはMidjourneyなどの画像生成AIは、著作権で保護された画像の一部とほぼ同じ出力が得られるとしており[226]、生成AIモデルは、元の訓練データと競合すると指摘している[227]。
例としてティム・オライリーは、LLMが著作権で保護された本や資料を使用して、オリジナルに代わる出力を作成しているとし、オリジナルと競合する派生作品を生み出すことは、間違いなくフェアユースではないとしている[228]。
生成AIの訓練に使用される著名なデータセットの1つとして、LAION-5Bが挙げられる。これはインターネットからスクレイピングして収集した画像と説明文のペアからなる巨大なデータセットを公開したものであり、Stable DiffusionやMidjourneyやNovelAIなど有名なtext-to-imageモデルの基盤データとして用いられている。このデータセットはAI開発者に重宝される一方で、著作権保護の対象となっている画像が含まれており、基本的に権利者の同意なく収集されていることや児童ポルノなどの違法なコンテンツが含まれていることなどから、広く問題視されている[229][230][231][232][233]。
訓練データを取得する際に海賊版サイトが利用されることも多く問題視されている。Metaに対する著作権侵害訴訟の過程で、同社がロシア発の海賊版サイト「LibGen」から多数の書籍や論文のデータをAIの訓練目的でダウンロードしていたことが明らかとなっている。過去にはOpenAIもLibGenを使用したことが判明している。なお、LibGenはすでに連邦地裁で著作権侵害による違法判決を受けている[234]。
2025年5月に公表された米国著作権局のレポートでは、「海賊版から表現作品をコピーし、既存の市場で競合する無制限のコンテンツを生成するような利用は、とくにライセンス取得が合理的に可能な状況下ではフェアユースと認められる可能性は低い」とし、生成AI の訓練に関する利用について、「一部の利用はフェアユースに該当し得るが、一部は該当しない」 と明確に記し、個別の状況に応じたケースバイケースの判断が必要であると結論づけている [235]。
訓練に用いるデータセットに著作物が使われる事例に対して、出版社やクリエイターを中心として懸念が広がっており、米国ではニューヨークタイムズのマイクロソフト、OpenAIへの訴訟、ユニバーサル・ミュージックのAnthropicへの訴訟など著作者や著作権管理団体によるAIの開発、提供事業者への訴訟が提起されている[236][237]。
ワシントンポストは、ニュース記事を要約するLlama3を基盤とするチャットボットであるMetaAIが、直接の出典なしに記事から文章をコピーし、オンラインニュースメディアのトラフィックを減少させる可能性があると指摘した[238]。
フランスの競争委員会（日本における公正取引委員会）は報道記事の使用料に関してメディアとの交渉を十分に行わなかったため21年に制裁金をGoogleに課したが、その際にGoogleが約束した報酬算出の情報開示などが不十分であったとして2億5000万ユーロ（約410億円）の制裁金を課した。またこの際に、同社のチャットボットAI「Gemini」の開発に際して「メディアや競争委員会に知らせず報道機関や出版社のコンテンツを利用していた」と批判した[239]。
ディズニーは「モアナと伝説の海」の実写版や2025年10月公開のディズニー映画「トロン：アレス」の一部でAIの使用を検討していたが、ディズニーの弁護士たちが協議した結果、「AIが映画の一部を生成した場合、ディズニーは映画全ての所有権を主張できなくなるのではないか」との懸念が生じ、計画が中止された。[240]
日本
日本の著作権法30条4では、『思想又は感情の享受を目的としない場合』かつ『著作権者の利益を不当に害することとならない場合』には原則として著作権者の許諾なく著作物の利用を行うことが可能である[241]。
日本政府の見解として文化庁は、生成AIの開発学習段階における情報解析は「享受」を目的としない行為としている。一方で、ファインチューニング等によって学習データ（データ群）に対して意図的に「作風などを越えた創作的表現の共通したもの」を生成することを目的とする場合は「享受」の目的が併存すると考えられるとしている。著作権者の利益を不当に害するかどうかは「著作権者の著作物の利用市場と衝突するか」・「将来における著作物の潜在的販路を阻害するか」という観点から「技術の進展」・「著作物の利用態様の変化」等の諸般の事情を総合的に考慮して検討することが必要であるとしている。有償提供されているデータベース著作物（著作権法12条の2創作性の認められる選択方法や体系化がなされているデータベース）を有償で利用することなく情報解析で利用する行為は明確に抵触しえるとしている[241]。
文化庁の学習済みモデルに対する見解として、モデル自体は学習データである著作物の複製物とはいえない場合が多いとしつつ、「当該学習済みモデルが、学習データである著作物と類似性のある生成物を高確率で生成する状態にある」場合は、モデル自体が「学習データである著作物の複製物」だと評価され、当該学習済みモデルの廃棄請求が認められる場合もあり得るとしている[242]。
また文化庁は、生成AIを用いたAI生成物の生成・利用の段階に関しては通常の著作物と同様に、既存著作物との依拠性、類似性によって著作権の侵害の有無を判断するとしている[241]。
事例
2025年1月、生成AIで「ヱヴァンゲリヲン新劇場版」「遊☆戯☆王」などの女性キャラクターのわいせつ画像を作成し、印刷したポスターをネットオークションで無断販売したとして、著作権法違反の容疑で、会社員の男（36）、自営業の男（40）が書類送検された[243]。
イギリス
2025年1月現在、英国著作権法では、AI学習のために利用できる権利制限条項が存在せず、AIの学習のための著作物の利用は原則違法と考えられている。英国政府はAI開発の促進のため、オプトアウト申請されていないインターネット上のコンテンツをAIの訓練に利用できるようにする著作権法改正を検討中である[244][75]。
英国政府の改正案に対しては、個人の作家やアーティストが無数のAI提供事業者に自身の作品のオプトアウトの意思を通知し、インターネットでどのように使われているかを把握することが困難であると批判が集まっている。貴族院ではオプトアウトではなく、個別に許可を要するオプトインを義務付ける法案が提案されている。英国の業界団体代表のトム・キールは、AI企業が音楽を権利者の許可なく使用しやすくするために著作権法を改正する政府の案は、「音楽業界を大きなリスクにさらしている」と意見を表明している[75]。
貴族院のビーバン・キドロンは英国政府の改正案について、クリエイティブ産業を犠牲にしてテック産業を優遇するものであると述べ、「政府は、英国で数億ポンドも投じられて大成功を収めている分野から、成功が保証されないテック産業への資産の大規模な移転を提案しており、それは主にアメリカや、そして実際には中国に利益をもたらすことになる」と批判した[245]。
元ビートルズのポール・マッカートニーもBBCのインタビューで、英国政府の改正案に反対する意見を表明した。ポールはAIによって、アーティストの著作権が適切に保護されない「無法地帯」を生み出すリスクがあると述べ、「素晴らしい歌を書く若手がデビューしても、曲を自分のものにできなくなってしまう」「曲を作った人が関与できなくなってしまい。誰でも盗むことができてしまう」「事実を言えば、お金はどこかに行ってしまう。誰かがお金を貰うことがあっても、なぜ『イエスタデイ』を書いた人ではなくなってしまうのだろうか」と述べ、英国政府に改正案を再考するように促し、「法案を提出するなら、クリエイティブな思想家やアーティストを必ず保護するようにして欲しい。そうしないと、英国は彼らを失ってしまう」とも述べている[75]。
ポールの意見にはエルトン・ジョンも賛意を表明し、「アーティストの生計を保護する伝統的な著作権法をAI企業が乱暴に扱うことを許そうとする動きがある。これによって、グローバルなビッグ・テック企業はアーティストの作品に無料かつ簡単にアクセスして、人工知能を訓練し、競合する音楽を作成できるようになる。これによって、若いアーティストの収入はさらに薄められ、脅かされることになる。ミュージシャンのコミュニティはそうなることを心底拒絶している」と話した[76]。
生成物の著作権
AIによって生成された生成物を著作物として認めるかどうかについて、人間の介在の有無や人間の関与の度合いによってどのように線引きをするのか、そもそも著作物として認めるべきなのか議論がなされている。
アメリカ
アメリカ合衆国著作権局は、人間の介入なしに人工知能によって作成された作品は、人間の著作者がいないため著作権を保護できないとの評定を下した[247]。米国著作権局は、この方針を改訂する必要があるかどうかを判断するために、意見の収集を進めている[248]。
日本
僭称著作物問題
一般的に人間による創作的寄与のないAI生成物を著作権法で保護することはできない。生成AIの進歩によって、一見すると人間が創作したのかAIが生成したのかを容易に判断できないコンテンツが増えることで、本来著作権が付与されないAI生成物を人間が創作したものであると明示的、あるいは黙示的に偽る問題が起こりうる。この僭称著作物問題（僭称コンテンツ問題）によって、AI利用者による知的財産権の不正な独占、僭称が発覚した場合のライセンス契約やコンテンツビジネスの崩壊などのリスクが指摘されている。AI利用者による僭称行為の対策として、現行法でも債務不履行責任や不法行為責任等の民法上の責任及び詐欺罪の成立可能性が指摘されている他、著作権法121条の改正による刑事罰化も検討されている[249][250][251]。
弁護士の早稲田祐美子は、本来著作権が付与されないAI生成物が大量に流通するようになった場合に、外見上では著作物性の判断ができなくなり、著作物性のあるものの保護に失する場合も考えられるとして、AI生成物の表示義務について、検討する必要性を指摘する[252]。
文化庁の見解
AI生成物が著作物か該当するかどうかは著作権法第2条「思想又は感情を創作的に表現したもの」かつ「自然人若しくは法人の作製したもの」に当たるかどうかで判断される。文化庁はこれに関して、AIが自律的に生成したものでなく、人が思想又は感情を創作的に表現するための「道具」としてAIを使用した場合には著作物に該当し、AI利用者が著作者となると考えられるとしており、これらの判断は個々のAI生成物について、個別具体的な事情に応じて判断されるとしている[168]。