今回はＩｎ Ｄｅｅｐさんの2025年6月7日の記事を紹介します。
「AIは本当に人類社会の脅威となるのか？ それとも、AIへの幻想はAI自身の自滅的崩壊と共に、このまま消えていくのか？」
https://indeep.jp/some-signs-of-ai-model-collapse-begin/
AI モデルの崩壊の兆しが現れている
現在よりさらに優れた AI が構築された場合、「必然的にすべての人類と生命は死滅する」 として、
「即時に、全世界で AI の開発を停止しなければならない」
と述べていた AI 専門家の記事を以下で書かせていただきました。
・超強力なAIが構築された場合「人類全員と地球上のすべての生物がその後まもなく死滅する」と予測する超一流AI専門家の警告
In Deep 2025年5月28日
あるいは、人類の滅亡という大げさな話ではなくとも、「今後、人々の仕事は AI に取って替わられるだろう」とした論調は今でも数多くあります。
たとえば、アメリカの人工知能の企業および公益法人であるアンスロピック社の CEO は、インタビューで以下のように述べていました。
抜粋です。
記事「アンスロピックCEO：AIは今後5年間で初級職の50%を奪う可能性がある」より
アンスロピック社のCEO、ダリオ・アモデイ氏は、AIがホワイトカラーの仕事を壊滅させると確信しており、社会がこの現実を認めていないと警告している。
AI は、今後わずか 1～ 5年で、初級レベルの雇用の最大 50%を奪い、失業率を10～ 20%にまで急上昇させる可能性があると彼は述べている。2025年4月現在、米国の失業率は 4.2%だ。
PC MAG 2025/05/29
しかし、正直、私は、
「そんなことあるかなあ」
とも考えてもいました。
最近、米メディアが以下のタイトルの記事を投稿していました。
「 AI は人間に取って代わることはできないとテクノロジーリーダーの多くが認識し始めている。効率性と精度はむしろ悪化している」
さまざまな記事やインタビューを引用しているのですが、その中で興味深かったのが、
「 AI モデルの崩壊の兆候が現れ始めている」
というタイトルの記事でした。
まず、それをご紹介したいと思います。専門用語が多く、やや難しいところも多いですが、そのまま訳しています。
太字はこちらで施しています。
AIモデルの崩壊の兆候が彼ら自身から現れ始めている
Some signs of AI model collapse begin to reveal themselves
The Register 2025/05/27
予測：汎用 AI は悪化し始める可能性がある
私は AI をよく使うが、記事を書くためではない。検索に AI を使っている。検索に関しては、AI、特に Perplexity （パープレキシティ / AI チャットボット型の検索エンジン）は Google よりも優れている。
普通の検索は駄目になってしまった。Google が AI に夢中になれば、検索エンジンがまた良くなるかもしれないが、それは疑わしい。
しかし、ここ数ヶ月だけでも、AI を使った検索もどんどんお粗末になっていることに私は気づいた。
特に、市場シェア統計やその他のビジネス数値といったハードデータを検索すると、結果が不適切な情報源から来ることがよくあることに気づいたのだ。
アメリカ証券取引委員会（SEC）が上場企業に義務付けている年次事業財務報告書である 10-K の統計情報ではなく、事業報告書の要約を謳うサイトから得られる数値が出てくるのだ。
こうした情報はある程度実際の情報と似ているが、完全に正確とは言えない。10-K の結果だけが欲しいと指定すればうまくいく。ただ、財務結果だけを求めると、答えは…興味深いものになる。
これはパープレキシティだけの問題ではない。複数の主要な AI 検索ボットでまったく同じ項目での検索をしてみたが、どれも「疑わしい」結果しか返ってこなかった。
ガベージイン・ガベージアウト（「ゴミを入力するとゴミが出力される」というコンピュータ分野の言葉）の世界へようこそ。
AI 業界では、これは、正式には AI モデル崩壊と呼ばれている。AI モデル崩壊とは、自身の出力で学習した AI システムが、徐々に精度、多様性、信頼性を失っていく現象だ。
これは、モデル世代が進むにつれてエラーが蓄積され、歪んだデータ分布と「回復不可能な欠陥」につながることで発生する。
最終的な結果はどうなるだろうか？ 2024年にネイチャー誌に掲載された論文では、「 AI モデルは自身の現実投影によって毒されてしまう」と述べられている。
モデル崩壊は、3つの異なる要因の結果だ。1つ目はエラーの蓄積だ。これは、各モデル世代が以前のバージョンの欠陥を継承・増幅し、出力が元のデータパターンから逸脱する現象だ。次に、テールデータの喪失だ。これは、まれなイベントがトレーニングデータから消去され、最終的には概念全体が曖昧になってしまう現象だ。
最後に、フィードバックループによって狭いパターンが強化され、繰り返しのテキストや偏った推奨が生成される。
私は、AI 企業 Aquant （エイクエント社）の次の表現が気に入っている。
「簡単に言えば、AI が自身の出力に基づいてトレーニングされると、結果が現実から遠ざかる可能性があるということだ」
AI の結果が悪化し始めていると感じているのは私だけではない。金融メディア大手のブルームバーグ・リサーチが最近実施した検索拡張生成 （RAG）に関する調査では、GPT-4o、Claude-3.5-Sonnet、Llama-3-8 B （すべて AI）など、主要な学習モデル11種が 5,000以上の有害なプロンプトを使用した結果、悪い結果を生み出すことが明らかになった。
ご存じない方のために説明すると、 RAG は大規模言語モデル （大量のデータと深層学習技術によって構築された言語モデル）が事前トレーニング済みの知識だけに頼るのではなく、データベース、ドキュメント、社内のライブデータストアなどの外部知識ストアから情報を取得できるようにする。
RAG はより良い結果をもたらすと普通は考えるだろう。実際、その通りだ。例えば、AI による幻覚を軽減する傾向がある。
しかし同時に、RAG 対応の大規模言語モデルが、顧客の個人情報を漏洩したり、誤解を招く市場分析を行ったり、偏った投資アドバイスを行ったりする可能性が高まるのだ。
ブルームバーグの CTO オフィスで AI 戦略・研究部門の責任者を務めるアマンダ・ステント氏は、次のように説明している。
「顧客サポートエージェントや質問応答システムといった AI アプリケーションにおいて RAG が広く利用されていることを考えると、この直感に反する発見は広範囲にわたる影響を及ぼす。平均的なインターネットユーザーは、RAG ベースのシステムを日常的に利用している。AI の実践者は、RAG を責任を持って使用する方法について慎重に考える必要がある」
聞こえはいいが、「責任ある AI ユーザー」というのは矛盾している。 AI がより良い仕事にもっと時間を費やすよう促すというくだらない主張はさておき、AI ユーザーは嘘の結果を含む偽の文章を書いているというのが真実だ。
子どもの高校のレポートから偽の科学研究文書、そして悪名高いシカゴ・サンタイムズの夏のおすすめ特集（実際には存在しない近刊小説が掲載されていた）まで、実に多岐にわたる。
これらすべては、AIが 無価値になる日を早めるだけだ。
例えば、偽小説の一つである「ミン・ジン・リーの近刊小説『 Nightshade Market 』のあらすじは？」と ChatGPT に尋ねたところ、ChatGPT は自信満々にこう答えた。
「ミン・ジン・リーの近刊小説『 Nightshade Market 』のあらすじについては、公開されている情報はありません。小説自体は発表されていますが、ストーリーの詳細は明らかにされていません」
もう一度、そして感情を込めて、ガベージイン・ガベージアウト。
一部の研究者は、合成データと人間が生成した新鮮なコンテンツを混ぜることで、崩壊を緩和できると主張している。
なんとも素敵なアイデアだが、その人間が生成したコンテンツは一体どこから来るのだろうか？
制作に真剣な努力と研究を要する良質なコンテンツと、AI が生み出した安っぽいコンテンツのどちらかを選ばなければならないとしたら、ほとんどの人がどうするかは分かっている。
ジョン・スタインベック（20世紀の米国の作家）の『真珠』の読書感想文で落第点を取りたい子どもなど、そうはいない。企業は業務効率化に熱心だと言いながら、実際には利益を増やすために従業員を解雇したいと思っているだけだ。
私たちは、モデルの崩壊が深刻化し、AI の回答が非常に悪く、脳死状態の CEO でも無視できなくなるまで、AI にますます投資していくのだろう。
（AI モデルの崩壊まで）どれくらいかかるだろうか？
すでに起こりつつあるように思うが、今のところそれを予測しているのは私だけのようだ。
とはいえ、OpenAI のリーダーであり応援団長でもあるサム・アルトマン氏が 2024年2月に「 OpenAI は現在、1日に約 1000億語を生成している」とツイートしたことを信じるなら、そしてそれらの単語の多くが最終的にオンラインに公開されると仮定すれば、（AI モデルの崩壊までは）そう長くはかからないだろう。
________________________________________
ここまでです。
専門用語が多いですので、わかりにくい部分はありますが、つまり、
「それほど遠くない未来に AI モデルは崩壊する」
と確信していることが述べられています。
AI が完全に無価値になるということですね。
他の記事では、AI の「大雑把さ」が示された文章もあります。
メディア記事より
先週末、私は今度の休暇の飛行機とホテルの予約の詳細を記したメールを 6通ほど Google NotebookLM に入力し、旅程表を作成するように依頼した。作成された文書は、出発日が実際の日付より 24時間後と記載されていることに気付くまでは、非常に読みやすかったのだが、これは悲惨な事態になる可能性があった。
Martin Peers
また、AI が「幻覚を起こしている」ことにより、収集する理論やデータが「まともではなくなっている」ことを、マシュー・マーヴァク博士という方が、ロシア RT で述べていました。抜粋です。
記事「AI の幻覚」より
AI は今やフェイクニュース、フェイクデータ、フェイクサイエンス、そして容赦ない虚偽の寄せ集めに圧倒され、確立された論理、事実、そして常識を腐敗した認知の泥沼へと変貌させている。
しかし、AI の幻覚とは一体何なのだろうか？
AI 幻覚は、生成 AI モデルが、高い確信度で虚偽、無意味、または捏造された情報を生成する際に発生する。
人間のエラーとは異なり、これらの誤りは、AI モデルが確立された事実を統合するのではなく、もっともらしいパターンを予測することで応答を生成する方法に起因する。
AIは、バイアス、エラー、矛盾に満ちた膨大なデータセットから学習する。これらのデータで長期間学習を続けると、神話、古い事実、あるいは矛盾する情報源が生成される可能性がある。
…今や AI はパイロットのコックピットや原子力発電所から、生物兵器研究所や広大な化学施設に至るまで、重要かつ時間的制約のある業務にますます組み込まれるようになっているため、これは必然的に現実世界に影響を与えるだろう。
そして、このような極めてリスクの高い環境で、欠陥のある AI の入力に基づいて運命を左右する決定を下すことを想像してみてほしい。
RT / Dr. Mathew Maavak
つまり、こういう「幻覚」と「フェイク」まみれになってきている AI が、原子力発電所や生物兵器研究所など、
「何か間違いがあると大変なことになる施設にも導入されている」
ことが問題だということです。
原子力発電所が誤作動などを起こすと厄介ですし、生物兵器研究所から致命的な病原体が漏出するというのも困りますが、今の状況だと、起こっても不思議ではないのかもしれません。
意識と見識の均一化
AI モデルが崩壊する頃には、社会的にさまざまな混乱が起きるのかもしれないですが（最近、各国で大規模な停電が起きているような事態を含む）、それ以前に、AI の登場によって、
「人間のほうがあまり考えなくなってきている」
こともあります。
特に子どもや若い人たちでは、「思考を AI に丸投げしている」人も結構いるのかもしれません。
たとえば、先ほどの記事に「読書感想文」というようなものが出てきていましたが、試しにヘミングウェイの『老人と海』について、
「老人と海 読書感想文」
と検索すると、一発で Google の AI が以下のように回答しました。
「老人と海」を読んで、人間の尊厳と自然への畏敬の念、そして諦めない精神について深く考えさせられました。老漁師サンティアゴの、巨大なメカジキとの闘いは、単なる魚との闘いではなく、人生の試練との闘いとして捉えることができます。 Google AI
その他にも「感想文に入れるべきポイント」も数多く指南してくれていました。
夏休みの読書感想文などで、「全員同じ読書感想文」となったりすると、話としては面白いですが、いろいろと深刻ですね。
この『老人と海』は、小学生のときだったか中学生のときだったか、夏休みか冬休みの課題図書として、「自由感想文」というものを提出したことがあります。
以前、ブログかメルマガで書いたこともありますが…あ、7年前のメルマガ 19号にありました。
おおむね、以下のような感じで書きました。主人公の老漁師が船の上で、ナマでウナギを食べて、「まずい」とか呟いていたシーンに反応したのでした。
オカ氏の小学生時代の感想文より
ウナギは蒲焼きで食べたほうがいいと思います。材料や道具の問題もあるので、一概にこの老人を責めるつもりはないですが、ウナギをナマで塩で食べるというのは、ちょっといただけないです。しかし、ぼく自身はまだウナギの蒲焼きというものを食べたことがないので、たくさんウナギの蒲焼きを食べられる大人になりたいです。
その後も延々とウナギやサバの塩焼きなどの話を書き、先生から「ダメだな、これは」と言われました。
まあしかし、子どもというのは、このように自由でいいんだと思います。
AI は、読書感想文でウナギには言及しないはずです。
何の話だかわからなくなってきていますが、AI の問題は実際には人間の問題でもあり、以前、「問題は AI の人間化ではなく、均質化された意識に基づく人間の機械化」という記事を書いたことがありますが、子どもたちの意識も見識も何もかもみんな同じになることがこわいです。
それでも、世の AI 賞賛はまだ続いていくのだと思いますけれど。
