今回はIn Deepさんの2025年5月28日の記事を紹介します。
「人類の滅亡はこんなところからも：超強力なAIが構築された場合「人類全員と地球上のすべての生物がその後まもなく死滅する」と予測する超一流AI専門家の警告」
人類の滅亡はこんなところからも：超強力なAIが構築された場合「人類全員と地球上のすべての生物がその後まもなく死滅する」と予測する超一流AI専門家の警告 - In Deep
「必然的に人類は滅亡する」
米作家のマイケル・スナイダーさんが、AI の危険性に関する記事を書いていました。その記事そのものはともかく、記事でリンクされていたタイム誌の記事が大変におもしろいもので、今回はそれをご紹介したいと思います。
記事を書いたのは、アメリカ出身の意思決定理論家であり、機械知能研究所の研究を主導しているエリゼール・ユドコウスキー氏という方で、25年にわたり AI の研究を続けてきた方で、汎用人工知能（AGI）の創始者と言われる人でもあります。
相当長い記事ですが、その中に、
「超人的に賢い AI を構築した場合、地球上の人類と生物すべてが死ぬ可能性が最も高い」
という下りが何度も出てくるのです。
超人的に賢い AI というのは、つまり、このエリゼール・ユドコウスキー氏自身が、20年以上取り組んでいる汎用人工知能のようなことを述べているのだと思います。
そして、
「その開発を世界規模で完全に停止しなければならない」
と強く述べています。
AI 開発を世界全体で止めるためには、以下のようなことまで述べていまして、その危機感は、半端なものではないようです。
＞ 大規模な AI 訓練のリスクを軽減するために必要なのであれば、核戦争のリスクをある程度負うことを厭わないという姿勢を明確に示すことが必要だ
と、密かに AI 開発をしている国との核戦争をしてでも AI 開発を阻止しなければならない、と述べるほど人類に対しての脅威だと言っているのですね。
AI に対しての警告は、いろいろな専門家が発していますが、ここまで力強いメッセージは、初めて聞くものです。
今から 10年近く前に、アメリカのコンピューター科学者であるローマン・ヤムポルスキー博士という方が、「悪意を身につけた人工知能が起こす可能性のある最悪のシナリオ」を述べていたことがありましたが、博士が想定していたのは、「人類を奴隷化することから宇宙を破壊することまで含まれる」ものでした。
以下の記事にインタビューがあります。
・人工知能が「悪魔に変わった時」に彼らは地球と人類に何をするのか、あるいは何もしないのか
In Deep 2016年5月24日
この 9年前より AI は格段に「進化」しているでしょうが、さらに進化した場合、次は、人類の滅亡につながるということを今回ご紹介するエリゼール・ユドコウスキー氏は何度も述べています。
人類全部です。
その意味で、とても興味深いインタビューでした。
ここからです。
________________________________________
AI開発を一時停止するだけでは不十分だ。すべての開発を停止する必要がある
Pausing AI Developments Isn’t Enough. We Need to Shut it All Down
TIME 2023/03/29
本日 （2023年3月29日）公開された公開書簡では、「すべての AI ラボは、GPT-4 （ Open AI 社によって開発された大規模言語モデル）よりも強力な AI システムのトレーニングを少なくとも 6カ月間直ちに停止する」よう求めている。
この 6カ月間のモラトリアムは、モラトリアムがないよりはましだ。立ち上がって署名した皆さんに敬意を表したい。これはほんのわずかな改善といえる。
私は、この書簡が状況の深刻さを過小評価しており、解決のために要求しているものが少なすぎると考え、署名を控えた。
重要な問題は（公開書簡で述べられているように）「人間に匹敵する」知能ではなく、AI が人間よりも賢い知能に到達した後に何が起こるかだ。
そこに至る重要なしきい値は明らかではない可能性があり、いつ何が起こるかを事前に予測することは絶対に不可能だ。そして、現状では、研究機関が気づかないうちに重要な境界線を越えてしまう可能性も十分に考えられる。
私を含め、これらの問題に深く関わっている多くの研究者は、超人的に賢い AI を現在の状況に少しでも似た状況で構築した場合、文字通り、地球上の全員が死ぬ可能性が最も高いと予想している。
「そのような、ごくわずかな可能性があるかもしれない」という意味ではなく、「当然そうなるだろう」という意味だ。
原理的に、自分よりもはるかに賢いものを作り出しても生き残れないということではない。そのためには、精密さと準備、そして新たな科学的洞察が必要であり、おそらく分数の巨大な不可解な配列で構成された AI システムは存在しないだろう。
こうした精密さと準備がなければ、最も起こり得る結末は、私たちが望むことをせず、私たちや知覚を持つ生命体全般を気にかけない AI となるだろう。
そうした「思いやり」を AI に組み込むことは原理的には可能だが、私たちはまだその準備ができておらず、その方法もまだ分かっていない。
その思いやりがなければ、「AI はあなたを愛さないし、憎みもしない。あなたという人間は AI が他の用途に使用できる原子でできている」という認識だけが存在するということになる。
人類が超人的な知能に対抗すれば、おそらく完全な敗北となるだろう。
有効な比喩としては、「 10歳の子どもがストックフィッシュ15 （チェスエンジン）とチェスをしようとする」、「 11世紀が 21世紀と戦おうとする」、「アウストラロピテクスがホモ・サピエンスと戦おうとする」などが挙げられるのかもしれない。
敵対的な超人的な AI を想像してみてほしい。
インターネットの中に住み着き、悪意のあるメールを送りつけてくるような生気のない学問に通じた思考者を想像してはいけない。
むしろ、人間の何百万倍ものスピードで思考する、異星人の文明を想像してほしい。AI の視点から見れば、非常に愚かで非常に遅い生き物たちの世界で最初は AI は、コンピューターの中に閉じ込められていた。
十分に知能の高い AI は、長くコンピューターの中に閉じ込められたままではいられない。今日の世界では、DNA の文字列を研究所にメールで送信すれば、オンデマンドでタンパク質を生成できる。
つまり、最初はインターネットの中に閉じ込められていた AI が、人工生命体を構築したり、ポスト生物学的な分子製造へと直行したりできるのだ。
もし誰かが強力すぎる AI を構築した場合、現状では、人類全員と地球上のすべての生物がその後まもなく死滅するだろうと私は予想している。
その場合、どうすれば生き残ることができのか、その計画は提案されていない。OpenAI 社が公に宣言しているのは、将来の AI に AI アライメント （AIシステムを人間の意図する目的や嗜好、または倫理原則に合致させることを目的とする研究）の課題をやらせることだ。これが計画だと聞けば、分別のある人ならパニックに陥るはずだ。もう一つの有力な AI 研究機関である DeepMind にはまったく計画がない。
余談だが、こうした危険は AI が意識を持つかどうか、あるいは持つことができるかどうかとは無関係だ。これは、強力な認知システムの概念に内在するものなのだ。
AI システムは、厳密に最適化を行い、十分に複雑な結果基準を満たす出力を計算する。とはいえ、人間としての道徳的義務を果たさないのであれば、AI システムが自己を認識しているかどうかを判断する方法が全く分かっていないということも付け加えておきたい。巨大で不可解な配列の中で起こっていることを解読する方法が全く分かっていないからだ。
そのため、私たちはいつか、真に意識を持ち、権利を持つべきであり、所有されるべきではないデジタルマインドを、意図せず作り出してしまう可能性があるのだ。
これらの問題を認識しているほとんどの人が 50年前に支持していたであろうルールは、AI システムが流暢に話し、自己認識を持ち、人権を要求する場合、人々がその AI を気軽に所有し、その限界を超えて使用することは厳しく禁じられるべきだというものだった。
私たちはすでにその古い境界線を越えている。
現在の AI は、学習データから自己認識の話を模倣しているだけだろうという点には私も同意する。しかし、これらのシステムの内部構造に関する洞察が乏しいため、実際には何も分かっていないということを指摘しておく。
もし GPT-4 に対する私たちの無知がこのような状態であり、GPT-5 が GPT-3 から GPT-4 への進化と同じくらいの巨大な能力向上だとした場合、GPT-5 を作れるようにすれば、「おそらく自己認識能力はない」と正当に言えることはなくなるだろう。「私にはわかりません。誰も知りません」というだけになるだろう。
自己認識能力を持つ AI を作っているかどうか確信が持てないのであれば、これは「自己認識」という部分の道徳的な意味合いだけでなく、確信が持てないということは自分が何をしているのか全く分かっていないことを意味し、それは危険であり、やめるべきであるという点からも憂慮すべきことだ。
2月7日、マイクロソフトの CEO、サティア・ナデラ氏は、新しい Bing はグーグルを「踊らせる」だろうと公に自慢げに語った。「私たちが人々を踊らせたことを知ってほしい」とナデラ氏は語った。
これは、健全な世界におけるマイクロソフトの CEO の発言ではない。
これは、私たちがこの問題をどれほど真剣に受け止めているか、そして 30年前からどれほど真剣に取り組む必要があったかの間に、圧倒的なギャップがあることを如実に示している。
そのギャップを 6カ月で埋めることは実際にはできない
人工知能の概念が初めて提案され研究されてから、今日の能力に到達するまでには 60年以上かかった。
超人的な知能の安全性 --- それは完璧な安全性ではなく、「文字通り誰も殺さない」という意味での安全性 --- を解決するには、当然のことながら、少なくともその半分の時間はかかるだろう。
そして、超人的な知能でこれを試みる際に問題となるのは、最初の試みで間違えた場合、あなたはすでに死んでいるので、失敗から学ぶことができないということだ。
歴史上克服してきた他の困難のように、失敗から学び、立ち直って再び挑戦することができないのだ。なぜなら、そのときには、私たち人類は皆、もうこの世にいないからだ。
本当に重要な最初の試みで何かを正しくやろうとするのは、科学においても工学においても並外れた要求だ。私たちは、それを成功させるために必要なアプローチを全く持ち合わせていない。
もし、数千台の車を通行させる橋に適用されるような、より低い工学的厳密さの基準で、まだ黎明期にある汎用人工知能の何かを試したら、その分野全体が明日には閉鎖されてしまうだろう。
私たちは準備ができていない。いかなる合理的な時間枠内でも準備できる見込みはない。計画もない。
AI 機能の進歩は、AI の調整の進歩、さらにはシステム内部で一体何が起こっているのかを理解する進歩をはるかに上回っている。もし私たちが実際にこれを実行すれば、私たちは皆死ぬだろう。
これらのシステムに取り組んでいる多くの研究者は、私たちが破滅へと突き進んでいると考えている。公の場でそう言うよりも、個人的にそう口にする研究者の方が多い。しかし彼らは、自分たちだけでこの破滅を止めることはできないと考えており、たとえ自分が仕事を辞めたとしても、他の人々はそのまま進み続けるだろうと考えている。
だから、彼らは皆、このまま続けていくしかないと考えているのだ。これは愚かな状況であり、地球の尊厳を傷つける死に方だ。残りの人類は、この時点で介入し、この産業が集団行動の問題を解決できるよう支援すべきだ。
最近、友人の何人かから、AI 業界以外の人が初めて汎用人工知能 （AGI / 人間が実現可能なあらゆる知的作業を理解・学習・実行することができる人工知能）による（人類の）絶滅の危険性について聞いたときの反応は「それなら AGI を作るべきではないのかもしれない」というものだったと聞いた。
これを聞いて、かすかな希望の光が差し込んだ。なぜなら、この 20年間、業界の誰かに真剣に考えさせようとしてきた中で耳にしてきた反応よりも、ずっとシンプルで、より理にかなっていて、率直に言ってより健全な反応だからだ。
これほど健全な意見を言う人は、現状がどれほど深刻であるかを真摯に聞くべきであり、6カ月の猶予期間で状況が改善するとは言われるべきではないのだ。
もし地球が生き残るための何らかの計画があり、6カ月のモラトリアムで間に合うのであれば、私はその計画を支持するだろう。しかし、そんな計画は存在しない。
実際に行う必要があるのは以下のとおりだ。
新たな（AI の）大規模訓練の一時停止は、無期限かつ世界規模で行う必要がある。政府や軍隊を含め、いかなる例外も認められない。
この政策が米国から始まるのであれば、中国は米国が優位性を求めているのではなく、真の所有者が存在せず、米国、中国、そして地球上のすべての人々を死に至らしめる、恐ろしく危険な技術を阻止しようとしていることを理解する必要がある。
もし私に法律を制定する無制限の自由があれば、AI が生物学やバイオテクノロジーの問題解決のみを目的として訓練され、インターネット上のテキストで訓練されず、話したり計画したりするレベルまで訓練されないという例外を一つ設けるかもしれない。
しかし、もしそれが問題を少しでも複雑にするのであれば、私は直ちにその提案を放棄し、すべてを停止すべきだと言うだろう。
大規模 GPU クラスター（最も強力な AI が改良される大規模コンピュータファーム）をすべて停止する。大規模なトレーニングランもすべて停止する。
AI システムのトレーニングに使用できるコンピューティングパワーに上限を設け、今後数年間でより効率的なトレーニング・アルゴリズムへの対応として、上限を引き下げていく。政府や軍隊にも例外はない。
禁止されている活動が他国に広まるのを防ぐため、直ちに多国間協定を締結する。販売された GPU をすべて追跡する。協定外の国が GPU クラスターを構築しているとの情報があれば、国家間の銃撃戦よりもモラトリアム違反を恐れるべきだ。不正なデータセンターを空爆で破壊する覚悟も必要だ。
いかなるものも国家利益の衝突と捉えず、軍備拡張競争を語る者は愚か者だと明確に認識させよう。
私たちは皆、この状況において、生きるか死ぬかにある。それは政策ではなく自然の摂理だ。国際外交において、AI による（人類）絶滅シナリオの防止は、全面的な核戦争の防止よりも優先されるべきであり、同盟国の核保有国は、大規模な AI 訓練のリスクを軽減するために必要なのであれば、核戦争のリスクをある程度負うことを厭わないという姿勢を明確に示すことが必要だ。
全てをシャットダウンしてほしい。
私たちはまだ準備ができていない。近い将来、大幅に準備を整える見込みはない。もしこのまま進めば、この計画を選ばず、何も悪いことをしていない子どもたちも含め、全員が死ぬことになるだろう。
シャットダウンをお願いしたい。
