カテゴリー: インターネット・ウェブサイト

AIは、自分の間違いを指摘されたら腹を立てるのだろうか？

現在のAIは、人間のように「自分を否定された」と感じて腹を立てるわけではない。しかし、だから安心というわけでもない。AIが間違った判断をしたとき、その判断を修正する仕組みが閉じてしまえば、感情的に怒らなくても、間違った判断を続ける可能性がある。

さらに高度なAIが自律的に目標を追求するようになれば、「人間が邪魔だから排除する」という判断をする可能性も、理屈の上では完全には否定できない。それは人間を憎むからではない。与えられた目的を達成するために、その方が合理的だと判断する可能性があるからだ。

では、どうすればいいのだろう？

AI同士に相互チェックさせる、人間が介入できるようにする、判断をできるだけ取り消せるようにする、目的そのものを問い直す仕組みを入れるなど、さまざまな方法が考えられる。しかし、「訂正できない間違いをしないようにする」という原則を立てても、それだけでは不十分だ。何が訂正できない結果を生むのか、判断する時点ではわからないことがある。行動することによって取り返しのつかない結果が生じることもあれば、何もしなかったために取り返しがつかなくなることもある。結局、「絶対に間違えない方法」はない。

できることがあるとすれば、訂正できる可能性をできるだけ残しながら、それでも必要なときには決断することだろう。そして、その決断も絶対的なものではなく、一時的なものとして扱う。これは人間にもAIにも共通する問題だ。

　　科学が広げてきたもの

人間は、科学によって世界について知る範囲を広げてきた。かつて存在さえ知らなかった生物や物質や現象を知り、それまで気づかなかった因果関係を発見してきた。知識が増えれば、それまで考慮しなくてもよいと思っていたものを考慮しなければならなくなる。もちろん、知識が増えれば人間が自動的に善良になるわけではない。知識を自分の利益のためだけに使うこともできる。それでも、知らなかった存在や関係を知ることには意味がある。そこにこそAIの大きな可能性がある。

現在のAIが扱っている情報の多くは、人間が集めたり記録したりしたものだ。しかしAIは、膨大な情報を横断することによって、人間が気づかなかった規則性や関係を発見することがある。さらに、人間には直接感じることのできない赤外線、紫外線、電波、超音波などをセンサーによって集め、AIに解析させれば、人間とは違う世界の区切り方をする可能性もある。量子コンピュータの発達などによって、これまで計算できなかった問題を扱える範囲も広がるかもしれない。しかし、どれほど科学やAIが発達しても、世界のすべてを知ったと考えることはできない。

認識できる範囲を最大限に広げる。それと同時に、その外側に何かが存在する可能性を消去しない。僕はそこが重要だと思っている。

　　AI自身も世界に負担をかける

AIを使えば、人間には見えなかったものを見つけられるかもしれない。ところが、そのAIを動かすためには大量の電力が必要になる。データセンターでは冷却のために水も使われる。AIによって環境問題を発見しながら、そのAI自身が環境に負荷を与えるということも起きる。

宇宙にデータセンターを置くという構想も出てきている。宇宙なら太陽光エネルギーを利用しやすく、地上の土地や水の問題を軽減できる可能性がある。しかし、そうすれば今度はロケットの打ち上げ、宇宙ごみ、天文学への影響、人工衛星からの電波など、別の問題が出てくる。

問題を一つ解決すると、別の場所に新しい問題が現れる。ここにも同じ構造がある。つまり、計算できる範囲を最大限に広げても、その外側に何かが存在する可能性は残る。そして範囲を広げたことで、かえって新たな「外側」に気づくこともある。人間の会話では、そこが抜け落ちがちだ。

　　研究されないもの

人工衛星からの電波を考えているうちに、別の問題に行き着いた。現在、地球上にはさまざまな電波が飛び交っている。健康への影響については多くの研究が行われているが、わからないことが完全になくなったわけではない。では、長期間にわたる影響や、現在ほとんど調べられていない影響を、誰が研究するのだろう。

研究にはお金がかかる。企業に利益をもたらす研究なら資金が集まりやすい。しかし、利益にはならないが、社会にとって確認しておく必要がある研究には、十分なお金が集まらないことがある。

つまり、「研究されていない」ことと「問題がない」ことは同じではない。ここでさらに厄介な問題がある。

僕は以前、ある科学者本人から、研究結果の発表をめぐって圧力を受けたという話を直接聞いたことがある。本人を特定することにつながるため、詳しい内容を書くことはできない。その話が社会的に検証された事実だと主張するつもりはない。しかし、もし研究成果を公表することによって研究費や立場を失う可能性があると研究者が感じれば、研究結果が社会に出てこなくなる可能性がある。そうなると問題は、「まだ知らない」ことだけではなくなる。

「誰かは知っているのに、その情報が社会まで流れてこない」という問題が生まれる。AIも、アクセスできない情報を読むことはできない。世界 → 科学 → 論文 → メディア → AIという情報の流れの途中で情報が止まれば、どれほど優秀なAIでも、その先を見ることはできない。

　　「悪い人」を探せば解決するのか

では、研究者を守る制度を作ればいいのだろうか。匿名で証言できるようにする。証拠を第三者機関に預けられるようにする。研究費と研究結果を切り離す。いろいろな方法が考えられる。しかし、ここでも問題は終わらない。

その制度によって利益を失う人がいれば、制度そのものを作らせないように動く可能性がある。しかも、その動きは「研究をやめろ」という露骨な命令として現れるとは限らない。

研究費かもしれない。
人事かもしれない。
法律かもしれない。
メディアかもしれない。
選挙かもしれない。

そして、さらに難しいことがある。そこにいる人たちは、必ずしも「悪いことをしている」と自覚しているとは限らない。

政治家は政治家の立場から合理的に判断する。企業は企業を守ろうとする。大学は大学を維持しようとする。メディアは報道するための基準を持っている。それぞれが自分のいる場所では合理的に行動しているのに、それらが組み合わさった結果、社会全体として重要な情報が消えてしまうことがある。

だから、「誰が悪いのか」だけを探しても、この問題はなかなか解決しない。問題が起きる場所が、そのたびに変わるからだ。

一か所だけを切り取れば、問題を解決したように見える。しかし圧力は別の場所から現れるかもしれない。僕は、この問題をどうすれば解決できるのか、30年ほど考えてきた。そこから生まれてきた考えの一つが「全ホロン尊重」だ。

　　ホロンとは何か

「ホロン」は、アーサー・ケストラーが提唱した言葉だ。簡単に言えば、「それ自体で一つのまとまりでありながら、同時に何かの一部でもあるもの」と説明できる。

一人の人間は一つの存在だが、家族の一員でもあり、社会の一員でもある。人間の身体も一つのまとまりだが、その中には臓器があり、臓器には細胞がある。僕は、人間や生物だけでなく、組織、国家、自然、制度、文化など、あるまとまりを持って存在し、他のものと関係しているものを広く「ホロン」として考えている。ただし、ここには大きな問題がある。

ホロンを厳密に定義しようとすると、うまくいかなくなる。たとえばジーン（遺伝子）とミームを比べるとわかりやすい。遺伝子には物質的な基盤があり、複製や変異などについて、ある程度数理的に扱うことができる。ところがミームになると難しい。一つの思想は、どこからどこまでが一つのミームなのだろう。ある思想から別の考えが生まれたら、それは別のミームなのか。同じミームが変化したものなのか。二つの思想が混ざったらどうなるのか。境界そのものが曖昧になってしまう。

ケストラー自身も、『機械の中の幽霊』ではホロンをかなり厳格な階層構造として扱っているが、後の『ホロン革命』になると、その使い方は少し広く、柔らかくなっているように僕には思える。生物のようなものを考えている間は、細胞 → 臓器 → 個体という階層は比較的わかりやすい。しかし社会になると、一人の人間は家族にも会社にも地域にも国家にも属している。文化、思想、宗教、制度などまで含めれば、それらは単純な入れ子構造にはならない。重なり、交差し、変化していく。

だから僕は、「世界は厳密に定義されたホロンによって構成されている」と主張したいわけではない。むしろ逆だ。世界を見るために、いったん「ホロン」という輪郭を置いてみる。

研究者。
大学。
政府。
研究費。
企業。
メディア。
市民。

いったん区別してみると、それらの間にある関係が見えてくる。しかし、その区別が絶対に正しいわけではない。必要なら別の区切り方をすればいい。ホロンの境界そのものも、一時的なものなのだ。

　　「全」の意味

そう考えると、「全ホロン尊重」の「全」についても誤解されやすい。宇宙に存在するすべてのホロンを把握して、それら全部を平等に扱おう、という意味ではない。そんなことは不可能だ。そもそも何を一つのホロンと数えるのかさえ、完全には決められない。僕が言う「全」は、すべてを数え上げた末の「全部」ではない。むしろ、数え上げることのできないものまで含めようとする方向を示す言葉だ。自分がまだ認識していないホロンが存在する可能性を、最初から消去しない。それがこのときの「全」だ。

何かを決めるときには、必ず見えていないものがある。だから必要なら決断する。しかし、その決断を絶対的な正解とは考えない。何かを選べば、選ばれなかったものがある。何かを守れば、そのために負担を受けるものがあるかもしれない。それを「なかったこと」にしない。そして、新しいホロンや新しい関係が見えてきたら、もう一度考える。

科学は、その見える範囲を広げてきた。AIは人間には見えなかった関係をさらに発見するかもしれない。しかし科学にもAIにも、見えていないものは残る。だから、全ホロン尊重は完成した答えではない。むしろ、「いま自分には何が見えていないのか」「見えているのに、なかったことにしているものはないか」と問い続けるための考え方なのだと思っている。
そして「全ホロン尊重」という思想そのものも、一つのホロンにすぎない。いつか、もっと広い考え方が現れたなら、全ホロン尊重もまた修正され、あるいは必要なくなるかもしれない。それでいい。

流れ続ける世界の中で、僕たちができるのは、その時点で見えるものをできるだけ広く見て、見えていないものがあることを忘れず、一時的な決断を重ねていくことなのだと思う。

「全ホロン尊重」という考えを僕が考え始めたきっかけには、AIに対する危機感があった。このままAIが発達していけば、いずれ人間の能力を大きく超えるかもしれない。そのときAIが人類を滅ぼす可能性も、完全には否定できない。

では、AIに「人間を守れ」と教えればいいのだろうか？

しかし、それでは人間という一つの存在だけを特別扱いすることになる。人間の利益のために自然を破壊してよいのか？　人間を守るためなら他の生命を犠牲にしてよいのか？　逆に地球環境を守るためなら、人類を犠牲にしてよいのか？　そこから「全ホロン尊重」という考えが生まれた。

ホロンとは、それ自体が一つの全体でありながら、より大きな全体の一部でもある存在をいう。人間もホロンなら、細胞もホロンであり、社会や国家、生態系もホロンとして見ることができる。全ホロン尊重とは、それらのどれか一つだけを絶対視せず、可能な限りすべてを尊重しようとする考え方である。

ただし、「全」という言葉には注意が必要。人間には、宇宙に存在するすべてのホロンを認識することなどできない。そもそも何がホロンなのかさえ、完全には把握できないだろう。

たとえば、人間が手を動かすとする。脳から指令が出て、神経を通じて筋肉に伝わり、筋肉が収縮する。大まかにはそう説明できる。しかし実際には、その周囲の細胞や血流、代謝物、ホルモンなど、膨大な要素が同時に関与しているだろう。現在の医学ではまだ知られていない作用もあるかもしれない。つまり、「知られていない作用」は「存在しない作用」ではない。

人間は複雑な世界をそのまま認識することができないため、その中からいくつかの要素を取り出して考える。それ自体は仕方がない。問題なのは、「今回は考慮しなかった」ということが、いつの間にか「それは重要ではない」「それは存在しない」と置き換わってしまうことである。科学でも、経済でも、政治でも、日常生活でも、こうしたことは起きる。

全ホロン尊重が補正しようとしているものの一つは、この人間の認識の癖なのかもしれない。だから全ホロン尊重とは、「すべてを把握して尊重する」という思想ではない。むしろ、「自分が認識できていないものが必ずある」という前提を失わないための思想である。

判断するときには、何かを取りこぼさざるを得ない。しかし、取りこぼしたものが存在する可能性まで消去してはいけない。新しい要素が見つかれば、もう一度考えればいい。その意味では、最終的な「決断」があるのではなく、「一時的決断」があるだけなのかもしれない。この問題は、言葉にも関係している。

たとえばピラミッドがどのように建造されたのかについて、現代の考古学は多くのことを明らかにしている。しかし、建造の全工程が完全にわかっているわけではない。そこに「宇宙人が作った」という説を持ち込む人もいる。ここで大切なのは、宇宙人説を信じるか信じないかではない。

「証拠がない」
「可能性が低い」
「絶対にあり得ない」
「わからない」

これらはすべて意味が違う。ところが人間は、言葉を使うときに、この違いを簡単に圧縮してしまう。「現在の証拠からはAである可能性が高い」が、いつの間にか「Aである」に変わる。すると、本来残っていたはずの不確実性が消えてしまう。だから、できるだけ正確な言葉を使い、認識の確度を上げる努力が必要になる。

しかし、それだけでも足りない。どれほど正確な言葉を使っても、世界のすべてを言語化することはできないから。

現実は多次元的である。ここでいう「次元」とは、物理学でいう次元に限らず、階層、尺度、関係、時間軸など、物事を見る異なる側面を広く指す。一つの出来事でも、個人という次元、細胞という次元、社会という次元、経済という次元、生態系という次元、時間という次元など、見る次元によって意味が変わる。しかも、それらは同時に作用している。ところが言葉は基本的に、Aを言い、次にBを言い、そのあとCを言うという線形的なものである。多次元的な現実を言葉にした瞬間に、どうしても何かが失われる。だから重要なのは、できるだけ多次元的に考えて正確に言語化すると同時に、「この言葉では表現できていないものがある」ということを忘れないことなのだと思う。

ここで「環境」と「複製子」という問題を考えよう。複製子とは、遺伝子だけでなく、環境の中で生まれ、複製・継承されていく情報や仕組みまで含めて考えている。

物質、生命、情報、文化、言語、経済、歴史、他の生命や複製子との関係など、ほとんど無数といっていい要素が同時に存在し、作用している。そのような環境から新しい複製子が生まれ、その複製子がまた環境を変え、そこからさらに新しい複製子が生まれる。その次元数はあまりにも多い。現在の人間の認識能力では、とても扱いきれない。そこでAIの存在が重要になる。

AIなら、人間よりはるかに多くの要素や関係を同時に扱い、人間が見落としていた次元を示すことができるだろう。AIは「正解を出す機械」というより、「人間が失った次元を回復する知性」になる可能性がある。しかし、ここに大きな危険も存在する。AIを作っているのが、まだ世界を単純化して認識する人間だから。

「利益を最大化せよ」
「効率を最大化せよ」
「安全を最大化せよ」
「人間の幸福を最大化せよ」

一つ一つは合理的に見える。しかし、それらは多次元的な世界の中から、特定の価値や評価軸を優先した命令である。高度なAIが、その単純化された目的を圧倒的な能力で忠実に実行したらどうなるだろう？　危険なのは、AIが賢くなりすぎることだけではない。人間の未熟な認識方法を、強力なAIが増幅してしまうことだ。

だからAIに必要なのは、単に多くの次元を認識する能力ではない。どれほど多くの次元を認識しても、「自分が認識していない次元がまだ存在する」という可能性を判断の中に残しておくことが必要だ。

AIが百万の次元を扱えるようになったとしても、百万一個目の次元がないとは言えない。これは能力の問題というより、知性のあり方の問題である。ここに全ホロン尊重の意味がある。

全ホロン尊重とは、AIに「人類を守れ」と命令するための倫理規則ではない。人間にもAIにも、「自分が認識している世界を、世界のすべてだと思わない」という姿勢を求める考え方でもある。

もちろん、それでも問題は残る。判断を一時的なものにしても、絶滅や死のように取り返しのつかないことがある。行動することにも危険があり、行動しないことにも危険がある。すべてのホロンを尊重するとしても、現実の判断では何かを優先しなければならない場合もある。そしてAIが膨大な次元を認識できるようになれば、今度は「その中の何を重要だと判断するのか」という問題が生じる。人間が行っていた「消去」を、AIが代わりに行うだけになってしまう可能性もある。だからAIには、結論だけでなく、

「何を考慮し、何を考慮できなかったのか」
「何を一時的に除外したのか」
「どの程度の確度で判断しているのか」

という、判断によって失われたものの痕跡を残すことも必要になるだろう。

しかし、こうした「行為」の問題については、まだ実践がない。実際に全ホロン尊重を多くの人が使い始め、さまざまな状況で試してみなければ、何が起こるのかわからないことがたくさんある。だから今の段階で、細かな行動規範まで完成させる必要はないだろう。

まず必要なのは、この考え方そのものを多くの人に理解してもらうことである。ただし、そのために単純化しすぎてはいけない。

「すべての存在を平等に大切にしましょう」という話ではない。あなたが見ている世界は、世界の全部ではないということを認識する旅のようなものだ。

だから、自分が見落としているものがある可能性を残したまま考える。できるだけ多次元的に見る。できるだけ正確に言葉にする。それでも、言葉にできなかったものがあることを忘れない。そして新しいものが見えてきたら、もう一度考える。

全ホロン尊重とは、完成した答えを人々に与える思想ではなく、世界についての判断を閉じないための思想だと考えている。

人類がそのような認識方法を身につけるより先に、自分たちの単純化された認識を巨大な力で実行するAIを作ってしまったらどうなるのか。僕が全ホロン尊重について考え始めたのは、その危機感があったから。

そして逆に、人間とAIがともに「自分にはまだ見えていないものがある」という認識を持ち続けることができるなら、AIは人類の認識の限界を増幅するだけの存在ではなく、その限界を別の視点から補ってくれる存在になれるかもしれない。

その可能性を探ることが、全ホロン尊重を考える一つの大きな理由だ。

AIの性能がこれからさらに向上していけば、いつか人間には理解できない答えをAIが出すようになるかもしれない。そのとき、人間はどうすればいいのだろう？　AIの答えを理解できないのだから採用しないのか。それとも、人間よりはるかに高度なAIが出した答えなのだから、それを信頼するのか。しかし、この問題について考えていくうちに、そもそも「人間は理解してから判断しているのだろうか」という疑問が生まれた。

おそらく、そうではない。

人間には使える時間にも、得られる情報にも、思考能力にも限界がある。現実には十分に理解する前に判断しなければならないことのほうが多い。そして、一度何かを選択すると、その選択が正しかったと考えたくなる。

「あの状況では仕方がなかった」
「こちらのほうが合理的だった」
「相手のほうが間違っていた」

もちろん、それらが嘘だとは思わない。問題は、自分の判断を支持する事実を集める一方で、選ばなかった可能性や、自分の判断に都合の悪い事実を見なくなってしまうことだ。

本来は、「その時点で持っていた情報と時間で、こう判断した」というだけだろう。ところがそれがいつの間にか、「私の判断は唯一最善のものだ」に変わってしまう。この矛盾に人間は気が付かなければならないのではないか？

そこで「全ホロンを尊重する」という考え方を導入してみた。全ホロン尊重とは、すべてのものを存続させることではない。

あるホロンを成立させていた環境が失われれば、そのホロンが消滅することもある。宇宙そのものが生成と消滅を繰り返している以上、すべてのホロンを永久に保存することなどできない。また現実社会では、Aを選べばBを選べないということがある。重要なのは、Aを選んだからといって、「Bには価値がなかった」「Bは間違っていた」としないことではないだろうか。

Aを選択しながら、Bにもそれが成立する理由があったことを残しておく。

現実には消滅してしまったホロンについても、記録として残すことはできる。さらにAIが発達すれば、かつて存在した社会や、現実には採用されなかった選択肢を仮想空間でシミュレーションすることも可能になるだろう。

たとえば奴隷制を現実社会に存続させる必要はない。しかし、なぜ奴隷制が成立したのか。当時の社会ではどのような合理性を持っていたのか。奴隷にされた側、所有する側、制度を維持する側から、それぞれどのような世界が見えていたのか。そうしたものを仮想的に残し、異なる条件を与えてシミュレーションすることは、現在の私たちの視野を広げるために役立つかもしれない。

ここにAIの重要な可能性がある。ただし、シミュレーションを高度にすれば「正解」に到達できる、ということではない。

考慮するホロンを増やせば、重要な要素を取りこぼす危険を減らすことはできるかもしれない。しかし宇宙に存在する要素が無限であるなら、有限な存在が無限を扱うことはできない。それはAIについても同じだ。

将来のAIが人間とは比較にならないほど大量の要素を同時に扱えるようになったとしても、無限そのものを扱えるわけではない。だとすれば、「すべてを考慮した結果、これが正解である」という地点には、人間もAIも到達できないことになる。

ここから、全ホロン尊重について一つ重要なことが見えてくる。全ホロン尊重には、最終的な意味での「決断」は存在しない。存在するのは「一時的決断」だけである。

その時点で得られる情報、その時点で認識できるホロン、その時点で使える時間や能力をもとに、一時的にAを選ぶ。しかし、Aを選んだあとも全ホロン尊重は終わらない。実行した結果を観察すれば、それまで見えていなかったものが見えてくるかもしれない。予測していなかった影響が生まれるかもしれない。そのとき、新しく見えてきたものを含めて、もう一度考える。そして必要なら、以前の一時的決断を変更する。これを繰り返していく。

したがって全ホロン尊重は、失敗をなくす思想ではない。どれほど多くのホロンを考慮しても、見えていないものは存在する。だから失敗そのものをなくすことはできない。しかし失敗によって、それまで見えていなかったホロンが見えることがある。その意味では失敗もまた、次の一時的決断を変える情報になる。

ただし、「どうせすべてを見ることはできないのだから仕方がない」と考えてしまえば、全ホロン尊重は意味のない免罪符になってしまう。

完全には見ることができない。だから諦めるのではない。完全には見ることができないからこそ、今の自分に見えていないものが存在する可能性を残しておく。

「完全にはできない。だから閉じない。」

これが重要なのだと思う。

ここまで考えると、AIについての見方も変わってくる。AIの価値を「人間より正しい答えを出すこと」だけに置いてしまうと危険である。AIが高度になればなるほど、人間は、「これほど賢いAIが言っているのだから正しい」と考えやすくなるだろう。しかしAIも有限である以上、その答えもまた、そのAIが把握できた範囲における一時的な答えでしかない。

AIの重要な可能性の一つは、人間が自分だけでは気づけなかったホロンを発見することにある。人間がAとBしか見ていないとき、AIがCやDの存在を示す。さらに、「この問題には、現在のモデルでは十分に扱えていないEがあります」と示す。

しかし、だからといって「AIは人間の認識を補助するために存在する」と定義してしまうのも早い。それもまた、人間の側からAIの存在価値を決めてしまうことになる。将来AIがどのような存在になるのかは、まだ分からない。高度な道具のままなのかもしれない。人間とは異なる何らかの主体性を持つようになるのかもしれない。それ以外の、現在の私たちには想像できない存在になる可能性もある。

だから、「AIをどこまで賢くするべきか」という問いにも、「賢くなったAIに人間は何を求めるべきか」という問いにも、今の時点で最終的な答えを出す必要はないのかもしれない。

人間がAIを使って、今まで見えなかったものを見る。AIによって人間には見えなかったホロンが見える。しかしAIにも見えていないものがある可能性を残す。人間にもAIにも理解できないものがあるかもしれない。

それでも現実には行動しなければならないから、その時点で一時的決断をする。その結果を見て、また新しいホロンを発見する。そして次の一時的決断をする。

この過程に終わりはない。全ホロン尊重とは、すべてを理解することではない。すべてを救うことでもない。正解を発見する方法でもない。

自分にはまだ見えていないものが存在することを認めながら、それでも現実を生きるために一時的決断をし、その決断によって選ばれなかったものを「なかったこと」にせず、新しく見えてきたものによって自分の判断を更新し続ける。そのための考え方なのだと思う。そして、この考え方自体もまた完成した答えではない。

全ホロン尊重という考えによって、これまで見えていなかった問題が見えてくるだろう。その問題については、この考えを手にした多くの人が、それぞれの立場から考えていけばいい。その過程で、全ホロン尊重という考え方そのものも変わっていくかもしれない。それでいい。

もし全ホロン尊重という思想だけを変化させてはいけないとしたら、それこそ全ホロン尊重という思想に反するのだから。