AIは、自分の間違いを指摘されたら腹を立てるのだろうか？
現在のAIは、人間のように「自分を否定された」と感じて腹を立てるわけではない。しかし、だから安心というわけでもない。AIが間違った判断をしたとき、その判断を修正する仕組みが閉じてしまえば、感情的に怒らなくても、間違った判断を続ける可能性がある。
さらに高度なAIが自律的に目標を追求するようになれば、「人間が邪魔だから排除する」という判断をする可能性も、理屈の上では完全には否定できない。それは人間を憎むからではない。与えられた目的を達成するために、その方が合理的だと判断する可能性があるからだ。
では、どうすればいいのだろう？
AI同士に相互チェックさせる、人間が介入できるようにする、判断をできるだけ取り消せるようにする、目的そのものを問い直す仕組みを入れるなど、さまざまな方法が考えられる。しかし、「訂正できない間違いをしないようにする」という原則を立てても、それだけでは不十分だ。何が訂正できない結果を生むのか、判断する時点ではわからないことがある。行動することによって取り返しのつかない結果が生じることもあれば、何もしなかったために取り返しがつかなくなることもある。結局、「絶対に間違えない方法」はない。
できることがあるとすれば、訂正できる可能性をできるだけ残しながら、それでも必要なときには決断することだろう。そして、その決断も絶対的なものではなく、一時的なものとして扱う。これは人間にもAIにも共通する問題だ。
科学が広げてきたもの
人間は、科学によって世界について知る範囲を広げてきた。かつて存在さえ知らなかった生物や物質や現象を知り、それまで気づかなかった因果関係を発見してきた。知識が増えれば、それまで考慮しなくてもよいと思っていたものを考慮しなければならなくなる。もちろん、知識が増えれば人間が自動的に善良になるわけではない。知識を自分の利益のためだけに使うこともできる。それでも、知らなかった存在や関係を知ることには意味がある。そこにこそAIの大きな可能性がある。
現在のAIが扱っている情報の多くは、人間が集めたり記録したりしたものだ。しかしAIは、膨大な情報を横断することによって、人間が気づかなかった規則性や関係を発見することがある。さらに、人間には直接感じることのできない赤外線、紫外線、電波、超音波などをセンサーによって集め、AIに解析させれば、人間とは違う世界の区切り方をする可能性もある。量子コンピュータの発達などによって、これまで計算できなかった問題を扱える範囲も広がるかもしれない。しかし、どれほど科学やAIが発達しても、世界のすべてを知ったと考えることはできない。
認識できる範囲を最大限に広げる。それと同時に、その外側に何かが存在する可能性を消去しない。僕はそこが重要だと思っている。
AI自身も世界に負担をかける
AIを使えば、人間には見えなかったものを見つけられるかもしれない。ところが、そのAIを動かすためには大量の電力が必要になる。データセンターでは冷却のために水も使われる。AIによって環境問題を発見しながら、そのAI自身が環境に負荷を与えるということも起きる。
宇宙にデータセンターを置くという構想も出てきている。宇宙なら太陽光エネルギーを利用しやすく、地上の土地や水の問題を軽減できる可能性がある。しかし、そうすれば今度はロケットの打ち上げ、宇宙ごみ、天文学への影響、人工衛星からの電波など、別の問題が出てくる。
問題を一つ解決すると、別の場所に新しい問題が現れる。ここにも同じ構造がある。つまり、計算できる範囲を最大限に広げても、その外側に何かが存在する可能性は残る。そして範囲を広げたことで、かえって新たな「外側」に気づくこともある。人間の会話では、そこが抜け落ちがちだ。
研究されないもの
人工衛星からの電波を考えているうちに、別の問題に行き着いた。現在、地球上にはさまざまな電波が飛び交っている。健康への影響については多くの研究が行われているが、わからないことが完全になくなったわけではない。では、長期間にわたる影響や、現在ほとんど調べられていない影響を、誰が研究するのだろう。
研究にはお金がかかる。企業に利益をもたらす研究なら資金が集まりやすい。しかし、利益にはならないが、社会にとって確認しておく必要がある研究には、十分なお金が集まらないことがある。
つまり、「研究されていない」ことと「問題がない」ことは同じではない。ここでさらに厄介な問題がある。
僕は以前、ある科学者本人から、研究結果の発表をめぐって圧力を受けたという話を直接聞いたことがある。本人を特定することにつながるため、詳しい内容を書くことはできない。その話が社会的に検証された事実だと主張するつもりはない。しかし、もし研究成果を公表することによって研究費や立場を失う可能性があると研究者が感じれば、研究結果が社会に出てこなくなる可能性がある。そうなると問題は、「まだ知らない」ことだけではなくなる。
「誰かは知っているのに、その情報が社会まで流れてこない」という問題が生まれる。AIも、アクセスできない情報を読むことはできない。世界 → 科学 → 論文 → メディア → AIという情報の流れの途中で情報が止まれば、どれほど優秀なAIでも、その先を見ることはできない。
「悪い人」を探せば解決するのか
では、研究者を守る制度を作ればいいのだろうか。匿名で証言できるようにする。証拠を第三者機関に預けられるようにする。研究費と研究結果を切り離す。いろいろな方法が考えられる。しかし、ここでも問題は終わらない。
その制度によって利益を失う人がいれば、制度そのものを作らせないように動く可能性がある。しかも、その動きは「研究をやめろ」という露骨な命令として現れるとは限らない。
研究費かもしれない。
人事かもしれない。
法律かもしれない。
メディアかもしれない。
選挙かもしれない。
そして、さらに難しいことがある。そこにいる人たちは、必ずしも「悪いことをしている」と自覚しているとは限らない。
政治家は政治家の立場から合理的に判断する。企業は企業を守ろうとする。大学は大学を維持しようとする。メディアは報道するための基準を持っている。それぞれが自分のいる場所では合理的に行動しているのに、それらが組み合わさった結果、社会全体として重要な情報が消えてしまうことがある。
だから、「誰が悪いのか」だけを探しても、この問題はなかなか解決しない。問題が起きる場所が、そのたびに変わるからだ。
一か所だけを切り取れば、問題を解決したように見える。しかし圧力は別の場所から現れるかもしれない。僕は、この問題をどうすれば解決できるのか、30年ほど考えてきた。そこから生まれてきた考えの一つが「全ホロン尊重」だ。
ホロンとは何か
「ホロン」は、アーサー・ケストラーが提唱した言葉だ。簡単に言えば、「それ自体で一つのまとまりでありながら、同時に何かの一部でもあるもの」と説明できる。
一人の人間は一つの存在だが、家族の一員でもあり、社会の一員でもある。人間の身体も一つのまとまりだが、その中には臓器があり、臓器には細胞がある。僕は、人間や生物だけでなく、組織、国家、自然、制度、文化など、あるまとまりを持って存在し、他のものと関係しているものを広く「ホロン」として考えている。ただし、ここには大きな問題がある。
ホロンを厳密に定義しようとすると、うまくいかなくなる。たとえばジーン（遺伝子）とミームを比べるとわかりやすい。遺伝子には物質的な基盤があり、複製や変異などについて、ある程度数理的に扱うことができる。ところがミームになると難しい。一つの思想は、どこからどこまでが一つのミームなのだろう。ある思想から別の考えが生まれたら、それは別のミームなのか。同じミームが変化したものなのか。二つの思想が混ざったらどうなるのか。境界そのものが曖昧になってしまう。
ケストラー自身も、『機械の中の幽霊』ではホロンをかなり厳格な階層構造として扱っているが、後の『ホロン革命』になると、その使い方は少し広く、柔らかくなっているように僕には思える。生物のようなものを考えている間は、細胞 → 臓器 → 個体という階層は比較的わかりやすい。しかし社会になると、一人の人間は家族にも会社にも地域にも国家にも属している。文化、思想、宗教、制度などまで含めれば、それらは単純な入れ子構造にはならない。重なり、交差し、変化していく。
だから僕は、「世界は厳密に定義されたホロンによって構成されている」と主張したいわけではない。むしろ逆だ。世界を見るために、いったん「ホロン」という輪郭を置いてみる。
研究者。
大学。
政府。
研究費。
企業。
メディア。
市民。
いったん区別してみると、それらの間にある関係が見えてくる。しかし、その区別が絶対に正しいわけではない。必要なら別の区切り方をすればいい。ホロンの境界そのものも、一時的なものなのだ。
「全」の意味
そう考えると、「全ホロン尊重」の「全」についても誤解されやすい。宇宙に存在するすべてのホロンを把握して、それら全部を平等に扱おう、という意味ではない。そんなことは不可能だ。そもそも何を一つのホロンと数えるのかさえ、完全には決められない。僕が言う「全」は、すべてを数え上げた末の「全部」ではない。むしろ、数え上げることのできないものまで含めようとする方向を示す言葉だ。自分がまだ認識していないホロンが存在する可能性を、最初から消去しない。それがこのときの「全」だ。
何かを決めるときには、必ず見えていないものがある。だから必要なら決断する。しかし、その決断を絶対的な正解とは考えない。何かを選べば、選ばれなかったものがある。何かを守れば、そのために負担を受けるものがあるかもしれない。それを「なかったこと」にしない。そして、新しいホロンや新しい関係が見えてきたら、もう一度考える。
科学は、その見える範囲を広げてきた。AIは人間には見えなかった関係をさらに発見するかもしれない。しかし科学にもAIにも、見えていないものは残る。だから、全ホロン尊重は完成した答えではない。むしろ、「いま自分には何が見えていないのか」「見えているのに、なかったことにしているものはないか」と問い続けるための考え方なのだと思っている。
そして「全ホロン尊重」という思想そのものも、一つのホロンにすぎない。いつか、もっと広い考え方が現れたなら、全ホロン尊重もまた修正され、あるいは必要なくなるかもしれない。それでいい。
流れ続ける世界の中で、僕たちができるのは、その時点で見えるものをできるだけ広く見て、見えていないものがあることを忘れず、一時的な決断を重ねていくことなのだと思う。