ユヴァル・ノア・ハラリ×オードリー・タン対談（2/3）──母親より自分のことを知る存在にどう対処すべきか

ハラリ　なぜアルゴリズムがこの人を起用したり出世させたりするのか、党員のだれも理解できないままにアルゴリズムを信頼する。いずれそんな時代になる可能性があるように思います。

そしてついにはアルゴリズムが党を支配するようになります。ある日、党のトップがはたと気づきます。 「どうしよう。やり過ぎだ。もはやコントロールできなくなった」。気づいたときは、もはや手遅れ。アルゴリズムが下級官僚を全員任命してしまっています。

この種のアルゴリズムによる乗っ取りは、ロボットの反乱のSFシナリオよりも、はるかに可能性が高いと思います。また実際には、民主主義政権よりも権威主義政権の方がアルゴリズムによる乗っ取りが、はるかに簡単に起こります。というのは必要なのは、上層部の人々がアルゴリズムを十分に信頼するようになることだけだからです。一方、民主主義では、アルゴリズムが乗っ取るためには、何百万人もの人々にアルゴリズムを信頼するように説得する必要があります。権威主義的な政権では、一握りの人々を納得させるだけで十分です。それに彼らには、権力者がすべての情報を収集し何もかも知っていることがいいことだという論理を受け入れる下地が、既にできているわけですから。

しかしこれは可能性のあるシナリオの一つに過ぎません。 価値観問題の本当に深い問題は、たとえ民主主義があり、異なる物の見方をする人が数多くいたとしても、アルゴリズムが私たちのことをよりよく知っていて、 人生の意思決定の場面でアルゴリズムの意見に耳を傾けるようになると、 私たち自身の価値観も次第にコントロールされていくということです。幼い頃からアルゴリズムが私たちの側にずっといるのであれば、なおさらそうです。

私は現在44歳なので、私の価値観は何十年もの経験によって形成されてきました。今になってアルゴリズムが私のために意思決定をするようになったとしても、アルゴリズムが私の核となる価値観を変えることは難しいでしょう 。
しかし、もし赤ちゃんや幼い子供から、子供の人生についてより多くの決定がAIメンターによってなされるとしましょう。そのAIメンターは、実際にどこかの企業に仕えている邪悪なメンターではなく、その子供の利益のためを考えて動くメンターだったとします。

あなたはこのAIメンターを信頼していても、その決定がどこから来ているのか分からない。全てのデータを調べても、理解することはできません。しかし、これらの決定は子供が成長していく中で、その子の価値観を形作っていくのです。だから繰り返しになりますが、私はこのことについて、いいとも悪いとも考えていません。ディストピアになる、ユートピアになると主張しているわけではありません。歴史家として、この全く新しい状況を非常に興味深く思っているだけです。

Puja Ohlhaver（司会者）　RadicalxChangeのアイデアの一つにデータの尊厳があります。オードリー、あなたは会話の最初の方で、アーキテクチャについて言及していましたね。ここで考慮すべきことの1つは、このような多元性を持つようにアルゴリズムをどのように構築できるか、データの尊厳をどう担保するのかということだと思います。

データの尊厳という考え方は、データの管理とデータの利用を分けて考えるというものです。この2つを分離することで、最終的には大手テクノロジー企業や政府が持っているデータの独占と独占欲を、打ち破ることになります。

管理と使用を分離すると、多くの異なるデータ協同組合や団体ができて、そうした組合、団体間で特定のアルゴリズムを受け入れたり拒否したりすることができるようになります。このような複数の集合体が持つデータの上に、複数のアルゴリズムが存在するようになり、われわれはその中から好きなアルゴリズムを選択できるようになると思われます。

オードリー、それはユヴァルが心配している問題を解決できる、説得力のある未来のビジョンだと思いますか？

タン　一人のメンターという考え方は、一種の直線的な発達過程を前提としています。中学中退者の私は直線的発達過程の経験がないので・・・。大学とかいうものに通う人がいるとかいう話は耳にすることがありますが（笑）。

いずれにしても、何が言いたいのかというと、台湾では昨年からの新カリキュラムでは、子どもたちが自分たちでプロジェクトを設定して問題解決型学習で構造的な問題を解決していくように、アドバイスしています。

そして先生方は、それは学校の先生かもしれませんし、コミュニティ・カレッジの先生や、地域の高齢者学習グループや先住民族の言語サークルなどの先生であったりするかもしれません。