「騙されるAI」0.001％の誤情報の混入で誤った回答を導く巨大な罠

Deemerwha studio -shutterstock-

＜AIは誤情報にきわめて脆弱、人間よりもはるかに騙されやすい。やろうと思えばコストパフォーマンス高く汚染を実行し、AIを騙すことができる＞

近年、AIの利用が拡大している一方で、AIが人を「騙す」ことも増えてきている。ハルシネーション（幻覚）はその代表例で、存在しない資料や人物、時には判例までもをでっちあげて、あたかもほんとうにあるかのように回答するのだ。

また、システム開発でAIにコードを生成させることも増えているが、そこでも存在しないパッケージを利用するといったハルシネーションが問題になっている。

しかし、逆にAIが騙される事例が増加していることはまだあまり知られていないようだ。

AIを手懐けるLLMグルーミング

LLMはラージ・ランゲージ・モデルの略で、ChatGPTなどの最近注目されているAIはLLMである。莫大なデータから学習している。

当然のことながら、学習のもとになるデータが正しくなければ回答も誤ったものとなる。信頼できないデータが混入することをデータ・ポイゾニングと呼び、よく「ゴミを入れればゴミが出る」と言われる。

人間が吟味した正しいデータだけ渡せばよいと考えるかもしれないが、人間がいちいち内容を吟味できるようなデータ量ではない。信頼できるようなデータ、たとえば科学論文のデータベースならよいかというと、そこには現在では誤っていることがわかっている過去の論文も多く含まれている。

大手メディアなら正しいわけでもなく、どのメディアでも誤報があるし、過去に報道した事実が新しい事実で更新されることもある。科学的事実も社会的事実も時とともに更新される以上、過去に正しいとされたものが「誤ったもの」になることは珍しくない。

しかし、人間はいちいち過去の記録に「更新済み」などと書き加えたりしない。やっかいなことに、新しい科学的事実や社会的事実は立証されるまで、誤りもしくは不正確な未検証のものとして扱われ、陰謀論扱いされることも少なくない。