「騙されるAI」0.001％の誤情報の混入で誤った回答を導く巨大な罠

Xのコミュニティノートも汚染されており、2023年後半から2025年前半までの間にPravdaネットワークを情報源とするコミュニティノートが153件作られていた。それら以外にも検索結果に表示されることや、うっかり記事やまとめサイト、個人のブログなどでとりあげられることもある。

PravdaネットワークあるいはPravdaネットワークに汚染された検索結果、Wikipedia、記事などから学習したAIがロシアに都合のよいプロパガンダを回答するようになってしまっているのだ。

Pravdaネットワークは圧倒的なコンテンツの量と相互リンクを持ち、高い頻度で更新しているが、人間に対する効果はそれほど出ていない可能性が指摘されている。そのため、狙いはAIを騙すことにあるのではないかと推測されている。

AIのハルシネーションに相乗りするスロップスクワッティング

システム開発でAIが存在しないパッケージを利用する問題を前に書いたが、それを逆手に取った攻撃が増加している。

スロップスクワッティングと呼ばれる手法で、あらかじめAIがハルシネーションで言いそうなパッケージ名を予想し、そのパッケージ（マルウェアつき）を登録しておくのだ。

ハルシネーションしそうなパッケージをAIに大量に作らせる方法も出回っている。パッケージだけではなく、ブログなども作っておくことで信憑性が増す。そこまでやるとグーグル検索で表示される「AIによる概要」がこの偽のパッケージを紹介することも起こる。

AIのハルシネーションに相乗りし、さらにそれがグーグル検索のAIをLLMグルーミングするという入り組んだ偽・誤情報のエコシステムができている。