最新記事

ビッグデータ

「パナマ文書」解析の技術的側面

2.6テラバイトのリークデータを調査報道機関はどうやって分析したのか？

2016年4月12日（火）18時25分
大野圭一朗

プーチン大統領の資産隠しに関わっていると思われる会社と関係者のネットワーク (Generated with Linkurious)

　世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？　私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました:

・Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca leaks
・The Panama Papers: Why It Couldn't Have Happened Ten Years Ago
・Inside the Panama Papers: How Cloud Analytics Made It All Possible

　これらは普段からグラフ（後述）を扱う仕事をしている自分にとっても興味深いものでしたので、ここで紹介します。こう言った現代の調査報道のテクニカルな部分は日本のマスコミで報道されることはほとんどないので、読んでいて純粋に面白かったです。ここでは世界の調査報道機関はどんなテクノロジーを使い何をやっているのかを、技術に明るくない人にもできるだけわかりやすいように書いてみようと思います。

データの形式

　まず今回のデータの計算機的な性質です。公開されている情報によれば、それは以下の様なものです

panamapapers02.gif

出典: Süddeutsche Zeitung "About the Panama Papers"

 


・容量: 2.6TB。大きさとしては一万円程度のハードディスクにすべて納まります。
・ファイル数: およそ1,150万
・データ形式: 電子メール、RDBなどのデータベース、PDF文書、画像（おそらく多くは書類のスキャン）、テキストファイル。ファイル数の分布は上のチャートを参照

　2.6TBというデータは、現在の計算機にとっては決して大きなものではありません。貴方がテレビ録画用のHDレコーダをお持ちでしたら、おそらくこれより大きなデータをそこに格納できるでしょう。しかし、その大きさのデータを人間が解析しようと思った時、それはあまりにも膨大な量で、とても人力でどうにかなるものではありません。本質的にこのデータセットに対しては、プリントアウトしてひとつひとつ見るというようなアナクロな手法は通用しません。パナマ文書は何らかの検索や可視化の技術が利用できなければ、人間には歯が立たないものなのです。

しかし幸運なことに、今回のデータは画像ファイルを除けば（これも最近「インテリジェントな」解析技術が飛躍的に向上していますがここでは触れません）、ほぼすべてが機械で比較的低コストで処理できる形式のファイルです。ここで計算機の出番になります。ここから先は、先の記事から読み取れる技術的な背景について解説していきたいと思います。

データの前処理

　このような膨大な数のファイルを解析する場合、必ずデータの前処理が必要になります。今回のデータセットは大きく二つのタイプに分けることができます:

１. RDB形式（いわゆるデータベース）の機械で容易にアクセスできるファイル
２. 人が読むことを前提にした文書ファイル。テキストと画像、PDFを含む

　今回解析に当たったICIJのデータ解析班は、まず比較的ハードルの低いひとつ目のデータに取り組みました。要するに、データベースを容易に検索できる形に再構築することです。これは専門家の手により数ヶ月で終えることができたそうです。しかし二つ目のデータはそうはいきません。

今、あなたにオススメ
ニュース速報

ビジネス

アングル：欧州で若者向け住宅購入の新ビジネス、価格
2026.03.07

ワールド

焦点：道半ばの中国「社会保険改革」、企業にも個人に
2026.03.07

ワールド

昨年の関税合意実施を米と確認、日本が不利にならない
2026.03.07

ビジネス

米国株式市場＝続落、ダウ453ドル安　原油高と雇用
2026.03.07
ニュース速報一覧
今、あなたにオススメ
MAGAZINE
特集：トランプのイラン攻撃
特集：トランプのイラン攻撃
2026年3月10日号（3/ 3発売）

核開発の断念を迫るトランプ政権が攻撃を開始。イランとアメリカの本格戦争は始まるのか？

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    中国はイランを見捨てた？　イランの「同盟国」だったはずの中国が、不気味なまでに静かな理由
  • 2
    日本の保護者は自分と同じ「大卒」の教員に敬意を示さない
  • 3
    10歳少女がライオンに激しく襲われる...中国の動物園で撮影された「恐怖の瞬間」映像にネット震撼
  • 4
    「みんな一斉に手を挙げて...」中国の航空会社のフラ…
  • 5
    日本の若者「韓国就職」憧れと現実のギャップ ── ビ…
  • 6
    「巨大な水柱に飲み込まれる...」米海軍がインド洋で…
  • 7
    サファリ中の女性に悲劇...ライオンに「くわえ去られ…
  • 8
    【長期戦はイラン有利】米側の体制転覆シナリオに暗…
  • 9
    「毎日が人生最後の日」だと思って酒を飲む...84歳医…
  • 10
    【WBC】侍ジャパン、大谷翔平人気が引き起こした球場…
  • 1
    日本の若者「韓国就職」憧れと現実のギャップ ── ビザの壁､会社都合の解雇､帰国後も続く苦境
  • 2
    縫いぐるみが相棒、孤独なサル「パンチくん」がバズった理由
  • 3
    BTS復活...でも、韓国エンタメが「苦境」に陥っている
  • 4
    イラン猛反撃、同士討ちまで起きる防空戦はいつまで…
  • 5
    「毎日が人生最後の日」だと思って酒を飲む...84歳医…
  • 6
    見事なカンフーを見せた中国ヒト型ロボットのからく…
  • 7
    サファリ中の女性に悲劇...ライオンに「くわえ去られ…
  • 8
    少子化に悩む韓国で出生率回復...昨年過去最大の伸び…
  • 9
    「死体を運んでる...」Google Earthで表示される「不…
  • 10
    「若い連中は私を知らない」...大ヒット映画音楽の作…
  • 1
    ウクライナ戦闘機「F-16」がロシア軍「シャヘド」を空中爆破...地上から撮影の「レア映像」を公開
  • 2
    台湾侵攻「失敗」の大きすぎる代償
  • 3
    「最恐」恐竜T・レックスの定説を覆す新研究が
  • 4
    イースター島の先住民から資源を略奪、島を「生きた…
  • 5
    見事なカンフーを見せた中国ヒト型ロボットのからく…
  • 6
    アルコールは血糖値を下げる...「脳と血管を守る」医…
  • 7
    ｢ヘル・コリア｣から日本へ7万人 ── 大企業の高給より…
  • 8
    中国、パナマ運河の港湾喪失でパナマに報復──トラン…
  • 9
    命は長し、働け女たち――88歳「働くばあさん」が説く…
  • 10
    「罠に嵌められた」と主張するが...欧州で次々と摘発…
トランプ2.0記事まとめ
Real
CHALLENGING INNOVATOR
Wonderful Story
MOOK
ニューズウィーク日本版別冊
ニューズウィーク日本版別冊

好評発売中