最新記事

ビッグデータ

「パナマ文書」解析の技術的側面

2.6テラバイトのリークデータを調査報道機関はどうやって分析したのか？

2016年4月12日（火）18時25分
大野圭一朗

プーチン大統領の資産隠しに関わっていると思われる会社と関係者のネットワーク (Generated with Linkurious)

　世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？　私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました:

・Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca leaks
・The Panama Papers: Why It Couldn't Have Happened Ten Years Ago
・Inside the Panama Papers: How Cloud Analytics Made It All Possible

　これらは普段からグラフ（後述）を扱う仕事をしている自分にとっても興味深いものでしたので、ここで紹介します。こう言った現代の調査報道のテクニカルな部分は日本のマスコミで報道されることはほとんどないので、読んでいて純粋に面白かったです。ここでは世界の調査報道機関はどんなテクノロジーを使い何をやっているのかを、技術に明るくない人にもできるだけわかりやすいように書いてみようと思います。

データの形式

　まず今回のデータの計算機的な性質です。公開されている情報によれば、それは以下の様なものです

panamapapers02.gif

出典: Süddeutsche Zeitung "About the Panama Papers"

 


・容量: 2.6TB。大きさとしては一万円程度のハードディスクにすべて納まります。
・ファイル数: およそ1,150万
・データ形式: 電子メール、RDBなどのデータベース、PDF文書、画像（おそらく多くは書類のスキャン）、テキストファイル。ファイル数の分布は上のチャートを参照

　2.6TBというデータは、現在の計算機にとっては決して大きなものではありません。貴方がテレビ録画用のHDレコーダをお持ちでしたら、おそらくこれより大きなデータをそこに格納できるでしょう。しかし、その大きさのデータを人間が解析しようと思った時、それはあまりにも膨大な量で、とても人力でどうにかなるものではありません。本質的にこのデータセットに対しては、プリントアウトしてひとつひとつ見るというようなアナクロな手法は通用しません。パナマ文書は何らかの検索や可視化の技術が利用できなければ、人間には歯が立たないものなのです。

しかし幸運なことに、今回のデータは画像ファイルを除けば（これも最近「インテリジェントな」解析技術が飛躍的に向上していますがここでは触れません）、ほぼすべてが機械で比較的低コストで処理できる形式のファイルです。ここで計算機の出番になります。ここから先は、先の記事から読み取れる技術的な背景について解説していきたいと思います。

データの前処理

　このような膨大な数のファイルを解析する場合、必ずデータの前処理が必要になります。今回のデータセットは大きく二つのタイプに分けることができます:

１. RDB形式（いわゆるデータベース）の機械で容易にアクセスできるファイル
２. 人が読むことを前提にした文書ファイル。テキストと画像、PDFを含む

　今回解析に当たったICIJのデータ解析班は、まず比較的ハードルの低いひとつ目のデータに取り組みました。要するに、データベースを容易に検索できる形に再構築することです。これは専門家の手により数ヶ月で終えることができたそうです。しかし二つ目のデータはそうはいきません。

今、あなたにオススメ
ニュース速報

ワールド

米ミネアポリスで連邦捜査官が市民射殺　移民取り締ま
2026.01.25

ワールド

米ロとウクライナの高官協議終了、2月1日に再協議へ
2026.01.25

ワールド

トランプ氏、中国との貿易協定巡りカナダに警告　「1
2026.01.25

ワールド

アングル：中国で婚姻数回復傾向続く、ドレス業界が期
2026.01.25
ニュース速報一覧
今、あなたにオススメ
MAGAZINE
特集：「外国人問題」徹底研究
特集：「外国人問題」徹底研究
2026年1月27日号（1/20発売）

日本の「外国人問題」は事実か錯誤か？　7つの争点を国際比較で大激論

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    海上自衛隊が水中無人機（UUV）を導入　中国の海軍拡張に新たな対抗手段
  • 2
    データが示す、中国の「絶望的な」人口動態...現実味を帯びる「超高齢化」による「中国社会崩壊」
  • 3
    麻薬中毒が「アメリカ文化」...グリーンランド人が投稿したアメリカを嘲笑する動画にネット爆笑
  • 4
    40代からは「積立の考え方」を変えるべき理由──資産…
  • 5
    ニュージーランドの深海に棲む、300年以上生きている…
  • 6
    サーモンとマグロは要注意...輸入魚に潜む「永遠の化…
  • 7
    ラブロフ、グリーンランドは‌デンマーク​の「自然な…
  • 8
    防衛省が「新SSM」の映像を公開、ノルウェー・コング…
  • 9
    「これは違法レベル...」飛行機で「史上最悪のマナー…
  • 10
    トランプを支配する「サムライ・ニッポン」的価値観…
  • 1
    海上自衛隊が水中無人機（UUV）を導入　中国の海軍拡張に新たな対抗手段
  • 2
    防衛省が「新SSM」の映像を公開、ノルウェー・コングスベルグ社のNSMにも似ているが...
  • 3
    データが示す、中国の「絶望的な」人口動態...現実味を帯びる「超高齢化」による「中国社会崩壊」
  • 4
    ラブロフ、グリーンランドは‌デンマーク​の「自然な…
  • 5
    【銘柄】「古河機械金属」の株価が上昇中...中国のレ…
  • 6
    ニュージーランドの深海に棲む、300年以上生きている…
  • 7
    完全に「ホクロ」かと...医師も見逃した「皮膚がん」…
  • 8
    ピラミッドよりも昔なのに...湖底で見つかった古代の…
  • 9
    韓国が「モンスター」ミサイルを実戦配備　北朝鮮の…
  • 10
    麻薬中毒が「アメリカ文化」...グリーンランド人が投…
  • 1
    【クイズ】世界で最も「レアアースの埋蔵量」が多い国はどこ？【2025年の話題クイズ5選】
  • 2
    ウクライナ水中ドローンが、ロシア潜水艦を爆破...「史上初の攻撃成功」の裏に、戦略的な「事前攻撃」
  • 3
    90代でも元気な人が「必ず動かしている体の部位」とは何か...血管の名医がたどり着いた長生きの共通点
  • 4
    中国製防空レーダーは米軍のベネズエラ攻撃に屈した─…
  • 5
    アジアの豊かな国ランキング、日本は6位──IMF予測
  • 6
    【クイズ】世界で唯一「蚊のいない国」はどこ？【202…
  • 7
    「腸が弱ると全身が乱れる」...消化器専門医がすすめ…
  • 8
    【クイズ】本州で唯一「クマが生息していない県」は…
  • 9
    前進するロシア、忍び寄る限界...勝者に見えるプーチ…
  • 10
    『SHOGUN 将軍』の成功は嬉しいが...岡田准一が目指…
トランプ2.0記事まとめ
Real
CHALLENGING INNOVATOR
Wonderful Story
MOOK
ニューズウィーク日本版別冊
ニューズウィーク日本版別冊

好評発売中