最新記事

ビッグデータ

「パナマ文書」解析の技術的側面

How to analyze the "Panama papers"

2.6テラバイトのリークデータを調査報道機関はどうやって分析したのか?

2016年4月12日(火)18時25分
大野圭一朗

プーチン大統領の資産隠しに関わっていると思われる会社と関係者のネットワーク (Generated with Linkurious)

 世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか? 私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました:

・Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca leaks
・The Panama Papers: Why It Couldn't Have Happened Ten Years Ago
・Inside the Panama Papers: How Cloud Analytics Made It All Possible

 これらは普段からグラフ(後述)を扱う仕事をしている自分にとっても興味深いものでしたので、ここで紹介します。こう言った現代の調査報道のテクニカルな部分は日本のマスコミで報道されることはほとんどないので、読んでいて純粋に面白かったです。ここでは世界の調査報道機関はどんなテクノロジーを使い何をやっているのかを、技術に明るくない人にもできるだけわかりやすいように書いてみようと思います。

データの形式

 まず今回のデータの計算機的な性質です。公開されている情報によれば、それは以下の様なものです

panamapapers02.gif

出典: Süddeutsche Zeitung "About the Panama Papers"



・容量: 2.6TB。大きさとしては一万円程度のハードディスクにすべて納まります。
・ファイル数: およそ1,150万
・データ形式: 電子メール、RDBなどのデータベース、PDF文書、画像(おそらく多くは書類のスキャン)、テキストファイル。ファイル数の分布は上のチャートを参照

 2.6TBというデータは、現在の計算機にとっては決して大きなものではありません。貴方がテレビ録画用のHDレコーダをお持ちでしたら、おそらくこれより大きなデータをそこに格納できるでしょう。しかし、その大きさのデータを人間が解析しようと思った時、それはあまりにも膨大な量で、とても人力でどうにかなるものではありません。本質的にこのデータセットに対しては、プリントアウトしてひとつひとつ見るというようなアナクロな手法は通用しません。パナマ文書は何らかの検索や可視化の技術が利用できなければ、人間には歯が立たないものなのです

しかし幸運なことに、今回のデータは画像ファイルを除けば(これも最近「インテリジェントな」解析技術が飛躍的に向上していますがここでは触れません)、ほぼすべてが機械で比較的低コストで処理できる形式のファイルです。ここで計算機の出番になります。ここから先は、先の記事から読み取れる技術的な背景について解説していきたいと思います。

データの前処理

 このような膨大な数のファイルを解析する場合、必ずデータの前処理が必要になります。今回のデータセットは大きく二つのタイプに分けることができます:

1. RDB形式(いわゆるデータベース)の機械で容易にアクセスできるファイル
2. 人が読むことを前提にした文書ファイル。テキストと画像、PDFを含む

 今回解析に当たったICIJのデータ解析班は、まず比較的ハードルの低いひとつ目のデータに取り組みました。要するに、データベースを容易に検索できる形に再構築することです。これは専門家の手により数ヶ月で終えることができたそうです。しかし二つ目のデータはそうはいきません。

ニュース速報

ビジネス

焦点:日銀総裁、金融正常化観測けん制 市場対話に神

ワールド

TPP11、3月8日にチリで署名式 協定文が確定=

ビジネス

日銀会合は政策・見通し共に据え置き、総裁は出口観測

ワールド

米、インドネシアと防衛協力強化へ 中国念頭に国防長

MAGAZINE

特集:科学技術大国 中国の野心

2018-1・30号(1/23発売)

豊富な資金力で先端科学をリードし始めた中国 独裁国家がテクノロジーを支配する世界

*雪による配送遅延について

グローバル人材を目指す

人気ランキング

  • 1

    ビットコイン暴落でネット上に自殺防止ホットライン

  • 2

    シリアで流行した皮膚が溶ける「奇病」のワクチン開発に光が!?

  • 3

    インドの女子大生がレイプ防止パンティを開発

  • 4

    暴落を予言?バフェットが仮想通貨に冷や水を浴びせ…

  • 5

    「骨タイプのおやつ」で死亡する犬が急増 米政府機…

  • 6

    ビットコインに未来はない、主犯なき投資詐欺だ

  • 7

    「クラスで一番の美人は金正恩の性奴隷になった」

  • 8

    サーモンを愛する「寿司男」から1.7mのサナダムシ発見

  • 9

    欧州初、ドイツで寄生虫の卵のサプリメントが合法的…

  • 10

    ビットコインや株は大暴落か 2018年ブラックスワン…

  • 1

    ビットコイン暴落でネット上に自殺防止ホットライン

  • 2

    日本の2社しか作れない、世界の航空業界を左右する新素材

  • 3

    「クラスで一番の美人は金正恩の性奴隷になった」

  • 4

    ビットコインや株は大暴落か 2018年ブラックスワン…

  • 5

    暴落を予言?バフェットが仮想通貨に冷や水を浴びせ…

  • 6

    シリアで流行した皮膚が溶ける「奇病」のワクチン開…

  • 7

    インドの女子大生がレイプ防止パンティを開発

  • 8

    子ども13人を劣悪な環境で監禁拷問した両親を逮捕 …

  • 9

    ウディ・アレン「小児性愛」疑惑を実の息子が告発

  • 10

    ビットコインに未来はない、主犯なき投資詐欺だ

  • 1

    北朝鮮による電磁パルス攻撃の現実味

  • 2

    [動画]クジラがサメの襲撃から人間を救った

  • 3

    決断が日本より早い中国、でも「プチ大躍進」が悲劇を生んでいる

  • 4

    ビットコインや株は大暴落か 2018年ブラックスワン…

  • 5

    ビットコインに未来はない、主犯なき投資詐欺だ

  • 6

    金正恩がアメリカを憎悪するもっともな理由

  • 7

    韓国大統領が中国で受けた、名ばかりの「国賓待遇」

  • 8

    南北会談で油断するな「アメリカは手遅れになる前に…

  • 9

    ビットコイン調整の陰で急騰する仮想通貨「リップル…

  • 10

    ビットコイン暴落でネット上に自殺防止ホットライン

日本再発見 シーズン2
デジタル/プリントメディア広告セールス部員募集
定期購読
期間限定、アップルNewsstandで30日間の無料トライアル実施中!
メールマガジン登録
売り切れのないDigital版はこちら

MOOK

ニューズウィーク日本版 特別編集

最新版 アルツハイマー入門

絶賛発売中!

STORIES ARCHIVE

  • 2018年1月
  • 2017年12月
  • 2017年11月
  • 2017年10月
  • 2017年9月
  • 2017年8月