最新記事

ビッグデータ

「パナマ文書」解析の技術的側面

How to analyze the "Panama papers"

2.6テラバイトのリークデータを調査報道機関はどうやって分析したのか?

2016年4月12日(火)18時25分
大野圭一朗

プーチン大統領の資産隠しに関わっていると思われる会社と関係者のネットワーク (Generated with Linkurious)

 世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか? 私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました:

・Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca leaks
・The Panama Papers: Why It Couldn't Have Happened Ten Years Ago
・Inside the Panama Papers: How Cloud Analytics Made It All Possible

 これらは普段からグラフ(後述)を扱う仕事をしている自分にとっても興味深いものでしたので、ここで紹介します。こう言った現代の調査報道のテクニカルな部分は日本のマスコミで報道されることはほとんどないので、読んでいて純粋に面白かったです。ここでは世界の調査報道機関はどんなテクノロジーを使い何をやっているのかを、技術に明るくない人にもできるだけわかりやすいように書いてみようと思います。

データの形式

 まず今回のデータの計算機的な性質です。公開されている情報によれば、それは以下の様なものです

panamapapers02.gif

出典: Süddeutsche Zeitung "About the Panama Papers"



・容量: 2.6TB。大きさとしては一万円程度のハードディスクにすべて納まります。
・ファイル数: およそ1,150万
・データ形式: 電子メール、RDBなどのデータベース、PDF文書、画像(おそらく多くは書類のスキャン)、テキストファイル。ファイル数の分布は上のチャートを参照

 2.6TBというデータは、現在の計算機にとっては決して大きなものではありません。貴方がテレビ録画用のHDレコーダをお持ちでしたら、おそらくこれより大きなデータをそこに格納できるでしょう。しかし、その大きさのデータを人間が解析しようと思った時、それはあまりにも膨大な量で、とても人力でどうにかなるものではありません。本質的にこのデータセットに対しては、プリントアウトしてひとつひとつ見るというようなアナクロな手法は通用しません。パナマ文書は何らかの検索や可視化の技術が利用できなければ、人間には歯が立たないものなのです

しかし幸運なことに、今回のデータは画像ファイルを除けば(これも最近「インテリジェントな」解析技術が飛躍的に向上していますがここでは触れません)、ほぼすべてが機械で比較的低コストで処理できる形式のファイルです。ここで計算機の出番になります。ここから先は、先の記事から読み取れる技術的な背景について解説していきたいと思います。

データの前処理

 このような膨大な数のファイルを解析する場合、必ずデータの前処理が必要になります。今回のデータセットは大きく二つのタイプに分けることができます:

1. RDB形式(いわゆるデータベース)の機械で容易にアクセスできるファイル
2. 人が読むことを前提にした文書ファイル。テキストと画像、PDFを含む

 今回解析に当たったICIJのデータ解析班は、まず比較的ハードルの低いひとつ目のデータに取り組みました。要するに、データベースを容易に検索できる形に再構築することです。これは専門家の手により数ヶ月で終えることができたそうです。しかし二つ目のデータはそうはいきません。

ニュース速報

ワールド

トランプ大統領、米朝首脳会談中止の可能性に言及 非

ワールド

米、北朝鮮との首脳会談に期待も譲歩はない=ペンス副

ビジネス

英中銀総裁、景気上向くとの認識表明 利上げ継続示唆

ビジネス

米ウーバー、淡路島で今夏からタクシー配車実験 

MAGAZINE

特集:交渉の達人 金正恩

2018-5・29号(5/22発売)

未熟な若者から狂気の独裁者へ、そして平和の立役者? トランプから譲歩を引き出す金正恩の交渉力

人気ランキング

  • 1

    結婚式はハリー王子の「禊」 呪縛を解き放ったメーガンの「操縦術」がすごい!

  • 2

    メーガン・マークルはダイアナの二の舞にはならない

  • 3

    結婚はしたけど、メーガン・マークルのビザ取得にはいくつもハードルが

  • 4

    マイナス40度でミニスカ女子大生の脚はこうなった

  • 5

    「クラスで一番の美人は金正恩の性奴隷になった」

  • 6

    「肥だめ」よりひどい?メーガン・マークルに対する…

  • 7

    ハリー王子の元カノが結婚に尻込みしたワケ

  • 8

    「英王室はそれでも黒人プリンセスを認めない」

  • 9

    フランスで怒りの追悼行進──救急車に来てもらえず女…

  • 10

    北朝鮮で幹部の亡命相次ぐ......金正恩の「親戚」も

  • 1

    北朝鮮から軍将校と住民が「脱北」 19日未明に黄海上で韓国側へ亡命

  • 2

    北の「日本メディア外し」は日本への歪んだ求愛

  • 3

    愛犬が2足歩行し始めた! 近所をざわつかせたその正体は

  • 4

    結婚式はハリー王子の「禊」 呪縛を解き放ったメー…

  • 5

    韓国、アベンジャーズ1000万人の大ヒット その影で…

  • 6

    「英王室はそれでも黒人プリンセスを認めない」

  • 7

    メーガン・マークルはダイアナの二の舞にはならない

  • 8

    「孤独のグルメ」が広がる韓国〜変わる韓国の日本食…

  • 9

    アメフト悪質タックル事件を、アメリカから考えると

  • 10

    米でうつ病が5年で33%増、その理由は...

  • 1

    北朝鮮から軍将校と住民が「脱北」 19日未明に黄海上で韓国側へ亡命

  • 2

    「いい加減にしないと暴動起こす」北朝鮮国民の不満が爆発寸前

  • 3

    北の「日本メディア外し」は日本への歪んだ求愛

  • 4

    左耳を失った米女性兵士、前腕で育てた耳の移植手術…

  • 5

    「売春島」三重県にあった日本最後の「桃源郷」はい…

  • 6

    愛犬が2足歩行し始めた! 近所をざわつかせたその正…

  • 7

    「クラスで一番の美人は金正恩の性奴隷になった」

  • 8

    中身なし、マニュアル頼み、上から目線......「日本…

  • 9

    14億人を格付けする中国の「社会信用システム」本格…

  • 10

    「働き方改革」では世界に取り残される? 日本の働き…

グローバル人材を目指す Newsweek 日本版を読みながらグローバルトレンドを学ぶ
日本再発見 シーズン2
定期購読
期間限定、アップルNewsstandで30日間の無料トライアル実施中!
メールマガジン登録
売り切れのないDigital版はこちら

MOOK

ニューズウィーク日本版

SPECIAL ISSUE 丸ごと1冊 プーチン

絶賛発売中!

STORIES ARCHIVE

  • 2018年5月
  • 2018年4月
  • 2018年3月
  • 2018年2月
  • 2018年1月
  • 2017年12月