最新記事

ビッグデータ

「パナマ文書」解析の技術的側面

2.6テラバイトのリークデータを調査報道機関はどうやって分析したのか?

2016年4月12日(火)18時25分
大野圭一朗

プーチン大統領の資産隠しに関わっていると思われる会社と関係者のネットワーク (Generated with Linkurious)

 世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか? 私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました:

・Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca leaks
・The Panama Papers: Why It Couldn't Have Happened Ten Years Ago
・Inside the Panama Papers: How Cloud Analytics Made It All Possible

 これらは普段からグラフ(後述)を扱う仕事をしている自分にとっても興味深いものでしたので、ここで紹介します。こう言った現代の調査報道のテクニカルな部分は日本のマスコミで報道されることはほとんどないので、読んでいて純粋に面白かったです。ここでは世界の調査報道機関はどんなテクノロジーを使い何をやっているのかを、技術に明るくない人にもできるだけわかりやすいように書いてみようと思います。

データの形式

 まず今回のデータの計算機的な性質です。公開されている情報によれば、それは以下の様なものです

panamapapers02.gif

出典: Süddeutsche Zeitung "About the Panama Papers"



・容量: 2.6TB。大きさとしては一万円程度のハードディスクにすべて納まります。
・ファイル数: およそ1,150万
・データ形式: 電子メール、RDBなどのデータベース、PDF文書、画像(おそらく多くは書類のスキャン)、テキストファイル。ファイル数の分布は上のチャートを参照

 2.6TBというデータは、現在の計算機にとっては決して大きなものではありません。貴方がテレビ録画用のHDレコーダをお持ちでしたら、おそらくこれより大きなデータをそこに格納できるでしょう。しかし、その大きさのデータを人間が解析しようと思った時、それはあまりにも膨大な量で、とても人力でどうにかなるものではありません。本質的にこのデータセットに対しては、プリントアウトしてひとつひとつ見るというようなアナクロな手法は通用しません。パナマ文書は何らかの検索や可視化の技術が利用できなければ、人間には歯が立たないものなのです

しかし幸運なことに、今回のデータは画像ファイルを除けば(これも最近「インテリジェントな」解析技術が飛躍的に向上していますがここでは触れません)、ほぼすべてが機械で比較的低コストで処理できる形式のファイルです。ここで計算機の出番になります。ここから先は、先の記事から読み取れる技術的な背景について解説していきたいと思います。

データの前処理

 このような膨大な数のファイルを解析する場合、必ずデータの前処理が必要になります。今回のデータセットは大きく二つのタイプに分けることができます:

1. RDB形式(いわゆるデータベース)の機械で容易にアクセスできるファイル
2. 人が読むことを前提にした文書ファイル。テキストと画像、PDFを含む

 今回解析に当たったICIJのデータ解析班は、まず比較的ハードルの低いひとつ目のデータに取り組みました。要するに、データベースを容易に検索できる形に再構築することです。これは専門家の手により数ヶ月で終えることができたそうです。しかし二つ目のデータはそうはいきません。

MAGAZINE

特集:遺伝子最前線

2019-1・22号(1/16発売)

革命的技術クリスパーで「超人」の誕生も可能に── 人類の未来を変えるゲノム編集・解析の最新事情

人気ランキング

  • 1

    「お得意様」は気づいたら「商売敵」に 中国の猛追へ対策急ぐドイツ

  • 2

    北方領土が「第二次大戦でロシア領になった」というロシアの主張は大間違い

  • 3

    人の頭を持つ男、指がなく血の付いた手、三輪車に乗る豚......すべて「白夜」の続き

  • 4

    仏マクロン政権「黄色いベスト運動」対応で財政拡大 E…

  • 5

    全長7mの巨大ヘビが女性を丸のみ インドネシア、…

  • 6

    日本がタイ版新幹線から手を引き始めた理由

  • 7

    体重600キロ、体長4.4mの巨大ワニが女性殺害 イン…

  • 8

    米政府閉鎖で一カ月近く無給の連邦職員、食料配給に…

  • 9

    タイ洞窟からの救出時、少年たちは薬で眠らされ、両…

  • 10

    地球温暖化で鳥類「血の抗争」が始まった──敵を殺し…

  • 1

    体重600キロ、体長4.4mの巨大ワニが女性殺害 インドネシア、違法飼育の容疑で日本人を捜索

  • 2

    全長7mの巨大ヘビが女性を丸のみ インドネシア、被害続発する事情とは

  • 3

    タイ洞窟からの救出時、少年たちは薬で眠らされ、両手は縛られていた

  • 4

    エイリアンはもう地球に来ているかもしれない──NASA…

  • 5

    北方領土が「第二次大戦でロシア領になった」という…

  • 6

    人の頭を持つ男、指がなく血の付いた手、三輪車に乗…

  • 7

    インドネシアの老呪術師が少女を15年間監禁 性的虐…

  • 8

    宇宙から謎の「反復する電波」、2度目の観測:地球外…

  • 9

    タイ洞窟の少年たちは見捨てられる寸前だった

  • 10

    NGT48山口真帆さん暴行事件に見る非常識な「日本の謝…

  • 1

    炎上はボヘミアン・ラプソディからダンボまで 韓国の果てしないアンチ旭日旗現象

  • 2

    口に入れたおしゃぶりをテープで固定された赤ちゃん

  • 3

    あの〈抗日〉映画「軍艦島」が思わぬ失速 韓国で非難された3つの理由

  • 4

    小説『ロリータ』のモデルとなった、実在した少女の…

  • 5

    日韓関係の悪化が懸念されるが、韓国の世論は冷静──…

  • 6

    オーストラリア人の94%が反捕鯨の理由

  • 7

    ジョンベネ殺害事件で、遂に真犯人が殺害を自供か?

  • 8

    アレクサがまた奇行「里親を殺せ」

  • 9

    日本がタイ版新幹線から手を引き始めた理由

  • 10

    インドネシア当局、K-POPアイドルBLACKPINKのCM放映…

資産運用特集 グローバル人材を目指す Newsweek 日本版を読みながらグローバルトレンドを学ぶ
日本再発見 シーズン2
「ニューズウィーク日本版」編集記者を募集
デジタル/プリントメディア広告営業部員を募集
定期購読
期間限定、アップルNewsstandで30日間の無料トライアル実施中!
メールマガジン登録
売り切れのないDigital版はこちら

MOOK

ニューズウィーク日本版別冊

絶賛発売中!

STORIES ARCHIVE

  • 2019年1月
  • 2018年12月
  • 2018年11月
  • 2018年10月
  • 2018年9月
  • 2018年8月