最新記事

ビッグデータ

「パナマ文書」解析の技術的側面

How to analyze the "Panama papers"

2.6テラバイトのリークデータを調査報道機関はどうやって分析したのか?

2016年4月12日(火)18時25分
大野圭一朗

プーチン大統領の資産隠しに関わっていると思われる会社と関係者のネットワーク (Generated with Linkurious)

 世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか? 私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました:

・Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca leaks
・The Panama Papers: Why It Couldn't Have Happened Ten Years Ago
・Inside the Panama Papers: How Cloud Analytics Made It All Possible

 これらは普段からグラフ(後述)を扱う仕事をしている自分にとっても興味深いものでしたので、ここで紹介します。こう言った現代の調査報道のテクニカルな部分は日本のマスコミで報道されることはほとんどないので、読んでいて純粋に面白かったです。ここでは世界の調査報道機関はどんなテクノロジーを使い何をやっているのかを、技術に明るくない人にもできるだけわかりやすいように書いてみようと思います。

データの形式

 まず今回のデータの計算機的な性質です。公開されている情報によれば、それは以下の様なものです

panamapapers02.gif

出典: Süddeutsche Zeitung "About the Panama Papers"



・容量: 2.6TB。大きさとしては一万円程度のハードディスクにすべて納まります。
・ファイル数: およそ1,150万
・データ形式: 電子メール、RDBなどのデータベース、PDF文書、画像(おそらく多くは書類のスキャン)、テキストファイル。ファイル数の分布は上のチャートを参照

 2.6TBというデータは、現在の計算機にとっては決して大きなものではありません。貴方がテレビ録画用のHDレコーダをお持ちでしたら、おそらくこれより大きなデータをそこに格納できるでしょう。しかし、その大きさのデータを人間が解析しようと思った時、それはあまりにも膨大な量で、とても人力でどうにかなるものではありません。本質的にこのデータセットに対しては、プリントアウトしてひとつひとつ見るというようなアナクロな手法は通用しません。パナマ文書は何らかの検索や可視化の技術が利用できなければ、人間には歯が立たないものなのです

しかし幸運なことに、今回のデータは画像ファイルを除けば(これも最近「インテリジェントな」解析技術が飛躍的に向上していますがここでは触れません)、ほぼすべてが機械で比較的低コストで処理できる形式のファイルです。ここで計算機の出番になります。ここから先は、先の記事から読み取れる技術的な背景について解説していきたいと思います。

データの前処理

 このような膨大な数のファイルを解析する場合、必ずデータの前処理が必要になります。今回のデータセットは大きく二つのタイプに分けることができます:

1. RDB形式(いわゆるデータベース)の機械で容易にアクセスできるファイル
2. 人が読むことを前提にした文書ファイル。テキストと画像、PDFを含む

 今回解析に当たったICIJのデータ解析班は、まず比較的ハードルの低いひとつ目のデータに取り組みました。要するに、データベースを容易に検索できる形に再構築することです。これは専門家の手により数ヶ月で終えることができたそうです。しかし二つ目のデータはそうはいきません。

ニュース速報

ワールド

焦点:北朝鮮、ICBM実戦化には新たな核実験必要か

ワールド

アングル:「トランプおろし」はあるか、大統領失職の

ワールド

焦点:トランプ氏の「口撃」、弾劾審議で孤立無援招く

ワールド

米国務長官が人種差別非難、「傷の修復必要」

MAGAZINE

特集:2050 日本の未来予想図

2017-8・15号(8/ 8発売)

国民の40%が65歳以上の高齢者になる2050年のニッポン。迫り来る「人口大減少」はこの国の姿をどう変える?

※次号8/29号は8/22(火)発売となります。

グローバル人材を目指す

人気ランキング

  • 1

    あの〈抗日〉映画「軍艦島」が思わぬ失速 韓国で非難された3つの理由

  • 2

    北朝鮮軍「処刑幹部」連行の生々しい場面

  • 3

    韓国・文大統領「日韓の障害は日本政府の変化。日本側の勇気ある姿勢必要」

  • 4

    セウォル号、接待禁止に台風直撃 韓国社会の問題が…

  • 5

    韓国人が「嫌いな国」、中国が日本を抜いて第2位に浮上

  • 6

    イルカの赤ちゃん、興奮した人間たちの自撮りでショ…

  • 7

    バルセロナで車暴走テロ、はねられて「宙に舞う」観…

  • 8

    雇用が回復しても賃金が上がらない理由

  • 9

    朴大統領の人事介入から口裂け女まで 検閲だらけの…

  • 10

    反日による日本人欠場でゲーム大会中止に

  • 1

    イルカの赤ちゃん、興奮した人間たちの自撮りでショック死

  • 2

    あの〈抗日〉映画「軍艦島」が思わぬ失速 韓国で非難された3つの理由

  • 3

    自分に「三人称」で語りかけるだけ! 効果的な感情コントロール法

  • 4

    米朝舌戦の結末に対して、中国がカードを握ってしま…

  • 5

    「ゴースト」「ドイツの椅子」......ISISが好んだ7種…

  • 6

    軍入隊希望が殺到? 金正恩「核の脅し」の過剰演出…

  • 7

    バルセロナで車暴走テロ、はねられて「宙に舞う」観…

  • 8

    北の譲歩は中国の中朝軍事同盟に関する威嚇が原因

  • 9

    英グラビアモデルを誘拐した闇の犯罪集団「ブラック…

  • 10

    北朝鮮軍「処刑幹部」連行の生々しい場面

  • 1

    マライア・キャリー、激太り120キロでも気にしない!?

  • 2

    トランプに「英語を話さない」と言われた昭恵夫人、米でヒーローに

  • 3

    日本の先進国陥落は間近、人口減少を前に成功体験を捨てよ

  • 4

    イルカの赤ちゃん、興奮した人間たちの自撮りでショ…

  • 5

    あの〈抗日〉映画「軍艦島」が思わぬ失速 韓国で非…

  • 6

    北朝鮮、グアム攻撃計画8月中旬までに策定 島根・広…

  • 7

    エリザベス女王91歳の式典 主役の座を奪ったのはあ…

  • 8

    ロシアが北朝鮮の核を恐れない理由

  • 9

    自分に「三人称」で語りかけるだけ! 効果的な感情コ…

  • 10

    米朝舌戦の結末に対して、中国がカードを握ってしま…

PICTURE POWER

レンズがとらえた地球のひと・すがた・みらい

全く新しい政治塾開講。あなたも、政治しちゃおう。
日本再発見 シーズン2
定期購読
期間限定、アップルNewsstandで30日間の無料トライアル実施中!
メールマガジン登録
売り切れのないDigital版はこちら

MOOK

ニューズウィーク日本版 別冊

0歳からの教育 知育諞

絶賛発売中!

STORIES ARCHIVE

  • 2017年8月
  • 2017年7月
  • 2017年6月
  • 2017年5月
  • 2017年4月
  • 2017年3月