最新記事

ビッグデータ

「パナマ文書」解析の技術的側面

2.6テラバイトのリークデータを調査報道機関はどうやって分析したのか?

2016年4月12日(火)18時25分
大野圭一朗

プーチン大統領の資産隠しに関わっていると思われる会社と関係者のネットワーク (Generated with Linkurious)

 世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか? 私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました:

・Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca leaks
・The Panama Papers: Why It Couldn't Have Happened Ten Years Ago
・Inside the Panama Papers: How Cloud Analytics Made It All Possible

 これらは普段からグラフ(後述)を扱う仕事をしている自分にとっても興味深いものでしたので、ここで紹介します。こう言った現代の調査報道のテクニカルな部分は日本のマスコミで報道されることはほとんどないので、読んでいて純粋に面白かったです。ここでは世界の調査報道機関はどんなテクノロジーを使い何をやっているのかを、技術に明るくない人にもできるだけわかりやすいように書いてみようと思います。

データの形式

 まず今回のデータの計算機的な性質です。公開されている情報によれば、それは以下の様なものです

panamapapers02.gif

出典: Süddeutsche Zeitung "About the Panama Papers"



・容量: 2.6TB。大きさとしては一万円程度のハードディスクにすべて納まります。
・ファイル数: およそ1,150万
・データ形式: 電子メール、RDBなどのデータベース、PDF文書、画像(おそらく多くは書類のスキャン)、テキストファイル。ファイル数の分布は上のチャートを参照

 2.6TBというデータは、現在の計算機にとっては決して大きなものではありません。貴方がテレビ録画用のHDレコーダをお持ちでしたら、おそらくこれより大きなデータをそこに格納できるでしょう。しかし、その大きさのデータを人間が解析しようと思った時、それはあまりにも膨大な量で、とても人力でどうにかなるものではありません。本質的にこのデータセットに対しては、プリントアウトしてひとつひとつ見るというようなアナクロな手法は通用しません。パナマ文書は何らかの検索や可視化の技術が利用できなければ、人間には歯が立たないものなのです

しかし幸運なことに、今回のデータは画像ファイルを除けば(これも最近「インテリジェントな」解析技術が飛躍的に向上していますがここでは触れません)、ほぼすべてが機械で比較的低コストで処理できる形式のファイルです。ここで計算機の出番になります。ここから先は、先の記事から読み取れる技術的な背景について解説していきたいと思います。

データの前処理

 このような膨大な数のファイルを解析する場合、必ずデータの前処理が必要になります。今回のデータセットは大きく二つのタイプに分けることができます:

1. RDB形式(いわゆるデータベース)の機械で容易にアクセスできるファイル
2. 人が読むことを前提にした文書ファイル。テキストと画像、PDFを含む

 今回解析に当たったICIJのデータ解析班は、まず比較的ハードルの低いひとつ目のデータに取り組みました。要するに、データベースを容易に検索できる形に再構築することです。これは専門家の手により数ヶ月で終えることができたそうです。しかし二つ目のデータはそうはいきません。

ニュース速報

ビジネス

日本経済、当面は内需主導で回復を期待=西村経済再生

ワールド

豪首相、早期の国境開放を否定 NZとの往来再開は協

ビジネス

政府と連携し企業金融支援、必要なら制度拡充や金利変

ワールド

東京高検検事長の退職金、自己都合なら800万円減額

MAGAZINE

特集:コロナ不況に勝つ最新ミクロ経済学

2020-6・ 2号(5/26発売)

意思決定の深層心理から人間の経済行動を読み解く── コロナ不況を生き残るため最新の経済学を活用せよ

人気ランキング

  • 1

    東京都、新型コロナウイルス新規感染14人に急増 緊急事態宣言解除の目安、3項目中2項目が基準下回る

  • 2

    新型コロナの死亡率はなぜか人種により異なっている

  • 3

    「イギリスが香港のために立ち上がらないことこそ危機だ」パッテン元総督

  • 4

    「集団免疫」作戦のスウェーデンに異変、死亡率がア…

  • 5

    コロナ独自路線のスウェーデン、死者3000人突破に当…

  • 6

    新型コロナウイルスをめぐる各国の最新状況まとめ(2…

  • 7

    日本の「生ぬるい」新型コロナ対応がうまくいってい…

  • 8

    異常に低いロシアの新型コロナウイルス致死率 陽性…

  • 9

    過激演出で話題のドラマ、子役2人が問題行動で炎上 …

  • 10

    東京都、3段階で休業解除へ 感染増加すれば東京アラ…

  • 1

    過激演出で話題のドラマ、子役2人が問題行動で炎上 背景には韓国の国民性も?

  • 2

    日本の「生ぬるい」新型コロナ対応がうまくいっている不思議

  • 3

    東京都、新型コロナウイルス新規感染14人に急増 緊急事態宣言解除の目安、3項目中2項目が基準下回る

  • 4

    「集団免疫」作戦のスウェーデンに異変、死亡率がア…

  • 5

    カナダで「童貞テロ」を初訴追──過激化した非モテ男…

  • 6

    気味が悪いくらいそっくり......新型コロナを予言し…

  • 7

    コロナ独自路線のスウェーデン、死者3000人突破に当…

  • 8

    反ワクチン派がフェイスブック上での議論で優勢とな…

  • 9

    韓国でまたも「慰安婦問題」 支援団体の不正会計疑…

  • 10

    新型コロナよりはるかに厄介なブラジル大統領

  • 1

    「集団免疫」作戦のスウェーデンに異変、死亡率がアメリカや中国の2倍超に

  • 2

    気味が悪いくらいそっくり......新型コロナを予言したウイルス映画が語ること

  • 3

    金正恩「死んだふり」の裏で進んでいた秘密作戦

  • 4

    スズメバチが生きたままカマキリに食べられる動画が…

  • 5

    過激演出で話題のドラマ、子役2人が問題行動で炎上 …

  • 6

    優等生シンガポールの感染者数が「東南アジア最悪」…

  • 7

    コロナ禍で露呈した「意識低い系」日本人

  • 8

    日本の「生ぬるい」新型コロナ対応がうまくいってい…

  • 9

    コロナ独自路線のスウェーデン、死者3000人突破に当…

  • 10

    ロックダウンは必要なかった? 「外出禁止は感染抑…

PICTURE POWER

レンズがとらえた地球のひと・すがた・みらい

英会話特集 グローバル人材を目指す Newsweek 日本版を読みながらグローバルトレンドを学ぶ
日本再発見 シーズン2
CCCメディアハウス求人情報
定期購読
期間限定、アップルNewsstandで30日間の無料トライアル実施中!
Wonderful Story
メールマガジン登録
CHALLENGING INNOVATOR
売り切れのないDigital版はこちら

MOOK

ニューズウィーク日本版別冊

絶賛発売中!

STORIES ARCHIVE

  • 2020年5月
  • 2020年4月
  • 2020年3月
  • 2020年2月
  • 2020年1月
  • 2019年12月