最新記事

ネット

「ネット言論のダークサイド」を計算機で解析する ── データ分析による報道の技術とその再現性 ──

英ガーディアンが記事への炎上コメントをクラウドコンピューティングで解析、その傾向は──

2016年5月10日(火)22時31分
大野圭一朗

ガーディアンのサイトに書き込まれてきたコメントの総数は7000万件を超え、そのうち2%が不適切なものとしてブロックされていた

概要

 英ガーディアン社は、ウェブ版の記事に寄せられた大量のコメントを計算機により解析し、コメントによるハラスメントの傾向を分析した。同社はそれに用いた技術的側面も公開したため、その詳細について検討した。このようなデータ分析は報道の現場でも今後重要度を増し、プロセスの透明性や解析の再現性といった、科学論文執筆関わる諸問題に類似した課題に直面すると予想される。それらの解決に利用可能な技術についても検討した。

はじめに

 CMSの普及以後、個人ブログに限らず、コメント欄を開放している大手メディアのウェブサイトもよく見かけます。大手の場合、管理者があまりにひどい罵詈雑言などは各社の規定に基づきブロックしますが、そうでないものは基本的には掲載されます。大手になればなるほどサイトを訪れる人も増え、このモデレーションの作業が大変になるため、労力に対して吊り合わないと言う理由でコメント欄を閉じてしまうサイトも多いです。しかしイギリスの老舗メディアの一つであるガーディアン紙は、それでもなお読者からのフィードバックはジャーナリストにとっても重要だと信じ、今でもコメント欄を開放しています。90年代末から書き込まれてきたコメントの総数は、今では7,000万件を超える膨大なものとなっています。

 このコメント欄の価値に関して一石を投じる分析が、ガーディアン紙自身によって行われました。この分析がなかなか興味深かったのでここで背景も含めて紹介します。

gardians01.jpg


記事の背景

 殆どの方が体感的におわかりだと思いますが、利用者の多いサイトのあらゆるコメント欄というものはいずれ荒れるものです。これは世界共通の現象です。そこで一定の秩序を保つためには、ある程度のモデレーションが必要です。分かりやすい罵詈雑言などは機械的なフィルタリング(正規表現によるNGワードのマッチング)で可能ですが、ヘイトスピーチなどをこの手法だけで取り除くのは困難です。なぜならば、言葉遣いは非常に丁寧でも相手を罵倒したり差別したりすることは可能だからです。例えば、


「人種Xに属する人々は大変知能が低く、現代的な文明というものを持っていないのです。彼らを力で支配し、正しく導くのは我々の責務だと思われます」


と言う文は完全にヘイトスピーチですが、いわゆる放送禁止用語や分かりやすい罵倒語、わいせつな言葉などを含まないため、シンプルな機械的フィルタリングで取り除くのは困難です。そういった理由もあって、コメントのブロックや削除は未だに人間のモデレータによって行われています。

 しかしこのうんざりするような長年の手作業の副産物として、彼らは一つの巨大なデータセットを生み出しました。すなわち、人の手によって分類された膨大な数のコメントです。ガーディアン紙では、モデレータにより不適切なコメントを、ガイドラインに沿ってブロック、もしくは削除しています。

gardians02.jpg

 このように人がコメントの内容に沿って掲載するかブロックするかを決めているのですが、ブロックされたコメントもデータベースには記録として残っています。7,000万のコメントのうち、およそ2%に当たる140万件のコメントが不適切なものとして分類されたそうです。多くは攻撃的で不適切な内容だったそうですが、これには脱線しすぎたコメント、いわゆるオフ・トピックなものも含まれています。つまり、彼らは人の手で分類された膨大な量の「攻撃的なもの/そうで無いもの」と仕分けされたコメントのデータベースを持っているのです。

gardians03.png

この記事からはブロックされたコメントのリアルタイム表示が見られる (上のスクリーンショットは4/13/2016 7:05PM PSTに取られたもの)

 ガーディアン紙の解析チームは一つの仮説を立て、それをこの長年蓄積されたデータを使って定量的に検証してみることにしました。その仮説は以下のものです:


Articles written by women attract more abuse and dismissive trolling than those written by men, regardless of what the article is about.

女性によって書かれた記事は、その内容に関わらず、嫌がらせや軽蔑的な煽りの対象になりやすい


 つまり女性によって書かれた記事は、女性が書いたという理由だけで軽んじられたり、おかしな人をひきつけやすいと言う仮説です。これはしばしば言われてきたことですが、定量的に大規模なデータから分析した例はあまりないと思います。そこで彼らは実際にやってみることにしました。

なぜジェンダーに関する仮説なのか?
 これは割とシンプルな理由で、仮説としてわかりやすいのと、データの分類時に真偽の二値で扱えるために解析が行いやすかったからだと思います。他の性的マイノリティーや人種に関する属性をメインにすると、よりデータの自動分類が難しいという理由もあったと思います(後述)。

MAGAZINE

特集:弾圧中国の限界

2019-6・25号(6/18発売)

ウイグルから香港、そして台湾へ──強権政治を拡大し続ける共産党の落とし穴

人気ランキング

  • 1

    嫌韓で強まる対韓強硬論 なぜ文在寅は対日外交を誤ったか

  • 2

    タンカー攻撃、イラン犯行説にドイツも異議あり

  • 3

    石油タンカーが攻撃されても、トランプが反撃しない理由

  • 4

    未婚男性の「不幸」感が突出して高い日本社会

  • 5

    本物のバニラアイスを滅多に食べられない理由――知ら…

  • 6

    難民を助ける「英雄」女性船長を、イタリアが「犯罪…

  • 7

    年金問題「老後に2000万円必要」の不都合な真実

  • 8

    老後資金二千万円問題 100年あんしん年金の最大の問…

  • 9

    「香港は本当にヤバいです」 逃亡犯条例の延期を女…

  • 10

    アメリカの衛星が捉えた金正恩「深刻な事態」の証拠…

  • 1

    ファーウェイ、一夜にして独自OS:グーグルは米政府に包囲網解除を要求か

  • 2

    未婚男性の「不幸」感が突出して高い日本社会

  • 3

    香港大規模デモ、問題の「引き渡し条例」とは何か?

  • 4

    厳罰に処せられる「ISISの外国人妻」たち

  • 5

    タピオカミルクティー飲み過ぎで病院!? 中国の14…

  • 6

    日本の女性を息苦しさから救った米国人料理家、日本…

  • 7

    自撮りヌードでイランを挑発するキム・カーダシアン

  • 8

    「ゴースト」「ドイツの椅子」......ISISが好んだ7種…

  • 9

    日本の重要性を見失った韓国

  • 10

    アメリカの衛星が捉えた金正恩「深刻な事態」の証拠…

  • 1

    サーモンを愛する「寿司男」から1.7mのサナダムシ発見

  • 2

    台湾のビキニ・ハイカー、山で凍死

  • 3

    マイナス40度でミニスカ女子大生の脚はこうなった

  • 4

    現代だからこそ! 5歳で迷子になった女性が13年経て…

  • 5

    プラスチック製「人工子宮」でヒツジの赤ちゃんが正…

  • 6

    タピオカミルクティー飲み過ぎで病院!? 中国の14…

  • 7

    貧しい人ほど「割増金」を払い、中・上流は「無料特…

  • 8

    アメリカの衛星が捉えた金正恩「深刻な事態」の証拠…

  • 9

    トランプ、エリザベス女王にまたマナー違反!

  • 10

    脳腫瘍と思って頭を開けたらサナダムシだった!

PICTURE POWER

レンズがとらえた地球のひと・すがた・みらい

英会話特集 資産運用特集 グローバル人材を目指す Newsweek 日本版を読みながらグローバルトレンドを学ぶ
日本再発見 シーズン2
広告営業部員ほか求人情報
定期購読
期間限定、アップルNewsstandで30日間の無料トライアル実施中!
メールマガジン登録
CHALLENGING INNOVATOR
売り切れのないDigital版はこちら

MOOK

ニューズウィーク日本版別冊

絶賛発売中!

STORIES ARCHIVE

  • 2019年6月
  • 2019年5月
  • 2019年4月
  • 2019年3月
  • 2019年2月
  • 2019年1月