最新記事

ネット

「ネット言論のダークサイド」を計算機で解析する ── データ分析による報道の技術とその再現性 ──

英ガーディアンが記事への炎上コメントをクラウドコンピューティングで解析、その傾向は──

2016年5月10日(火)22時31分
大野圭一朗

ガーディアンのサイトに書き込まれてきたコメントの総数は7000万件を超え、そのうち2%が不適切なものとしてブロックされていた

概要

 英ガーディアン社は、ウェブ版の記事に寄せられた大量のコメントを計算機により解析し、コメントによるハラスメントの傾向を分析した。同社はそれに用いた技術的側面も公開したため、その詳細について検討した。このようなデータ分析は報道の現場でも今後重要度を増し、プロセスの透明性や解析の再現性といった、科学論文執筆関わる諸問題に類似した課題に直面すると予想される。それらの解決に利用可能な技術についても検討した。

はじめに

 CMSの普及以後、個人ブログに限らず、コメント欄を開放している大手メディアのウェブサイトもよく見かけます。大手の場合、管理者があまりにひどい罵詈雑言などは各社の規定に基づきブロックしますが、そうでないものは基本的には掲載されます。大手になればなるほどサイトを訪れる人も増え、このモデレーションの作業が大変になるため、労力に対して吊り合わないと言う理由でコメント欄を閉じてしまうサイトも多いです。しかしイギリスの老舗メディアの一つであるガーディアン紙は、それでもなお読者からのフィードバックはジャーナリストにとっても重要だと信じ、今でもコメント欄を開放しています。90年代末から書き込まれてきたコメントの総数は、今では7,000万件を超える膨大なものとなっています。

 このコメント欄の価値に関して一石を投じる分析が、ガーディアン紙自身によって行われました。この分析がなかなか興味深かったのでここで背景も含めて紹介します。

gardians01.jpg


記事の背景

 殆どの方が体感的におわかりだと思いますが、利用者の多いサイトのあらゆるコメント欄というものはいずれ荒れるものです。これは世界共通の現象です。そこで一定の秩序を保つためには、ある程度のモデレーションが必要です。分かりやすい罵詈雑言などは機械的なフィルタリング(正規表現によるNGワードのマッチング)で可能ですが、ヘイトスピーチなどをこの手法だけで取り除くのは困難です。なぜならば、言葉遣いは非常に丁寧でも相手を罵倒したり差別したりすることは可能だからです。例えば、


「人種Xに属する人々は大変知能が低く、現代的な文明というものを持っていないのです。彼らを力で支配し、正しく導くのは我々の責務だと思われます」


と言う文は完全にヘイトスピーチですが、いわゆる放送禁止用語や分かりやすい罵倒語、わいせつな言葉などを含まないため、シンプルな機械的フィルタリングで取り除くのは困難です。そういった理由もあって、コメントのブロックや削除は未だに人間のモデレータによって行われています。

 しかしこのうんざりするような長年の手作業の副産物として、彼らは一つの巨大なデータセットを生み出しました。すなわち、人の手によって分類された膨大な数のコメントです。ガーディアン紙では、モデレータにより不適切なコメントを、ガイドラインに沿ってブロック、もしくは削除しています。

gardians02.jpg

 このように人がコメントの内容に沿って掲載するかブロックするかを決めているのですが、ブロックされたコメントもデータベースには記録として残っています。7,000万のコメントのうち、およそ2%に当たる140万件のコメントが不適切なものとして分類されたそうです。多くは攻撃的で不適切な内容だったそうですが、これには脱線しすぎたコメント、いわゆるオフ・トピックなものも含まれています。つまり、彼らは人の手で分類された膨大な量の「攻撃的なもの/そうで無いもの」と仕分けされたコメントのデータベースを持っているのです。

gardians03.png

この記事からはブロックされたコメントのリアルタイム表示が見られる (上のスクリーンショットは4/13/2016 7:05PM PSTに取られたもの)

 ガーディアン紙の解析チームは一つの仮説を立て、それをこの長年蓄積されたデータを使って定量的に検証してみることにしました。その仮説は以下のものです:


Articles written by women attract more abuse and dismissive trolling than those written by men, regardless of what the article is about.

女性によって書かれた記事は、その内容に関わらず、嫌がらせや軽蔑的な煽りの対象になりやすい


 つまり女性によって書かれた記事は、女性が書いたという理由だけで軽んじられたり、おかしな人をひきつけやすいと言う仮説です。これはしばしば言われてきたことですが、定量的に大規模なデータから分析した例はあまりないと思います。そこで彼らは実際にやってみることにしました。

なぜジェンダーに関する仮説なのか?
 これは割とシンプルな理由で、仮説としてわかりやすいのと、データの分類時に真偽の二値で扱えるために解析が行いやすかったからだと思います。他の性的マイノリティーや人種に関する属性をメインにすると、よりデータの自動分類が難しいという理由もあったと思います(後述)。

今、あなたにオススメ
ニュース速報

ワールド

豪GDP、第2四半期は前年比+1.8%に加速 約2

ビジネス

午前の日経平均は反落、連休明けの米株安引き継ぐ 円

ワールド

スウェーデンのクラーナ、米IPOで最大12億700

ワールド

西側国家のパレスチナ国家承認、「2国家解決」に道=
今、あなたにオススメ
MAGAZINE
特集:豪ワーホリ残酷物語
特集:豪ワーホリ残酷物語
2025年9月 9日号(9/ 2発売)

円安の日本から「出稼ぎ」に行く時代──オーストラリアで搾取される若者たちの実態は

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    「怖すぎる」「速く走って!」夜中に一人ランニングをする女性、異変を感じ、背後に「見えたモノ」にSNS震撼
  • 2
    50歳を過ぎても運動を続けるためには?...「動ける体」をつくる4つの食事ポイント
  • 3
    「見せびらかし...」ベッカム長男夫妻、家族とのヨットバカンスに不参加も「価格5倍」の豪華ヨットで2日後同じ寄港地に
  • 4
    東北で大腸がんが多いのはなぜか――秋田県で死亡率が…
  • 5
    上から下まで何も隠さず、全身「横から丸見え」...シ…
  • 6
    1日「5分」の習慣が「10年」先のあなたを守る――「動…
  • 7
    トレーニング継続率は7倍に...運動を「サボりたい」…
  • 8
    日本の「プラごみ」で揚げる豆腐が、重大な健康被害…
  • 9
    Z世代の幸福度は、実はとても低い...国際研究が彼ら…
  • 10
    「人類初のパンデミック」の謎がついに解明...1500年…
  • 1
    東北で大腸がんが多いのはなぜか――秋田県で死亡率が下がった「意外な理由」
  • 2
    1日「5分」の習慣が「10年」先のあなたを守る――「動ける体」をつくる、エキセントリック運動【note限定公開記事】
  • 3
    信じられない...「洗濯物を干しておいて」夫に頼んだ女性が目にした光景が「酷すぎる」とSNS震撼、大論争に
  • 4
    50歳を過ぎても運動を続けるためには?...「動ける体…
  • 5
    25年以内に「がん」を上回る死因に...「スーパーバグ…
  • 6
    豊かさに溺れ、非生産的で野心のない国へ...「世界が…
  • 7
    日本の「プラごみ」で揚げる豆腐が、重大な健康被害…
  • 8
    首を制する者が、筋トレを制す...見た目もパフォーマ…
  • 9
    「怖すぎる」「速く走って!」夜中に一人ランニング…
  • 10
    上から下まで何も隠さず、全身「横から丸見え」...シ…
  • 1
    こんな症状が出たら「メンタル赤信号」...心療内科医が伝授、「働くための」心とカラダの守り方とは?
  • 2
    「自律神経を強化し、脂肪燃焼を促進する」子供も大人も大好きな5つの食べ物
  • 3
    デカすぎ...母親の骨盤を砕いて生まれてきた「超巨大ベビー」の姿にSNS震撼「ほぼ幼児では?」
  • 4
    デンマークの動物園、飼えなくなったペットの寄付を…
  • 5
    「まさかの真犯人」にネット爆笑...大家から再三「果…
  • 6
    信じられない...「洗濯物を干しておいて」夫に頼んだ…
  • 7
    山道で鉢合わせ、超至近距離に3頭...ハイイログマの…
  • 8
    「レプトスピラ症」が大規模流行中...ヒトやペットに…
  • 9
    「あなた誰?」保育園から帰ってきた3歳の娘が「別人…
  • 10
    将来ADHDを発症する「幼少期の兆候」が明らかに?...…
トランプ2.0記事まとめ
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story
MOOK
ニューズウィーク日本版別冊
ニューズウィーク日本版別冊

好評発売中