コラム

湯川鶴章 湯川鶴章のテクノロジーフィクション

AIエージェントの時代はどこまできているのか

2024年05月07日（火）12時40分

Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。

ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。

他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。

３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。

この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。

この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。

なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。

また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。

【関連記事】
生成AIでネット広告はどう変わるのか
有力AI企業が東京に拠点を設ける理由
Googleに挑む男から見たAIの今と未来　PerplexityのAravind Srinivas氏

ニューズウィーク日本版 日本人と参政党
※画像をクリックすると
アマゾンに飛びます

2025年10月21日号（10月15日発売）は「日本人と参政党」特集。怒れる日本が生んだ参政党現象の源泉にルポで迫る。［PLUS］神谷宗幣インタビュー

※バックナンバーが読み放題となる定期購読はこちら


プロフィール

湯川鶴章

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算２０年間の米国生活を終え２０００年５月に帰国。時事通信編集委員を経て２０１０年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』（2015年）、『次世代マーケティングプラットフォーム』（2007年）、『ネットは新聞を殺すのか』（2003年）などがある。趣味はヨガと瞑想。妻が美人なのが自慢。

あわせて読みたい
ニュース速報

ワールド

パキスタンとアフガン、即時停戦に合意
2025.10.19

ワールド

台湾国民党、新主席に鄭麗文氏　防衛費増額に反対
2025.10.19

ビジネス

テスラ・ネットフリックス決算やＣＰＩに注目＝今週の
2025.10.19

ワールド

米財務長官、中国副首相とマレーシアで会談へ
2025.10.19
ニュース速報一覧
あわせて読みたい
MAGAZINE
特集：日本人と参政党
特集：日本人と参政党
2025年10月21日号（10/15発売）

怒れる日本が生んだ「日本人ファースト」と参政党現象。その源泉にルポと神谷代表インタビューで迫る

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    1000人以上の女性と関係...英アンドルー王子、「称号返上を表明」も消えない生々しすぎる「罪状」
  • 2
    【クイズ】日本でツキノワグマの出没件数が「最も多い県」はどこ？
  • 3
    ニッポン停滞の証か...トヨタの賭ける「未来」が関心呼ばない訳
  • 4
    本当は「不健康な朝食」だった...専門家が警告する「…
  • 5
    ギザギザした「不思議な形の耳」をした男性...「みん…
  • 6
    「認知のゆがみ」とは何なのか...あなたはどのタイプ…
  • 7
    大学生が「第3の労働力」に...物価高でバイト率、過…
  • 8
    【クイズ】世界で2番目に「リンゴの生産量」が多い国…
  • 9
    【インタビュー】参政党・神谷代表が「必ず起こる」…
  • 10
    お腹の脂肪を減らす「8つのヒント」とは？...食事以…
  • 1
    1000人以上の女性と関係...英アンドルー王子、「称号返上を表明」も消えない生々しすぎる「罪状」
  • 2
    お腹の脂肪を減らす「8つのヒント」とは？...食事以外の「2つの隠れた要因」が代謝を狂わせていた
  • 3
    【クイズ】日本でツキノワグマの出没件数が「最も多い県」はどこ？
  • 4
    まるで『トップガン』...わずか10mの至近戦、東シナ…
  • 5
    中国人が便利な「調理済み食品」を嫌うトホホな理由…
  • 6
    フィリピンで相次ぐ大地震...日本ではあまり報道され…
  • 7
    メーガン妃の動画が「無神経」すぎる...ダイアナ妃を…
  • 8
    時代に逆行するトランプのエネルギー政策が、アメリ…
  • 9
    かばんの中身を見れば一発でわかる！「認知症になり…
  • 10
    日本で外国人から生まれた子どもが過去最多に──人口…
  • 1
    かばんの中身を見れば一発でわかる！「認知症になりやすい人」が持ち歩く5つのアイテム
  • 2
    「大谷翔平の唯一の欠点は...」ドジャース・ロバーツ監督が明かすプレーオフ戦略、監督の意外な「日本的な一面」とは？
  • 3
    カミラ王妃のキャサリン妃への「いら立ち」が話題に...「少々、お控えくださって？」
  • 4
    増加する「子どもを外注」する親たち...ネオ・ネグレ…
  • 5
    悲しみで8年間「羽をむしり続けた」オウム...新たな…
  • 6
    バフェット指数が異常値──アメリカ株に「数世代で最…
  • 7
    1000人以上の女性と関係...英アンドルー王子、「称号…
  • 8
    「日本の高齢化率は世界2位」→ダントツの1位は超意外…
  • 9
    お腹の脂肪を減らす「8つのヒント」とは？...食事以…
  • 10
    【クイズ】日本人が唯一「受賞していない」ノーベル…
トランプ2.0記事まとめ
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story