コラム

湯川鶴章 湯川鶴章のテクノロジーフィクション

AIエージェントの時代はどこまできているのか

2024年05月07日（火）12時40分

Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。

ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。

他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。

３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。

この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。

この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。

なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。

また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。

【関連記事】
生成AIでネット広告はどう変わるのか
有力AI企業が東京に拠点を設ける理由
Googleに挑む男から見たAIの今と未来　PerplexityのAravind Srinivas氏

ニューズウィーク日本版 日本時代劇の挑戦
※画像をクリックすると
アマゾンに飛びます

2025年12月9日号（12月2日発売）は「日本時代劇の挑戦」特集。『七人の侍』『座頭市』『SHOGUN』 ……世界が愛した名作とメイド・イン・ジャパンの新時代劇『イクサガミ』／岡田准一 ロングインタビュー

※バックナンバーが読み放題となる定期購読はこちら


プロフィール

湯川鶴章

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算２０年間の米国生活を終え２０００年５月に帰国。時事通信編集委員を経て２０１０年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』（2015年）、『次世代マーケティングプラットフォーム』（2007年）、『ネットは新聞を殺すのか』（2003年）などがある。趣味はヨガと瞑想。妻が美人なのが自慢。

あわせて読みたい
ニュース速報

ワールド

トランプ氏、加・メキシコ首脳と貿易巡り会談　Ｗ杯抽
2025.12.06

ワールド

プーチン氏と米特使の会談「真に友好的」＝ロシア大統
2025.12.06

ビジネス

ネットフリックス、ワーナー資産買収で合意　720億
2025.12.06

ビジネス

米国株式市場＝小幅高、利下げ期待で　ネトフリの買収
2025.12.06
ニュース速報一覧
あわせて読みたい
MAGAZINE
特集：日本時代劇の挑戦
特集：日本時代劇の挑戦
2025年12月 9日号（12/ 2発売）

『七人の侍』『座頭市』『SHOGUN』......世界が愛した名作とメイド・イン・ジャパンの新時代劇『イクサガミ』の大志

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    健康長寿の鍵は「慢性炎症」にある...「免疫の掃除」が追いつかなくなっている状態とは？
  • 2
    【クイズ】アルコール依存症の人の割合が「最も高い国」はどこ？
  • 3
    兵士の「戦死」で大儲けする女たち...ロシア社会を揺るがす「ブラックウィドウ」とは？
  • 4
    日本人には「当たり前」？ 外国人が富士山で目にした…
  • 5
    「ボタン閉めろ...」元モデルの「密着レギンス×前開…
  • 6
    左手にゴルフクラブを握ったまま、茂みに向かって...…
  • 7
    主食は「放射能」...チェルノブイリ原発事故現場の立…
  • 8
    戦争中に青年期を過ごした世代の男性は、終戦時56％…
  • 9
    イスラエル軍幹部が人生を賭けた内部告発...沈黙させ…
  • 10
    『羅生門』『七人の侍』『用心棒』――黒澤明はどれだ…
  • 1
    100年以上宇宙最大の謎だった「ダークマター」の正体を東大教授が解明？　「人類が見るのは初めて」
  • 2
    戦争中に青年期を過ごした世代の男性は、終戦時56％しか生き残れなかった
  • 3
    7歳の息子に何が？ 学校で描いた「自画像」が奇妙すぎた...「心配すべき？」と母親がネットで相談
  • 4
    イスラエル軍幹部が人生を賭けた内部告発...沈黙させ…
  • 5
    健康長寿の鍵は「慢性炎症」にある...「免疫の掃除」…
  • 6
    【銘柄】関電工、きんでんが上昇トレンド一直線...業…
  • 7
    【クイズ】アルコール依存症の人の割合が「最も高い…
  • 8
    人生の忙しさの9割はムダ...ひろゆきが語る「休む勇…
  • 9
    【クイズ】17年連続でトップ...世界で1番「平和な国…
  • 10
    日本酒の蔵元として初の快挙...スコッチの改革に寄与…
  • 1
    東京がニューヨークを上回り「世界最大の経済都市」に...日本からは、もう1都市圏がトップ10入り
  • 2
    一瞬にして「巨大な橋が消えた」...中国・「完成直後」の橋が崩落する瞬間を捉えた「衝撃映像」に広がる疑念
  • 3
    【写真・動画】世界最大のクモの巣
  • 4
    高速で回転しながら「地上に落下」...トルコの軍用輸…
  • 5
    「999段の階段」を落下...中国・自動車メーカーがPR…
  • 6
    まるで老人...ロシア初の「AIヒト型ロボット」がお披…
  • 7
    「髪形がおかしい...」実写版『モアナ』予告編に批判…
  • 8
    膝が痛くても足腰が弱くても、一生ぐんぐん歩けるよ…
  • 9
    インド国産戦闘機に一体何が？　ドバイ航空ショーで…
  • 10
    ポルノ依存症になるメカニズムが判明！　絶対やって…
トランプ2.0記事まとめ
Real
CHALLENGING INNOVATOR
Wonderful Story