コラム

湯川鶴章 湯川鶴章のテクノロジーフィクション

AIエージェントの時代はどこまできているのか

2024年05月07日（火）12時40分

Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。

ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。

他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。

３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。

この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。

この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。

なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。

また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。

【関連記事】
生成AIでネット広告はどう変わるのか
有力AI企業が東京に拠点を設ける理由
Googleに挑む男から見たAIの今と未来　PerplexityのAravind Srinivas氏

ニューズウィーク日本版 教養としてのミュージカル入門
※画像をクリックすると
アマゾンに飛びます

2026年3月17号（3月10日発売）は「教養としてのミュージカル入門」特集。社会と時代を鮮烈に描き出すポリティカルな作品の魅力［PLUS］山崎育三郎ロングインタビュー

※バックナンバーが読み放題となる定期購読はこちら



プロフィール

湯川鶴章

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算２０年間の米国生活を終え２０００年５月に帰国。時事通信編集委員を経て２０１０年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』（2015年）、『次世代マーケティングプラットフォーム』（2007年）、『ネットは新聞を殺すのか』（2003年）などがある。趣味はヨガと瞑想。妻が美人なのが自慢。

あわせて読みたい
ニュース速報

ワールド

米、ロシア原油への制裁緩和を検討　世界原油高に対応
2026.03.10

ワールド

トランプ氏、イランとの戦争「ほぼ完了」　想定より早
2026.03.10

ワールド

イラン高濃縮ウラン、イスファハン核施設でなお保管＝
2026.03.10

ビジネス

トランプ米大統領、買収争奪戦中にネトフリとワーナー
2026.03.10
ニュース速報一覧
あわせて読みたい
MAGAZINE
特集：教養としてのミュージカル入門
特集：教養としてのミュージカル入門
2026年3月17日号（3/10発売）

社会と時代を鮮烈に描き出すミュージカル。意外にポリティカルなエンタメの「魔力」を学ぶ

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    ロシア政府、痛恨のミス...プーチンの「健康不安説」を裏付けるような動画を公式に投稿してしまう
  • 2
    メーガン妃、娘リリベット王女との新ショット公開...撮影はパパ
  • 3
    ダイヤモンドのような「ふくらはぎ」を鍛える最短ルートとは？...スクワットの真実
  • 4
    40年以上ぶり...イスラエル戦闘機「F-35I」が、イラ…
  • 5
    「一日中見てられる...」元プロゴルファー女性の「目…
  • 6
    「巨大な水柱に飲み込まれる...」米海軍がインド洋で…
  • 7
    日本の若者「韓国就職」憧れと現実のギャップ ── ビ…
  • 8
    ホルムズ海峡封鎖、石油危機より怖い「肥料ショック」
  • 9
    なぜ脳は、日本的「美」に反応する？ 欧米の美とは異…
  • 10
    プーチンに迫る9月総選挙の暗雲
  • 1
    ロシア政府、痛恨のミス...プーチンの「健康不安説」を裏付けるような動画を公式に投稿してしまう
  • 2
    日本の若者「韓国就職」憧れと現実のギャップ ── ビザの壁､会社都合の解雇､帰国後も続く苦境
  • 3
    イラン猛反撃、同士討ちまで起きる防空戦はいつまで続くのか
  • 4
    縫いぐるみが相棒、孤独なサル「パンチくん」がバズ…
  • 5
    メーガン妃、娘リリベット王女との新ショット公開...…
  • 6
    サファリ中の女性に悲劇...ライオンに「くわえ去られ…
  • 7
    【長期戦はイラン有利】米側の体制転覆シナリオに暗…
  • 8
    少子化に悩む韓国で出生率回復...昨年過去最大の伸び…
  • 9
    核合意寸前、米国がイラン攻撃に踏み切った理由
  • 10
    「死体を運んでる...」Google Earthで表示される「不…
  • 1
    ウクライナ戦闘機「F-16」がロシア軍「シャヘド」を空中爆破...地上から撮影の「レア映像」を公開
  • 2
    台湾侵攻「失敗」の大きすぎる代償
  • 3
    ロシア政府、痛恨のミス...プーチンの「健康不安説」を裏付けるような動画を公式に投稿してしまう
  • 4
    「最恐」恐竜T・レックスの定説を覆す新研究が
  • 5
    イースター島の先住民から資源を略奪、島を「生きた…
  • 6
    見事なカンフーを見せた中国ヒト型ロボットのからく…
  • 7
    アルコールは血糖値を下げる...「脳と血管を守る」医…
  • 8
    ｢ヘル・コリア｣から日本へ7万人 ── 大企業の高給より…
  • 9
    中国、パナマ運河の港湾喪失でパナマに報復──トラン…
  • 10
    日本の若者「韓国就職」憧れと現実のギャップ ── ビ…
トランプ2.0記事まとめ
Real
CHALLENGING INNOVATOR
Wonderful Story