コラム

湯川鶴章 湯川鶴章のテクノロジーフィクション

AIエージェントの時代はどこまできているのか

2024年05月07日（火）12時40分

Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。

ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。

他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。

３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。

この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。

この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。

なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。

また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。

【関連記事】
生成AIでネット広告はどう変わるのか
有力AI企業が東京に拠点を設ける理由
Googleに挑む男から見たAIの今と未来　PerplexityのAravind Srinivas氏

ニューズウィーク日本版 「外国人問題」徹底研究
※画像をクリックすると
アマゾンに飛びます

2026年1月27号（1月20日発売）は「『外国人問題』徹底研究」特集。「外国人問題」は事実か錯覚か。移民／不動産／留学生／観光客／参政権／社会保障／治安――7つの争点を国際比較で大激論

※バックナンバーが読み放題となる定期購読はこちら


プロフィール

湯川鶴章

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算２０年間の米国生活を終え２０００年５月に帰国。時事通信編集委員を経て２０１０年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』（2015年）、『次世代マーケティングプラットフォーム』（2007年）、『ネットは新聞を殺すのか』（2003年）などがある。趣味はヨガと瞑想。妻が美人なのが自慢。

あわせて読みたい
ニュース速報

ワールド

トランプ氏、グリーンランド巡る対欧関税撤回　「ＮＡ
2026.01.22

ワールド

トランプ氏、全米行脚へ　中間選挙に向け有権者との対
2026.01.22

ビジネス

米政権の政策、ドル離れの度合いを左右＝モルガン・ス
2026.01.22

ワールド

伊首相、トランプ氏の「平和評議会」参加に慎重　憲法
2026.01.22
ニュース速報一覧
あわせて読みたい
MAGAZINE
特集：「外国人問題」徹底研究
特集：「外国人問題」徹底研究
2026年1月27日号（1/20発売）

日本の「外国人問題」は事実か錯誤か？　7つの争点を国際比較で大激論

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    完全に「ホクロ」かと...医師も見逃した「皮膚がん」の写真がSNSで話題に、見分け方「ABCDEルール」とは？
  • 2
    韓国が「モンスター」ミサイルを実戦配備　北朝鮮の核開発にらみ軍事戦略を強化
  • 3
    防衛省が「新SSM」の映像を公開、ノルウェー・コングスベルグ社のNSMにも似ているが...
  • 4
    ニュージーランドの深海に棲む、300年以上生きている…
  • 5
    飛行機よりラク？ ソウル〜釜山「110分」へ――韓国が…
  • 6
    ピラミッドよりも昔なのに...湖底で見つかった古代の…
  • 7
    【総選挙予測：自民は圧勝せず】立憲・公明連合は投…
  • 8
    「怖すぎる...」モルディブで凶暴な魚の群れに「襲撃…
  • 9
    宇宙人の存在「開示」がもたらす金融黙示録──英中銀…
  • 10
    サーモンとマグロは要注意...輸入魚に潜む「永遠の化…
  • 1
    上野公園「トイレ騒動」に見る、日本のトイレが「世界一危険」な理由
  • 2
    ピラミッドよりも昔なのに...湖底で見つかった古代の船が明かす、古代の人々の「超技術」
  • 3
    世界初で日本独自、南鳥島沖で始まるレアアース泥試掘の重要性　日本発の希少資源採取技術は他にも
  • 4
    【クイズ】韓国を抜いて1位に...世界で最も「出生率…
  • 5
    韓国『日本人無料』の光と影 ── 日韓首脳が｢未来志向…
  • 6
    正気を失った？──トランプ、エプスタイン疑惑につい…
  • 7
    世界最大の埋蔵量でも「儲からない」？ 米石油大手が…
  • 8
    完全に「ホクロ」かと...医師も見逃した「皮膚がん」…
  • 9
    中国のインフラ建設にインドが反発、ヒマラヤ奥地で…
  • 10
    【銘柄】「住友金属鉱山」の株価が急上昇...銅の高騰…
  • 1
    【クイズ】世界で最も「レアアースの埋蔵量」が多い国はどこ？【2025年の話題クイズ5選】
  • 2
    90代でも元気な人が「必ず動かしている体の部位」とは何か...血管の名医がたどり着いた長生きの共通点
  • 3
    ウクライナ水中ドローンが、ロシア潜水艦を爆破...「史上初の攻撃成功」の裏に、戦略的な「事前攻撃」
  • 4
    アジアの豊かな国ランキング、日本は6位──IMF予測
  • 5
    中国製防空レーダーは米軍のベネズエラ攻撃に屈した─…
  • 6
    【クイズ】世界で唯一「蚊のいない国」はどこ？【202…
  • 7
    「腸が弱ると全身が乱れる」...消化器専門医がすすめ…
  • 8
    『SHOGUN 将軍』の成功は嬉しいが...岡田准一が目指…
  • 9
    【クイズ】本州で唯一「クマが生息していない県」は…
  • 10
    前進するロシア、忍び寄る限界...勝者に見えるプーチ…
トランプ2.0記事まとめ
Real
CHALLENGING INNOVATOR
Wonderful Story