AI×経営戦略2026年9月21日読了約5分

MintActが画面操作を1モデルに統合した

保存

研究チームは、スマートフォン、PC、ウェブの画面操作や部品の特定、ツール利用を単一で担う視覚言語モデル群「MintAct」を発表した。専門モデルに匹敵する性能を示し、業務自動化の基盤として注目される。

研究の概要

MintActは、画面上の操作対象を特定するUIグラウンディング、モバイル・デスクトップ・ウェブをまたぐ複数手順のナビゲーション、画像を手がかりにしたツール利用の3つの能力を統合した視覚言語モデル群である。このモデル群は、2B、4B、8Bの3種類のスケールで提供されており、研究チームは環境、データ、学習手順の設計を工夫することで、全能力において領域別の専門モデルに匹敵する性能を達成したと報告している。

性能面では、PC操作エージェントの代表的な評価基準であるOSWorld-Verifiedで48.9を記録し、同程度のモデルサイズの範囲では、幅広いベンチマークで最高水準に達したという。これにより、MintActは業務自動化の基盤としての可能性を示している。

技術的な特徴は、学習基盤にある。異なる仕組みを持つ領域別のバックエンド上で数百の環境インスタンスを同時に稼働させ、操作履歴データの収集とオンライン強化学習の両方に利用する。この非同期型の強化学習フレームワークにより、領域間の学習データの配分を明示的に制御し、環境からのフィードバックにノイズが混じる場合や、学習中の方策にずれが生じる場合でも、学習が安定するよう設計されている。

しくみをやさしく

MintActは、画面上の操作を理解し、適切に実行するために設計されたモデルである。具体的には、ユーザーが操作したい項目を特定し、モバイルやデスクトップ、ウェブの環境を問わず、複数の手順を自動的にナビゲートする能力を持つ。さらに、画像を手がかりにしてツールを利用することも可能であり、これにより業務の効率化が期待される。これらの機能は、従来の専門モデルに匹敵する性能を発揮し、企業の業務自動化に寄与することが期待されている。

ビジネスへの示唆

MintActの導入は、特にAPIが整備されていない業務システムを扱う際に価値を発揮する。1つのモデルがモバイル、デスクトップ、ウェブの各環境を横断できるため、部門ごとに異なる自動化ツールを導入してきた企業にとって、運用の一本化が可能となる。具体的な適用先としては、以下のような業務が考えられる。

金融・保険のバックオフィス：申込内容の転記や照会業務における、1件当たりの処理時間と入力ミス率
製造の生産管理部門：基幹システムや生産管理画面への入力作業に要する工数
人事・経理部門：勤怠、給与、経費精算システムの定型操作の自動化率
開発・品質保証部門：画面操作テストの作成と実行にかかるリードタイム

これらの業務において、MintActが導入されることで、業務の効率化やミスの削減が期待される。読者は、自部署で該当する業務が何か、現在誰がどれだけ手をかけているかを考え、具体的なKPIを設定することが重要である。

現場での導入イメージ

仮にMintActの導入支援に入るなら、以下のような手順を踏むことが考えられる。

棚卸し：現行業務のフローや使用しているツールを棚卸し、どの業務が自動化の対象となるかを明確にする。目指す到達点は、業務の現状を把握し、改善の余地を見つけることである。
差し込み先の設計：MintActをどの業務のどの部分に組み込むかを設計する。既存のツールや業務フローとの整合性を考慮し、新たなツールを増やさない現実解を模索する。目指す到達点は、スムーズな導入のための具体的なプランを策定することである。
小さく試す（PoC）：選定した業務に対して、MintActのパイロット運用を行う。実際の業務データを用いて、効果を測定し、問題点を洗い出す。目指す到達点は、導入の効果を実証し、必要な調整を行うことである。
運用と横展開：PoCの結果を踏まえ、MintActの本格運用を開始し、他の業務への横展開を図る。運用中のデータを分析し、さらなる改善点を見つける。目指す到達点は、全社的な業務効率化を実現することである。

この一連の流れを通じて、最終的には業務の自動化と効率化を図ることが目指される。特に、誤操作率や再作業率を測定しながら、適用範囲を広げることが重要である。