AI×経営戦略2026年10月3日読了約7分

KaliBenchがAIのコマンド生成力を測定

保存

Kali Linux上のコマンド生成力を測る新ベンチマーク「KaliBench」が公開された。ヒントなしの条件では完全一致精度が42%を超えるオープンモデルはなかった。専用の報酬による学習で8Bモデルが685B級に迫った。

研究の概要

大規模言語モデル（LLM）をサイバーセキュリティ業務に適用する試みが増える一方で、アナリストの意図を端末向けコマンドに正確に変換できるかどうかを直接測る指標は乏しかった。従来の評価は知識の有無を問う問題や、エンドツーエンドで自律実行させるような課題に偏り、コマンドライン特有の脆弱性――ごく些細な構文ミスやフラグと値の対応ミス、引数順序の入れ替えが動作の有効性を失わせる点――を十分に検出できていなかった。

研究チームが公開した「KaliBench」は、Kali Linux上で自然言語をコマンドに変換する能力を評価するデータセットである。8,504組の問い合わせとコマンドの対を収録し、対象は1,642種類のツール、23の能力区分、5つのセキュリティ工程にまたがる。ツールの公式ドキュメントを根拠にデータを構築し、決定的な正規化と別名の照合を取り入れた判定基準を用いることで、再現性の高い採点を実現している。作成後は、LLMによる生成検証、隔離環境での実行検証、人手による修正を組み合わせた多段階の検証プロセスを経て精度と信頼性を担保した。

評価は3つのモードで実施され、汎用モデルとセキュリティ特化モデルを含む24構成のオープンウェイトモデルを対象とした。ツールに関するヒントを与えない条件では、完全一致の精度が42%を超えるモデルは存在しなかった。一方で、KaliBenchから算出される報酬を用いた教師あり微調整および検証可能な報酬に基づく強化学習を組み合わせることで、80億パラメータ（8B）級のモデルが、6,850億パラメータ級（685B）混合専門家モデルに匹敵する性能に達することが示された。ここで用いた報酬は実行環境を動かさずに算出可能なため、学習コストと安全面の負担を低減できる点が特に注目される。

しくみをやさしく

KaliBenchがやっていることは、現場での「自然言語（人間の指示）→正確な端末コマンド」に変換できるかを、たくさんの正答例でチェックすることに尽きる。各問い合わせに対して期待されるコマンド（引数やフラグの組合せを含む）を定義し、生成されたコマンドがその期待値と完全一致するかを厳密に判定する。別名や書き換えの余地を正規化して判定するため、単なる文字列比較より実務に近い評価となる。

さらに、ヒントなしの状態（ツールや文脈を与えない）とヒントありの状態で性能差を測り、どの程度モデルが一般的な知識だけで正しいコマンドを生成できるかを確認する。報酬に基づく学習は、生成物が正しいかを自動で評価できる仕組みによってフィードバックを与え、実際の端末を動かさずにモデルのチューニングを進めるため、セキュリティ上のリスクを下げながら性能を向上させることが可能である。

ビジネスへの示唆

直接的な利用先は、セキュリティ運用センター（SOC）、レッドチーム、脆弱性診断を担当する部門である。これらの部署で繰り返される具体的な定型業務としては、脆弱性スキャンコマンドの生成、ログ収集コマンドの作成、パッシブ/アクティブ診断のためのツール呼び出しがある。特に繰り返し発生するタスクでは、コマンド生成の誤りが診断漏れや再作業につながり、時間とコストを浪費する。

自分ごととして問うべき具体的な問いは次の通りである。

自部署で該当する業務は何か。例：脆弱性診断で使用するスキャンコマンドの作成、ログ収集や解析用のコマンド群の生成、証跡取得のためのツール呼び出しなど。
いま誰がどれだけ手をかけているか。例：月あたりの診断件数、1件あたりのコマンド作成時間、コマンド誤りによる再実行率はどれくらいか。

導入効果を測るKPIとしては、次が想定される。

診断1件あたりの作業時間と、コマンド誤りによる再実行率の低下
若手アナリストのオンボーディング期間の短縮（習熟に要する期間）
推論基盤の運用費と、外部クラウドへのデータ送信量の削減

留意点として、現状でヒントなしの完全一致上限が42%である点は、人間の確認なしに直接診断作業へ全面適用する危険性を示している。したがって、段階的に支援範囲を広げる設計や、人の承認を組み込んだワークフローが実務上は必要である。一方で、8B級の小型モデルを専用報酬で強化する手法は、小さく・安く始められる実装経路を提供するため、機密データを外部に出せない組織でも検討に値する。

現場での導入イメージ

仮に導入支援に入るなら、以下のステップで進めることを推奨する。各ステップは実務への負担を小さく抑えつつ、現場の業務特性に合わせて段階的に精度を高めることを目標とする。

棚卸し

やること：現行の診断・収集作業で用いるコマンド群を洗い出し、頻度・失敗率・作成者を記録する。代表的な問い合わせ例と正解コマンドのペアを抽出する。既存のドキュメントや手順書も収集する。
目指す到達点：どの業務領域でコマンド生成がボトルネックになっているかを定量的に把握し、PoCで扱う対象セット（ツールと典型問答）を決定する。

差し込み先の設計（既存ツール/業務への統合）

やること：既存のチケットシステム、SOCのツール、リモート端末管理フローなど、AI生成結果を差し込む最適な箇所を設計する。新たに外部クラウドを増やさない場合はオンプレ推論や限定ネットワーク経由の運用を検討する。
目指す到達点：運用上の負担が増えない統合ポイントを決定し、承認フロー（人間の承認・ロール分担）を含む初期運用設計を確定する。

小さく試す（PoC）

やること：抽出した代表ペアで8B級など小型モデルを用いた微調整（教師あり微調整＋検証可能な報酬を用いた強化学習）を実施し、実生成の完全一致率と誤りの種類を評価する。隔離環境での実行検証と人手によるレビューを組み合わせる。
目指す到達点：現場で許容できる誤り率を満たすまでの学習効果と、学習にかかるコスト（運用工数）を確認し、運用に耐えるモデル候補を選定する。

運用と横展開

やること：選定モデルを本番ワークフローへ段階的に組み込み、承認付きの運用を始める。効果測定（作業時間、再実行率、オンボーディング期間）を定期的に行い、必要に応じて追加データで再学習を行う。
目指す到達点：人手の介入を最小化しつつ、診断品質を維持・向上できる運用体制を確立し、他のツールや工程へ横展開する準備を整える。

この一連の支援が目指す最終的な到達点は、社内で安全に運用できる小型モデルを用い、診断作業の負荷を下げつつ人間の最終承認を組み込んだ形で業務効率を継続的に改善できる状態である。

今後の展望

本研究はオープンウェイトモデルを中心に評価しており、商用の大規模モデルとの直接比較は含まれていない。完全一致率が実務上の有用性と必ずしも一致しない点や、複数の正解が存在し得る工程、計画立案を伴う上流工程の評価は今後の課題である。

また、同時に考慮すべきは二重用途性である。攻撃技術の自動化につながる危険性をどう抑止するかは、公開方針や利用規約、厳格な権限管理といった統治面での対策を含めた企業判断が必要である。検証可能な報酬という手法は、ネットワーク機器設定やクラウド運用のように手順が厳密な業務にも応用可能であり、今後これらの分野で同様の評価・学習枠組みが広がるかが注目される。