GIMCALC/観測ログ /専門業務のAI評価における回答と未提示事項の識別差
2026-11-15

専門業務のAI評価における回答と未提示事項の識別差

2026年10月、専門税務業務を対象としたAIエージェントの評価結果が公開された。評価では50の業務環境と1,789の資料ファイルを用い、依頼内容の解釈、資料調査、未提示事項の発見、判断及び成果物の完成が採点対象に含まれた。評価項目の95%以上を満たすことを合格とした場合、最上位モデルのpass@1によるタスク単位合格率は10.8%と報告された。 住宅売却の税務相談を扱った個別事例では、依頼者が指定した二つの売却予定時期について適切に回答しながら、売却がさらに遅れた場合に税制優遇の適用可能性が失われる期限を指摘しなかった試行が報告された。評価主体が示した5回の試行では、一方のモデルは期限を指摘せず、別のモデルは5回とも指摘した。 退職資産分割に関する別の事例では、法的婚姻関係の成立可能性が判断に関係する状況で、その前提を十分に確認せず提案した試行が報告された。評価主体によれば、一方のモデルは5回とも婚姻関係がないという前提で提案し、別のモデルは5回中4回、法的婚姻関係の確認が必要であることを認識した。 これらの事例では、依頼者が明示した質問への回答と、関連資料から未提示の重要事項を識別することが、異なる結果を示した。ただし、個別事例の結果から評価全体の失敗原因別の寄与度は確定できない。 今回公表された合格率は、設定された評価条件における業務単位の成功率であり、個別の計算、資料抽出又は回答の正確性と同一ではない。人間による確認や追加質問を含めた実際の業務運用での完遂率、作業負担及び費用対効果は未測定である。
業務遂行と業務完遂 依頼範囲と確認範囲 未提示事項の識別 資料と判断の照合 専門業務の検証 部分作業と全体評価

TOP