AIのトークン削減率が再測定で約80%から40%強へ変わった経験を入り口に、測定が改善に欠かせない理由を話します。一方で、ベンチマークへの過学習や指標のハックが起こる怖さにも触れ、数字の前提条件・測定方法・目標設計まで見直す重要性を考えます。
00:00 オープニング
00:25 トークン削減率を80%から40%強へ訂正
02:22 測定が改善に欠かせない理由
03:42 xangi-searchで分かったRAG検索の課題
05:22 マルチエージェントを数字で評価する
06:28 AIスキルの時間・トークン・成功率を測る
07:43 ベンチマークへの過学習という怖さ
09:48 人間の組織でも起こる指標のハック
13:01 前提条件と目標設計まで見直す
14:15 エンディング
リンク
- AI上司とローカルLLM部下でトークンを節約できるか試した
https://karaage.hatenadiary.jp/entry/2026/08/24/235910
▼コミュニティ「からあげ帝国」への参加はこちら（Discord）
https://discord.com/invite/PWpEB7KUsN