HuggingFace Daily Papers(社区热门论文)·· 1 天前AI 评分42
TokenCast:预测 LLM 智能体执行过程中的 token 消耗
TokenCast: Forecasting Token Consumption During LLM Agent Execution
AI 导读
TokenCast 通过学习每个执行片段的可组合成本表示,在 LLM 智能体运行过程中实时预测 token 消耗,无需额外调用 LLM,在 SWE-bench Verified 上平均累计预测耗时 32.8 ms。
来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org