跳到主要内容
哒哒星球DADA PLANET

Skill · 已公开版本

cost-aware-llm-pipeline · 给批量模型调用加预算与分级路由

根据任务规模分流模型,记录调用费用并限制重试,让批处理的预算消耗可追踪。

先看看示例

作者提供的示例,实际效果取决于你的输入和使用工具。

输入

编辑材料:假设低档L每条成本估算0.01美元,高档H为0.04美元;字符数≥10000走H,否则走L。剩余预算0.05美元。顺序任务A=2000字符、B=12000字符、C=3000字符;以上是假设计价,未提供实际API调用。

输出

编辑示例 · 未运行

顺序任务路由估算费用决策后预算余量
1A,2000字符L$0.01$0.04
2B,12000字符H$0.04$0.00
3C,3000字符暂停未调用$0.00

前两项估算合计 $0.05。实际接入应先预留单次上限与可能重试的费用;若无法约束输出成本,本表只能作为计划,不能作为硬预算保证。

方法说明

根据任务规模分流模型,记录调用费用并限制重试,让批处理的预算消耗可追踪。

具体任务

审查一批任务的模型路由:依据已确认的模型档位、预算与任务规模,给出路由表和停止条件。

收窄失败请求的重试:分清暂时性网络/限流错误与鉴权/参数错误,减少无效重复调用。

必需材料

任务样本及规模指标

可用模型档位、实际计费口径和本批预算

可选材料

历史调用token与错误记录

固定系统提示和缓存适用条件

使用门槛

理解模型 API 调用与 token 计费,并有可核对的服务方价格和项目账号权限。

这个 Skill 额外提供的方法

把模型选择、不可变费用记录、有限错误重试与提示缓存拆开组合,便于定位预算究竟消耗在何处。

编辑示例(未运行)

在预算余量不足时暂停下一批

任务:核算三条任务的候选路由

输入:
编辑材料:假设低档L每条成本估算0.01美元,高档H为0.04美元;字符数≥10000走H,否则走L。剩余预算0.05美元。顺序任务A=2000字符、B=12000字符、C=3000字符;以上是假设计价,未提供实际API调用。

结果片段:
| 顺序 | 任务 | 路由 | 估算费用 | 决策后预算余量 |
|---|---|---|---:|---:|
| 1 | A,2000字符 | L | $0.01 | $0.04 |
| 2 | B,12000字符 | H | $0.04 | $0.00 |
| 3 | C,3000字符 | 暂停 | 未调用 | $0.00 |

前两项估算合计 $0.05。实际接入应先预留单次上限与可能重试的费用;若无法约束输出成本,本表只能作为计划,不能作为硬预算保证。

编辑计算示例使用输入明确给出的假设单价,未调用模型、未产生账单,也不说明任何现售模型的实际价格。

首次任务

请使用已安装的 cost-aware-llm-pipeline Skill。
任务:审查一批任务的模型路由。
依据已确认的模型档位、预算与任务规模,给出路由表和停止条件。

必需材料:
- 任务样本及规模指标:[填写或粘贴我的实际材料]
- 可用模型档位、实际计费口径和本批预算:[填写或粘贴我的实际材料]

可选材料:
- 历史调用token与错误记录:[有则补充;缺失时不要假定存在]
- 固定系统提示和缓存适用条件:[有则补充;缺失时不要假定存在]

处理边界:入口中的模型名称、价格与缓存门槛是源文件快照,接入时须核对服务方当前支持情况,不能据此保证价格或节省比例。;只检查已发生费用不能严格防止下一次超额;并发调用、输出上限和重试费用需要预留预算。。先指出影响任务的材料缺口;没有实际执行的操作和测试不要写成已完成。

请按以下标准交付可审阅结果:
1. 路由表能追溯到规模阈值和用户确认的模型配置。
2. 费用合计与记录逐项一致,并写明估算、实耗和预算预留的区别。
3. 重试范围明确排除鉴权/参数错误,次数和费用上限可查。

验收方法

路由表能追溯到规模阈值和用户确认的模型配置。

费用合计与记录逐项一致,并写明估算、实耗和预算预留的区别。

重试范围明确排除鉴权/参数错误,次数和费用上限可查。

依赖与准备

保留完整 cost-aware-llm-pipeline 目录;源例使用 Python dataclasses 与 Anthropic SDK 的异常/缓存接口,实际供应商SDK和缓存能力需另核对。真实调用需要已授权账号、凭据管理和可用API额度;敏感材料进入外部模型前按项目数据边界处理。

使用边界

入口中的模型名称、价格与缓存门槛是源文件快照,接入时须核对服务方当前支持情况,不能据此保证价格或节省比例。

只检查已发生费用不能严格防止下一次超额;并发调用、输出上限和重试费用需要预留预算。

鉴权或参数错误不得按暂时性失败自动重试,自动路由也不等于质量验收通过。

本站示例由编辑撰写,未运行上游 Skill,不代表平台已完成工具兼容认证。

排错

预算检查通过后仍超支:把在途请求、最大输出和重试纳入预留,逐次结算后释放余量。

省钱后复杂任务质量下降:对失败类型检查路由阈值,用同一验收样本比较档位,不只看token数量。

固定来源

https://github.com/affaan-m/ECC/blob/c70874fae9eb0e5ad0365beb7e2955899fd1d30f/skills/cost-aware-llm-pipeline/SKILL.md

许可

MIT。许可原文:https://github.com/affaan-m/ECC/blob/c70874fae9eb0e5ad0365beb7e2955899fd1d30f/LICENSE

仓库热度

affaan-m/ECC 仓库 269,717 Stars(2026-09-30 核验);这是父仓库指标,不是单个 Skill 的评分。