预算限制允许您在提供商/集成上设置成本或令牌上限文档索引
在以下位置获取完整的文档索引: https://docs.portkey.ai/docs/llms.txt
使用此文件可在进一步浏览前发现所有可用页面。
适用于 Enterprise 计划和特定 Pro 客户。
[email protected]。在提供商上设置预算限制
在 Portkey 上创建新集成时,您可以通过两种方式设置限制基于成本的限制
设置美元计价的预算上限,一旦达到,将自动使密钥失效,以防止进一步使用和超支。基于令牌的限制
设置可消耗的最大令牌数量,使您能够在费用波动之外控制使用量。 您还可以为每个工作区设置这两种限制。关键考虑因素
- 预算限制可设为基于成本(美元)或基于令牌
- 您可以设置的最小成本限制为 $1
- 您可以设置的最小令牌限制为 100 令牌
- 预算限制会一直生效,直至耗尽或重置
- 预算限制仅适用于设置后产生的请求;不会追溯已发生的请求
- 一旦设置,预算限制 不可被任何组织成员编辑
- 预算限制功能适用于 Portkey 上的 所有大语言模型,并将对有使用权限的 所有成员/工作区生效。
警报阈值
您现在可以设置警报阈值,以在预算上限达到前收到通知- 基于成本的预算请使用美元设定阈值
- 基于令牌的预算请使用令牌数量设定阈值
- 当使用量达到阈值时,您将收到电子邮件通知
- 继续使用密钥直至完整预算限制被耗尽
周期性重置选项
您可以配置预算限制在定期间隔自动重置
重置周期选项
- 无周期性重置:预算限制一直生效直至耗尽,不会自动续期
- 每周重置:预算限制每周自动重置一次
- 每月重置:预算限制每月自动重置一次
重置时间
- 每周重置在每周的开始(UTC 周日凌晨 12 点)进行
- 每月重置在每月的 第 1 天,UTC 凌晨 12 点进行, 与之前设置预算限制的时间无关
编辑预算限制
如果需要更改或更新预算限制,您可以 复制 现有提供商并创建一个具备所需限制的新提供商。监控您的支出和使用情况
您可以通过进入分析标签页,并按 目标提供商和时间范围进行筛选,来追踪任意特定提供商的支出和令牌使用情况。定价支持及限制
预算限制目前适用于 Portkey 支持定价的所有提供商和模型。如果某条请求日志在 COST 列显示0 美分,则表示 Portkey 当前未对该模型的定价进行追踪,该模型的费用不计入提供商的预算限制。 对于基于令牌的预算,Portkey 会在所有受支持的模型中追踪输入和输出令牌。 需要注意的是,预算限制不能追溯应用。支出计数器仅在您为某个密钥设置预算限制后才会从零开始。
