核心信息
Anwalt.de 的 Michael Friedmann 表示,其法律 AI 工作负载已通过 Requesty 处理 770 亿 Token,其中输入 669 亿、输出 70 亿,并可在同一处集中控制数据流向、模型分配和支出。
要点
- 总处理量:通过 Requesty 处理 770 亿 Token
- 明细:输入 669 亿 Token,输出 70 亿 Token
- 负载为法律 AI,该领域对数据处理有严格要求
- 强调集中控制:数据流向、哪个模型跑哪类任务、以及成本
- 展示了 AI 网关在生产环境中的大规模部署案例