核心信息
LiteLLM 的 /v1/audio/speech 接口新增文本转语音流式支持,应用可在服务商发送完整音频前就开始播放。
要点
- 调用 POST /v1/audio/speech 并设置 "stream": true,或在 SDK 中使用 stream=True。
- LiteLLM 随服务商生成逐块转发音频;一段较长的 ElevenLabs 音频在 0.72 秒后开始播放。
- 音频结束后,LiteLLM 写入消费记录并释放该 key 的 max_parallel_requests 名额。
- 该功能通过公开 PR 合并。