核心信息

LiteLLM 的 /v1/audio/speech 接口新增文本转语音流式支持,应用可在服务商发送完整音频前就开始播放。

要点

  • 调用 POST /v1/audio/speech 并设置 "stream": true,或在 SDK 中使用 stream=True。
  • LiteLLM 随服务商生成逐块转发音频;一段较长的 ElevenLabs 音频在 0.72 秒后开始播放。
  • 音频结束后,LiteLLM 写入消费记录并释放该 key 的 max_parallel_requests 名额。
  • 该功能通过公开 PR 合并。