内容提要
Fish Audio 的文本转语音模型 Drama 3 已在 AI Gateway 上线,30 天内享八折优惠。该模型支持用自然语言指令控制语音表演,可描述情绪与节奏、添加音效和停顿,或用标签调整特定词发音;指令语言可与朗读文本不同,并支持多角色对话。
延伸解读
自然语言指令控制语音表演
Drama 3 允许在脚本中用自然语言指令控制语音表演,例如用方括号描述情绪和节奏,添加音效和停顿,或用标签调整特定词的发音。指令语言可与朗读文本不同,这为多语言创作提供了灵活性。该模型适用于配音、角色对话和音频故事等场景。
多角色对话与语音区分
Drama 3 支持多角色对话,可为每个角色分配不同的声音。这一功能使其适合制作有声剧、播客剧等需要多个说话者的内容。结合自然语言指令,创作者可以更细致地控制每个角色的表演风格。
AI Gateway 集成与成本优势
通过 AI Gateway 使用 Drama 3,可享受统一的 API 调用、用量和成本跟踪,以及重试、故障转移和性能优化等功能。AI Gateway 按提供商定价收费,无加价,也不对推理收取平台费,包括自带密钥(BYOK)请求。目前该模型处于预览阶段,30 天内享八折优惠。
Q&A
Drama 3 是什么?它有什么主要功能?
Drama 3 是 Fish Audio 的文本转语音模型,现已在 AI Gateway 上线。它支持用自然语言指令控制语音表演,可描述情绪与节奏、添加音效和停顿,或用标签调整特定词发音;指令语言可与朗读文本不同,并支持多角色对话。
Drama 3 现在有什么优惠?
Drama 3 在 AI Gateway 上线后 30 天内享八折优惠,优惠持续到 11 月 12 日。
如何使用 Drama 3 控制语音表演?
可以在脚本中用自然语言指令控制语音表演,例如用方括号描述情绪和节奏,在适当位置添加音效和停顿,或用 <whisper>、<emphasis> 等标签调整特定词的发音方式。指令语言可以与朗读文本不同。
Drama 3 支持多角色对话吗?
支持。Drama 3 支持多说话人对话,可以为每个角色分配不同的声音。
如何在代码中调用 Drama 3 模型?
使用模型名称 fish-audio/drama-3 即可调用。示例代码:import { experimental_generateSpeech as generateSpeech } from 'ai'; const result = await generateSpeech({ model: 'fish-audio/drama-3', text: '[warm and reassuring] Take your time. <whisper>I am right here.</whisper>', voice: 'f3a2b90078d54a65af4b95f63bc7798e', outputFormat: 'mp3' });
AI Gateway 提供哪些功能?
AI Gateway 提供统一的 API 用于调用模型、跟踪使用量和成本,并配置重试、故障转移和性能优化,以实现高于提供商的高可用性。它还包含内置自定义报告、零数据保留支持、API 密钥预算、路由规则等。AI Gateway 按提供商定价收费,无加价,也不对推理收取平台费,包括自带密钥(BYOK)请求。