Drama 3 现已在 AI Gateway 上线

Drama 3 现已在 AI Gateway 上线

💡 原文英文,约300词,阅读约需1分钟。
📝

内容提要

Fish Audio 的文本转语音模型 Drama 3 已在 AI Gateway 上线,30 天内享八折优惠。该模型支持用自然语言指令控制语音表演,可描述情绪与节奏、添加音效和停顿,或用标签调整特定词发音;指令语言可与朗读文本不同,并支持多角色对话。

🔎

延伸解读

自然语言指令控制语音表演

Drama 3 允许在脚本中用自然语言指令控制语音表演,例如用方括号描述情绪和节奏,添加音效和停顿,或用标签调整特定词的发音。指令语言可与朗读文本不同,这为多语言创作提供了灵活性。该模型适用于配音、角色对话和音频故事等场景。

多角色对话与语音区分

Drama 3 支持多角色对话,可为每个角色分配不同的声音。这一功能使其适合制作有声剧、播客剧等需要多个说话者的内容。结合自然语言指令,创作者可以更细致地控制每个角色的表演风格。

AI Gateway 集成与成本优势

通过 AI Gateway 使用 Drama 3,可享受统一的 API 调用、用量和成本跟踪,以及重试、故障转移和性能优化等功能。AI Gateway 按提供商定价收费,无加价,也不对推理收取平台费,包括自带密钥(BYOK)请求。目前该模型处于预览阶段,30 天内享八折优惠。

❓

Q&A

Drama 3 是什么?它有什么主要功能?

Drama 3 是 Fish Audio 的文本转语音模型,现已在 AI Gateway 上线。它支持用自然语言指令控制语音表演,可描述情绪与节奏、添加音效和停顿,或用标签调整特定词发音;指令语言可与朗读文本不同,并支持多角色对话。

Drama 3 现在有什么优惠?

Drama 3 在 AI Gateway 上线后 30 天内享八折优惠,优惠持续到 11 月 12 日。

如何使用 Drama 3 控制语音表演?

可以在脚本中用自然语言指令控制语音表演,例如用方括号描述情绪和节奏,在适当位置添加音效和停顿,或用 <whisper>、<emphasis> 等标签调整特定词的发音方式。指令语言可以与朗读文本不同。

Drama 3 支持多角色对话吗?

支持。Drama 3 支持多说话人对话,可以为每个角色分配不同的声音。

如何在代码中调用 Drama 3 模型?

使用模型名称 fish-audio/drama-3 即可调用。示例代码:import { experimental_generateSpeech as generateSpeech } from 'ai'; const result = await generateSpeech({ model: 'fish-audio/drama-3', text: '[warm and reassuring] Take your time. <whisper>I am right here.</whisper>', voice: 'f3a2b90078d54a65af4b95f63bc7798e', outputFormat: 'mp3' });

AI Gateway 提供哪些功能?

AI Gateway 提供统一的 API 用于调用模型、跟踪使用量和成本,并配置重试、故障转移和性能优化,以实现高于提供商的高可用性。它还包含内置自定义报告、零数据保留支持、API 密钥预算、路由规则等。AI Gateway 按提供商定价收费,无加价,也不对推理收取平台费,包括自带密钥(BYOK)请求。

🏷️

标签

➡️

继续阅读