【全栈实践】第一个 AI Agent 项目：从零搭建 AI 音频创作助手【最终版】
内容提要
该文章介绍了一个全栈AI智能播客平台项目，用户上传音视频后，AI自动完成内容理解、音色设计、语音合成和混音，实现端到端自动化。技术栈包括Vue 3前端、FastAPI后端、LangGraph Agent编排、Qwen-TTS语音合成及多模态模型，并采用AG-UI协议实现流式交互。项目还涵盖音频后期处理、配置管理和资源索引系统，旨在降低使用门槛，提供专业级播客制作体验。
延伸解读
从“生成脚本”到“全链路自动化”的转变
文章指出传统AI音频工具往往只停留在生成文字脚本，后续的配音、剪辑、调音等环节仍需人工完成，流程割裂且低效。该项目通过LangGraph编排多个专业工具，实现了从内容理解、音色设计、语音合成到混音输出的端到端自动化。这种设计思路对希望构建类似垂直领域AI应用的开发者具有参考价值，即通过Agent将多个单一功能工具串联起来，形成完整的自动化流水线。
工具拆分的“单一职责”原则
项目将音频处理拆分为9个独立工具，每个工具只负责一项具体任务，如多模态理解、语音识别、音色设计、音频拼接等。这种设计让Agent能够根据用户输入灵活组合工具，而不是被预设的“大而全”工具束缚。对于开发者而言，将复杂任务拆分为可复用的原子工具，有助于提高系统的可维护性和扩展性，也是实现复杂Agent行为的关键。
流式交互与用户体验的优化
项目采用AG-UI协议将Agent的行为标准化为事件流，前端通过ai-elements-vue组件库实时渲染思维链、工具调用卡片等，实现了“真”流式输出（逐token发送），而非生成完再发送的伪流式。这种设计显著提升了交互的实时性和透明度，使用户能直观看到Agent的推理和工具调用过程，增强了系统的可信度和可用性。对于构建类似AI交互界面的开发者，值得借鉴。
轻量级资源管理与配置可视化
项目未引入数据库，而是使用JSON文件实现音频资源索引，并通过文件锁保证并发安全；同时采用“配置文件 > 环境变量 > 默认值”的三级配置优先级，前端提供可视化配置页面，降低非技术用户的使用门槛。这种轻量级方案适合中小型项目，在保证功能的同时减少了基础设施复杂度，但需注意JSON文件在数据量增大时的性能瓶颈。
Q&A
这个AI智能播客平台的核心功能是什么？
用户上传视频或音频后，AI自动完成内容理解、音色设计、语音合成和混音，实现端到端的播客制作，无需人工干预。
这个项目使用了哪些主要技术栈？
前端使用Vue 3 + TypeScript + Vite，后端使用FastAPI，AI框架为LangChain + LangGraph，语音引擎为阿里云DashScope的Qwen-TTS和Qwen-ASR，多模态模型为qwen3.5-omni-plus，音频处理使用pydub和FFmpeg。
AG-UI协议在这个项目中起什么作用？
AG-UI协议用于前后端Agent事件标准化通信，将Agent的运行状态、文本输出、工具调用等事件流式传输给前端，前端通过ai-elements-vue组件库渲染为丰富的交互界面。
音色设计支持哪两种方式？
支持文本描述生成音色（Voice Design）和参考音频复刻（Voice Cloning）。文本描述直接作为API参数，零样本生成；参考音频复刻则上传音频，AI自动复刻其音色特征。
多模态模型如何处理大视频文件？
当视频文件超过21MB时，自动使用moviepy分割为多个约10MB的片段，确保base64编码后不超过API限制，然后分别调用API并合并结果。
混音策略是如何设计的？
混音策略模拟专业播客：开场时BGM以原音量播放约3秒，然后经过2秒淡入过渡，降低到约5%音量（-26dB）作为背景音，确保人声清晰。
配置管理采用什么优先级策略？
采用配置文件 > 环境变量 > 默认值的三级优先级。用户可通过前端可视化配置界面修改配置，自动持久化到config.json，无需手动编辑.env文件。
音频资源索引系统是如何实现的？
使用JSON文件实现轻量级索引，记录音色ID、路径、创建时间等信息，通过文件锁控制并发写入，并按path字段分类（audios、bgm、podcasts），临时文件定期清理。
前端有哪些核心页面？
前端有四个核心页面：Chat（Agent流式对话，核心创作入口）、PodcastList（播客成品列表）、ResourceLibrary（资源库管理音色/BGM/素材）、VisualConfig（可视化配置API Key和模型参数）。
项目如何实现临时文件与永久存储的分离？
临时目录storage/temp/存放中间产物，10分钟自动清理；永久目录storage/audios/保存用户确认的音色；成品目录storage/podcasts/存放混音后的最终播客。
