多媒体开发札记
·
个人'蒸馏'大模型能做哪些有意思的事情
💡
原文中文，约900字，阅读约需3分钟。
📝
内容提要
大模型蒸馏技术可以将大型语言模型的知识转移到小模型中，从而提高性能并降低资源需求。个人可以利用此技术提取所需内容，如识字类玩具和APP的素材。通过合理的提示词，可以从大模型中获取汉字及其解释，并以Json格式返回，便于后续处理。此外，利用DeepSeek的API，可以在夜间低成本“蒸馏”数据，改变产品开发逻辑。
🎯
关键要点
- 大模型蒸馏技术可以将大型语言模型的知识转移到小模型中，提高性能并降低资源需求。
- 个人可以利用大模型蒸馏技术提取所需内容，如识字类玩具和APP的素材。
- 通过合理的提示词，可以从大模型中获取汉字及其解释，并以Json格式返回，便于后续处理。
- 利用DeepSeek的API，可以在夜间低成本“蒸馏”数据，改变产品开发逻辑。
- 大模型的出现改变了许多产品的开发逻辑，以前的技术和素材壁垒在某些场景下变得容易跨越。
❓
延伸问答
什么是大模型蒸馏技术？
大模型蒸馏技术是将大型语言模型的知识转移到较小模型中，以提高性能并降低资源需求。
个人如何利用大模型蒸馏技术提取内容？
个人可以通过合理的提示词，从大模型中提取所需的内容，如识字类玩具和APP的素材。
如何将提取的内容以Json格式返回？
通过合理的提示词，可以从大模型中获取汉字及其解释，并以Json格式返回，便于后续处理。
DeepSeek的API有什么优势？
DeepSeek的API可以在夜间低成本“蒸馏”数据，改变产品开发逻辑，且价格便宜一半多。
大模型的出现对产品开发有什么影响？
大模型的出现改变了许多产品的开发逻辑，以前的技术和素材壁垒在某些场景下变得容易跨越。
如何利用夜间网速进行数据蒸馏？
可以利用夜间网速快的特点，挂着下载服务自动下载，或在夜间程序化“蒸馏”数据。
➡️
