肘子的Swift记事本
·
macOS 录屏软件开发实录：从像素抓取到元数据重现
💡
原文中文，约18900字，阅读约需45分钟。
📝
内容提要
独立开发者Sintone开发了ScreenSage Pro，以提升录屏剪辑体验。他分享了从零开始的开发过程，涵盖录屏技术、元数据处理和视频合成等关键点，强调工具在创作中的重要性。尽管面临技术挑战，他通过不断迭代和优化，最终实现了高效的录屏软件，帮助用户解决实际问题。
🎯
关键要点
- 独立开发者Sintone开发了ScreenSage Pro，旨在提升录屏剪辑体验。
- 开发过程中分享了录屏技术、元数据处理和视频合成等关键点。
- 强调工具在创作中的重要性，尤其是在视频表达方式日益主流的背景下。
- 录屏不仅仅是简单的屏幕像素抓取，而是完整的元数据录制和重现。
- 通过录制多路音视频流和关键元数据，实现高效的自动剪辑功能。
- 预售成功后，Sintone开始了ScreenSage Pro的开发，尽管对Mac开发仍是业余。
- 可行性研究阶段通过开源项目测试，验证了录屏和视频合成的基本概念。
- 使用ScreenCaptureKit（SCK）进行屏幕录制，了解其相对于传统录制框架的优势。
- 元数据录制包括鼠标事件、键盘事件和窗口信息，以实现更好的后期编辑体验。
- 解决时间线同步问题，通过记录每个录制的首帧时间来确保内容同步。
- 在视频合成中选择MetalPetal框架，以实现高效的实时处理和特效应用。
- 手动限制视频比特率以减小文件体积，避免因高比特率导致的存储问题。
- 实现分片写文件的方式，确保在录制过程中即使崩溃也能保住录制文件。
- 处理SCK的-3821错误，提供Legacy模式以保证录制的完整性。
- 优化SwiftUI时间线编辑器的性能，迁移到@Observable以提高界面流畅度。
- 总结开发过程中的挑战与解决方案，强调在技术问题面前的心态调整。
❓
延伸问答
ScreenSage Pro的开发目标是什么？
ScreenSage Pro旨在提升录屏剪辑体验，解决传统录屏软件的效率问题。
ScreenSage Pro如何处理录屏中的元数据？
它不仅录制屏幕像素，还记录鼠标事件、键盘事件和窗口信息，以实现更好的后期编辑体验。
开发ScreenSage Pro过程中遇到了哪些技术挑战？
开发者面临了时间线同步、视频合成、比特率控制等技术挑战，并通过不断迭代解决这些问题。
ScreenSage Pro使用了哪些技术框架？
该软件使用了ScreenCaptureKit进行屏幕录制，并选择MetalPetal框架进行视频合成。
如何确保录制文件在崩溃时不丢失？
通过实现分片写文件的方式，定期保存录制数据，确保即使崩溃也能保住录制文件。
ScreenSage Pro的元数据录制有什么优势？
元数据录制使得后期编辑更加灵活，能够实现智能聚焦、鼠标美化和按键显示等功能。
➡️
