DemoChen's Clip
·
How to Enter the Field of Deep Learning?
💡
原文英文，约1700词，阅读约需7分钟。
📝
内容提要
作者通过学习基础知识、阅读论文、微调模型和解决问题等方式进入深度学习领域。理解基础原理对于训练好的模型非常重要。开源工作对于获得机会和提高技能也很重要。作者将继续训练模型、改进数据堆栈并进行公开发布。
🎯
关键要点
- 作者经营教育公司 Dataquest 8 年，去年决定重新开始创业。
- 对深度学习感兴趣但缺乏知识，开始学习并训练多个模型。
- 学习深度学习的过程包括基础知识、阅读论文、微调模型和解决问题。
- 作者的背景是美国历史专业，曾在 2012 年从事机器学习和 Python 工作。
- Kaggle 竞赛适合快速学习，但可能导致基础知识的缺失。
- 学习深度学习时，强大的 Python 编程能力是必要的。
- 数据清理占作者工作的大部分，数据技能至关重要。
- 实用主义在深度学习中很重要，需识别深入研究和快速解决的时机。
- 决定自下而上学习，阅读《深度学习书》，并结合其他资源。
- 通过教学巩固学习，准备了课程 '从零到 GPT'。
- 阅读 2015-2022 年间的基础性深度学习论文并在 PyTorch 中实现。
- 微调基础模型是训练模型的简单切入点，Huggingface transformers 是一个好工具。
- 在微调过程中发现高质量数据主要以教科书形式存在，尝试生成合成数据。
- 通过组合不同模型和启发式方法，开发了更快的解决方案 marker。
- 了解基本原理对训练优秀模型至关重要，找到有趣的问题是产生影响的最佳方式。
- 开源项目有助于获得曝光和提高技能，作者开源了所有 AI 项目。
- 作者获得研究工作的机会与开源工作直接相关，提升了技能和曝光率。
- 作者计划继续训练模型、改进数据堆栈并进行公开发布。
➡️
