内容提要
文章讨论AI研究岗位市场现状及作者求职经历:生成式AI推动相关人才需求激增,薪酬高涨、流动频繁,但真正重视开放研究的机构不多。作者求职时看重能否继续深耕RLHF并保持分享自由,最终在Cohere、Meta、Google DeepMind、Mosaic等机会中权衡选择。
延伸解读
供需失衡下的求职权衡
文章指出,生成式AI和大语言模型领域工作机会众多,但相关专业人才储备不足,导致供求关系极端。作者在求职时收到多个offer,却难以找到完全符合自己研究兴趣和分享自由期望的职位。这反映出市场热度虽高,但个人与岗位的匹配仍需仔细权衡,高薪和名气并非唯一考量。
大公司研究自主性的差异
作者对比了几家公司的研究环境:Google DeepMind资源一流但工作内容不透明;Meta的Llama团队直接研究前沿开源模型,对注重开放科学的人有吸引力;而初创公司如Cohere for AI和Mosaic则更灵活,但可能受商业现实影响。文章提醒读者,机构对开放研究的重视程度不同,选择时需关注实际工作自主性。
面试准备的技术重点
根据作者经验,LLMs领域的技术面试常围绕系统内部功能展开,建议深入理解attention实现细节、多GPU训练原理、VRAM预估及超参数调整(如quantization),并熟悉正则化技术。此外,准备一个如何与公司合作的具体故事,并展示GitHub或HuggingFace上的实际成果,往往比复杂研究项目更能引起共鸣。
RLHF领域的人才与趋势
作者观察到RLHF研究速度自8月以来明显加快,但当前从事RLHF的人数仍较少,反映了数据行业的挑战。他预计6个月后情况会变化,RLHF应用将更复杂。同时,开源社区已开始掌握RLHF精髓,如HuggingFace推出的70亿参数聊天模型在MT Bench上表现超过Llama 70b,显示该领域正快速演进。
Q&A
生成式AI兴起后,AI研究岗位的市场供需情况如何?
生成式AI和大语言模型领域工作机会众多,但相关专业人才储备不足,导致雇主招聘压力大,供求关系极端。其他领域则相对冷清,但也在逐步恢复。
目前顶尖AI研究员的薪酬水平大概是多少?
顶级研究员(研究成果与《Attention is All You Need》相当)从OpenAI可获得约100万美元年薪;新近博士毕业生在ChatGPT出现前最高约50-60万美元,现在顶尖人才接近85万美元。
AI研究员频繁跳槽的现象有多严重?
员工流动率很高,甚至顶尖研究员加入一家公司后不到半年就离开。这种趋势已从大型科技公司蔓延到整个行业,让许多人感到焦虑和不稳定。
Google DeepMind和Meta在AI研究项目优先级上有何不同?
Google DeepMind将项目分为三类:即将发布的大型模型Gemini、与Gemini相关的短期研究、更长远的基础研究,大部分研究人员集中在前两类。Meta的GenAI技术小组要求成员70%时间改进现有模型,30%时间投入持续研发。
作者在求职时最看重什么?为什么拒绝了一些大公司?
作者希望继续深耕RLHF领域,并保持分享自由(如做Interconnects/podcasting)。因此拒绝了Apple、Google DeepMind等不支持分享或可能成为“螺丝钉”的机会,也因信息不透明或方向不匹配而放弃了一些公司。
对于想找LLMs领域工作的求职者,作者建议掌握哪些技术知识?
建议深入了解attention实现细节(参考nanoGPT)、掌握多GPU训练原理、VRAM使用预估、通过调整超参数(如quantization)减小模型大小,以及熟悉正则化技术(batch norm、dropout、weight decay等)。
作者对开放研究在AI行业的现状有何看法?
作者认为真正重视开放研究和科学的机构并不多。即使有学者心态的研究人员加入,商业现实需求往往成为首要任务,尤其在初创公司。不过,Transformer架构潜力巨大,聚集背景各异的顶尖专家是发掘潜力的最佳方式。