工作岗位虽然众多，但找到真正适合自己的位置依然困难重重。
现如今，大家都特别关注 AI 研究人员的动态，就像我们关心体育联赛中的球员转会一样。这不只是简单的新闻热点和八卦传闻，从小处看，这可以预测哪些公司可能会领先或落后。往大里说，这也反映了 AI 人才是如何分布的。在 ChatGPT 出现之前，大部分人才多数集中在 Google Brain 和 FAIR 这类机构。但现在，AI 人才分布在各个公司和机构，这也使得对 AI 人才的招聘变得更为困难。(注：OpenAI 除外)
生成式 AI 的兴起对整个招聘市场产生了深远的影响。在生成式 AI 和大语言模型领域，工作机会众多，而其他领域则相对冷清，虽然也在逐步恢复。因此，许多雇主都对招聘到理想人才感到压力重重。很多公司都想研发大语言模型，但相关的专业人才却储备不足。在这样一个供求关系极端的情况下，在找工作的过程很难让人感觉到正常。
而大家对研究人员的关注，无疑证明了 AI 公司在从初步构想转化为实验产品的过程中，对研究人员的迫切需求。这些研究人员确保公司的培训和产品决策与大趋势同步，因为这些趋势可能一夜之间发生巨变。投资在能够迅速判断哪篇最新研究对公司未来发展至关重要的人才上，绝对物超所值。
现在，我们要谈的是 AI 研究员们赚取的巨额薪酬以及他们为此所付出的努力。除了那些深耕学术的少数专家之外，几乎所有人都在权衡两者之间的选择：在未来可预见的时间里获得稳定高额的薪酬，还是赌一把自己的创业项目，即使失败也能赚到“至少数百万”（我确实听过有人这么说）。现在的市场，似乎每个人都在努力寻找机会来赚钱。
这种激烈的竞争正在影响人们选择工作的地方。很多公司的员工流动率都很高，让每个人都感到不安定。大型科技公司是这种趋势的发源地，但现在，这种趋势已经不再局限于这些公司。我甚至看到有些顶尖的研究员加入一家公司后，不到半年就选择离开。很多人都感到焦虑，因为他们发现换了工作也未必比之前好。只要参加一个聚会，听听别人谈论的话题，你就会知道在其他五大竞争对手公司工作到底有多累。我深有体会。
关于薪酬，比如说，一些顶级的研究员，他们的研究成果与 《Attention is All You Need》 这样的论文几乎同样重要，他们从 OpenAI 那里能得到大约 $ 1 million 的年薪。而新近获得博士学位的毕业生，在 ChatGPT 出现之前最高的薪酬大概是 $500-600k，但现在对于顶尖的人才，这个数字已经接近 $850k（可以参考今年早些时候的数据报告）。只要你对 GenAI 表现出一丝兴趣，你的薪酬也会随之上涨。
Google 在招聘方面的动向可以很好地反映出该领域的趋势。大家都知道，Google DeepMind 将其所有的项目分为三大类：1) 首先是即将发布的大型模型 Gemini；2) 其次是与 Gemini 相关的短期研究；3) 最后是一些更为长远的基础研究。而有趣的是，Google DeepMind 的大部分研究人员都在前两类项目中工作，尤其是第一类。。
另一个行业的佼佼者是 Meta。但现在，他们对项目的优先级有了新的定义。简而言之，根据 Llama 团队的说法，Meta 的 GenAI 技术小组的每位成员都应该把 70% 的时间用于改进现有的技术模型，而把剩下的 30% 的时间投入到持续的研发中。这种方式我觉得更合适。不过，大家可能很快就会知道 Meta 正在哪些技术领域（比如 LLM、文字转图片、音频等）下功夫，并且他们会迅速推动这些模型的进步。
总体来说，真正重视开放研究和科学的机构并不多。即使有学者心态的科研人员加入，商业的现实需求往往会成为他们的首要任务，特别是在初创公司。
不过，令我最为期待的是，Transformer 这一技术架构的发展潜力巨大，超乎我们的想象。聚集一批有共同兴趣但背景各异的顶尖专家，无疑是充分发掘这一技术潜力的最佳方式。
学术视角
在机器学习的学术界，虽然他们可能面临着在短期内难以跟上计算技术的发展步伐，但他们仍在生成式 AI 革命中扮演着重要角色。他们在后续的模型优化、社会影响分析以及特定场景的模型微调等方面仍有很大的发挥空间。
我们已经观察到，一些学者更注重实际成果而非单纯的学术发表。比如 LMSYS 就是很好的例子，他们不仅训练出了 Vicuna 模型，还为大家提供了方便的推理和训练平台，并收集了大量模型对比数据。这些都是独立的里程碑，而并不是所有的成果都被写成了论文。
同时，像 EluetherAI 和 LAION 这样的线上研究团队也持续蓬勃发展。
我很好奇，接下来我会先发现哪个团队或个人的杰出贡献。我发现自 8 月份以来，以 Arxiv 条目数为标准，RLHF 研究的速度明显加快了。而且，随着新一批的研究生的加入，新的研究理念也开始涌现，例如由 ChatGPT 带来的新思路。
以下是我对未来的一些看法：
-
由于大型科技公司参与度的下降，顶级机器学习会议的论文提交量可能会有所减少。
-
未来选择机器学习专业的研究生人数可能会有所变动。毕竟，随着 AI 行业的兴起，选择攻读 AI 相关博士的经济成本也在增加，这也促使学生们更加深入思考研究生教育的真正意义。
我找工作的经历
我刚在 HuggingFace 完成了一段很棒的合作经历，这其中我学到了很多，我在这里分享了一些心得。但我最深刻的体会是 做出卓越的成果比让人们看到这些成果更困难。不论对 HuggingFace 这种初创公司的推广策略持何种态度，他们都很清楚如何在公众中提升自己的知名度。知道自己即将转行，我开始了解和探索各种工作机会。
我分享了自己博士毕业时的求职之路，这篇文章获得了不少关注。文章里的建议，比如建立人脉、主动求职、提高个人知名度和保持乐观等，都很实用。这次，我主要谈论了自己在一个非常专业和热门的领域中的求职经历，并且我对自己的求职目标有了更明确的认识。
我希望找到一个能够让我继续在 RLHF 领域深造，并且支持我做 Interconnects/podcasting 的公司。而我并不想在大公司里当一个螺丝钉，或者在一个不支持分享的公司工作。因此，我放弃了与 Apple、Google DeepMind（它们在 RLHF 领域招聘很多人）、Boston Dynamics AI Institute 和一些初创公司的交谈。
有时即使我们有明确的目标，也很难始终坚持。很多公司提供的诱人待遇，让我多次动摇，花费了很多时间去权衡。
有些公司我非常喜欢，但他们很难告诉我具体的工作内容。这是因为很多公司都在努力建立团队，开展 RLHF 或相关项目。而我今年已经投入了大量时间和精力在 RLHF 项目上，所以对于重复之前的工作并不感兴趣。
总的来说，很多时候，我们无法预知未来的工作内容，也不能完全按照自己的意愿选择方向。一些不太重视学术的公司，可能会给你一个大致的工作方向。我知道如果去到一个方向感觉很强的公司，我可能会感到不适，因为我非常喜欢 HuggingFace 的自由工作环境。像 OpenAI 和 Gemini 这样的公司，在工程方面是非常有组织的例外。而我并不想只是一个执行者，这并不是我的强项。另外，我听说 Anthropic 现在几乎不招人，他们对自己已有的 RLHF 工具很满意，更多的是使用而不是进一步的开发。
这让我面临了几个选择，我为了读者和粉丝的好奇心，暂时保密了我的最终选择：
-
Cohere for AI：我曾有机会成为其中的 “RL” 专家。这个团队虽小，但都是精英，他们不仅从事研究，还鼓励团队中有志于发表的工程师发表成果，致力于提升那些在科研界鲜有代表的群体。但考虑到我过去的经验，我对加入不是核心团队的机会有些保留。
-
Allen Institute for AI：这是一个意外之喜。他们原本介于学术研究与工程之间，现在更偏向于实际的工程开发，尤其是在 NLP 领域。与他们的交流让我觉得，他们对 RLHF 技术的采纳略显迟缓，但现在却急需人才来帮助他们深入了解。
-
Scale AI：他们的目标是进入 RLHF 研究领域，并与他们快速增长的业务形成良好的协同效应。这听起来非常吸引人，但我和他们的团队沟通时，总觉得有点“化学反应”不强烈。加上可能的高强度工作，我觉得现在的我还没准备好。
-
Mosaic, 现为 Databricks (offer): Mosaic，像许多初创公司一样，致力于让 RLHF 技术变得用户友好和有实际影响。他们的团队实力雄厚，并且很可能会继续发布一些模型或论文给大众。这对我来说是个好消息。但对于在公司被收购后加入的想法，我持保留态度。因为工作的积极性可能会降低，公司政策也可能会调整。我曾担心 Databricks 在开放性上可能不如 Mosaic，因为他们的主要客户都是那些愿意为他们的数据产品大笔支付的。事实上，许多公司在近年来都在减少其在 ML 领域的开放度，这样的情况可能再次发生。
-
Meta, Llama Team (rejected after onsite): 这个机会很直接，即在一段时间内研究最前沿的开源模型。虽然我对于加入大公司感到犹豫，但如果你注重开放科学，那么 Meta 是一个值得考虑的选择。
-
Google DeepMind (withdrawn): Google 正在积极招聘 RLHF 相关人才。与我交流的最不透明的公司无疑是 Google。尝试了解具体的工作内容总是像玩猜谜游戏。在我了解的几个团队中，他们似乎都有自己的专长，并在这基础上进行研究。不可否认，他们拥有的资源和技术平台是一流的。其中两个领域吸引了我，一个是多模态 RLHF，另一个是 LLM 代理。但由于信息过于笼统，使得与 Llama 团队相比，这个机会似乎不太吸引人。这也是我后来没有太过追求这次面试的原因。
-
Contextual AI (口头邀约)：我曾与很多初创公司交谈，情境 AI 的经营方法真的让我印象深刻。他们明确地表达了他们的立场，但首先他们关注的是与客户建立深厚的关系和构建不同的模型流程。当我思考情境 AI 所做的出色工作时，我更进一步认识到了我之前对 Mistal 这样只注重模型训练的公司的质疑 —— 如果你不及时与客户建立关系，那些希望购买生成式 AI 的公司就会选择其他供应商。而如果你不重视建立一种客户为中心的公司文化，那么公司就只能赌一把，希望被其他大公司收购。我与 Contextual AI 的创始人很熟悉，他们给我提供了一个结合技术和科学沟通的角色，这让我非常激动。如果他们的公司在旧金山，而我不需要长时间通勤，我想我可能已经选择加入他们了。
我考虑的所有职位都是非常积极的选择。我感到非常幸运能有这样的机会。目前进行 RLHF 的人数还是比较少的，这也反映了当前数据行业的某些挑战。但我相信，6 个月后，情况会发生变化，但 RLHF 的应用将更为复杂。
可能你会问我：“为什么没有选择与 XXX 公司交谈”：其实，OpenAI 并不真的需要我。他们已经有很多 RLHF 专家，并且似乎他们的研究领域与我不完全匹配。我没有全力以赴地尝试加入他们。虽然我曾轻微地尝试了 Anthropic，但他们似乎并不急于招聘研究人员。Inflection 拒绝了我的在线申请，但我也没有深入地尝试与那里的人交流。确实，有些地方我有机会得到人们的介绍，但除非他们一开始就非常看重我，我觉得没有必要投入太多时间和精力。
轻松的面试体验
这次的面试过程相对轻松，因此我没有像之前分享找工作经验时那样详细描述时间和步骤。更多的是与研究人员的交流、编程测试以及探讨合适的职位。如果你想在 LLMs 领域找工作，很多问题都围绕着系统内部各个部分的功能。我建议你掌握以下知识：
-
深入了解 attention 的实现细节。可以参考 nanoGPT 或其他众多资源。
-
掌握多 GPU 的训练原理、如何预估 VRAM 的使用以及如何通过调整超参数（如 quantization）来减小模型的大小。
-
熟悉正则化技术，如 batch norm、dropout 和 weight decay 等。
这些基本上涵盖了大部分的技术面试内容。当然，你可能需要估计某些程序的运行时间，但这主要出现在那些面试方式比较老旧、不那么吸引人的公司中。
除技术外，为每家公司准备一个你将如何与他们合作的故事。如果你总是重复同样的答案，你的反馈可能会比较有限（除非你已经是行业名人）。此外，我注意到许多公司都会查阅我在简历上提到的 GitHub 项目和 HuggingFace 的成果，这些往往比复杂的研究项目更容易引起共鸣。
个人感受是，从两年前开始，大家对强化学习的态度变得更为重视。这证明了该领域的进步，特别是得益于 RLHF 的贡献，我为此感到兴奋。
另外分享：
-
我最近参与的 HuggingFace 团队推出了一个拥有 70 亿参数、基于 RLHF 训练的先进聊天模型。它在 MT Bench 的表现超过了 Llama 70b 聊天模型，这让我认为开源社区已经开始掌握 RLHF 的精髓了。
更多模型详情可以查看 这里，我们还在 这里 创建了一个相关的项目库。
-
Francois Chollet 分享了一篇精彩的文章，深入探讨了 LLMs、word2vec 和 attention 的神奇联系。这篇文章是我近期读到的机器学习方面的佳作。
-
来自 OpenAI 的 Hyung Won Chung 发表了一次关于 LLMs 的讲座，其中详细概述了训练过程的各个环节。其中一个亮点：由于 RLHF 的目标函数非常灵活，所以我们可以取得更好的效果。
其他事项：
-
Interconnects 的特别推广： 如果你通过 Interconnects 排行榜 的推荐链接订阅，你可以获得一个免费的付费订阅资格。你的分享将为这个博客带来巨大的帮助。
-
专为学生提供的折扣： 如果你想享受大额学生折扣，请查看我们的关于页面。
-
喜欢我们的内容吗？ 你的评论和点赞是 Interconnects 成长的动力！
想知道大家的看法？HackerNews 上有更多的评论。
特此鸣谢 Taylor Killian 的建议和鼓励。
