AI评估员：史上最重要的AI工作？开发者如何填补这一拟议新职位
内容提要
Anthropic CEO Dario Amodei 呼吁加强前沿AI监管，建议允许第三方评估员常驻各公司核查安全实践，获Altman、Musk、Hassabis、扎克伯格赞同。METR等机构正招聘此类评估员，年薪最高约68.7万美元，要求极高。专家强调评估员须有足够权限发现隐患，否则只是多一层流程。
延伸解读
行业共识背后的动机
Amodei的提议迅速获得Altman、Musk、Hassabis和扎克伯格等竞争对手的赞同，这在前沿AI领域实属罕见。Palo Alto Networks CEO Nikesh Arora指出，这种放缓意愿令人费解，但若整个系统慢下来，竞争规则可能对所有人一致。这暗示共识可能源于对竞争格局的重新考量，而非单纯的安全关切。
评估员职位的现实门槛
METR为评估员开出的年薪最高约68.7万美元，但要求极为苛刻：需要擅长失控威胁建模、能独立在未知中摸索。Mercor类似职位年薪18万至30万美元，要求博士或硕士学历及两年以上相关经验。AI安全顾问Kadan Stadelmann则认为，行业更看重实际工程能力而非博士学位，这反映了该角色对实战技能的侧重。
独立监督的关键条件
Indie Me CEO Dion Johnson强调，评估员若只能在方便时提出关切，就只是多了一层流程，而非独立监督。他们需要足够权限看到训练中的失败、意外行为以及团队自身的不确定性。这要求评估员具备在发布日直言“我不信服”的判断力和勇气，而不仅是技术深度。
小实验室的评估困境
Stadelmann指出，评估员可能无法跟上大型前沿模型公司的步伐，导致依赖公司内部伦理。部分评估工作由第三方非营利组织资助以保护独立性，但成本仍是小实验室的障碍。此外，许多有价值的小实验室可能被大公司收购，进一步集中评估资源，削弱独立监督的多样性。
Q&A
什么是AI评估员？他们的主要职责是什么？
AI评估员是嵌入前沿AI公司的第三方专业人员，其职责包括验证公司对安全实践和承诺的遵守情况、报告事件，并帮助评估AI模型以及训练流程和过程的对齐情况。他们需要拥有类似员工的访问权限，以发现潜在隐患。
为什么AI评估员被认为是史上最重要的AI工作之一？
因为AI领导者们一致认为需要独立评估员来确保前沿AI模型的安全开发。Anthropic CEO Dario Amodei呼吁加强监管，建议允许第三方评估员常驻公司核查安全实践，并获得了Sam Altman、Elon Musk、Demis Hassabis和Mark Zuckerberg等AI领袖的赞同。这反映了行业对AI安全风险的共同担忧。
AI评估员的薪资和任职要求如何？
根据METR的招聘信息，AI评估员的年薪最高可达约68.7万美元，但要求极高：需要具备出色的失控威胁建模和安全性论证分解能力，以及独立、自驱、创造性强等特质。其他公司如Mercor提供的类似职位薪资在18万至30万美元之间，要求博士或硕士学位，以及两年以上计算机科学、电气工程、计量经济学或其他STEM领域的工作经验。
AI评估员在实际工作中具体做哪些事情？
AI评估员的工作包括：被邀请进入实验室探测多种风险向量，如现实条件下的代理行为；监控思维链和提示；建立客观标准，评估AI系统的自主性以及完成特定任务所需时间；最重要的是监控团队对其声称的安全实践的遵守程度。他们需要拥有足够的访问权限，以看到不舒适的内容，而不仅仅是精心准备的演示。
AI评估员面临哪些挑战和限制？
挑战包括：评估员可能无法跟上大型前沿模型公司的步伐，导致失控并依赖公司内部伦理；小型实验室可能被大公司收购，影响独立性；评估员的访问权限可能受合同限制，波动很大；如果评估员只能在方便时提出担忧，那么独立监督就只是多了一层流程。此外，成本可能成为小型实验室的障碍，尽管有些评估工作由第三方非营利组织资助。
成为AI评估员需要哪些关键技能和特质？
关键技能包括：技术深度、机器学习环境安全经验、软件工程能力；失控威胁建模和安全性论证分解能力；能够适应不确定性，并且极度不愿假装知道不知道的事情；具备判断力和勇气，能在AI模型发布日面对一群聪明人说“我不信服”。此外，需要独立、自驱、创造力强，因为工作新颖，需要自己摸索。
