内容提要
LLM因缺乏专业领域专有词汇训练而效果受限。可让LLM从组织文档、邮件、聊天记录中生成术语表,识别新词及用法异常的旧词,按词典格式给出精确定义,再由专家审核。术语表应便于LLM查询、纳入版本控制并定期更新。大型组织宜按限界上下文分别建表,而非统一标准。术语表还可用于代码生成、命名检查,并标注禁用或弃用术语。
延伸解读
术语表生成的关键:识别“旧词新用”
文章指出,LLM生成术语表时不仅要找出新词,更要识别那些已知但用法异常的旧词,后者往往造成最大混淆。这意味着生成提示应明确要求模型标注“熟悉词汇的陌生用法”,并给出上下文差异说明。对于组织内已有大量通用词被赋予特殊含义的场景,这一步骤能显著提升术语表的实用价值。
按限界上下文分表,而非追求统一标准
作者强烈建议不要创建单一标准术语表,因为大型组织不同部门对同一术语常有微妙差异。更有效的做法是按限界上下文分别建表,让LLM按需查询相关表。术语表的价值不在于锁定唯一定义,而在于凸显不同语境下的用法差异。对比不同术语表(尤其是代码库与人类文档)能揭示有价值的上下文区别。
术语表在Agentic Engineering中的落地用法
术语表可直接用于代码生成,使生成的软件命名符合企业词汇;也可作为检查工具,验证代码内部和用户界面是否使用了正确术语。此外,术语表应包含禁用或弃用术语及替代建议,并标注生效时间段。对于大型术语表,可先只提供术语和定义链接,让模型按需获取完整定义,以节省上下文token。
维护机制:版本控制与定期刷新
生成术语表后需由领域专家审核修正,然后放在便于LLM查询的位置,并纳入版本控制以追踪变化。应建立定期审查和刷新计划,由代理和人类共同参与。这一维护闭环确保术语表随组织语言演变而更新,避免因过时定义导致LLM理解偏差。文章强调这是简单但有用的基础工作,可推动领域建模和显式上下文层建设。
Q&A
LLM在专业领域效果不好,有什么办法可以改善?
可以让LLM从组织文档、邮件、聊天记录等材料中生成该领域的术语表,识别新词和用法异常的旧词,按词典格式给出精确定义,再由专家审核。术语表可供其他LLM查询使用,从而提升LLM在该领域任务中的效果。
如何让LLM生成一个专业领域的术语表?
让LLM从组织内的文档、邮件、聊天记录等文本中提取专业词汇(包括单词和多词短语),识别新词及用法异常的旧词,然后按词典格式生成定义,要求精确简洁。对于一词多义的情况,提供不同定义并注明上下文差异。生成草稿后由领域专家审核修正。
生成的术语表应该怎么管理和维护?
术语表应放在便于LLM查询的地方,并尽量减少查询时消耗的token。需要定期由代理和人工审查更新,并纳入版本控制以跟踪变化。对于大型组织,宜按限界上下文分别建立术语表,而不是创建统一标准术语表。
为什么大型组织不应该只建一个统一的术语表?
大型组织中不同地方对术语的定义常有微妙差异,这符合领域驱动设计中的限界上下文概念。统一标准术语表往往难以奏效,而按限界上下文分别建表能突出术语在不同上下文中的用法差异,LLM可根据任务需要查询相关术语表。
术语表在代码生成和检查中有什么用途?
术语表可以指导代码生成,使生成的软件中的命名符合企业特定词汇。在 harness 中的传感器可以检查代码内部和用户界面是否使用了这些术语。此外,术语表还可包含禁用或弃用术语,并建议替代词,避免内部术语暴露给客户造成混淆。
如何比较不同限界上下文的术语表?
可以比较不同限界上下文的术语表,或者让LLM比较并描述用法差异。比较从源代码衍生的术语表与人类文本的术语表尤其有启发性。如果术语表很大,可以只将术语和定义链接作为初始上下文,模型按需通过链接获取完整定义。