Mobility
·
用LLM管理安全开发规范：一次llm-wiki实践
内容提要
本文探讨了如何利用大语言模型（LLM）管理安全开发规范，通过建立llm-wiki中间层，将原始文档编译成结构化数据，以提升文档的可查找性和维护性。作者分享了实现过程，包括生成操作手册、收集原始素材、让LLM生成Wiki层以及最终规范文档的生成。经过多轮迭代和细化，最终形成了高效的知识管理系统，显著改善了文档的使用体验和更新机制。
关键要点
-
安全开发规范文档越来越多，但查找困难，导致新人入职和故障总结时效率低下。
-
Karpathy提出的llm-wiki思路，通过建立Wiki中间层，将原始文档编译成结构化数据，提升文档的可查找性。
-
实现过程包括生成操作手册CLAUDE.md、收集原始素材、让LLM生成Wiki层以及最终规范文档的生成。
-
收集的原始素材包括多种格式的安全开发规范文档和故障复盘报告，保持原貌不做修改。
-
LLM生成的Wiki层经过多轮迭代，逐渐形成，解决了交叉引用和逻辑关系不清晰的问题。
-
最终生成的规范文档具有清晰的结构和交叉引用，提升了阅读体验和使用效果。
-
更新机制高效，LLM能够自动更新Wiki层和规范文档，保持内容的时效性。
-
在实施过程中，遇到的挑战包括Wiki质量不稳定、交叉引用断裂和处理非结构化素材效率低，均通过细化规范和手动整理等方式解决。
-
llm-wiki方法将文档管理转变为知识工程，降低了维护成本，提升了可持续性。
延伸解读
文档管理的转变
传统的文档管理往往依赖于人工维护，随着时间推移，文档容易变得混乱和过时。而通过llm-wiki方法，文档管理被转变为知识工程，利用大语言模型自动化维护，降低了维护成本，提高了文档的可持续性。
迭代与优化的重要性
在实施llm-wiki过程中，初版Wiki往往存在质量波动和交叉引用问题。通过多轮迭代和细化规范，能够逐步提升Wiki的质量和结构化程度。这一过程强调了持续优化的重要性，确保最终文档的准确性和实用性。
处理非结构化素材的挑战
在收集原始素材时，可能会遇到格式不一和质量参差不齐的问题。对于低质量的非结构化素材，手动整理成结构化格式虽然增加了前期工作量，但能显著提高后续处理的效率和最终输出的质量。
延伸问答
如何利用LLM提升安全开发规范的查找性？
通过建立llm-wiki中间层，将原始文档编译成结构化数据，从而提升文档的可查找性。
llm-wiki的实现过程包括哪些步骤？
实现过程包括生成操作手册CLAUDE.md、收集原始素材、让LLM生成Wiki层以及最终规范文档的生成。
在使用LLM管理文档时遇到的主要挑战是什么？
主要挑战包括Wiki质量不稳定、交叉引用断裂和处理非结构化素材效率低。
最终生成的规范文档有哪些特点？
最终文档具有清晰的结构、交叉引用，并解释每条规范的原因，关联真实的故障案例。
如何保持llm-wiki的更新机制高效？
只需将新文件放到raw/sources/目录下，LLM会自动更新Wiki层和规范文档。
llm-wiki方法如何降低文档维护成本？
通过将维护工作转移给LLM，人类只需提供原始素材和检查LLM的工作，从而降低维护成本。
