520：送你自己一个小小的安全大模型
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本文介绍了通过给ChatGLM喂web安全的书籍进行微调的思路和步骤，包括将pdf书转换成txt格式，使用ChatGPT接口生成适合的问题和答案，最后将整本书转换成问答的数据集。通过测试集和验证集评价微调模型和ChatGPT的回答，最终生成的问答示例表明模型具有一定的web安全知识。
🎯
关键要点
- 背景：大模型LLM的普及使个人也能参与安全模型的训练，硬件壁垒已降低。
- 思路：通过微调ChatGLM，使其获得web安全知识。
- 步骤：使用tesserocr将pdf转换为txt，利用ChatGPT生成问答对，最终形成问答数据集。
- 结果：通过一部中文web安全书籍生成约2K个问答样本，使用测试集和验证集评估模型表现。
- 训练过程：使用A100卡进行训练，训练集loss为0.01，测试集loss为0.3。
➡️
