SemanticKernel之LLama3案例
内容提要
本文介绍了如何在SK中使用开源模型LLama3。首先引入Nuget包，然后下载LLama3模型并运行。通过LLamaSharpChatCompletion进行聊天，可以准确回答专业问题。效果很好，且不需要key，轻松跑。
延伸解读
本地运行LLama3的硬件与配置要点
文章示例中使用了LLamaSharp的CPU后端包，并设置GpuLayerCount为5，表明即使没有独立显卡也能运行，但会利用部分GPU层加速。模型文件为gguf格式，路径指向llama-2-coder-7b.Q8_0.gguf，注意实际下载的LLama3模型需替换此路径。ContextSize设为1024，适合轻量对话，但可能限制长上下文处理。
无需API密钥的便利与潜在限制
使用LLamaSharpChatCompletion连接本地LLama3模型，完全避免了OpenAI API的密钥和费用问题，适合个人开发或测试。但文章也指出模型响应速度较慢，且能力不如GPT强大。这意味着在需要高性能或实时交互的场景中，本地小模型可能不是最佳选择，更适合对成本敏感、对速度要求不高的任务。
在SemanticKernel中集成开源模型的步骤
集成过程清晰：先通过NuGet引入LLamaSharp、LLamaSharp.Backend.Cpu和LLamaSharp.semantic-kernel三个包，然后加载gguf模型文件，创建StatelessExecutor，再包装为LLamaSharpChatCompletion。之后便可像使用OpenAI服务一样调用GetStreamingChatMessageContentsAsync进行流式对话。这为SK用户提供了除OpenAI之外的可行替代方案。
Q&A
如何在SemanticKernel中使用LLama3模型？
首先引入Nuget包LLamaSharp及其CPU包，然后下载LLama3模型，最后通过LLamaSharpChatCompletion进行聊天。
LLama3模型的文件扩展名是什么？
LLama3模型的文件扩展名是gguf。
使用LLama3模型进行聊天时需要API密钥吗？
使用LLama3模型进行聊天时不需要API密钥。
LLama3模型的运行效果如何？
LLama3模型的运行效果良好，虽然速度较慢，但能够准确回答专业问题。
如何设置LLama3模型的参数？
可以通过ModelParams类设置模型路径、上下文大小、随机种子等参数。
LLama3模型适合哪些使用场景？
LLama3模型适合用于专业问题的聊天和对话生成。
