DEV Community
·
在Go中计算发送给LLM的Token数量（第二部分）
💡
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
本文介绍了如何使用Golang编写应用程序，计算用户发送给LLM的文本中的token数量。代码通过Huggingface获取tokenizer列表，允许用户选择LLM和文本文件，旨在深入理解token计算的机制。
🎯
关键要点
- 本文介绍了如何使用Golang编写应用程序，计算用户发送给LLM的文本中的token数量。
- 代码通过Huggingface获取tokenizer列表，用户需要提供HF token。
- 实现部分包括选择LLM和文本文件的对话框，旨在深入理解token计算机制。
- 代码中定义了多个模型ID供测试使用，包括IBM的Granite和Meta的LLama。
- 程序通过对话框让用户选择LLM，并显示所选模型的tokenizer类。
- 用户选择文本文件后，程序读取文件内容并计算token数量。
- 作者希望通过此项目学习token计算的内部机制，并探索不同LLM的计算方式。
- 在执行代码时，用户可以选择所需的LLM，并下载tokenizer文件进行本地使用。
- 项目的最终目标是创建一个能够确定用户查询中token数量的Golang程序。
🏷️
标签
➡️
