陈少文的博客
·
HuggingFace 的模型和数据操作
💡
原文中文，约6500字，阅读约需16分钟。
📝
内容提要
HuggingFace提供了模型和数据集的操作接口，方便下载、使用和保存。模型操作包括自定义存储目录、下载、加载和保存。数据集操作包括下载、查看、过滤、映射、排序、乱序和导出。
🎯
关键要点
- HuggingFace 提供模型和数据集的操作接口，方便下载、使用和保存。
- 模型操作包括自定义存储目录、下载、加载和保存。
- 数据集操作包括下载、查看、过滤、映射、排序、乱序和导出。
- 自定义存储目录可以通过设置环境变量 HF_HOME 实现。
- 模型下载方法包括页面下载、Git LFS 下载、huggingface-hub 下载和 transformers 下载。
- 加载和保存模型可以使用 transformers 库中的相关方法。
- 使用模型前需要安装 transformers 和 torch 依赖。
- 数据集下载需要安装 datasets 库，并可以通过 load_dataset 方法下载。
- 数据集可以通过查看、随机选取、更新列名、过滤、映射、排序和乱序等操作进行处理。
- 导出数据集可以使用 save_to_disk 方法。
🏷️
标签
➡️
