陈少文的博客
·
HuggingFace 的模型和数据操作
原文中文，约6500字，阅读约需16分钟。
📝
内容提要
HuggingFace提供了模型和数据集的操作接口，方便下载、使用和保存。模型操作包括自定义存储目录、下载、加载和保存。数据集操作包括下载、查看、过滤、映射、排序、乱序和导出。
🎯
关键要点
-
HuggingFace 提供模型和数据集的操作接口，方便下载、使用和保存。
-
模型操作包括自定义存储目录、下载、加载和保存。
-
数据集操作包括下载、查看、过滤、映射、排序、乱序和导出。
-
自定义存储目录可以通过设置环境变量 HF_HOME 实现。
-
模型下载方法包括页面下载、Git LFS 下载、huggingface-hub 下载和 transformers 下载。
-
加载和保存模型可以使用 transformers 库中的相关方法。
-
使用模型前需要安装 transformers 和 torch 依赖。
-
数据集下载需要安装 datasets 库，并可以通过 load_dataset 方法下载。
-
数据集可以通过查看、随机选取、更新列名、过滤、映射、排序和乱序等操作进行处理。
-
导出数据集可以使用 save_to_disk 方法。
🏷️
