Databricks
·
在Databricks Lakehouse平台上使用Spark NLP扩展视觉Transformer（ViT）
原文英文，约1500词，阅读约需6分钟。
📝
内容提要
Google Brain在2021年推出了“Vision Transformer”（ViT）用于计算机视觉（CV）任务。ViT模型可以使用Databricks、Nvidia和Spark NLP进行加速和高性能推理。Spark NLP是一个自然语言处理（NLP）库，支持ViT模型进行图像分类。该库可以安装在具有CPU或GPU的Databricks单节点和多节点集群上。基准测试显示，启用oneDNN的GPU上的Spark NLP比CPU快约2.5倍。将规模扩大到10个节点的GPU集群比单节点CPU集群快9.6倍。Spark NLP与Databricks平台完全集成。
🎯
关键要点
-
Google Brain在2021年推出了“Vision Transformer”（ViT）用于计算机视觉任务。
-
ViT模型可以通过Databricks、Nvidia和Spark NLP进行加速和高性能推理。
-
Spark NLP是一个支持ViT模型进行图像分类的自然语言处理库。
-
基准测试显示，启用oneDNN的GPU上的Spark NLP比CPU快约2.5倍。
-
将规模扩大到10个节点的GPU集群比单节点CPU集群快9.6倍。
-
Spark NLP与Databricks平台完全集成，支持多种机器学习和深度学习任务。
-
Spark NLP提供7000多个预训练模型，支持超过200种语言。
-
在Databricks上，单节点CPU集群和单节点GPU集群的性能对比显示GPU更具优势。
-
Spark NLP可以无缝扩展，从单机到多机无需更改代码。
-
在10节点GPU集群上，Spark NLP的性能比单节点CPU集群快21.4倍。
🏷️
