在Databricks Lakehouse平台上使用Spark NLP扩展视觉Transformer（ViT）

Google Brain在2021年推出了“Vision Transformer”（ViT）用于计算机视觉（CV）任务。ViT模型可以使用Databricks、Nvidia和Spark NLP进行加速和高性能推理。Spark NLP是一个自然语言处理（NLP）库，支持ViT模型进行图像分类。该库可以安装在具有CPU或GPU的Databricks单节点和多节点集群上。基准测试显示，启用oneDNN的GPU上的Spark NLP比CPU快约2.5倍。将规模扩大到10个节点的GPU集群比单节点CPU集群快9.6倍。Spark NLP与Databricks平台完全集成。