在Databricks Lakehouse平台上使用Spark NLP扩展视觉Transformer(ViT)
原文英文,约1500词,阅读约需6分钟。发表于: 。Introduction Back in 2017, a group of researchers at Google AI published a paper that introduced a transformer model architecture that changed all...
Google Brain在2021年推出了“Vision Transformer”(ViT)用于计算机视觉(CV)任务。ViT模型可以使用Databricks、Nvidia和Spark NLP进行加速和高性能推理。Spark NLP是一个自然语言处理(NLP)库,支持ViT模型进行图像分类。该库可以安装在具有CPU或GPU的Databricks单节点和多节点集群上。基准测试显示,启用oneDNN的GPU上的Spark NLP比CPU快约2.5倍。将规模扩大到10个节点的GPU集群比单节点CPU集群快9.6倍。Spark NLP与Databricks平台完全集成。