谷歌BigQuery新增SQL原生托管推理功能,支持Hugging Face模型

谷歌BigQuery新增SQL原生托管推理功能,支持Hugging Face模型

💡 原文英文,约600词,阅读约需2分钟。
📝

内容提要

谷歌在BigQuery推出了第三方生成AI推理功能,允许数据团队通过SQL部署Hugging Face或Vertex AI模型。该功能简化了模型管理,自动配置计算资源,用户只需两条SQL语句即可创建和运行模型,并支持自定义设置,兼容13,000多个Hugging Face文本嵌入模型,提升了数据分析和工程师的效率。

🎯

关键要点

  • 谷歌在BigQuery推出了第三方生成AI推理功能,允许数据团队通过SQL部署Hugging Face或Vertex AI模型。

  • 该功能简化了模型管理,自动配置计算资源,用户只需两条SQL语句即可创建和运行模型。

  • BigQuery的SQL接口使得整个工作流程简化为两条SQL语句,用户可以快速部署模型。

  • 用户可以使用AI.GENERATE_TEXT或AI.GENERATE_EMBEDDING进行推理,直接从BigQuery表中查询数据。

  • 该功能支持生产用例的自定义设置,包括机器类型、复制数量和端点闲置时间。

  • BigQuery支持超过13,000个Hugging Face文本嵌入模型和170,000多个文本生成模型。

  • 数据分析师可以在SQL环境中实验ML模型,而数据工程师可以更简单地构建ML驱动的数据管道。

  • BigQuery与Snowflake的Cortex AI和Databricks的Model Serving竞争,可能因其与Hugging Face模型目录的直接集成而具有优势。

  • 提供了Gemma模型的文本生成和嵌入生成的文档和教程。

延伸问答

谷歌BigQuery的新功能如何简化AI模型的管理?

谷歌BigQuery的新功能通过自动配置计算资源和管理端点,用户只需两条SQL语句即可创建和运行模型,简化了模型管理流程。

用户如何在BigQuery中进行推理?

用户可以使用AI.GENERATE_TEXT或AI.GENERATE_EMBEDDING进行推理,直接从BigQuery表中查询数据。

BigQuery支持多少种Hugging Face模型?

BigQuery支持超过13,000个Hugging Face文本嵌入模型和170,000多个文本生成模型。

BigQuery与其他平台相比有什么优势?

BigQuery的优势在于其与Hugging Face模型目录的直接集成,简化了模型的使用,特别是对于已经在Google Cloud上运行的用户。

如何自定义BigQuery中的模型设置?

用户可以在CREATE MODEL语句中设置机器类型、复制数量和端点闲置时间,以满足生产用例的需求。

数据分析师在使用BigQuery时有什么好处?

数据分析师可以在SQL环境中实验ML模型,无需等待工程资源,从而提高工作效率。

➡️

继续阅读