InfoQ
·
谷歌BigQuery新增SQL原生托管推理功能，支持Hugging Face模型
内容提要
谷歌在BigQuery推出了第三方生成AI推理功能，允许数据团队通过SQL部署Hugging Face或Vertex AI模型。该功能简化了模型管理，自动配置计算资源，用户只需两条SQL语句即可创建和运行模型，并支持自定义设置，兼容13,000多个Hugging Face文本嵌入模型，提升了数据分析和工程师的效率。
关键要点
-
谷歌在BigQuery推出了第三方生成AI推理功能，允许数据团队通过SQL部署Hugging Face或Vertex AI模型。
-
该功能简化了模型管理，自动配置计算资源，用户只需两条SQL语句即可创建和运行模型。
-
BigQuery的SQL接口使得整个工作流程简化为两条SQL语句，用户可以快速部署模型。
-
用户可以使用AI.GENERATE_TEXT或AI.GENERATE_EMBEDDING进行推理，直接从BigQuery表中查询数据。
-
该功能支持生产用例的自定义设置，包括机器类型、复制数量和端点闲置时间。
-
BigQuery支持超过13,000个Hugging Face文本嵌入模型和170,000多个文本生成模型。
-
数据分析师可以在SQL环境中实验ML模型，而数据工程师可以更简单地构建ML驱动的数据管道。
-
BigQuery与Snowflake的Cortex AI和Databricks的Model Serving竞争，可能因其与Hugging Face模型目录的直接集成而具有优势。
-
提供了Gemma模型的文本生成和嵌入生成的文档和教程。
延伸解读
简化的工作流程
谷歌BigQuery的新功能通过SQL简化了机器学习模型的部署流程。用户只需两条SQL语句即可创建和运行模型，极大降低了技术门槛。这意味着数据团队可以更快地进行实验和分析，而不必担心复杂的基础设施管理。
自定义设置的灵活性
新功能支持用户在创建模型时进行自定义设置，包括机器类型和复制数量。这种灵活性使得用户能够根据具体的生产需求优化资源配置，从而提高模型的性能和成本效益。
与竞争对手的比较
BigQuery的推出使其与Snowflake的Cortex AI和Databricks的Model Serving形成竞争。BigQuery的优势在于与Hugging Face模型目录的直接集成，这为使用谷歌云的用户提供了更便捷的选择。
延伸问答
谷歌BigQuery的新功能有什么主要优势？
该功能简化了模型管理，用户只需两条SQL语句即可创建和运行Hugging Face或Vertex AI模型，自动配置计算资源。
如何在BigQuery中部署Hugging Face模型？
用户可以使用CREATE MODEL语句指定模型ID，BigQuery会自动配置计算资源并完成部署。
BigQuery支持多少种Hugging Face模型？
BigQuery支持超过13,000个Hugging Face文本嵌入模型和170,000多个文本生成模型。
BigQuery的SQL接口如何简化机器学习工作流程？
整个工作流程简化为两条SQL语句，用户可以快速部署和运行模型，无需管理复杂的基础设施。
用户如何自定义BigQuery中的模型设置？
用户可以在CREATE MODEL语句中设置机器类型、复制数量和端点闲置时间等参数。
BigQuery与其他平台相比有什么竞争优势？
BigQuery直接集成Hugging Face模型目录，可能在用户体验上优于Snowflake和Databricks。
