再现亚马逊新的人工智能生成功能:产品评论摘要 [译]

再现亚马逊新的人工智能生成功能:产品评论摘要 [译]

💡 原文中文,约8500字,阅读约需21分钟。
📝

内容提要

亚马逊于2023年推出AI生成的“顾客说”评论摘要功能。本文介绍如何用Weaviate向量数据库和OpenAI的gpt-3.5-turbo复现该功能,采用生成式反馈循环:先导入音乐器材评论数据集,按产品检索评论并嵌入提示模板生成摘要,再存回数据库。示例摘要准确概括了价格实惠、有效消除爆音等要点。实际应用还需改进提示工程、处理超长评论及筛选可靠评论。

🔎

延伸解读

生成式反馈循环:从数据到摘要再回存

文章的核心实现思路是“生成式反馈循环”:先从向量数据库中按产品检索评论,将评论文本嵌入提示模板,调用大语言模型生成摘要,再将摘要作为新数据对象存回数据库。这一循环让原始评论与生成摘要形成可追溯的关联,便于后续查询和扩展。读者可借此理解,AI摘要并非一次性输出,而是可被系统持续复用和迭代的数据资产。

向量数据库与LLM的集成方式

示例使用Weaviate的嵌入式选项和OpenAI的gpt-3.5-turbo,通过Weaviate内置的生成模块直接调用模型,无需额外安装包。模式定义时对product_id和reviewer_id跳过向量化以降低推理成本,仅对评论文本进行向量化。这种设计表明,在构建类似功能时,可以按需选择向量化字段,平衡成本与检索能力。

示例摘要的效果与局限

针对音乐器材评论数据集中的一款防喷罩,生成的摘要准确概括了价格实惠、有效消除爆音、双网过滤、金属夹稳固等要点,并提及鹅颈管需小心定位的次要问题。这说明该方法能提取多评论中的共性观点。但文章也指出,实际应用还需改进提示工程、处理超长评论以及筛选可靠评论,当前示例仅验证了基本流程的可行性。

❓

Q&A

亚马逊的AI评论摘要功能是什么?它有什么特点?

亚马逊于2023年8月14日推出了一项生成式AI功能,名为“顾客说”,位于商品评论区顶部。它利用AI将成千上万条经过验证的用户评论总结成一小段文字,描述顾客感受,并明确声明由AI生成。功能中还包含跨评论提及的AI生成产品特性,便于顾客筛选提及这些特性的评论。目前该功能处于试验阶段,仅向美国部分移动端用户和选定商品提供。

如何用Weaviate和OpenAI复现亚马逊的评论摘要功能?

复现步骤基于“生成式反馈循环”:1. 使用Weaviate向量数据库存储评论数据,并集成OpenAI的gpt-3.5-turbo作为生成模型。2. 导入Amazon Musical Instruments Reviews数据集(约1万条评论)。3. 定义模式,将评论数据(review_text、product_id、reviewer_id)存入Weaviate,跳过向量化以节省成本。4. 对于每个产品,检索其所有评论,嵌入提示模板“Summarize these customer reviews into a one-paragraph long overall review:{review_text}”,通过Weaviate的生成式搜索生成摘要。5. 将生成的摘要与产品ID一起存入新的Products数据集。

生成式反馈循环是什么?它在评论摘要中如何应用?

生成式反馈循环是一种概念:从数据库中提取信息,用以触发生成模型创造新数据,然后将新数据存回数据库。在评论摘要应用中,首先从Weaviate数据库中检索特定产品的所有评论,将这些评论嵌入提示模板,输入给OpenAI的gpt-3.5-turbo生成摘要,最后将摘要存回数据库(Products类)。这样循环往复,可以为所有产品生成摘要。

复现评论摘要功能需要哪些准备工作?

需要准备:1. 数据库:使用Weaviate向量数据库,可采用Embedded选项进行实验,无需注册或配置API密钥。2. 生成模型:使用OpenAI的gpt-3.5-turbo,需设置OPENAI_API_KEY环境变量。3. 数据集:选用Amazon Musical Instruments Reviews数据集(CC0许可),包含10,254条评论,覆盖900种产品。4. 安装weaviate-client包,并确保OpenAI生成模块已集成到Weaviate中。

生成的评论摘要效果如何?能举个例子吗?

生成的摘要能准确概括评论的主要观点。例如,对于产品ASIN 1384719342(一款防喷罩),摘要指出:顾客高度满意,称赞其有效过滤喷音,录音清晰;尽管价格低,但性能与昂贵选项相当;顾客欣赏双层筛网和令人愉悦的气味;设备能阻挡呼吸喷音而不降低音量或高频;金属夹钳牢固附着麦克风架;唯一小问题是鹅颈需要仔细定位以避免下垂。总体推荐用于人声录音。

要将此功能投入实际应用,还需要改进哪些方面?

实际应用还需改进:1. 提示工程:优化提示模板以提高摘要质量。2. 处理超长评论:当评论数量超出模型处理能力时,需要解决方案(如分批处理或总结)。3. 筛选可靠评论:确保只使用可靠评论生成摘要。此外,本文未介绍如何利用AI突出评论重点,但这是可能的扩展方向。

🏷️

标签

➡️

继续阅读