内容提要
文章以“小螃蟹”为例说明AI预测:预测是依据数据和模式估计未知结果,与推理相关但侧重不同。应明确目标、数据来源和验证方法,不能只信大模型给出的数字。需用点预测、区间预测和概率表达不确定性,并用新数据检验误差、与简单方案比较。预测后还要结合业务代价做决策,并持续更新。
延伸解读
预测不只是大模型的事
文章强调,统计方法、机器学习或专用模型都可以用于预测,不一定需要聊天大模型。让大模型直接给出一个数字,并不能证明这个数字有依据。读者应关注数据来源、计算方法和验证记录,而不是被流畅的表达或自信的语气所迷惑。对于天气等特定领域,应查专用服务并确认地点和时间。
不确定性要用区间和概率表达
一个点预测值无法装下全部不确定性。文章建议使用区间预测给出可能范围,并说明区间的统计含义;如果给出事件概率,也不能理解为结果承诺。可靠的概率估计需要在大量相似案例中检验是否与实际频率相符。一次没发生不足以证明模型无效,一次猜中也不能证明可靠,读者应避免以单次结果评判预测质量。
评估预测要防信息泄露并对比简单方案
训练数据上表现好还不够,必须用没见过的结果检验误差。对时间预测,要避免把未来信息提前放进训练或评估中。同时应与简单方案比较,例如直接按上次人数准备或按历史平均到场率估计。复杂模型如果没带来改善,未必值得增加成本。只看平均误差也不够,少备和多备椅子的业务代价不同,评估要结合实际损失。
预测之后还要结合业务做决策
预测到场人数不能直接替你决定备多少椅子,还要考虑场地容量、搬运成本和临时增加座位的办法。文章中小螃蟹留了备用椅子并准备室内方案,说明不必保证实际与预测一模一样,但要知道偏了以后怎么办。活动规则或参加人群变化后,旧规律可能失效,需要继续观察和更新。检查 AI 预测可以问:预测什么?依据是什么?误差多大?条件变了怎么办?
Q&A
AI预测和推理有什么区别?
推理侧重结论如何从依据得出,预测侧重未知结果的估计。两者可以交叉,预测也可能用到推理,不能当成互不相干的技术。
做预测时应该从哪里开始?
先明确目标:估计哪场活动、哪个时间段、什么结果?再准备相关数据,例如历次报名数、到场数、活动时间和天气。统计方法、机器学习或专用模型都可以用于预测,不一定需要聊天大模型。
为什么不能只相信大模型给出的预测数字?
让大模型写一句“预计到场十八人”,并不能证明这个数字有依据。要问数据来源、计算方法与验证记录。聊天模型可以帮助解释结果,不能凭语气代替数据。
预测结果如何表达不确定性?
点预测给出一个估计值;区间预测给出可能范围,并需说明区间的统计含义。如果系统给出事件概率,也不能把它理解成结果承诺。可靠的概率估计,需要在大量相似案例中检验是否与实际频率相符。
如何检验预测准不准?
训练数据上表现好,还要检查新数据上的误差。对时间预测,应避免把未来信息提前放进训练或评估中。再与简单方案比较:直接按上次人数准备,或按历史平均到场率估计。复杂模型如果没带来改善,未必值得增加成本。只看平均误差也不够:少备十把椅子与多备十把椅子,业务代价可能不同。评估要结合实际损失。
预测之后如何做决策?
预测到场人数,不能直接替你决定备多少椅子。还要考虑场地容量、搬运成本和临时增加座位的办法。小螃蟹留了一些备用椅子,也准备了室内方案:“我不用保证明天和预测一模一样,但要知道偏了以后怎么办。”检查AI预测,可以问:预测什么?依据是什么?误差多大?条件变了怎么办?