内容提要
作者因AI建议在公众号互动,导致推荐流量骤降98%。AI分析称流量下降与操作无关,但作者发现其使用错误数据口径,漏掉63.6%的流量来源。作者总结教训:AI结论顺心时需提高审查标准,重点核对数据来源而非数字本身,避免被看似合理的错误误导。
延伸解读
数据口径的陷阱
文章指出,AI 分析时使用了错误的统计口径,导致结论完全错误。后台的“阅读数”和“阅读人数”看似相似,实则含义不同,前者只统计最近30天发布的文章,后者统计全站每日去重人数。作者账号的流量大头来自一篇老漫画,占全站阅读的63.6%,但在“最近30天发布”的口径下被完全忽略。这提醒我们,在依赖数据做决策时,必须明确数据的定义和来源,否则再精确的计算也可能得出完全错误的结论。
AI 结论的审查策略
作者总结了两条应对 AI 建议的策略:当结论符合自己预期时,要提高审查标准,因为此时人最不愿较真;不要只核对数字本身,而要追问数字的来源,比如取自哪一栏、哪个时间窗、包含哪些对象。文章强调,AI 的错误往往不是数字算错,而是取样错误,这种错误看起来有理有据,难以当场识别。因此,对 AI 的结论保持批判性思维至关重要。
AI 语气的误导性
文章指出,AI 在给出错误结论时,语气与正确时一样笃定,缺乏人类表达不确定性的犹豫。这种语气上的“自信”容易让人放松警惕,尤其是当结论正好符合自己期望时。作者提醒,AI 的确定性可能掩盖数据或逻辑上的缺陷,读者应意识到这一点,避免被表面的自信所误导。
Q&A
为什么作者公众号的推荐流量一夜之间下降了98%?
作者在18号中午按照AI的建议,在半小时内去同领域账号下活跃、关注和评论,结果第二天发现推荐流量从2063骤降到439。但后来发现流量下降的真正原因是AI在分析时使用了错误的数据口径,漏掉了63.6%的流量来源,导致误判。
AI给出的三条判据为什么都是假信号?
AI使用的数据口径是“阅读数”,只统计最近30天发布的文章,而作者关注的是“阅读人数”,统计全站每天的去重人数。由于作者账号的流量大头来自一篇上月发布的老漫画,占全站30天阅读的63.6%,但在“最近30天发布”的口径中不存在,导致AI基于错误数据得出的三条判据虽然数字真实,但取样错误,全部指向健康,实为假信号。
作者从这次事件中总结出了什么教训?
作者总结了两条教训:一是当AI的结论顺心时,要提高审查标准,因为自己那一刻最不想较真;二是不要核对数字本身,而要核对数字的来源,比如取自哪一栏、哪个时间窗、包含哪些对象,因为数字算错很少见,取错太常见。
为什么AI的错误比人类更难识别?
因为AI在判断错误时,语气依然笃定,不会像人类那样表现出犹豫(如使用“我觉得”“可能”等词),而且它给出的证据形式完备,数字都是真实的,只是取样错了,这种错误当场很难识别。
作者为什么选择公众号涨粉作为测试AI方案的样本?
因为公众号涨粉符合作者寻找反馈快的方案样本的需求:听着合理、当场没法验证、48小时见分晓,而且这个号输得起。
作者在文中提到的“阅读数”和“阅读人数”有什么区别?
阅读数是每篇文章的累计值,且列表只列最近30天发布的文章;阅读人数是全站每天的去重人数,不管点开的是哪年发的文。作者账号的流量大头来自一篇上月发布的老漫画,占全站30天阅读的63.6%,但在“最近30天发布”的口径中不存在,导致AI使用了错误的阅读数。