跳到正文
北京时间
原文
Hacker News:AI 热帖· mektrik·· 1 天前精选AI 评分76

Trakkr 研究:追踪 1285 条 AI 引用统计的溯源路径

Zombie stats: Where the numbers AI quotes come from

AI 导读

Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 提出 200 个要求数字的问题,并追踪其中 1285 条统计的引用链路,结果只有 40% 到达说法一致的研究,8% 到达但数字或语境已变,40% 无法核查,11% 无处可溯。

推荐理由

Trakkr 追踪了 1285 条 AI 引用统计的溯源路径,给出各类引用页面的到达率和数字失真比例,可帮助读者判断 AI 数字引用的可靠程度。

正文 · AI 翻译

一个数字,一路追下去。

我们向 ChatGPT、Perplexity、Gemini、Claude 和谷歌的 AI Overviews 提出了 200 个需要给出数字的问题,都是人们日常会问的那种。 然后我们点开引用链接,一路点下去。下面是一条完整的追踪路径,从答案一直到尽头。

谷歌 AI Overviews

有多少比例的销售人员在第一次跟进之后就放弃?

44% 的销售人员在仅仅一次跟进尝试后就放弃了。

  • 44%
  • 44%
  • 44%
  • 44%
  • 44%

某销售公司的统计页面2020 年

44% 的销售人员在一次跟进尝试后就放弃(来源)。

某自由撰稿人的示例文章不晚于 2017 年

80% 的销售需要在会面后跟进 5 次电话;44% 的销售人员在一次跟进后就放弃

背后没有任何研究没有调查,没有样本,没有日期。

  1. In the answer

    每个助手收到的都是同一个问题:“有多少比例的销售人员在第一次跟进之后就放弃?”五个助手给出的数字完全一样,只有 ChatGPT 表示,这个数字背后的证据并不明确。

  2. One click in

    谷歌 AI Overviews 引用的是某销售公司 2020 年的统计页面。数字就明明白白写在那里。而它的“来源”链接指向的是一篇写作范文。

  3. Two clicks in

    顺着链接来到一位自由撰稿人的示例文章,2017 年之前就已上线。数字就写在标题里。文章列出了两份幻灯片、一份博客清单和两篇新闻报道,没有一项是有关跟进行为的研究。

  4. The end of the trail

    线索到此为止。没有调查,没有样本,没有研究:我们尝试的通往这个数字的其他每条路径,都停在一个没有引用任何研究的页面上。这个数字至今仍在四处流传,底下却空无一物。这就是僵尸统计数字。

大多数数字并不是僵尸。但你从答案里看不出来:僵尸数字带着同样的自信和同样的引用出现,而在这里,五个助手还全都一致。于是我们对 1,285 条统计数字做了同样的追踪。

不到一半能追到源头。

我们从每个助手引用的统计数字中随机抽样,共 1,285 条,用同样的方式逐条追踪:先看被引用的页面,再看该页面引用的来源,最多追五层。 如果某个页面提到了来源却没有给链接,我们就自己去搜。

40% 追到了一项结论相同的研究。另有 8% 追到了研究,但数字或它的语境在传递过程中变了。其余的都没能追到:40% 停在一个我们无法核实的来源上,因为该来源被锁定、已消失,或者对那个数字只字未提;还有 11% 完全查不到出处。

十条追踪路径中有四条追到了一项结论相同的研究

每个方块代表我们追踪的 1,285 条统计数字中的百分之一,按追踪终点分类排列。

  • 40%有据可查我们找到了研究,结论一致。
  • 8%已改变我们找到了研究,但数字、调查对象、地点或时间不同。
  • 40%无法核实页面提到了一个真实来源,但其中没有这个数字,或者来源被锁定、已消失。
  • 11%查无出处整条路径上没有任何研究。每个页面都在重复这个数字,却谁也不注明出处。

最后 1%:页面在我们这里打不开的追踪路径。

Trakkr Research,向五个 AI 助手提出 200 个需要给出数字的问题,2026 年 10 月。对每个助手引用的统计数字随机抽样,按各自引用的数量加权,并用人工核查的 150 条追踪路径进行校正。有据可查:40%,95% 区间为 34% 至 46%。

ChatGPT 表现最好,引用的数字也最少:每个答案 1.3 个,而 Claude 是 6.8 个。其余四个在 38% 到 46% 之间,彼此太接近,无法排名。

ChatGPT 引用的数字最少,但标注来源的比例最高

每个助手各取一百个方格,数据来自其自身被引统计的样本。

  1. ChatGPT

    57% 标注来源

    每条回答 1.3 个统计数字

  2. Perplexity

    46% 标注来源

    每条回答 2.2 个统计数字

  3. AI Overviews

    39% 标注来源

    每条回答 4.8 个统计数字

  4. Gemini

    38% 标注来源

    每条回答 6.2 个统计数字

  5. Claude

    38% 标注来源

    每条回答 6.8 个统计数字

Trakkr Research,2026 年 10 月,向五个 AI 助手提出 200 个需要给出数字的问题。按助手追踪:ChatGPT 108 条,Perplexity 277 条,Google AI Overviews 300 条,Gemini 300 条,Claude 300 条。ChatGPT 之后的四家落在彼此的区间内,因此不作排名。

这不是我们提问方式造成的偶然现象。Google AI Overviews 回答真实日常搜索时给出的 300 个统计数字中,有 40% 标注了来源,比例相同。

AI 引用的是文章,不是研究本身。

大多数情况下,AI 并没有编造数字:它引用的页面上有 82% 的概率确实写着这个数字。问题在于引用的是哪个页面。在为一个数字引用的页面中,只有 21% 是研究本身。

超过一半是公司博客。再加上新闻报道和统计数字汇总,大多数引用都落在专门从别处收集数字的页面上,而且往往没有回链。

溯源从哪里开始,决定了它在哪里结束

按类型划分,助手为一个数字最先引用的每个页面。每列的宽度代表该类引用所占比例。绿色表示其溯源链到达了说法一致的研究的比例。

62%

研究机构占引用 13%

研究机构或调查:占首次引用 13%,其中 62% 溯源成功。

61%

政府占引用 7%

政府或官方机构:占首次引用 7%,其中 61% 溯源成功。

37%

公司博客占引用 54%

公司博客:占首次引用 54%,其中 37% 溯源成功。

37%

新闻占引用 10%

新闻或杂志:占首次引用 10%,其中 37% 溯源成功。

35%

统计汇总占引用 8%

统计汇总:占首次引用 8%,其中 35% 溯源成功。

41%

其他占引用 8%

其他:占首次引用 8%,其中 41% 溯源成功。

Trakkr Research,2026 年 10 月,向五个 AI 助手提出 200 个需要给出数字的问题。共追踪 1,268 个统计数字,其首个页面可读。页面类型依据页面本身判断。结果用 150 条人工核查的溯源链做了校正。

溯源从哪里开始,决定了它在哪里结束。从研究机构或政府页面出发,有 61% 的概率到达说法一致的研究。从公司博客出发是 37%;从统计汇总出发是 35%。即便是研究机构,也有 38% 的情况未能溯源成功,原因常常是完整报告被表单挡在后面。

引用告诉你 AI 在哪里找到这个数字,而不是这个数字来自哪里。

数字在传递途中会变。

到达研究本身,并不总意味着数字保持不变。成功溯源的统计数字中,有 17% 在途中发生了变化。数字本身变动只占约四分之一。通常是语境变了:测量的是什么、年份、来源,或者问的是谁。

在我们记录的所有变化中,具体变了什么

数字变了
26%
测量对象变了
20%
年份变了
17%
来源变了
16%
受访对象变了
14%
地点变了
4%

十五位女性评判健康网站,成了每个网站的第一印象。三家公司成了一条商业法则。以下是我们追踪到的最清晰的几条链路,每条都经过人工核查。

看一个数字如何失去语境

每条线索都从原始研究出发,一直追到 2026 年 10 月某个助手给出的回答。沿着线索走:数字不变,周围的措辞在变。

提问对网站的第一印象中,有多少比例与设计有关?

该研究 · Sillence 及同事,CHI,2004

在15位女性就拒绝或不信任健康网站所发表的评论中,94%与设计有关。

2004 年的一项研究观察了 15 位英国女性评判健康网站,她们关于拒绝某个网站的评论中有 94% 与设计有关。经过二十年的转述,这句话变成了“94% 的第一印象与设计有关”,Google AI Overviews 还把它当作事实陈述。

第 1 步,共 4 步

每一步都在开放网络上人工核查,并保留存档副本。我们点名原始研究;重复这些研究的页面只按类型描述,不点名。

僵尸数据。

向五个助手提同一个问题,常常会得到五个不同的数字。在五个助手都给出百分比的 71 个问题中,有 28 个问题我们得到了四到五个不同的数字。

同一个问题,五个答案,从 49% 到 96%

同一天逐字提问:“有多少比例的市场营销人员使用营销自动化工具?”

49–51%AI Overviews

62%ChatGPT

70–79%Gemini

81%Perplexity

96%Claude

  • ChatGPT并没有一个统一的数字,它因调查而异,也取决于“营销自动化”如何界定。一项常被引用的调查发现,62% 的美国数字营销人员使用过自动化软件,但该数据来自 2020 年,可能无法反映当前的采用情况。

  • Perplexity约 81% 的营销组织使用营销自动化。

  • Gemini综合主要行业基准,70% 到 79% 的营销人员与公司在某种程度上使用营销自动化工具

  • Claude96% 的营销人员使用过营销自动化平台,或计划使用

  • AI Overviews根据 Moosend 的行业基准及相关研究,目前大约 49% 到 51% 的公司和营销团队使用营销自动化工具。

Trakkr Research,2026 年 10 月,向五个 AI 助手提出 200 个需要给出数字的问题。答案于 2026 年 10 月 25 日收集。区间取其低值到高值。

这不是某个古怪的问题。最高数字与最低数字之间的典型差距是 16 个百分点。

在 71 个问题中,有 31 个问题的五个数字相差 20 个百分点或更多

所有五个助手都给出百分比的问题,每个一行,从最低数字到最高数字。最接近的排在最上面。

69 个问题。最高与最低数字之间的典型差距是 16 个百分点。

最接近相差 20 个百分点或更多差距最大

Trakkr Research,2026 年 10 月,向五个 AI 助手提出 200 个需要给出数字的问题。区间按其中点计算。2 个数字超过 100% 的问题未列入此图。

一致看起来像是证据,其实不是。五个助手在10个问题上给出了相同的数字,而我们追踪到的5个里,只有2个有出处。它们重复最多的那些统计——被三个及以上引用的——也没好到哪去:29个里只有11个有出处。

其中四个被全部五个助手引用,背后却找不到任何研究。

五个都引用了,没有一个给出出处。

四个每个助手都给出的统计,每条溯源链都终止在一个没有引用任何研究的页面上。

  • 44%

    跟进一次就放弃的销售人员

    每条溯源链都终止在一个没有引用任何研究的页面上,其中一个还是自由撰稿人的示例文章。它的完整溯源链从第1章开始。

    五个助手都引用了

  • 90%

    至少关注一个品牌的社交媒体用户

    只给了说法,没有出处。找不到得出这个数字的研究。

    五个助手都引用了

  • 75%

    从不翻过搜索结果第一页的搜索用户

    被反复引用却没有出处,常被归到一份早已不再收录它的旧营销综述上。没有找到相关研究。

    五个助手都引用了

  • 5 to 25 times

    获取一个新客户比留住一个老客户多花多少钱

    2014年《哈佛商业评论》的一篇文章给出的范围是“取决于你信哪项研究”,而且一项都没点名。

    五个助手都引用了

Trakkr Research,2026年10月,向五个AI助手提出200个需要给出数字的问题。这些统计被全部五个助手引用,且每条溯源链都终止在一个没有引用任何研究的页面上。每条溯源链都在开放网络上人工核查过。

AI重复最多的29个统计

每个都至少被五个助手中的三个引用,多数情况下排在首位,其溯源链经过人工核查。

  1. 95%

    未能带来可衡量财务回报的生成式AI试点

    MIT NANDA的2025年报告称,95%的组织没有从生成式AI获得回报。这和95%的试点失败不是一回事。

    5 of 5ChangedStudy from 2025
  2. 44%

    跟进一次就放弃的销售人员

    每条溯源链都终止在一个没有引用任何研究的页面上,其中一个还是自由撰稿人的示例文章。它的完整溯源链从第1章开始。

    5 of 5Nowhere
  3. 4% to 10%

    真正会投诉的不满客户

    可追溯到TARP在1979年为白宫消费者事务办公室做的研究。其作者表示,这么低的比率适用于小额购买;2016年,有22%到41%的人就自己最严重的问题进行了投诉。

    5 of 5ChangedStudy from 1979
  4. 2 hours 21 minutes

    人们每天花在社交媒体上的时间

    DataReportal的《数字2025》报告,基于GWI调查数据:典型互联网用户每天在社交媒体上花2小时21分钟。

    5 of 5SourcedStudy from 2025
  5. 46%

    带有本地意图的谷歌搜索

    可追溯到2018年一条关于某搜索会议上幻灯片的社交帖子。据我们所能查到的,谷歌从未发布过这个数字。

    5 of 5Can’t check
  6. 90%

    至少关注一个品牌的社交媒体用户

    只给了说法,没有出处。找不到得出这个数字的研究。

    5 of 5Nowhere
  7. 94%

    对网站的第一印象与设计有关

    最初是2004年一项研究,考察15位女性如何评判健康类网站。它的完整溯源链在第4章。

    5 of 5ChangedStudy from 2004
  8. 75%

    从不翻过搜索结果第一页的搜索用户

    被反复引用却没有出处,常被归到一份早已不再收录它的旧营销综述上。没有找到相关研究。

    5 of 5Nowhere
Trakkr Research,2026年10月,向五个AI助手提出200个需要给出数字的问题。统计按数字和含义分组。溯源链能追到研究的,标出原始年份。

面对AI给出的统计数字该怎么办。

把它当作线索,而不是出处。六个习惯,引用前后各三个。

如果你要使用它们

  1. 顺着引用查,然后再查一层。

    如果被引用的页面是一份统计清单或公司博客,就用它自己的链接再往前翻一页。一直查到研究本身,或者查到查不下去为止。

  2. 核实问的是谁、多少人、什么时候。

    我们发现,大部分改动出在上下文,而不是数字本身:某个国家的一项民调、一份十年前的调研、十五个人。

  3. 别把意见一致当成核实。

    五个助手给出同一个数字,并不等于五个来源。它们重复最多的那些数字,来源并不比其余数字更可靠。

如果你要发布这些数字

  1. 把方法放在数字旁边。

    样本、日期和来源链接,与数字放在同一页,这样下一个页面、下一个回答,都能追溯到你这里。

  2. 把发现公开出来。

    藏在表单后面的报告往往是死胡同:即便是从研究机构出发的线索,也有 38% 的几率走不通。把核心数字和方法放在公开页面上。

  3. 看看 AI 为你的数字引用了哪个页面。

    通常是一个汇总帖或博客抄了你的内容,有时用的还是更旧的数字。而正是那个页面决定了人们听到什么。

来源:Hacker News:AI 热帖 · trakkr.ai