← 东西书院
MATHEMATICS · 数学与统计学 | No.191 / 231

样本量与统计显著性

一句话定义
它决定了你撞见的"规律"有几分真。样本越小,偶然的起伏越容易被当成铁律;样本越大,真相才越藏不住。打个比方:连抛十次硬币,七次正面,等于什么都没说;连抛一万次,七千次正面,这硬币才算真有猫腻。
学科 数学与统计学 原典出处 2关联模型 8 阅读约 7 分钟
东西书院 · dongxishuyuan.com
L0 · 原典

芒格原话

第一手出处 · 逐字引文

"You need to have a passionate interest in why things are happening. That cast of mind, kept over long periods, gradually improves your ability to focus on reality."(中文转述:"你需要对事物为什么会发生保持热切的兴趣。这种思维方式,保持足够长的时间,会逐渐提升你聚焦于现实的能力。")

— Charlie Munger,《Poor Charlie's Almanack》

"People calculate too much and think too little."(中文转述:"人们计算太多而思考太少。")

— Charlie Munger,2002 年 Wesco 年会
原典出处

查理·芒格(本页引文出自芒格第一手出处)

L1 · 解读

原典解读

忠于原典 · 卡片化
知识卡样本量——信号与噪声的分辨率

定义:样本量——它决定了你撞见的"规律"有几分真。样本越小,偶然的起伏越容易被当成铁律;样本越大,真相才越藏不住。打个比方:连抛十次硬币,七次正面,等于什么都没说;连抛一万次,七千次正面,这硬币才算真有猫腻。

核心论述:人脑天生爱找规律,毛病是它分不清"真有规律"和"瞎猫碰上死耗子"。芒格 Q1 讲"保持足够长的时间",说白了就是把样本撑大——拿时间换清晰度。小样本里那些看着"显著"的结论,扒开看,里头多半是噪声。

知识卡统计显著性不等于实际意义

定义:统计显著不等于真有分量——p 0.05 只能证明一件事:"这结果不太像蒙出来的";它证明不了另一件事:"这结果值得你操心"。凑 100 万个样本,能"显著"地揪出小到可以无视的差别——数据上成立,现实中没人在乎。

核心论述:芒格 Q2 吐槽"人们计算太多、思考太少",说的就是这号人:抱着 p 值算个没完,却不问"这点差别够不够看",也不问"研究设计本身靠不靠谱"。A/B 测试里"点击率显著涨了 0.1%"——数字上过关,生意上白搭。计算只是扳手,动脑子才是正事;光抡扳手不动脑,拧的全是歪螺丝。

工具卡评估证据的样本检查

场景:读研究报告、刷新闻、听人下结论的时候(页面 §07)。

步骤:第一,数人头:这结论背后站着多少样本?十个还是一万个?样本量是可信度的天花板,撑死了也就那么高。第二,查出身:样本哪来的?随机挑的还是顺手捡的?有没有"只算活下来的"("成功的企业家都……"这种话,常常只问了还活着的那批)?第三,量分量:撇开"显著"不谈,效果到底有几斤几两?够格让你动手吗?第四,看有没有人复现:这结果被不同的人重复验证过吗?一回显著可能是走运,回回显著才是真金。

避坑:听见"研究表明"就信?先盘人头、出身、分量,再拍板信不信。

工具卡样本量思维的日常应用

场景:掂基金经理的成色、掂自己那点个人经验时(页面 §07)。

步骤:看基金经理,看十年以上的长跑,别看三年的高光——比尔·米勒连赢标普十五年(1991–2005),后来一波大回撤,长年累月看,不过是运气潮起潮落。听见"认识一个人",脑子里自动贴标签:样本量 1,学名轶事,不叫数据。拍板大事之前,自己动手攒样本:财报多翻几份、用户多聊几个、周期多看几轮。

避坑:别拿三年的成绩单,给三十年的本事下定论——时间能把样本撑大,也能把噪声滤掉,而且铁面无私。

转述

长期保持不愚蠢而非追求卓越智力所带来的长期优势是显著的。("It is remarkable how much long-term advantage people like us have gotten by trying to be consistently not stupid, instead of trying to be very intelligent.")

— 芒格关于"避免愚蠢重于追求聪明"的相关论述
转述

轶事的复数不是数据。("The plural of anecdote is not data.")

— 页面 §00"正如一句老话所说"语境下的论述句
转述

大钱不是在买卖中赚到的,而是在等待中赚到的。("The big money is not in the buying or selling, but in the waiting.")

— 页面 §08 语境(耐心是对抗小样本幻觉的解药)
L2 · 案例

扩展阅读

真实案例 · 与 L1 隔离

掷骰子的思想实验——小样本的欺骗性 思想实验

出处:页面 §01 所述

连抛十次硬币,七次正面,概率大约 12%——撞见真不稀奇。只看这十次,你完全可以"论证"硬币"偏爱正面"。可抛到一万次,正面占比乖乖回到五成上下。投资圈那个"三年冠军基金经理",饭桌上那句"认识一个人吃偏方吃好了",都是"抛十次"式断言——样本太小,把偶然当成了必然。小样本可以看,看完别急着盖章。

比尔·米勒的 15 年神话——长期业绩也可能是运气 商业案例

出处:)

比尔·米勒,1991–2005 年连赢标普十五年,"选股之神"的帽子戴得稳稳的;2008 年一来,基金大回撤,多年超额收益吐回去大半。统计学家泼了盆冷水:基金经理基数足够大,光靠运气也能蒙出一个连赢十五年的——行话叫"多重比较"。十五年、几千号基金经理,蹦出一个米勒,统计上一丁点不稀奇。样本量这堂课,得两面听:小样本的成功可能是运气,大样本里那个"万里挑一",也可能是运气。

新药临床试验的三期设计——用制度对抗小样本幻觉 研究案例

出处:页面 §05 所述

新药上市要闯三关:一期几十号人,验安全性;二期几百号人,探有没有效;三期几千号人,一锤定音。为啥非三期不可?一期二期那点人里,"有效"可能是冒牌货——安慰剂、病情自己忽好忽坏、挑人时的偏差,都能演出"疗效"。三期祭出大样本、随机、双盲、对照四件套,把杂音往死里压。医药监管等于把样本量思维写成了法律:故事再动人,也得过大样本这一关。这套筛子每年都筛掉一大批"看着灵"其实不灵的药。

"我认识一个人"——样本量为 1 的研究 思想实验

出处:页面 §03、§07 所述

"认识一个人,烟酒不离手,活到九十"——这份"研究"的样本量是 1,信息量趋近于零:这人的基因、运气你一概不知,更不知道多少"烟酒不离手"的人没活到九十(没活到的不会跳出来讲故事)。偏偏人脑就吃这套:一个有鼻子有眼的故事,压得过一万个干巴巴的数字——"轶事的复数不是数据",治的就是这个毛病。药方只有一味:听见个案,本能地问一句——分母呢?活到九十的烟民有几个,没活到的又有几个?

跨模型互见——8 个关联模型的样本网络 跨模型互见

出处:页面 §09 关联模型节

八个模型,一张样本之网。压舱石:大数定律(样本量思维的数学老家,样本越大离真相越近)。动态档:贝叶斯定理(样本小时先验当家,样本大时数据当家)。防飘带:均值回归(小样本里的神表现,早晚被均值拽回去,米勒的注脚)。算账本:概率思维与期望值(期望值得靠大数定律撑腰,样本小了算不准)。照妖镜:相关不等于因果(小样本里的"相关",八成是巧合)。自知之明:过度自视倾向(人总觉得自己能从小样本里看出花来)、可得性误判倾向(有故事的个案比没故事的统计好记)。安全垫:安全边际(样本小、不确定,拿缓冲来凑)。FAQ 还点了一句:这套家伙什,能用来掂研究报告、基金业绩和日常决策的证据。

L3 · 主编 主编解读书院观点 · 非作者原话/原文

样本量思维的三个坑(页面 §06 评价性内容)。样本量思维也不是万能钥匙,三个坑最常见。坑一,迷信大样本:一百万样本能"显著"地挖出毫无意义的差别——样本量能治"吵"(噪声),治不了"歪"(设计);抽样一开始就是歪的,样本再大也正不过来。坑二,把小样本踩进泥里:开荒阶段,小样本个案是点子的娘家;错的是把"娘家"当"婆家"——点子的出处,冒充不了结论的靠山。坑三,为了等大样本误了事:有些仗等不起(创业、救命),这时候别得了"分析瘫痪症",换贝叶斯打法:小样本配上硬先验,照样拍板。

—— 书院主编 解读

拿耐心治小样本幻觉(页面 §08 评价性内容):"大钱是在等待中赚到的"——翻成大白话:等,就是在攒样本。短期看全是杂音,长期听才有信号;可"长期"得到底多长?芒格在 Q1 里给过答案:时间要"保持足够长",久到杂音被熨平、信号自己冒头。放到投资里,就是拿十年以上的尺子量;放到日子里,就是别对一时的起伏盖棺定论。耐心这东西,不是品德,是数学。

—— 书院主编 解读