SYSTEMATIC KNOWLEDGE BASE FOR DEFENSE

Logistic 回归分析系统知识库
——从线性回归基础到二分类建模、评价与答辩

面向"混凝土施工质量问题发生概率预测"这一真实课题,把线性回归 → 广义线性模型 → Logistic 回归 → 参数估计 → 系数解读 → 假设检验 → 模型评价 → 验证与落地,按可学会、能推导、会答辩的顺序完整讲透。所有公式均采用经典教材的标准形式,每个符号都给出释义。
适用:中级职称答辩起点:零统计基础友好 含 120+ 标准公式含习题与详解结合本人论文真实数字

怎么用这份知识库(建议学习顺序)

这份材料不是"背题集",而是帮你建立完整且正确的统计直觉。建议按下面四篇顺序学,每章都遵循"问题动机 → 标准公式(符号逐项解释)→ 直观理解 → 小例子 → 易错点 → 与你论文的对应 → 习题"的闭环。公式不需要死记,理解了推导自然就记住了;答辩时评委更看重你能不能讲清"为什么这么做"。

第一篇 打地基线性回归、最小二乘、经典假设。理解"回归"到底在做什么,以及为什么0/1因变量不能直接用线性回归。
第二篇 核心几率与logit、Sigmoid、极大似然、OR优势比、Wald/似然比检验、变量选择与诊断——答辩理论主战场。
第三篇 评价混淆矩阵、ROC/AUC、HL校准、Brier、交叉验证、bootstrap、偏差与信息准则,决定结果可不可信。
第四篇 落地完整流程、预处理防泄漏、白箱与四个凡事、用你论文数字走一遍、30+答辩问答。
学习方法提示第一遍通读、重在理解直觉,遇到推导先看懂思路不要求自己默写;第二遍对着公式自己推一遍、做每章习题;第三遍只看每章"易错点/答辩卡"和第18章问答,模拟答辩。习题答案默认折叠,先自己做再展开。
符号约定(全篇统一)大写 $X$ 表示设计矩阵或随机变量,小写 $x$ 表示具体取值;$y_i\in\{0,1\}$ 是第 $i$ 个样本的观测结果,$p_i=P(Y=1\mid x_i)$ 是模型给出的"发生概率";向量、矩阵用粗体(如 $\boldsymbol{\beta}$、$\mathbf{X}$)。$n$ 为样本量,$k$(或 $p$)为自变量个数。每处公式首次出现都会解释符号。

第 0 章 零基础数学与概率统计入门(先修基础)

这一章假设你很久没碰数学、也没学过统计,从"函数、指数对数、求和符号、导数、向量矩阵"一路讲到"概率、期望方差、分布、抽样、置信区间和假设检验"。每个概念都先讲它是什么、为什么需要它,再给能按计算器算出来的小例子。看不懂的地方慢一点、把例子亲手算一遍即可,不需要任何高等数学基础。标 核心 的是答辩高频点。已经熟悉的读者可跳过本章直接进入第一篇。

零基础详解 · 先建立一个总览 后面所有内容其实只反复用到三块"积木":
① 函数与求极值——Logistic 是一个函数,拟合模型就是"调参数让某个目标达到最优",这需要一点点导数;
② 概率与分布——"会不会出质量问题"是个随机事件,要用概率描述,结果只有 0/1 时服从伯努利分布;
③ 由样本推断总体——我们只有有限的施工记录(样本),却要判断规律是否真实存在(不是偶然),这靠置信区间和假设检验。
本章就是把这三块积木一块块做出来。

0.1 先热身:算术、代数与"函数"是什么

(1)百分比、比例与"倍数"。$80\%=0.8$;A 相对 B 的比值是 $A/B$;"绝对变化"是直接相减(0.6→0.8 增加 0.2),"相对变化"是相除(变为 $0.8/0.6=1.33$ 倍)。后面优势比 OR 讲的是相对(倍数)变化,一定别和绝对变化混。

(2)移项解方程。等式两边做同样运算仍相等。例:由 $\ln\frac{p}{1-p}=\eta$ 反解 $p$:先取指数 $\frac{p}{1-p}=e^\eta$,再 $p=e^\eta(1-p)\Rightarrow p(1+e^\eta)=e^\eta\Rightarrow p=\frac{e^\eta}{1+e^\eta}=\frac1{1+e^{-\eta}}$。这就是后面 Sigmoid 的来历,只是简单移项。

(3)函数 $f(x)$:一台"输入→输出"的机器。丢进 $x$、按规则吐出结果。自变量是输入(如温度),因变量是输出(如风险概率)。最简单的是线性函数 $y=a+bx$:$a$ 是截距($x=0$ 时的值),$b$ 是斜率($x$ 每增加 1,$y$ 变化 $b$)。例 $y=2+0.5x$:$x=0\Rightarrow y=2$,$x=2\Rightarrow y=3$,画出来是一条直线,"每 +1 固定 +0.5"。线性回归就是找一条这样的直线;但概率不是直线规律(会超出 0~1),所以后来要换成 S 形曲线。

0.2 指数、自然常数 e 与对数(Logistic 的"语言",零基础重点)

(1)指数与运算律。$a^n$ 表示 $n$ 个 $a$ 相乘;$a^m\cdot a^n=a^{m+n}$(相乘时指数相加)。规定 $a^0=1$、$a^{-1}=1/a$。

零基础详解 · 自然常数 e 是什么 $e\approx2.71828$ 是一个和圆周率 $\pi$ 类似的固定常数,描述"连续增长"的自然底数(比如钱连续复利、细胞连续繁殖都会收敛到以 e 为底的增长)。你不用纠结它怎么证明,只要把 $e^x$ 当成一个计算器上能按出数值的普通函数:$e^0=1,\ e^1\approx2.718,\ e^{-1}\approx0.368,\ e^{1.386}\approx4$。它的图像随 $x$ 增大而加速上升、恒为正。

(2)对数是指数的"逆运算"。若 $a^x=b$,则 $\log_a b=x$("以 a 为底 b 的对数,就是 a 的多少次方等于 b")。自然对数 $\ln$ 就是以 $e$ 为底:$\ln b=x\Leftrightarrow e^x=b$。于是有 $\ln 1=0$(因为 $e^0=1$)、$\ln e=1$、并且 $e^{\ln x}=x$、$\ln(e^x)=x$(互为反操作、相互抵消)。

$$\ln(ab)=\ln a+\ln b\ \text{(乘法变加法)};\quad \ln\frac ab=\ln a-\ln b;\quad \ln(a^c)=c\ln a$$
动手算例(用计算器 ln、eˣ 键验证) $\ln2\approx0.693,\ \ln0.5=-0.693,\ \ln4=2\ln2\approx1.386,\ e^{1.386}\approx4$。
关键体会:$\ln\dfrac{0.8}{0.2}=\ln4=1.386$——把"几率 4"取对数变成 1.386;反过来 $e^{1.386}=4$。logit 和 Sigmoid 就是在"几率"和"对数几率"之间用 $\ln$ 与 $e^{(\,)}$ 来回换算。
零基础详解 · 为什么统计学这么爱用 ln 和 e 三个原因:① 变乘为加——多个因素对风险往往是"相乘"作用,取 ln 后变成"相加",正好能用线性模型 $\beta_0+\beta_1x_1+\cdots$;② 打开取值范围——几率 $p/(1-p)$ 只能取正数 $(0,\infty)$,取 ln 后变成 $(-\infty,+\infty)$,线性组合才算得出任意值;③ 求导简洁——$(e^x)'=e^x$、$(\ln x)'=1/x$,极大似然推导因此很干净。记住:$\ln$ 只接受正数,所以不能直接对概率 $p$(可取0)取 ln,要先变成严格为正的几率。

0.3 求和符号 Σ、连乘 Π 与下标 i

$\sum$ 读作"西格玛",就是把一串数加起来的简写;下标 $i$ 表示"第几个样本"。例:$\sum_{i=1}^{3}x_i=x_1+x_2+x_3$。平均值 $\bar x=\dfrac1n\sum_{i=1}^n x_i$。例:数据 $2,4,6$,则 $\sum x_i=12,\ \bar x=4$。$\prod$(派)是连乘:$\prod_{i=1}^3x_i=x_1x_2x_3$,后面"每个样本概率相乘得到似然"会用到。看到复杂公式里的 $\sum$,就在心里把它展开成"第一个+第二个+…"即可。

0.4 导数从零入门(只需直观,不用会证明)

(1)导数=瞬时变化率=切线斜率。两点连线的斜率 $\dfrac{\Delta y}{\Delta x}=\dfrac{y_2-y_1}{x_2-x_1}$ 是"平均变化率";让两点无限靠近,就得到某一点的导数 $f'(x)=\dfrac{df}{dx}$,几何上是曲线在该点切线的斜率。直线 $y=a+bx$ 处处斜率都是 $b$,所以其导数恒等于 $b$。

(2)会查这几个基本求导就够用($c$ 为常数):

$$(c)'=0;\quad (x^n)'=nx^{n-1};\quad (e^x)'=e^x;\quad (\ln x)'=\frac1x;\quad (c\,f)'=c\,f';\quad (f\pm g)'=f'\pm g'$$

(3)链式法则("套娃"逐层求导再相乘):$\dfrac{d}{dx}f(g(x))=f'(g(x))\,g'(x)$。例:$\frac{d}{dx}e^{-x}=e^{-x}\cdot(-1)=-e^{-x}$。

(4)为什么"找最优"要令导数等于 0:函数在山顶(最大值)或谷底(最小值)处切线是水平的、斜率为 0,即 $f'(x)=0$。解出这个点就找到极值。极大似然估计就是"令对数似然的导数=0,解出参数"。二阶导数判断凹凸:$f''<0$ 开口向下(山顶,最大值),$f''>0$ 开口向上(谷底)。Logistic 的对数似然被证明是"凹函数",意味着只有唯一一个山顶、不会困在局部小山头。

动手算例 $f(x)=x^2$,由 $(x^n)'=nx^{n-1}$ 得 $f'(x)=2x$。在 $x=3$ 处斜率 $=6$,在 $x=0$ 处 $f'=0$(正是谷底)。

0.5 多个变量时:偏导数与梯度

函数有多个输入(如 $f(x,y)=x^2y$)时,偏导就是"只对其中一个变量求导、其余当成常数":$\dfrac{\partial f}{\partial x}=2xy$(把 $y$ 当常数),$\dfrac{\partial f}{\partial y}=x^2$(把 $x$ 当常数)。把各变量的偏导排成一列就是梯度 $\nabla f$,它指向函数值上升最快的方向(像在山坡上最陡的上坡方向):

$$\nabla f(\boldsymbol{\beta})=\left(\frac{\partial f}{\partial \beta_0},\frac{\partial f}{\partial \beta_1},\dots,\frac{\partial f}{\partial \beta_k}\right)^{\mathsf T}$$

极大似然就是沿梯度方向爬到山顶(或直接令梯度为零解出山顶)。后面反复用到 $\frac{d}{dx}\ln x=\frac1x$、$\frac{d}{dx}e^x=e^x$ 和链式法则。

作为预习,Logistic 函数 $\sigma(z)=\dfrac1{1+e^{-z}}$ 的导数有一个极简洁的结果(第6章会一步步推):

$$\sigma'(z)=\sigma(z)\,[1-\sigma(z)]$$

数值体会:$z=0$ 时 $\sigma=0.5$、$\sigma'=0.25$(最陡);$z=\pm3$ 时 $\sigma$ 接近 0 或 1、$\sigma'$ 接近 0(趋平)。这正是"概率在 0.5 附近对因素变化最敏感、在两端最迟钝"的数学根源。

0.6 向量与矩阵入门(把它当成"批量计算的表格",不可怕)

向量就是一排有序的数(一列变量取值);矩阵就是一张数表,约定每行是一个样本、每列是一个变量。在数据表中你早就见过它:

动手看个例子 · 设计矩阵 X 长什么样 3 个浇筑批次、2 个变量(温度、振捣时间),再在最前面补一列全是 1(对应截距 $\beta_0$),就得到设计矩阵: $$\mathbf X=\begin{bmatrix}1 & 28 & 20\\ 1 & 33 & 15\\ 1 & 25 & 25\end{bmatrix}\begin{matrix}\leftarrow\text{第1批}\\ \leftarrow\text{第2批}\\ \leftarrow\text{第3批}\end{matrix},\qquad \boldsymbol\beta=\begin{bmatrix}\beta_0\\\beta_1\\\beta_2\end{bmatrix}$$

(1)内积(点乘)= 对应相乘再求和,结果是一个数。一行特征与系数列向量相乘,正好就是线性组合:

$$\mathbf x^{\mathsf T}\boldsymbol\beta=1\cdot\beta_0+28\beta_1+20\beta_2\quad(=\eta,\ \text{这批的线性预测值})$$

(2)几个常用操作,认得即可:转置 $\mathbf X^{\mathsf T}$ 是行列互换;单位阵 $\mathbf I$ 相当于数字 1;逆矩阵 $\mathbf A^{-1}$ 相当于"除以 $\mathbf A$"(满足 $\mathbf A\mathbf A^{-1}=\mathbf I$)。多元回归的解 $\hat{\boldsymbol\beta}=(\mathbf X^{\mathsf T}\mathbf X)^{-1}\mathbf X^{\mathsf T}\mathbf y$ 本质就是用这套"批量求和"一次性算出所有系数,手算由计算机完成,你只需知道它在"同时考虑所有变量、求最优系数"。

零基础详解 · 什么时候矩阵"不可逆"(埋一个重要伏笔) 当某一列能被其他列精确拼出来(完全线性相关),$\mathbf X^{\mathsf T}\mathbf X$ 就不可逆、解不唯一。最常见就是"哑变量陷阱":5 个类别放 5 个 0/1 列、再加全 1 截距列,这 5 列加起来正好等于截距列。解决办法是少放 1 列(留参照组)——第4章会再讲。

0.7 概率入门:用"长期频率"和"信息更新"理解

(1)随机现象、样本空间与事件。一次结果不确定、但所有可能结果已知(如一批混凝土"出事/不出事")的现象叫随机现象;所有可能结果构成样本空间;其中某些结果组成事件。概率用长期重复下的频率理解:抛均匀硬币足够多次,正面约占一半,故 $P(\text{正})=0.5$。概率取值 $[0,1]$,必然事件=1、不可能事件=0,对立事件 $P(\text{不发生})=1-P(\text{发生})$。

(2)条件概率——知道新信息后更新判断。$P(A\mid B)$ 表示"已知 B 发生后 A 的概率":

$$P(A\mid B)=\frac{P(A\cap B)}{P(B)}$$

若两件事互不影响则为独立,此时 $P(A\cap B)=P(A)P(B)$。

(3)贝叶斯公式——"由结果反推原因"。

$$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}$$
动手算例(经典体检问题,体会"基础概率"的重要) 某病在人群中患病率 $P(\text{病})=0.01$;检测真阳性率 $P(+\mid\text{病})=0.95$、假阳性率 $P(+\mid\text{无病})=0.05$。问测出阳性、真患病的概率 $P(\text{病}\mid+)$?
全概率 $P(+)=0.95\times0.01+0.05\times0.99=0.059$;贝叶斯 $P(\text{病}\mid+)=\dfrac{0.95\times0.01}{0.059}\approx0.161$。
即使"准确率 95%"的检测,阳性时真患病也只有约 16%——因为病本身稀少。这提醒我们:判断风险不能只看表面信号,还要结合基础发生率(先验/基线),这和第12章用"朴素基准"对照 Brier 是同一种思想。

极大似然估计走的是"频率派"路线:不假设参数先验,只找"让已观测数据出现概率最大"的参数,即最大化 $P(\text{数据}\mid\text{参数})$。

0.8 随机变量、期望、方差与必须认识的分布

随机变量是把随机结果变成数(出事=1、不出事=0)。离散型用分布列列出每个取值的概率,连续型用概率密度描述。

(1)期望 = 以概率为权重的加权平均(长期平均会落在哪)。离散型 $E(X)=\sum_x x\,P(X=x)$。

动手算期望 $X$ 取 0 的概率 0.7、取 10 的概率 0.3,则 $E(X)=0\times0.7+10\times0.3=3$。性质:$E(aX+b)=aE(X)+b$。

(2)方差 = 偏离期望的平方的平均(波动有多大),标准差是其平方根。$\mathrm{Var}(X)=E[(X-E(X))^2]$,越大越分散;标准差与原数据同量纲,更好解释。

伯努利分布(全篇的起点,手算期望方差) $Y$ 只取 1(概率 $p$)和 0(概率 $1-p$): $$E(Y)=1\cdot p+0\cdot(1-p)=p$$ $$\mathrm{Var}(Y)=(1-p)^2p+(0-p)^2(1-p)=p(1-p)$$ 每个批次"是否出质量问题"就是一次伯努利试验。注意 $p(1-p)$ 在 $p=0.5$ 时最大(0.25)、两端变小。
  • 二项分布:$n$ 次独立、同概率 $p$ 的伯努利试验中"成功次数" $K\sim\mathrm{Binomial}(n,p)$,$E(K)=np,\ \mathrm{Var}(K)=np(1-p)$。
  • 正态分布 $N(\mu,\sigma^2)$:对称钟形,$\mu$ 定中心、$\sigma$ 定胖瘦;约 68% 落在 $\mu\pm\sigma$、95% 落在 $\mu\pm1.96\sigma$、99.7% 落在 $\mu\pm3\sigma$(68–95–99.7 法则)。标准化 $Z=\dfrac{X-\mu}{\sigma}$ 后变为标准正态 $N(0,1)$,"1.96"即其 95% 临界值。
定义 · 独立同分布 i.i.d. 样本之间相互独立、且来自同一总体分布(independent and identically distributed)。回归与极大似然的标准误、P 值理论都建立在 i.i.d. 上。论文样本为不同浇筑批次,近似独立。

0.9 总体、样本、抽样分布与两个极限定理

总体是研究对象全体,其数值特征(真实概率 $p$、真实系数 $\boldsymbol\beta$)称参数,固定但未知;样本是抽到的 $n$ 个记录;由样本算出的量(样本均值 $\bar x$、系数 $\hat\beta$)称统计量/估计量。换一批样本,估计量就变,所以它本身是随机变量,它的概率分布叫抽样分布。

零基础详解 · 大数定律与中心极限定理(统计推断的两块地基) 大数定律:样本越多,样本均值越接近总体真值(抛 10 次硬币正面比例可能差很远,抛 10 万次就非常接近 0.5)——所以"多收集数据"能让估计更准。
中心极限定理(CLT):无论原始数据是什么奇怪分布,只要样本量足够大,"样本均值(以及极大似然估计量)"的抽样分布都会近似成一个正态分布。神奇之处在于不需要原始数据正态。这就是为什么后面系数能用 $Z$、卡方做检验。
样本均值的标准误(均值抽样分布的标准差):$\displaystyle \mathrm{SE}(\bar X)=\frac{\sigma}{\sqrt n}$
直觉 · 标准误不是标准差 标准差 $\sigma$ 看"单个批次之间差多大";标准误 SE 看"用样本估计总体时,估计值本身晃得多厉害"。$n$ 越大 SE 越小(注意分母是 $\sqrt n$,数据变 4 倍、误差减半),这就是"数据越多系数越稳",也是小样本阶段要增广训练数据的动机。

衡量估计量好坏的三条标准:

性质含义通俗说法
无偏性$E(\hat\theta)=\theta$,估计量的平均等于真值瞄得准,长期平均不偏不倚
一致性$n\to\infty$ 时 $\hat\theta\xrightarrow{p}\theta$样本越多越收敛到真值
有效性在无偏估计中方差最小同样无偏时,波动最小者最优

极大似然估计量在正则条件下具有一致性、渐近无偏、渐近有效与渐近正态性——样本较大时"又准又稳、且近似正态",因此能做 Z/卡方检验。

0.10 置信区间(CI):给估计值一个"误差范围"核心

零基础详解 · 为什么估计一个数还要给区间 样本算出的 $\hat\theta$(点估计)几乎不可能正好等于真值,总会有抽样误差。于是给一个区间来表达"真值大概落在哪、我们有多大把握"。构造方法非常朴素:点估计 $\pm$(临界值 $\times$ 标准误),就是"中心值左右各留几个标准误"。
$$\text{参数的 }(1-\alpha)\text{ 置信区间:}\quad \hat\theta\;\pm\;z_{1-\alpha/2}\,\mathrm{SE}(\hat\theta)$$
动手算例(均值的 95% 区间) 样本均值 $\bar x=30$、标准误 $\mathrm{SE}=2$,则 95% 区间 $=30\pm1.96\times2=[26.08,\ 33.92]$。系数 $\hat\beta$、优势比 OR 同理:先给 $\beta$ 的区间,再整体取 $e^{(\,)}$ 得到 OR 的区间($e^x$ 单调,区间端点分别取指数即可)。

95% 置信区间取 $z_{0.975}=1.96$。正确的频率解释:重复抽样、每次都这样构造区间,约 95% 的区间会覆盖固定真值(好比打靶,100 个圈约 95 个套中靶心,靶心不动、是圈在动);不能说"真值有 95% 概率落在这一个区间里"(真值是常数,动的是区间)。后面 OR 的 95% 置信区间若跨过 1(等价于 $\beta$ 的区间跨过 0),就说明该因素在 0.05 水平上不显著。

0.11 假设检验从零学:用"硬币是否公平"走完整五步核心

假设检验是一套"反证法式"的概率推理:先假定"没有效应/没有差别"(原假设 $H_0$),看在这个假定下当前数据有多罕见;若罕见到低于阈值,就反过来怀疑 $H_0$、认为效应真实存在。五步:①建立 $H_0$ 与备择 $H_1$;②选检验统计量;③在"假定 $H_0$ 成立"下得到该统计量的分布;④由样本算统计量与 P 值;⑤与显著性水平 $\alpha$(常用 0.05)比较下结论。

动手算例 · 一枚硬币抛 20 次出 16 次正面,公平吗? ① $H_0$:硬币公平(正面概率 $p=0.5$),$H_1$:$p\neq0.5$。② 统计量取正面次数 $K$,$H_0$ 下 $K\sim\mathrm{Binomial}(20,0.5)$。③ 计算"像 16 这么极端甚至更极端"的概率(双侧:$K\ge16$ 或 $K\le4$)。④ 该概率约为 0.0119,即 $P\approx0.012$。⑤ 因 $0.012<0.05$,数据在"公平硬币"假设下相当罕见,故拒绝 $H_0$,认为硬币可能不均匀。注意:我们没有"证明"它不公平,只是说"若它公平,出现这种结果太巧了,巧到不合理"。
$H_0$ 实际为真$H_0$ 实际为假
拒绝 $H_0$第一类错误(弃真),概率 $=\alpha$(冤枉了本来无效的因素)正确检出,概率 $=1-\beta$(功效/power)
不拒绝 $H_0$正确,概率 $=1-\alpha$第二类错误(取伪),概率 $=\beta$(漏掉了真实有效因素)

单尾/双尾:只关心"变大"或"变小"一个方向用单尾;两个方向都可能用双尾(本论文系数检验默认双尾,事先不假定方向更稳妥)。

易错 · P 值到底是什么 P 值 = 在 $H_0$ 成立的前提下,出现"与样本一样极端、甚至更极端"检验统计量的概率。它不是"$H_0$ 为真的概率",也不是"结论犯错的概率"。$P<\alpha$ 表示"若 $H_0$ 为真,当前数据这么极端很罕见(概率不到 $\alpha$),故拒绝 $H_0$";$P\ge\alpha$ 只能说"证据不足以拒绝 $H_0$",不能说"接受 $H_0$ / 证明无影响"。论文里不显著变量的规范表述正是"未达到显著水平",而不是"没有作用"。
答辩卡 · 为什么显著性水平取 0.05 0.05 是 Fisher 提出、学界沿用的约定阈值,用于控制第一类错误率,不是自然界的分界线。$P=0.049$ 与 $P=0.051$ 没有本质差别,所以论文对"强度等级 $P\approx0.05\sim0.09$"如实报告为"边缘显著",而不是非黑即白。样本量越大,检验越容易显著,因此显著≠重要,还要结合效应量(OR 大小)与工程意义判断。
0-1 判断对错并说明理由点击看解答

(1) 95% 置信区间表示真值有 95% 的概率落在该区间。(2) $P=0.30$ 说明原假设有 30% 的可能成立。(3) 不拒绝 $H_0$ 就等于证明了 $H_0$。(4) 样本量越大,标准误越小。

(1) 错。真值是固定常数,频率解释是"重复构造的大量区间中约95%覆盖真值"。(2) 错。P 值是 $H_0$ 下出现当前及更极端数据的条件概率,不是 $H_0$ 为真的概率。(3) 错。只能说"证据不足、未能拒绝",可能是样本量不足或功效不够。(4) 对,$\mathrm{SE}\propto 1/\sqrt n$。
0-2 伯努利与标准误计算点击看解答

某批次质量问题概率 $p=0.448$,$n=500$。求单个指示变量 $Y$ 的期望与方差;若用样本比例 $\hat p$ 估计 $p$,其标准误约为多少?

$E(Y)=p=0.448$,$\mathrm{Var}(Y)=p(1-p)=0.448\times0.552=0.2473$。样本比例标准误 $\mathrm{SE}(\hat p)=\sqrt{p(1-p)/n}=\sqrt{0.2473/500}\approx0.0222$。注意 0.2473 这个数后面正是 Brier 分数的"朴素基准"(见第12章)。
0-3 指数与对数互算(熟悉 logit 的换算)点击看解答

不查表,利用运算律计算:(1) $\ln(e^2)$;(2) $e^{\ln 5}$;(3) $\ln\dfrac{0.7}{0.3}$(保留两位小数,已知 $\ln(7/3)\approx0.847$);(4) 若 $\ln\dfrac{p}{1-p}=0.847$,求 $p$。

(1) $\ln$ 与 $e^{(\,)}$ 抵消,得 2。(2) 同理得 5。(3) $\ln(0.7/0.3)=\ln(7/3)\approx0.85$。(4) 两边取指数:$p/(1-p)=e^{0.847}\approx2.333=7/3$,解得 $p=2.333/(1+2.333)=0.7$。体会:对数几率 0.847 对应概率 0.7。
0-4 期望与方差手算点击看解答

离散变量 $X$:取 1 概率 0.2、取 2 概率 0.5、取 3 概率 0.3。求 $E(X)$ 与 $\mathrm{Var}(X)$;并求伯努利变量在 $p=0.2$ 时的期望、方差与标准差。

$E(X)=1\times0.2+2\times0.5+3\times0.3=2.1$。$E(X^2)=1\times0.2+4\times0.5+9\times0.3=4.9$,$\mathrm{Var}(X)=E(X^2)-E(X)^2=4.9-4.41=0.49$,标准差 $=0.7$。伯努利:$E=p=0.2$,$\mathrm{Var}=p(1-p)=0.2\times0.8=0.16$,标准差 $=0.4$。
0-5 用导数找最大值(极大似然的雏形)点击看解答

设 $f(x)=-x^2+4x$(开口向下,像对数似然)。求导并找出最大值点;说明这与"极大似然令导数为 0"的关系。

$f'(x)=-2x+4$,令 $f'=0$ 得 $x=2$;二阶导 $f''=-2<0$,故 $x=2$ 是最大值点,最大值 $f(2)=4$。极大似然完全同理:对数似然是参数的凹函数,令其导数(梯度)为 0 解出的参数就是让"数据出现可能性最大"的估计。
0-6 贝叶斯小练习点击看解答

两袋球:甲袋 2 红 8 蓝,乙袋 8 红 2 蓝。先等概率随机选一袋(各 0.5),再从袋中摸出 1 球是红球。问它来自乙袋的概率。

$P(\text{红}\mid\text{甲})=0.2,\ P(\text{红}\mid\text{乙})=0.8$。全概率 $P(\text{红})=0.2\times0.5+0.8\times0.5=0.5$。贝叶斯 $P(\text{乙}\mid\text{红})=\dfrac{0.8\times0.5}{0.5}=0.8$。看到红球后,"来自乙袋"的把握从 0.5 上升到 0.8,这就是用观测更新判断。
0-7 线性预测(内积)计算点击看解答

已知 $\beta_0=-0.2,\ \beta_1=0.5,\ \beta_2=-0.1$,某批次 $x_1=4,\ x_2=20$。求线性预测 $\eta=\beta_0+\beta_1x_1+\beta_2x_2$,并用 Sigmoid 求概率 $p=1/(1+e^{-\eta})$($e^{0.2}\approx1.221$)。

$\eta=-0.2+0.5\times4-0.1\times20=-0.2+2-2=-0.2$。$p=1/(1+e^{0.2})=1/(1+1.221)\approx0.450$。这正是模型对一批具体输入"算风险概率"的完整一步。
PART Ⅰ

线性回归基础

先彻底搞懂"回归"在做什么、最小二乘怎么来、经典假设保证了什么;再看清当结果变量是 0/1 时线性回归为什么会失灵——这正是转向 Logistic 的原因。

第 1 章 一元线性回归与最小二乘

1.1 总体关系与样本拟合

零基础详解 · "回归"到底在干什么 把每个样本画成散点图(横轴是因素、纵轴是结果),回归就是在这些点中间找一条最能代表趋势的线,用它"由已知的 X 预测未知的 Y"。拟合=调整这条线(即调截距和斜率)让它整体最贴近所有点;每个点到线的竖直差距(实际值−线上预测值)就是残差,可理解为"这条线在这条记录上的预测误差"。好模型让所有残差整体尽量小。注意:现实中真实关系(总体)永远看不到,我们只能用手头样本估出一条样本线,所以系数上面加"帽子"$\hat\beta$,表示它是估计值而非真值。

设自变量 $X$、因变量 $Y$。总体回归函数(PRF)假定真实关系为

$$Y=\beta_0+\beta_1 X+u$$式(1.1)

其中 $\beta_0$ 为截距、$\beta_1$ 为斜率(总体真实参数,固定未知),$u$ 为误差项/扰动项,汇总了所有未纳入模型的其他因素与随机波动。我们用样本拟合一条样本回归线:

$$\hat Y=\hat\beta_0+\hat\beta_1 X,\qquad e_i=y_i-\hat y_i\ \text{(残差)}$$式(1.2)

区分:误差项 $u_i$ 是总体层面、永远观测不到的真值偏差;残差 $e_i$ 是样本层面"实际值减拟合值",可计算。

1.2 普通最小二乘法(OLS)

OLS 的准则:选 $\hat\beta_0,\hat\beta_1$ 使残差平方和最小(平方既惩罚正负偏差、又可导):

$$\min_{\beta_0,\beta_1}\ Q(\beta_0,\beta_1)=\sum_{i=1}^{n}e_i^2=\sum_{i=1}^{n}(y_i-\beta_0-\beta_1 x_i)^2$$式(1.3)

分别对 $\beta_0,\beta_1$ 求偏导并令其为 0,得到两条正规方程,解得:

$$\hat\beta_1=\frac{\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)}{\sum_{i=1}^n(x_i-\bar x)^2}=\frac{S_{xy}}{S_{xx}},\qquad \hat\beta_0=\bar y-\hat\beta_1\bar x$$式(1.4)

由此 OLS 回归线必过样本均值点 $(\bar x,\bar y)$,且残差之和 $\sum e_i=0$、残差与自变量正交 $\sum e_ix_i=0$。斜率含义:$X$ 每增加 1 个单位,$Y$ 的条件期望平均变化 $\hat\beta_1$ 个单位。

直觉 · 为什么用平方而不是绝对值 平方使偏差越大惩罚越重(对异常点更敏感),并且处处可导、有唯一闭式解;绝对值(L1)在折点不可导、解可能不唯一。这也埋下伏笔:Logistic 因模型非线性,最小化的不再是平方和,而是"负对数似然",且没有闭式解、需要迭代(第6章)。

1.3 拟合优度 R²

总变异可分解为"模型解释的变异 + 残差未解释的变异":

$$\underbrace{\sum(y_i-\bar y)^2}_{SST\text{ 总}}=\underbrace{\sum(\hat y_i-\bar y)^2}_{ESS\text{ 解释}}+\underbrace{\sum(y_i-\hat y_i)^2}_{RSS\text{ 残差}}$$
$$R^2=\frac{ESS}{SST}=1-\frac{RSS}{SST}\in[0,1]$$

一元线性回归中 $R^2=r^2$($r$ 为 $X,Y$ 的皮尔逊相关系数)。$R^2$ 表示"$Y$ 的变异中被 $X$ 线性解释的比例"。注意:$R^2$ 高不代表因果、不代表模型设定正确。

1-1 手算 OLS(务必会算)点击看解答

4 个点:$(x,y)=(1,1),(2,2),(3,2),(4,4)$。求 $\bar x,\bar y,\hat\beta_1,\hat\beta_0$ 与回归方程。

$\bar x=2.5,\ \bar y=2.25$。$S_{xx}=(-1.5)^2+(-0.5)^2+(0.5)^2+(1.5)^2=5$;$S_{xy}=(-1.5)(-1.25)+(-0.5)(-0.25)+(0.5)(-0.25)+(1.5)(1.75)=4.5$。$\hat\beta_1=4.5/5=0.9$;$\hat\beta_0=2.25-0.9\times2.5=0$。回归线 $\hat y=0.9x$。

第 2 章 多元线性回归(矩阵视角)

2.1 模型与矩阵解

$k$ 个自变量时:

$$Y=\beta_0+\beta_1X_1+\cdots+\beta_kX_k+u,\qquad \mathbf y=\mathbf X\boldsymbol\beta+\boldsymbol\varepsilon$$式(2.1)

其中 $\mathbf y$ 是 $n\times1$,$\mathbf X$ 是 $n\times(k+1)$(首列全 1),$\boldsymbol\beta$ 是 $(k+1)\times1$。最小化残差平方和 $\boldsymbol\varepsilon^{\mathsf T}\boldsymbol\varepsilon$,令梯度为零得正规方程 $\mathbf X^{\mathsf T}\mathbf X\boldsymbol\beta=\mathbf X^{\mathsf T}\mathbf y$,于是:

$$\hat{\boldsymbol\beta}=(\mathbf X^{\mathsf T}\mathbf X)^{-1}\mathbf X^{\mathsf T}\mathbf y$$式(2.2)

这是多元 OLS 的标准闭式解。要求 $\mathbf X^{\mathsf T}\mathbf X$ 可逆,即自变量之间不存在完全线性相关(完全多重共线)——这正是哑变量设置必须"丢一类做参照"的数学原因(第4章)。

2.2 偏回归系数:关键在"控制其他变量不变"

定义 · 偏回归系数(ceteris paribus) $\hat\beta_j$ 的含义是:在其他自变量保持不变的条件下,$X_j$ 每增加 1 个单位,$Y$ 平均变化 $\hat\beta_j$。它是"扣除了其他变量影响之后"$X_j$ 的净效应,因此叫偏回归系数。

这与一元回归有本质差别:一元斜率混杂了与 $X_j$ 相关的其他变量的作用。多元回归通过"投影—偏除(partialling out)"分离净效应。可以证明:$\hat\beta_j$ 等于"先用 $X_j$ 对其余自变量回归取残差、再用 $Y$ 对该残差回归"的简单斜率。

直觉 · 几何投影(一句话版) 把 $\mathbf y$ 看成高维空间的向量,$\mathbf X$ 各列张成一个"列空间平面"。OLS 就是把 $\mathbf y$ 正交投影到这个平面上得到 $\hat{\mathbf y}=\mathbf H\mathbf y$($\mathbf H=\mathbf X(\mathbf X^{\mathsf T}\mathbf X)^{-1}\mathbf X^{\mathsf T}$ 称帽子矩阵),残差向量 $\mathbf e=\mathbf y-\hat{\mathbf y}$ 与该平面垂直。理解"投影、正交"即可,答辩不要求推导。
答辩卡 · 为后续 Logistic 埋伏笔 Logistic 回归里"控制其他因素后,某因素的优势比为 $e^{\beta_j}$"用的正是同一套"偏效应/净效应"思想——所以单变量看与多变量模型里系数不同是正常的,多元模型的结论才是净效应。
2-1 为什么多元系数可能和一元系数符号不同?点击看解答

用"控制变量/混杂"的语言解释,并各举一个工程上可能的例子。

一元回归没有控制混杂变量,斜率同时包含 $X_j$ 的直接作用和"经由与 $X_j$ 相关的其他变量"的间接作用,即遗漏变量偏误;多元回归扣除这些后得到净效应,符号、大小都可能改变。例:单看"班组人数"似乎人越多问题越多(人数常与赶工、夜班、大方量同时出现),但控制浇筑方量、连续工时后,人数本身的净效应可能不显著甚至反向。这也是论文里 X1 班组人数在多变量模型中不显著的原因之一。

第 3 章 经典假设、估计性质与系数检验

3.1 高斯–马尔可夫假定(OLS 成立的前提)

编号假定违反的后果 / 说明
MLR1参数线性:$Y=\beta_0+\beta_1X_1+\cdots+u$对参数线性即可,$X$ 可做非线性变换(平方、对数)
MLR2随机抽样 i.i.d.样本不独立(如时间自相关、聚集)会使标准误失真
MLR3无完全多重共线性自变量间无精确线性关系,否则 $(\mathbf X^{\mathsf T}\mathbf X)$ 不可逆、无解
MLR4零条件均值 $E(u\mid\mathbf X)=0$(严格外生)违反则 OLS 有偏(遗漏变量、测量误差、反向因果、内生性)
MLR5同方差 $\mathrm{Var}(u\mid\mathbf X)=\sigma^2$ 恒定异方差:系数仍无偏,但标准误/检验失真,需稳健标准误
MLR6(可选)误差正态 $u\mid\mathbf X\sim N(0,\sigma^2)$小样本下做精确 t/F 检验需要;大样本由中心极限定理替代
定理 · 高斯–马尔可夫(G-M 定理) 在 MLR1–MLR5 下,OLS 估计量是 BLUE——Best Linear Unbiased Estimator,即"最佳线性无偏估计":在所有线性、无偏估计中方差最小。其中 MLR1–MLR4 保证无偏,加上 MLR5 保证有效(方差最小)。大样本下 OLS 还具有一致性与渐近正态性。

系数的条件方差(理解"什么让系数不稳"):

$$\mathrm{Var}(\hat\beta_j\mid\mathbf X)=\frac{\sigma^2}{SST_j\,(1-R_j^2)},\qquad \hat\sigma^2=\frac{RSS}{n-k-1}$$

$SST_j=\sum(x_{ij}-\bar x_j)^2$ 是 $X_j$ 自身变异(变异越大系数越稳);$R_j^2$ 是把 $X_j$ 对其余自变量回归的决定系数——$R_j^2$ 越大(共线性越强),分母越小、方差越大。$1/(1-R_j^2)$ 正是第4章的 VIF。

3.2 单个系数的 t 检验与置信区间

检验 $H_0:\beta_j=0$($X_j$ 对 $Y$ 无净影响):

$$t_j=\frac{\hat\beta_j}{\mathrm{SE}(\hat\beta_j)}\ \sim\ t(n-k-1),\qquad CI_{1-\alpha}:\ \hat\beta_j\pm t_{1-\alpha/2}\,\mathrm{SE}$$

自由度 $n-k-1$(样本量减自变量数再减截距)。大样本时 $t$ 分布趋近标准正态,临界值趋近 1.96。Logistic 里对应的就是 Wald 的 $Z$ 统计量(第8章),形式完全一样,只是分布用正态/卡方。

3.3 联合显著性的 F 检验

同时检验一组(如全部)系数是否为 0,$H_0:\beta_1=\cdots=\beta_q=0$:

$$F=\frac{(RSS_{r}-RSS_{ur})/q}{RSS_{ur}/(n-k-1)}\ \sim\ F(q,\,n-k-1)$$

$RSS_r,RSS_{ur}$ 分别为去掉这 $q$ 个变量的"受约束模型"与"完整模型"残差平方和。整体 F 检验对应 Logistic 里的"似然比检验/模型整体卡方检验",思想一脉相承:约束是否让拟合显著变差。

3.4 调整 R²:对"堆变量"的第一道警惕

$$\bar R^2=1-(1-R^2)\frac{n-1}{n-k-1}$$

普通 $R^2$ 有个性质:增加任何自变量都不会使它下降(哪怕该变量毫无意义),这会诱导人盲目堆变量。调整 $\bar R^2$ 在分子加入对变量数 $k$ 的惩罚,只有新变量带来的拟合提升超过惩罚时才上升。这与 Logistic 里用 AIC/BIC、EPV 控制变量数量是同一思想(第8、14章)。

第 4 章 回归诊断、共线性,以及线性概率模型为何失灵

4.1 异方差

同方差被破坏即异方差。后果:OLS 系数仍无偏一致,但标准误估计有偏,从而 t/F、P 值、置信区间不可信。常见处理:稳健(异方差一致)标准误 HC、加权最小二乘 WLS、或对变量变换。对 0/1 因变量而言异方差是"天生的、必然的"(见 4.3)。

4.2 多重共线性与方差膨胀因子 VIF

完全共线:某自变量是其他自变量的精确线性组合,$\mathbf X^{\mathsf T}\mathbf X$ 奇异、参数不可识别。最典型是哑变量陷阱:一个有 $m$ 类的分类变量,若把 $m$ 个哑变量全放进去、又保留截距,就完全共线,必须省略 1 类作"参照组"(只放 $m-1$ 个)。论文里输送机械 5 类只放 4 个哑变量、以"地泵布料机"为参照,正是此理。

不完全共线:自变量高度(但非精确)相关,参数可估但方差膨胀、系数不稳、符号可能反常。用 VIF 量化:

$$VIF_j=\frac{1}{1-R_j^2},\qquad TOL_j=1-R_j^2=\frac1{VIF_j}$$式(4.1)
VIF 区间经验判断
$VIF<5$共线性很弱,可接受
$5\le VIF<10$中度共线,需关注、报告
$VIF\ge10$严重共线,系数估计不可靠,应删并变量或正则化

判据为经验阈值(O'Brien、Hair 等教材常用 5/10)。论文数值型变量 VIF 约 1.01–1.03、哑变量约 1.24–1.54,全部远小于 5,故不存在显著共线性。

4.3 重头戏:因变量是 0/1 时,线性回归 = 线性概率模型(LPM)

若直接令 $P(Y=1\mid\mathbf X)=\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf X$,称线性概率模型。此时 $\hat\beta_j$ 可解释为"$X_j$ 每增 1、发生概率的绝对变化量",直观是它唯一的优点。但它有三个无法回避的硬伤:

硬伤① 预测概率越界 线性函数值域是 $(-\infty,+\infty)$,而概率必须落在 $[0,1]$。对某些 $\mathbf x$,模型会算出负概率或大于 1 的概率,逻辑上荒谬。
硬伤② 误差必然异方差、且只取两值 因 $Y\in\{0,1\}$,误差 $u=Y-(\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf X)$ 只能取 $1-p$ 与 $-p$ 两个值,且 $$\mathrm{Var}(u\mid\mathbf X)=p(\mathbf x)\,[1-p(\mathbf x)]$$ 随 $\mathbf x$ 变化,异方差是内生必然的,普通 OLS 标准误必然失真。
硬伤③ 边际效应恒定,违背概率的 S 形规律 LPM 假设 $X_j$ 每增 1,概率恒变 $\beta_j$,与概率在 0.5 附近变化快、逼近 0/1 时变化慢的真实非线性(饱和)规律不符。现实中"温度从 5℃升到 10℃"与"从 35℃升到 40℃"对问题概率的影响不可能相同。
破局思路(自然引出 Logistic) 需要一个"链接函数",把取值无界的线性组合 $\eta=\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf X$ 平滑地压缩进 $(0,1)$,且呈中间陡、两端缓的 S 形。取 $\eta=\ln\dfrac{p}{1-p}$(logit 链接)、反解即得 Logistic 模型;取正态分布的逆函数则得 Probit 模型。二者都属于广义线性模型(GLM)。这就是第二篇的主题。
4-1 哑变量陷阱辨析点击看解答

一个分类变量有 4 个类别,模型带截距。应放几个哑变量?若放 4 个会发生什么?参照组的系数在哪里?

放 $4-1=3$ 个。放 4 个再加全 1 截距列,会出现"四列哑变量之和=截距列"的完全共线,矩阵奇异、无解。被省略的那一类即参照组,其效应并入截距;每个哑变量系数表示"该类相对参照类"的差异。
4-2 VIF 计算与判断点击看解答

把 $X_j$ 对其余自变量回归得 $R_j^2=0.84$,求 VIF 并判断共线程度。

$VIF=1/(1-0.84)=6.25$,属中度共线(介于 5 与 10 之间),需关注并报告,必要时合并变量或采用正则化;其系数方差相对无共线情形被放大约 6.25 倍。
4-3 为什么 0/1 因变量"必然异方差"?点击看解答

写出推导。

LPM 中 $Y$ 是成功概率 $p(\mathbf x)$ 的伯努利变量,故 $\mathrm{Var}(Y\mid\mathbf x)=p(1-p)$;而 $u=Y-p(\mathbf x)$,所以 $\mathrm{Var}(u\mid\mathbf x)=p(\mathbf x)(1-p(\mathbf x))$,随 $\mathbf x$ 改变而改变,不满足"方差恒定",因此异方差是模型设定内生的、无法通过抽样消除。
PART Ⅱ

Logistic 回归核心

几率与 logit 链接、模型三种等价形式、极大似然估计与迭代求解、优势比 OR 的正确解读、Wald/似然比检验与变量选择、模型假设与诊断——这是统计学背景评委最容易深挖的部分。

第 5 章 几率、logit 链接与模型的三种等价形式

5.1 从概率到几率,再到对数几率

零基础详解 · 跟着一个数字走完整条链(务必亲手按一遍) "概率"和"几率"在口语里常混用,这里严格区分。取出事概率 $p=0.8$(不出事 0.2):
第一步 概率→几率:$\mathrm{odds}=p/(1-p)=0.8/0.2=4$,读作"出事的几率是不出事的 4 倍"(4∶1)。
第二步 几率→对数几率:$\mathrm{logit}=\ln4\approx1.386$,变成一个可正可负、没有上下界的普通数值。
第三步 模型在"对数几率"这一层做线性加法:$\eta=\beta_0+\beta_1x_1+\cdots=1.386$。
第四步 原路返回:$e^{1.386}=4$(几率),再 $p=4/(1+4)=0.8$,回到概率。
再看几个对照值建立感觉:$p=0.5\Rightarrow$odds$=1\Rightarrow$logit$=0$;$p=0.9\Rightarrow$odds$=9\Rightarrow$logit$\approx2.197$;$p=0.1\Rightarrow$odds$=0.111\Rightarrow$logit$\approx-2.197$。概率以 0.5 为中心对称,对数几率以 0 为中心对称。之所以绕这一圈,是因为概率被限制在 0~1、不能直接做线性加法,而对数几率没有这个限制。
$$\text{几率(odds):}\ \mathrm{odds}(p)=\frac{p}{1-p},\qquad p\in(0,1)\Rightarrow \mathrm{odds}\in(0,+\infty)$$

几率是"发生与不发生的比值":$p=0.5$ 时 odds$=1$(对半);$p>0.5$ 时 odds$>1$。再取自然对数得到 logit:

$$\mathrm{logit}(p)=\ln\frac{p}{1-p}\in(-\infty,+\infty)$$

这一步把"受限在 $(0,1)$ 的概率"变成了"取值全实数"的量,于是可以像线性回归那样用 $\eta=\beta_0+\beta_1x_1+\cdots+\beta_kx_k$ 去建模。反过来解出 $p$:

$$p=\mathrm{logit}^{-1}(\eta)=\frac{1}{1+e^{-\eta}}=\frac{e^\eta}{1+e^\eta}=:\sigma(\eta)$$式(5.1)

$\sigma(\cdot)$ 称 logistic / Sigmoid 函数,呈 S 形:$\sigma(0)=0.5$、$\sigma(-z)=1-\sigma(z)$、渐近于 0 和 1(天然有界、不会越界)、导数 $\sigma'(z)=\sigma(z)(1-\sigma(z))$。

5.2 模型的三种等价写法(务必都认得)

形式表达式用途
对数几率式(logit)$\ln\dfrac{p(\mathbf x)}{1-p(\mathbf x)}=\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf x$线性、系数=对数几率,做估计与检验
几率式(odds)$\dfrac{p(\mathbf x)}{1-p(\mathbf x)}=e^{\beta_0}\prod_j e^{\beta_jx_j}$乘法结构,直接得优势比 OR
概率式(Sigmoid)$p(\mathbf x)=\dfrac{1}{1+\exp[-(\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf x)]}$输出概率、画 S 曲线、做预测
直觉 · 为什么偏偏是 logit(五条理由) ①把 $(0,1)$ 映到全实数,线性组合不再越界;②取对数后"几率相乘"变"对数几率相加",便于线性建模;③反函数 S 形有界且饱和,符合概率变化规律;④它是伯努利分布的自然(典范)链接函数,对应极大似然有良好的统计性质、信息阵形式简洁;⑤系数可解释为"对数几率的变化",进而得到优势比,白箱、可解释。

5.3 放在广义线性模型(GLM)框架里看

GLM 三要素:随机成分(因变量分布,这里是伯努利)、系统成分(线性预测 $\eta=\mathbf X\boldsymbol\beta$)、链接函数(连接均值与线性预测,这里 $g(p)=\mathrm{logit}(p)$)。若把链接换成正态分布分位数 $\Phi^{-1}$ 就是 Probit 回归,结果通常非常接近,但 logit 的系数可直接转 OR、解释更方便,故最常用。

结合论文 论文中"是否发生质量问题"$Y\in\{0,1\}$ 服从伯努利分布,自变量覆盖人机料法环 11 项(独热后 14 个特征),用 logit 链接建立 $p=P(Y=1\mid\mathbf x)$,输出的正是"本次浇筑发生质量问题的预测概率",再以阈值 0.5 转成 0/1 分类。
5-1 三种形式互算点击看解答

已知某样本线性预测 $\eta=-1.2$。求发生概率 $p$、几率 odds;若另一因素使 $\eta$ 增加 $0.8$,新概率是多少?

$p=\sigma(-1.2)=1/(1+e^{1.2})=1/(1+3.320)=0.2315$;odds$=p/(1-p)=e^{-1.2}=0.301$。新 $\eta=-0.4$,$p=1/(1+e^{0.4})=0.4013$。可见 $\eta$ 增加同样的 0.8,概率变化量取决于起点(非线性)。
5-2 为什么不能直接写 p=β₀+βx?点击看解答

用第4章与本章知识回答。

会得到线性概率模型:预测可能超出[0,1]、误差必然异方差、边际效应恒定违背S形饱和规律。logit链接通过Sigmoid把无界线性预测压缩进(0,1)并允许非线性边际效应,同时保留"对数几率线性"的可加结构。

第 6 章 参数估计:极大似然(MLE)与迭代求解

6.1 为什么 Logistic 不能用最小二乘

因模型对参数非线性、因变量 0/1、误差非正态且必然异方差,OLS 的闭式解与 BLUE 性质不再适用。Logistic 改用极大似然估计(Maximum Likelihood Estimation, MLE):找一组参数,使"实际观测到的这批 0/1 结果"出现的可能性(似然)最大。

零基础详解 · 用"猜硬币"一次弄懂"似然" 一枚硬币正面概率 $\theta$ 未知,连抛 3 次得到"正、正、反"。在给定 $\theta$ 时,这个结果出现的概率是 $\theta\cdot\theta\cdot(1-\theta)=\theta^2(1-\theta)$(独立相乘)。我们反过来问:$\theta$ 取多少,最可能产生刚看到的结果?代入 $\theta=0.5$ 得 0.125;$\theta=2/3$ 得 $4/9\times1/3\approx0.148$(更大);求导令其为 0 正好解出 $\hat\theta=2/3$。这个"让已发生数据出现概率最大"的参数值,就是极大似然估计。Logistic 回归一模一样,只是把"硬币的 $\theta$"换成"由因素和系数经 Sigmoid 算出的每个批次出事概率 $p_i$",要估计的是整组 $\boldsymbol\beta$。
动手理解 · 为什么要取对数、又为什么必须迭代 取对数:几百上千个 0/1 概率直接连乘会得到一个小到计算机存不下的数(数值下溢);$\ln$ 把连乘变成连加、且 $\ln$ 单调递增、不改变最大值的位置,所以最大化"似然"等价于最大化"对数似然",好算又稳定。
要迭代:令对数似然导数为 0 后,系数 $\boldsymbol\beta$ 仍"藏"在 Sigmoid 的指数里,无法像 OLS 那样用一个公式一步解出,只能逐步逼近。可以想象蒙眼摸山顶:先随便站一个位置(初始值)→用脚感受坡度(梯度)→朝最陡上坡方向迈一步(更新系数)→再感受、再迈步,直到脚下几乎变平(梯度≈0、系数不再变化)即收敛。前面证明过对数似然是"凹的山"(只有一个山顶),所以无论从哪起步都会走到同一个最高点。

6.2 似然函数与对数似然

在 i.i.d. 与伯努利假定下,单个样本贡献 $p_i^{y_i}(1-p_i)^{1-y_i}$,联合似然为各样本乘积:

$$L(\boldsymbol\beta)=\prod_{i=1}^{n}p_i^{\,y_i}(1-p_i)^{1-y_i},\qquad p_i=\sigma(\mathbf x_i^{\mathsf T}\boldsymbol\beta)$$

乘积求导不便,取对数把连乘变连加,得到对数似然(两种等价写法):

$$\ell(\boldsymbol\beta)=\sum_{i=1}^{n}\big[y_i\ln p_i+(1-y_i)\ln(1-p_i)\big]=\sum_{i=1}^{n}\big[y_i\eta_i-\ln(1+e^{\eta_i})\big]$$式(6.1)

第二种写法用 $\eta_i=\mathbf x_i^{\mathsf T}\boldsymbol\beta$ 表示,是计算机实际使用的数值稳定形式;$-\ell$ 也称二元交叉熵损失(binary cross-entropy),逻辑回归与"一个神经元的二分类神经网络"损失完全相同——区别在于逻辑回归是线性、白箱可解释的。

6.3 得分方程:为什么没有闭式解

对 $\boldsymbol\beta$ 求梯度(得分向量),利用 $\sigma'=\sigma(1-\sigma)$ 化简得:

$$\frac{\partial \ell}{\partial \boldsymbol\beta}=\mathbf X^{\mathsf T}(\mathbf y-\mathbf p)=\mathbf 0,\qquad \mathbf p=(p_1,\dots,p_n)^{\mathsf T}$$式(6.2)

但 $p_i$ 本身是 $\boldsymbol\beta$ 的非线性函数(含 Sigmoid),所以这是一组非线性方程,无法像 OLS 那样一步解出,必须迭代。二阶导数(Hessian 矩阵)为:

$$\mathbf H=-\mathbf X^{\mathsf T}\mathbf W\mathbf X,\qquad \mathbf W=\mathrm{diag}\big(p_i(1-p_i)\big)$$

因 $\mathbf W$ 对角元 $p_i(1-p_i)>0$,$\mathbf H$ 负定,故对数似然是凹函数,最大值唯一(不存在局部极值陷阱),迭代一定收敛到全局最优。

6.4 牛顿–拉夫逊与 IRLS(迭代再加权最小二乘)

$$\boldsymbol\beta^{(t+1)}=\boldsymbol\beta^{(t)}-\mathbf H^{-1}\mathbf g=(\mathbf X^{\mathsf T}\mathbf W^{(t)}\mathbf X)^{-1}\mathbf X^{\mathsf T}\mathbf W^{(t)}\mathbf z^{(t)}$$

其中 $\mathbf g=\mathbf X^{\mathsf T}(\mathbf y-\mathbf p)$ 为梯度,$\mathbf z=\mathbf X\boldsymbol\beta^{(t)}+\mathbf W^{-1}(\mathbf y-\mathbf p)$ 称"工作响应"。每一步都像在解一个以 $\mathbf W$ 为权重的加权最小二乘,故又称 IRLS(Iteratively Reweighted Least Squares)。反复更新直到系数变化小于容差即收敛。statsmodels 的 Logit 默认即用此类牛顿迭代。

收敛后,用(Fisher)信息阵的逆估计系数协方差,从而得到标准误:

$$\widehat{\mathrm{Cov}}(\hat{\boldsymbol\beta})=(\mathbf X^{\mathsf T}\hat{\mathbf W}\mathbf X)^{-1},\qquad \mathrm{SE}(\hat\beta_j)=\sqrt{\text{该矩阵第 }j\text{ 个对角元}}$$式(6.3)
MLE 的大样本性质(Wald 检验的理论根据) 在正则条件、样本量足够时,$\hat{\boldsymbol\beta}$ 具有一致性、渐近无偏、渐近有效、渐近正态性:$\hat\beta_j\approx N(\beta_j,\,\mathrm{SE}^2)$。于是可以像线性回归 t 检验那样构造 $Z=\hat\beta_j/\mathrm{SE}$ 做检验(第8章)。注意这些是"大样本"性质,样本太小时 P 值并不可靠——这又回到样本量/EPV 的重要性。

6.5 正则化、求解器,以及论文的"双引擎"设计

为抑制小样本过拟合与共线性,可在损失里加惩罚:

$$\text{L2(岭/Ridge):}\min\ -\ell(\boldsymbol\beta)+\lambda\sum_j\beta_j^2\qquad\quad \text{L1(Lasso):}\min\ -\ell(\boldsymbol\beta)+\lambda\sum_j|\beta_j|$$
  • L2 把系数整体向 0 轻微收缩、稳定但不产生稀疏;L1 会把部分系数压成恰好 0,带变量选择效果。
  • sklearn 的反直觉参数:$\mathbf C=1/\lambda$,C 越大正则越弱,$C\to\infty$ 等价于无正则;论文取 $C=1.0$、penalty='l2'、solver='liblinear'(适合小样本二分类的信赖域/坐标类算法)。
易错 · 正则会让系数和 P 值"变味" 加了惩罚后系数是有偏收缩的,标准 Wald P 值也不再是经典 MLE 口径。论文因此采用双引擎:用 sklearn(liblinear + L2)训练最终预测模型以保证稳健;另用 statsmodels 的 Logit.fit()(无正则经典 MLE)输出系数、SE、Z、P 值与 OR 用于统计推断,各司其职,避免"用收缩系数去做经典显著性检验"的口径混乱。
陷阱 · 完全分离 / 准完全分离 若某自变量能把 0 和 1 完全(或近乎完全)分开(例如某类别下全部出问题),对数似然没有有限最大值、系数估计趋于无穷、迭代不收敛。处理:合并稀疏类别、连续变量离散化、增大样本、或施加正则(L2 天然能缓解)。论文变量取值分布较均衡且施加 L2,未出现分离。
6-1 写出单个样本的对数似然并说明最大化它的含义点击看解答
第 $i$ 个样本 $\ell_i=y_i\ln p_i+(1-y_i)\ln(1-p_i)$:当 $y_i=1$ 只剩 $\ln p_i$,最大化即让模型对"出事样本"给出尽量高的 $p_i$;当 $y_i=0$ 只剩 $\ln(1-p_i)$,即让"未出事样本"的 $p_i$ 尽量低。全体求和最大化,就是让模型对已知结果整体"打分最合理"。
6-2 为什么 Logistic 的 MLE 没有局部最优陷阱?点击看解答
Hessian $\mathbf H=-\mathbf X^{\mathsf T}\mathbf W\mathbf X$,权重 $p_i(1-p_i)>0$ 使 $\mathbf H$ 负定,对数似然关于 $\boldsymbol\beta$ 是严格凹函数,因此只有唯一全局最大值,牛顿/IRLS 从任意初值都收敛到该最优点(前提是无完全分离)。
6-3 sklearn 中 C=0.01 与 C=100,哪个正则更强?点击看解答
因 $C=1/\lambda$,C=0.01 对应 $\lambda=100$,正则更强、系数收缩更明显;C=100 对应 $\lambda=0.01$,几乎不收缩、接近无正则 MLE。论文取 C=1.0 为温和 L2 收缩。

第 7 章 优势比 OR 与回归系数的正确解读

7.1 优势比(Odds Ratio)的推导

固定其他变量,比较 $X_j$ 取 $x_j+1$ 与 $x_j$ 时的几率之比。由几率式 $\mathrm{odds}=e^{\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf x}$:

$$OR_j=\frac{\mathrm{odds}(x_j+1)}{\mathrm{odds}(x_j)}=\frac{e^{\beta_j(x_j+1)+\cdots}}{e^{\beta_jx_j+\cdots}}=e^{\beta_j},\qquad \beta_j=\ln OR_j$$式(7.1)
动手算例(两种情形都要会) ① 连续变量(论文最常用):入模温度系数 $\beta=0.4918$,则 $OR=e^{0.4918}=1.635$。含义:其他变量保持不变,入模温度每升高 1 个标准化单位,"出事的几率"变为原来的 1.635 倍(即增加约 63.5%)。保护因素 $\beta=-0.6228$(监督年限):$OR=e^{-0.6228}=0.537$,几率降到原来的 53.7%(降低约 46%)。
② 二分类变量用 2×2 表手算:设"是否高温作业"与"是否出事"列联表为——高温且出事 $a=40$、高温未出事 $b=20$、非高温出事 $c=30$、非高温未出事 $d=70$,则 $OR=\dfrac{a/b}{c/d}=\dfrac{ad}{bc}=\dfrac{40\times70}{20\times30}\approx4.67$,即高温组出事几率约为非高温组的 4.67 倍。
务必记住:OR 说的是几率(odds)的倍数,不是概率的倍数(概率倍数叫相对风险 RR,二者在小概率时才近似)。
系数/OR方向解释(控制其他变量不变)
$\beta_j>0,\ OR_j>1$危险因素$X_j$ 增大,发生的几率上升(乘以 $OR_j$)
$\beta_j<0,\ OR_j<1$保护因素$X_j$ 增大,发生的几率下降(乘以 $OR_j$)
$\beta_j=0,\ OR_j=1$无关联几率不变

OR 的 95% 置信区间由系数区间取指数得到:

$$CI_{95\%}(OR_j)=\Big[e^{\hat\beta_j-1.96\,\mathrm{SE}},\ \ e^{\hat\beta_j+1.96\,\mathrm{SE}}\Big]$$

区间不跨 1(等价于 $\beta$ 区间不跨 0)才显著。例如 $OR=0.54$,95%CI $[0.44,0.65]$ 不跨 1,显著保护;若为 $[0.25,1.12]$ 跨 1,则不显著。

7.2 不同变量类型的解读

  • 连续变量(原始尺度):$X_j$ 每增加 1 个物理单位,几率乘 $e^{\beta_j}$。
  • 标准化变量(本论文情形):建模前做了 Z-score 标准化 $z=(x-\bar x)/s$,故 OR 对应"每增加 1 个标准差"的几率倍数,消除了量纲、系数大小可横向比较重要性。解读时要说明这一点。
  • 哑变量:该类别相对参照组的几率倍数。论文输送机械以"地泵布料机"为参照,某机械哑变量 OR 即"该机械相对地泵布料机"的发生几率比。
  • 有序变量:论文强度等级 C30–C50 按 30,35,…,50 数值化,OR 对应"强度等级每升一档(5MPa)"。

7.3 最容易被评委抓的陷阱:OR ≠ 概率倍数(RR)

概念辨析 · 优势比 OR 与相对风险 RR $OR=\dfrac{p_1/(1-p_1)}{p_0/(1-p_0)}$ 是几率之比;相对风险 $RR=\dfrac{p_1}{p_0}$ 才是概率之比。二者只有在事件很罕见($p$ 很小)时才近似相等;当事件常见时,OR 会系统性地比 RR 更"夸张"。绝不能把 OR=1.6 说成"发生概率变成 1.6 倍",规范说法是"发生几率(odds)变为 1.6 倍"。

概率的实际变化量取决于基线概率(非线性边际效应)。同样 $OR=1.5$(即 $\Delta\ln\text{odds}=\ln1.5=0.405$):

基线概率 $p_0$基线 odds新概率 $p_1$概率绝对变化
0.100.111$0.143$+0.043
0.501.000$0.600$+0.100
0.804.000$0.857$+0.057

同样的 OR,概率变化量在 0.5 附近最大、两端变小——这正是 S 形曲线的体现。要讲"概率提高多少",必须代回 Sigmoid、结合具体基线计算(平均边际效应 AME 是更严谨的整体口径)。

对 $2\times2$ 列联表 $\begin{smallmatrix}a&b\\c&d\end{smallmatrix}$(暴露/未暴露 × 出事/未出事),$OR=\dfrac{ad}{bc}$。

7.4 用论文系数表练解读

结合论文(700 训练集、标准化系数,摘几个) 监督人员年限 X3:$\beta=-0.623,\ OR=0.54,\ P<0.001$——监督年限每增加 1 个标准差,发生几率约降到原来的 0.54 倍(下降约 46%),是保护因素;入模温度 X6:$\beta=+0.492,\ OR=1.64$——入模温度每升高 1 个标准差,几率约升为 1.64 倍,是危险因素;振捣时间 X8:$OR=0.61$ 保护;环境温度 X11:$OR=1.52$ 危险。强度等级 X7:$P\approx0.05\sim0.09$ 为边缘显著,如实报告。注意这些都是"几率"变化,不是概率直接翻倍。
7-1 OR 解读与概率换算点击看解答

某因素 $\beta=0.7$,求 OR;若当前基线概率为 0.3,该因素升高 1 单位后概率约为多少?是"概率变为 2 倍"吗?

$OR=e^{0.7}=2.014$。基线 odds$=0.3/0.7=0.4286$,新 odds$=0.4286\times2.014=0.863$,新概率 $p=0.863/(1+0.863)=0.463$。概率从 0.30 升到 0.463,并非"变成 2 倍(0.6)"。规范表述:几率约变为 2.01 倍,概率绝对上升约 0.16。
7-2 OR=0.5 是什么含义?比 OR=1.5 的因素"作用更小"吗?点击看解答
OR=0.5 表示每升 1 单位几率减半(保护因素),其对数尺度上的强度 $|\ln0.5|=0.693$,与 OR=1.5 的 $|\ln1.5|=0.405$ 相比其实更强。比较因素重要性应看 $|\ln OR|$(即 $|\beta|$,标准化后),而不是 OR 与 1 的算术距离。

第 8 章 假设检验、三大检验统计量与变量选择

8.1 单个系数:Wald 检验

检验 $H_0:\beta_j=0$。利用 MLE 的渐近正态性:

$$Z=\frac{\hat\beta_j}{\mathrm{SE}(\hat\beta_j)}\ \overset{H_0}{\sim}\ N(0,1),\qquad W=Z^2\ \overset{H_0}{\sim}\ \chi^2(1)$$

双侧 P 值 $=2[1-\Phi(|Z|)]$;$|Z|>1.96$(或 $P<0.05$)拒绝。Wald 检验只需拟合完整模型、计算最快,是系数表 P 值的来源;缺点是在系数很大/接近分离、样本较小时不够稳定(此时以似然比检验为准)。

动手走一遍完整 Wald 检验(教学算例) 设某因素 $\hat\beta=0.50$、$\mathrm{SE}=0.12$,检验它是否有作用($H_0:\beta=0$):
① 算统计量 $Z=0.50/0.12=4.17$;② 因 $|Z|=4.17>1.96$,双侧 $P=2[1-\Phi(4.17)]\approx3\times10^{-5}<0.05$,拒绝 $H_0$,认为该因素作用真实存在;③ 效应量 $OR=e^{0.50}=1.65$;④ 95% 区间:先算 $\beta$ 的区间 $0.50\pm1.96\times0.12=[0.265,0.735]$,再整体取指数得 OR 区间 $[e^{0.265},e^{0.735}]=[1.30,2.09]$,不跨 1,与 P 值结论一致。论文中入模温度 $\beta=0.4918$、$P=4.5\times10^{-8}$($|Z|\approx5.5$),走的就是这套流程,只是由软件一次算完。

8.2 似然比检验(LR)与得分检验(Score)

似然比检验比较一对嵌套模型(受约束模型 0 与完整模型 1)的对数似然:

$$G=-2\big(\ell_0-\ell_1\big)=D_0-D_1\ \overset{H_0}{\sim}\ \chi^2(q)$$

$q$ 为被约束(少掉)的参数个数,$D=-2\ell$ 为偏差(deviance,第14章)。检验"整组变量是否联合显著""模型整体是否显著(对比只有截距的零模型)"都用它。LR 同时拟合两个模型,统计性质最可靠,小样本下优先于 Wald。

得分检验(Score / Lagrange 乘子)只在 $H_0$(约束模型)处计算对数似然梯度是否已接近 0,不必拟合更大的模型,常用于"加入某变量前先看是否值得"。三者关系:

检验需要拟合的模型适用特点
Wald仅完整(无约束)模型单系数显著性、快速出 P 值大样本可靠,接近分离时偏弱
似然比 LR约束 + 完整两个模型多变量联合、整体模型、增删变量最稳健,小样本首选
Score仅约束模型筛选候选变量、诊断不必拟合大模型

大样本下三者渐近等价。线性回归里的 t 检验、偏 F 检验,在 Logistic 里分别对应 Wald、似然比检验。

8.3 变量并非越多越好(简约原则)答辩重点

盲目堆砌自变量有四类风险:

① 稀释每变量事件数(EPV 下降) Logistic 的 MLE 是大样本理论,真正决定估计稳定性的是少数类(事件)的数量而非总样本。变量越多、每个变量摊到的事件越少,系数标准误膨胀、Wald 检验功效下降,极端时出现完全分离、无法收敛。
② 诱发过拟合 与结果无关、只反映偶然波动的变量会让模型去"拟合噪声":训练集表现虚高,对新批次的泛化能力反而下降。
③ 加剧多重共线性 冗余、高度相关的变量抬高 VIF,使系数估计不稳、符号可能反常、难以解释。
④ 降低可解释性、违背奥卡姆剃刀 同等拟合下应选更简单的模型;变量过多抓不住关键因素,也不符合核电"凡事可追溯、可解释"的要求。
经验准则 · EPV(Events Per Variable) $$EPV=\frac{\text{少数类事件数(正例或负例中较少者)}}{\text{模型待估参数个数(含哑变量、截距口径需说明)}}$$ Peduzzi 等模拟研究建议 EPV ≥ 10(保守取 10–20)。低于 10 时系数开始明显偏倚、SE 膨胀。论文少数类(发生质量问题)224 例、14 个特征,$EPV=224/14=16$,高于下限,估计有足够事件支撑。

常用的变量选择/精简手段:①机理先验——按人机料法环与规范、现场可测性先圈定,不把能采到的字段都塞进去;②共线性诊断 VIF 把关;③数据驱动——向前/向后/逐步选择(基于 LR 或 AIC)、L1(Lasso) 稀疏,但逐步法有多重检验、结果不稳的问题,只能作辅助、且最终要回到机理;④信息准则 AIC/BIC 在拟合与简洁间权衡(第14章)。论文对不显著变量(班组人数、连续工时、4 个机械哑变量)如实报告"为维持人机料法环体系完整而保留",后续可按逐步回归/AIC 进一步精简。

答辩卡 · 一句话标准回答 "Logistic 不是变量越多越好:变量多会摊薄 EPV、诱发过拟合、加剧共线、降低可解释性。本文是机理先验定变量、VIF 与 EPV 做数量把关、显著性检验做数据复核,宁要少而精的关键因素,不要多而杂的噪声变量。"

第 9 章 Logistic 回归的假设与回归诊断

9.1 它"不需要"什么、"需要"什么

与线性回归不同,Logistic 不要求因变量正态(Y 本就是 0/1)、不要求同方差、也不要求自变量正态分布。但它有自己的假定:

假定含义违反后果 / 检查
① 观测独立各批次结果相互独立(i.i.d.)聚集/重复测量需用混合效应或稳健聚类标准误
② logit 线性连续自变量与 logit(p)(不是 p)呈线性Box–Tidwell 检验、分组、样条/分段、变量变换
③ 无完全共线自变量无精确线性关系VIF;分类变量留参照组避免哑变量陷阱
④ 样本量充足EPV≥10、无完全分离增样、合并类别、正则化
⑤ 无强影响点个别点不能左右整个模型残差、杠杆、Cook 距离诊断

9.2 logit 线性假定与 Box–Tidwell 检验

检验连续变量 $X_j$ 是否与 logit 线性:在模型中额外加入交互项 $X_j\ln X_j$(对可能取 0/负值先线性平移为正),若该项显著,说明原变量在 logit 尺度上不线性,应做变换、分箱或用样条。论文连续变量经分布核查、量纲标准化,未发现明显非线性失拟。

9.3 残差与影响点诊断(认识即可)

Pearson 残差:$r_i=\dfrac{y_i-\hat p_i}{\sqrt{\hat p_i(1-\hat p_i)}}$; 偏差残差:$d_i=\mathrm{sign}(y_i-\hat p_i)\sqrt{-2[y_i\ln\hat p_i+(1-y_i)\ln(1-\hat p_i)]}$

杠杆值 $h_{ii}$ 来自加权帽子矩阵 $\mathbf H=\mathbf X^{1/2}(\mathbf X^{\mathsf T}\mathbf W\mathbf X)^{-1}\mathbf X^{\mathsf T}\mathbf W^{1/2}$ 的对角;结合残差与杠杆可得 Cook 距离 / DFBETA,衡量"删掉第 $i$ 个样本后系数变动多大"。标准做法是找异常大值、复核是否为录入错误或特殊工况,而非简单删除。

直觉 · 诊断的目的不是"把模型修得好看" 诊断是为了判断结论是否被少数点、共线或错误设定所驱动。论文额外做"纯实测 500 条 vs 混合 700 训练"两套结果对照(方向、显著性一致),本质上就是一种稳健性诊断,回答"结论是否依赖增广数据"。
8-1 Wald、LR、Score 三检验辨析点击看解答

(1) 系数表里每个变量的 P 值通常来自哪个检验?(2) 检验"模型整体是否显著"用哪个?(3) 接近完全分离时更应信哪个?

(1) Wald($Z=\hat\beta/SE$)。(2) 似然比检验,比较完整模型与只有截距的零模型,$G=D_{null}-D_{model}\sim\chi^2(k)$。(3) 似然比检验,Wald 在系数极大/接近分离时不稳定。
8-2 EPV 计算与判断点击看解答

正例 60、负例 240,独热后待估系数(含截距)共 12 个,EPV 是多少、是否达标?若再加 10 个特征呢?

少数类为正例 60,EPV=60/12=5,低于 10,系数估计不可靠,应增样或减变量。再加 10 个特征→60/22=2.7,严重不足,极易过拟合与分离。对照论文 224/14=16,达标。
9-1 Logistic 需要假设自变量和因变量都正态吗?点击看解答
都不需要。Y 是 0/1 伯努利变量,X 可以是连续、离散、哑变量的混合;需要的是观测独立、logit 与连续 X 线性、无完全共线、样本量足够、无强影响点。正态假定只在线性回归小样本精确 t/F 检验时需要,Logistic 靠 MLE 大样本渐近理论。
PART Ⅲ

模型评价与验证

模型显著不等于模型好用。区分度(分类/排序准不准)、校准度(概率数值准不准)、泛化能力(对新数据行不行)是三件不同的事,本章逐一讲清,并都用论文测试集真实数字示范。

第 10 章 混淆矩阵与分类指标

10.1 从概率到分类:阈值

模型输出概率 $\hat p_i$,设定阈值 $c$(默认 0.5):$\hat p_i\ge c$ 判为"发生(1)",否则判"不发生(0)"。与真实标签交叉得到 $2\times2$ 混淆矩阵:

真实为 1(出事)真实为 0(未出事)
预测 1TP 真正例(报对了)FP 假正例(误报/虚惊)
预测 0FN 假负例(漏报!)TN 真负例(判对安全)

10.2 六个核心指标(标准定义)

$$\text{准确率 }Acc=\frac{TP+TN}{N};\quad \text{精确率 }P=\frac{TP}{TP+FP};\quad \text{召回率/灵敏度 }R=TPR=\frac{TP}{TP+FN}$$ $$\text{特异度 }Spec=TNR=\frac{TN}{TN+FP}=1-FPR;\qquad F1=\frac{2PR}{P+R}$$
  • 精确率 Precision:报警的里面有多少真出事(衡量"误报");
  • 召回率 Recall/灵敏度:真出事的里面被提前发现了多少(衡量"漏报");
  • 特异度 Specificity:真安全的里面被正确放行的比例;
  • F1:精确率与召回率的调和平均,二者的综合。
结合论文测试集(150 条纯实测:TN=58, FP=25, FN=26, TP=41) $Acc=(58+41)/150=0.660$;精确率 $=41/(41+25)=0.621$;召回率 $=41/(41+26)=0.612$;特异度 $=58/(58+25)=0.699$;$F1=0.617$。即真出事的 67 批中提前预警了 41 批。

10.3 阈值移动:核电场景为什么"宁可误报、不可漏报"

关键方向(容易说反) 下调阈值(如 0.5→0.4)→ 更多样本被判为"有风险"→ 召回率↑、漏报 FN↓,但误报 FP↑、精确率↓;上调阈值则相反。质量问题漏检的代价(返工、结构隐患、核安全风险)远高于多核查几次的成本,因此现场应用应适当下调阈值以提高召回、压低漏报,用"多查"换"不漏"。阈值最终由误报/漏报的成本比决定,不必死守 0.5。
陷阱 · 准确率悖论(类别不平衡) 若总体 95% 都是 0,模型无脑全判 0 也有 95% 准确率,却毫无预警能力。所以不平衡数据不能只看 Acc,必须同时看召回、精确率、F1、AUC。论文正负例约 45%:55% 较均衡,Acc 尚可参考,但仍以 AUC/召回为主。
10-1 由混淆矩阵算全套指标点击看解答

TP=30, FN=10, FP=20, TN=40。求 Acc、Precision、Recall、Specificity、F1。

N=100。Acc=(30+40)/100=0.70;Precision=30/50=0.60;Recall=30/40=0.75;Specificity=40/60=0.667;F1=2×0.6×0.75/(0.6+0.75)=0.667。
10-2 想减少漏报应上调还是下调阈值?代价是什么?点击看解答
下调阈值。更多样本被预警,FN 下降、召回上升;代价是 FP 增多、精确率下降、现场核查工作量上升。核电质量管控中漏报代价远高于误报,故倾向较低阈值。

第 11 章 ROC 曲线与 AUC

11.1 ROC 是怎么画出来的

让阈值 $c$ 从高到低扫过所有可能值,每取一个阈值就算一对 $\big(FPR=1-\text{特异度},\ TPR=\text{召回率}\big)$,以 FPR 为横轴、TPR 为纵轴描点连线,即 ROC 曲线。左上角(FPR=0,TPR=1)是完美点;对角线 $y=x$ 是"瞎猜"水平。曲线越靠近左上、越凸,区分能力越强。

11.2 AUC 的定义与精妙解释

$$AUC=\int_0^1 TPR(FPR)\,dFPR=P\big(\hat p_{(正)}>\hat p_{(负)}\big)$$

AUC(曲线下面积,取值 0–1)有一个概率解释:随机抽一个真实出事样本和一个真实未出事样本,模型给前者打出更高风险概率的概率就是 AUC。它与 Mann–Whitney U 统计量等价。因此 AUC 衡量的是排序/区分能力,与具体阈值无关,且对类别比例不敏感。

AUC经验判读(非绝对标准)
0.5等同随机猜测,无区分能力
0.7–0.8可接受/中等区分度
0.8–0.9良好
>0.9优秀(现场社会科学数据中少见,过高还需警惕数据泄漏)
结合论文 测试集 AUC=0.7625、训练集 0.7755,二者接近说明没有明显过拟合;0.76 属"可接受偏良好",对一个多因素、含噪声的现场质量问题而言是合理结果——答辩时不必夸大成"很准",而应客观说"具备稳定的区分/排序能力"。
直觉 · AUC 高 ≠ 概率数值准 AUC 只看相对排序:把所有概率同时乘 0.5 再加 0.2,排序不变、AUC 不变,但概率数值已经偏了。概率"数值准不准"要看第12章的校准(HL、Brier)。区分度与校准度是两个维度。
11-1 AUC=0.5、AUC=1、AUC=0.3 分别意味着什么?点击看解答
0.5 表示模型排序等同抛硬币、无区分力;1 表示模型能把所有正例排在所有负例之前、完美区分;0.3 比随机还差,通常说明方向标反了(如把保护因素当危险因素、或正负标签弄反),对调预测即可升到 0.7。

第 12 章 概率校准:Hosmer–Lemeshow 与 Brier 分数

12.1 区分度 vs 校准度

区分度回答"谁更危险"(排序),校准度回答"说 70% 会出事的那些批次,是否真有约 70% 出事"(数值是否可信)。一个模型可以 AUC 很高却系统性高估/低估概率。画可靠性曲线(校准曲线):把样本按预测概率分箱,横轴为每箱平均预测概率、纵轴为实际发生频率,越贴近 45° 对角线越校准。

12.2 Hosmer–Lemeshow 拟合优度检验

把样本按预测概率排序分成 $G$ 组(常用 $G=10$),第 $g$ 组样本数 $n_g$、平均预测概率 $\bar p_g$,则期望事件数 $E_g=n_g\bar p_g$、观测事件数 $O_g$:

$$\hat C=\sum_{g=1}^{G}\frac{(O_g-E_g)^2}{n_g\,\bar p_g(1-\bar p_g)}\ \overset{H_0(\text{校准})}{\sim}\ \chi^2(G-2)$$
易错 · HL 的 P 值方向与普通检验相反 $H_0$ 是"模型校准良好(观测=期望)"。因此P 值越大(>0.05)越说明没有证据拒绝、校准可接受;P<0.05 反而说明校准不佳。自由度是 $G-2$(不是 $G-1$)。HL 对分组方式与样本量敏感,样本极大时容易"过敏"地拒绝,需结合校准曲线与 Brier 一起看。
结合论文 测试集 $G=10$,$\hat C=9.195$,$df=8$,$P=0.326>0.05$,不拒绝原假设,说明预测概率与实际发生频率之间没有显著偏离、校准良好。

12.3 Brier 分数(概率的均方误差)

$$BS=\frac1n\sum_{i=1}^{n}(\hat p_i-y_i)^2\in[0,1],\quad \text{越小越好(0 完美)}$$

它就是预测概率对 0/1 结果的均方误差,同时惩罚"排序错"和"数值偏"。要判断模型 BS 是否真的好,需对比朴素基准:不用任何变量、对所有人恒预测总体发生率 $\bar p$,其 $BS_{base}=\bar p(1-\bar p)$。还可算技巧分 $BSS=1-BS/BS_{base}$(>0 即优于基准)。

结合论文 $\bar p=0.448$,朴素基准 $BS_{base}=0.448\times0.552=0.2473$;模型测试集 $BS=0.1957<0.2473$,$BSS=1-0.1957/0.2473=0.209$,即相对"只凭总体发生率拍脑袋",模型把概率预测误差降低约 21%,证明模型确有增量价值。
三类评价各管一件事(答辩一句话总结) AUC/召回/精确率管"区分得开吗",HL/校准曲线管"概率数值准吗",Brier 把两者综合成一个误差分数并与朴素基准对照。论文在三个维度都给出了证据,结论才站得住。
12-1 HL 检验 P=0.02 与 P=0.40 分别说明什么?自由度怎么定?点击看解答
HL 的 H0 是"校准良好"。P=0.02<0.05 拒绝 H0,说明观测与期望显著不符、校准较差;P=0.40 不拒绝、校准可接受。分 G=10 组时 df=G−2=8。
12-2 Brier 与朴素基准点击看解答

总体发生率 0.3,模型 Brier=0.18,求朴素基准与 Brier 技巧分并判断。

$BS_{base}=0.3\times0.7=0.21$;$BSS=1-0.18/0.21=0.143>0$,模型优于恒预测基准约 14%。

第 13 章 模型验证、重抽样与数据增广的边界

13.1 过拟合、欠拟合与偏差–方差

过拟合:模型把训练集的噪声也学进去,训练表现很好、新数据差;欠拟合:模型太简单、训练都学不好。总预测误差可分解为偏差(模型设定不足)+方差(对训练样本波动过度敏感)+不可消误差。变量过多、样本太少会同时推高方差与过拟合——这正是第8章要控制变量数的根本原因。检验泛化的唯一办法是用没参与训练的数据考它。

13.2 训练/测试划分与数据泄漏(必须守住)

  • 留出法:按比例(如 7:3)划分;二分类要用分层抽样 stratify,保证训练/测试集正负比例与总体一致,避免某一折全是一类。
  • 数据泄漏(data leakage):测试集的信息在训练阶段被"偷看"。最常见是标准化/特征缩放时在全量数据上算均值标准差。正确做法:缩放参数(均值、标准差)只在训练集上 fit,再用同一参数 transform 测试集。论文 StandardScaler 只在实测训练集上 fit,正是为防泄漏。
  • 测试集在整个建模过程中只能用"一次"做最终评价,反复按测试结果调模型等于间接泄漏。

13.3 K 折交叉验证(Cross-Validation)

分层 K 折:把数据分层后均分 K 份,轮流用 1 份当验证、其余 K−1 份训练,共训 K 次,报告 K 个指标的均值±标准差

它让每条样本都当过一次验证集,比单次留出更稳定、更充分利用小样本;均值反映平均水平,标准差反映稳定性(越小越稳)。论文用 StratifiedKFold(K=5, shuffle, 固定随机种子 42 保证可复现):准确率 0.672±0.043、AUC 0.745±0.041、F1 0.626±0.039,标准差都较小,说明结果不是某一次幸运划分。样本极少时可用留一法 LOOCV(K=n)。

13.4 Bootstrap(自助法)的两种形态,务必分清

① 经典(非参数)bootstrap:用于估计不确定性 从原始 $n$ 条记录中有放回抽 $n$ 条组成一个自助样本 → 拟合并记录系数/指标 → 重复 $B$ 次(如 1000)→ 用这 $B$ 个值的经验分布估计标准误、置信区间(百分位法取 2.5%/97.5% 分位)。它不创造新信息,只是反复利用现有样本评估"估计量有多稳"。
② 参数化 bootstrap / 随机模拟:用于生成模拟样本 先假定变量服从某分布(或用经验分布),随机生成自变量 $\mathbf x^*$,再由已拟合模型算 $p^*$,最后按 $\mathrm{Bernoulli}(p^*)$ 抽样生成标签 $y^*$。它生成的是"在模型成立、分布假设成立下可能出现的样本"。
结合论文 · 参数化模拟增广及其三条边界(答辩必讲清) 论文小样本阶段用参数化模拟把训练集从实测 350 扩充到 700(实测350+增广350)。为避免"循环论证/自欺欺人",设了三条硬边界:(1) 分布来自实测——各变量分布参数由现场实测记录估计,不凭空设定;(2) 只进训练集——增广样本只参与训练,测试集 150 条全部是纯实测,最终性能、HL、Brier 都在纯实测上评价;(3) 不参与统计推断的结论背书——系数显著性另用纯实测 500 条独立复核(见第17章)。这样增广只起"稳定优化、补充训练样本"的作用,不用模拟数据证明模型有效。
易错 · 不能用自己模型生成的数据证明自己模型好 若用模型生成增广样本、又在同样含这些样本的集合上测试,等于"自己出题自己考",指标必然虚高,是典型循环论证。论文把增广严格挡在测试集与显著性推断之外,就是为堵住这个漏洞。

13.5 超参数选择

正则强度 $C$ 等超参数应用交叉验证(如 GridSearchCV)在训练集内部选,再到独立测试集评一次;要同时评估"选超参"这一步的不确定性时用嵌套交叉验证(外层评估、内层选参)。论文为保证流程透明可审计,$C$ 取常用值 1.0 并固定,未做网格搜索,属于稳健、保守的选择(答辩如实说明即可)。

13-1 为什么标准化只能在训练集上 fit?点击看解答
若在全量(含测试集)数据上算均值标准差,测试集的分布信息就泄漏进了预处理与训练,评估结果偏乐观。正确流程:训练集 fit 缩放器→同时 transform 训练集和测试集;交叉验证时缩放也要在每一折的训练子集内 fit。
13-2 5 折 CV 的均值和标准差分别说明什么?点击看解答
均值说明模型平均性能水平;标准差说明性能对训练/验证划分的敏感程度(稳定性)。均值高但标准差大,说明结果依赖特定划分、不稳;论文各指标标准差约 0.04,较小,说明结论稳定可复现。

第 14 章 偏差、伪 R² 与信息准则

14.1 偏差(Deviance)与模型整体检验

$$\text{模型偏差 }D=-2\ell(\hat{\boldsymbol\beta});\qquad \text{零偏差 }D_0=-2\ell_0\ \text{(只有截距)}$$

偏差可理解为 GLM 里的"残差平方和对应物",衡量当前模型相对饱和模型(完美拟合每个点)还差多少,越小拟合越好。模型整体显著性用似然比:

$$G_{overall}=D_0-D\ \overset{H_0:\beta_1=\cdots=\beta_k=0}{\sim}\chi^2(k)$$

14.2 伪 R²:别和线性 R² 等同

Logistic 没有线性回归那种"解释方差比例",学者提出多种伪 R²(pseudo-$R^2$),最常用 McFadden:

$$R^2_{McFadden}=1-\frac{\ell}{\ell_0}=1-\frac{D}{D_0}$$

另有 Cox–Snell、Nagelkerke(后者把上限归一到 1)。它们数值通常明显低于线性 R²,McFadden 达到 0.2–0.4 已属不错(经验范围,不可与线性 R² 的 0.8 类比)。论文 McFadden 伪 R²=0.184,对现场多因素质量问题是合理水平。

14.3 信息准则 AIC / BIC:拟合与简洁的平衡

$$AIC=-2\ell+2k,\qquad BIC=-2\ell+k\ln n$$

第一项奖励拟合(似然越大越小),第二项惩罚复杂度(参数 $k$ 越多越大),越小越好,用于在若干候选模型间权衡、配合逐步选择。BIC 随 $\ln n$ 增长、对复杂模型罚得更重,更倾向简约。它们都是"相对指标",只在同一数据的模型间比较大小,本身没有绝对好坏阈值。论文模型 AIC=819.4,可作为后续精简变量时的对照基准。

一条主线串起来 调整 R²、AIC/BIC、EPV、正则化、交叉验证、奥卡姆剃刀——本质都是同一件事:在"拟合数据"与"简单稳健可泛化"之间找平衡,警惕用复杂度换训练集的虚假繁荣。这也是"变量并非越多越好"的完整理论支撑。
14-1 McFadden 伪R²=0.18 是不是说明模型很差?点击看解答
不是。伪 R² 与线性回归 R² 定义不同、数值天然偏低,不能用线性 R²"越接近1越好"的尺子衡量;McFadden 在 0.2–0.4 即属不错,0.18 对含大量随机噪声的现场二分类问题是合理的,模型好坏更应结合 AUC、校准、交叉验证稳定性综合判断。
14-2 两个嵌套模型,A 比 B 多 3 个变量、对数似然高 2.1,用 AIC 该选谁?点击看解答
每多 1 个变量 AIC 增加 2,多 3 个变量惩罚 +6;似然提高使 −2ℓ 下降 $2\times2.1=4.2$。净变化 $AIC_A-AIC_B=-4.2+6=+1.8>0$,A 的 AIC 反而更大,故按 AIC 应选更简约的 B——3 个变量带来的拟合提升不足以抵消复杂度惩罚。
PART Ⅳ

落地与答辩

把前面所有零件装成一条可复现、防泄漏、可审计的完整流水线;讲清核电工程为什么选"白箱"模型;最后用你论文的真实数字走一遍,并准备好评委可能追问的每一个问题。

第 15 章 完整分析流程与数据预处理

15.1 端到端标准流程(每一步都要可复现)

1 问题定义
明确 Y=是否出事、预测目标与代价
→
2 采集清洗
现场台账、去重、查缺失/异常
→
3 探索分析
分布、单因素关系、估计分布规律
→
4 编码缩放
独热、有序、标准化
5 划分(分层)
训练/测试,缩放只在训练fit
→
6 训练估计
MLE/IRLS,必要时L2正则
→
7 诊断检验
VIF、logit线性、Wald/LR、影响点
→
8 评价验证
AUC/HL/Brier/混淆矩阵/K折
9 定阈值
按漏报/误报代价,宁不漏
→
10 部署应用
浇筑前录入因素→输出概率
→
11 监控更新
积累实测、批量重训、版本留痕

15.2 变量类型与编码

类型例子编码方式论文对应
连续数值温度、坍落度、年限、厚度直接使用,再 Z-score 标准化X2,X3,X5,X6,X8–X11
名义分类(无序)输送机械 5 类独热 one-hot,留 1 类参照(m−1 个哑变量)X4→4 个哑变量,参照"地泵布料机"
有序分类强度等级 C30–C50按等级数值化(30,35,…,50),隐含等距假设并说明X7
离散计数班组人数按数值型处理X1

15.3 标准化(Z-score)及其作用

$$z=\frac{x-\mu}{s},\qquad \mu=\frac1n\sum x_i,\quad s=\sqrt{\frac1{n-1}\sum(x_i-\mu)^2}$$

作用:①消除量纲(℃、mm、年混在一起不致数值尺度悬殊);②标准化后系数绝对值大小可直接比较因素重要性,OR 对应"每 1 个标准差";③加快 liblinear 等数值求解器收敛、稳定正则。均值、标准差必须只在训练集估计(防泄漏)。若需保留原始可解释性,可同时报告"原始尺度"与"标准化"两套系数。Min–Max 归一化 $x'=(x-\min)/(\max-\min)$ 是另一种缩放到 [0,1] 的方法。

15.4 缺失值与类别不平衡(了解标准做法)

  • 缺失值:缺失少可删样本/变量;数值变量用均值/中位数、分类用众数或模型插补;插补参数同样只能在训练集 fit;缺失本身有信息时可加"是否缺失"指示变量。
  • 类别不平衡:优先调阈值与看召回/AUC/PR;可用 class_weight 加权、欠采样多数类、SMOTE 过采样少数类(合成样本只能进训练集)。论文正负约 45:55,基本均衡,无需重采样。

第 16 章 白箱可解释性与核电"四个凡事"

16.1 白箱模型与黑箱模型的区别

维度白箱:Logistic / 线性模型黑箱:深度神经网络 / 复杂集成(RF、XGBoost)
结构显式公式,参数数量有限、含义明确大量隐层/树结构,映射关系不透明
可解释每个系数、OR、P 值、方向都能解释到人能懂需 SHAP/LIME 等事后解释,仍是"近似说明"
可审计结果可逐步复算、留痕、责任可追溯复算依赖训练细节,调参/随机性影响大
数据需求小样本也能稳定建模、给出不确定性通常需大量数据,小样本易过拟合
预测上限只能刻画 logit 线性关系,复杂非线性弱能拟合高度非线性、交互,预测可能更准

二者不是对错关系,而是取舍:在核安全相关、需要问责与留痕、样本有限的工程现场,可解释、可审计、稳健比"多几个百分点的预测精度"更重要;黑箱模型可作为对照/上限参考(论文展望即提出以随机森林、XGBoost 做对照,但最终仍以可解释模型为准)。

16.2 为什么契合核电"四个凡事"

核电质量管理"四个凡事" 凡事有章可循、凡事有人负责、凡事有人验证、凡事有据可查。
原则Logistic 白箱方法如何落实
凡事有章可循模型是一条写得明明白白的公式与标准化流程,变量来自人机料法环规范与现场台账,不依赖不可言说的"模型直觉"
凡事有人负责每个因素对应明确的责任专业(人、机、料、法、环),系数方向能追到具体管控环节与责任人
凡事有人验证Wald/似然比检验、VIF、HL、交叉验证、纯实测稳健性复核,每一步都有统计验证手段
凡事有据可查数据来源、随机种子、参数、系数、指标全程留痕、可复算;本地部署不联网,过程可审计
答辩卡 · 被问"现在 AI/深度学习这么强,为什么不用?" "深度学习是黑箱,内部映射无法对应到具体因素、难以逐步复算和问责,不满足核电'四个凡事'对可追溯、可验证、可解释的要求;而且现场样本有限,复杂模型易过拟合。Logistic 每个系数和优势比都有明确物理与统计含义、结果可审计,更适合作为质量风险的事前预警与决策依据。我并不排斥 AI,论文把随机森林、XGBoost 列为后续对照模型,但主模型坚持白箱。"

第 17 章 用本论文完整走一遍(贯穿案例)

本章把前面所有概念落到你自己的真实结果上,答辩时每报一个数字都能说清"它是什么、怎么来、说明什么"。

17.1 第一步:问题与数据

  • 因变量 Y:单次混凝土浇筑拆模验收"是否发生质量问题",$Y=1$ 发生、$Y=0$ 未发生(伯努利)。
  • 样本:现场施工过程记录 500 条,其中未发生 276、发生 224,发生率 $\bar p=44.8\%$(类别较均衡)。
  • 自变量(按人机料法环 4M1E 组织,11 项,独热后 14 个特征):
要素变量含义/类型建模结论
人X1 班组人数离散计数不显著
X2 班组平均年限连续,年显著·保护
X3 监督人员年限连续,年显著·保护(最强)
机X4 输送机械5 类名义变量→4 哑变量,参照"地泵布料机"4 哑变量均不显著
料X5 坍落度连续,mm显著·保护
X6 入模温度连续,℃显著·危险
X7 强度等级有序 C30–C50→30…50边缘显著
法X8 平均振捣时间连续,s显著·保护
X9 连续工作时长连续,h不显著
X10 分层浇筑厚度连续,cm显著·危险
环X11 环境温度连续,℃显著·危险

17.2 第二步:预处理与划分(防泄漏设计)

  1. X4 独热编码 drop_first,留"地泵布料机"为参照(避免哑变量陷阱/完全共线);
  2. 7:3 分层划分,保持 44.8% 发生率;训练侧再经参数化模拟增广到 700(实测 350+增广 350),测试集 150 条全部为纯实测;
  3. Z-score 标准化,均值/标准差只在实测训练集 fit,再套用到测试集(防数据泄漏);
  4. 固定随机种子 42,全流程可复现。

17.3 第三步:双引擎估计

预测引擎:sklearn LogisticRegression(solver='liblinear', penalty='l2', C=1.0),温和 L2 收缩、保证小样本稳健;推断引擎:statsmodels Logit 经典 MLE(牛顿迭代收敛)输出 $\hat\beta,SE,Z,P,OR$。标准化系数(按 $|\beta|$ 排序,摘):

因素βPOR=e^β解读(每+1个标准差,控制其他)
X3 监督年限−0.623<0.0010.54几率降到0.54倍,保护
X6 入模温度+0.492<0.0011.64几率升为1.64倍,危险
X8 振捣时间−0.489<0.0010.61几率降到0.61倍,保护
X2 班组年限−0.450<0.0010.64保护
X11 环境温度+0.417<0.0011.52危险
X5 坍落度−0.408<0.0010.67保护(在合格区间内控制更稳)
X10 分层厚度+0.2070.0171.23越厚越危险
X7 强度等级+0.1440.0911.15边缘显著(纯实测 P≈0.050)
X1/X9/X4四哑变量—>0.4—不显著,为体系完整保留

17.4 第四步:诊断、评价、验证(一张总表)

维度结果对应概念 / 说明
共线性 VIF数值型1.01–1.03;哑变量1.24–1.54全部<5,无显著共线(第4、9章)
样本量 EPV224/14=16>10,事件数支撑充分(第8章)
测试混淆矩阵TN58 FP25 FN26 TP41150条纯实测(第10章)
Acc/Prec/Rec/F10.660/0.621/0.612/0.617特异度0.699
AUC(测试/训练)0.7625 / 0.7755接近→无明显过拟合,区分度可接受(第11章)
HL 校准χ²=9.195, df=8, P=0.326P>0.05,校准良好(第12章)
Brier / 朴素基准0.1957 / 0.2473BSS≈0.21,优于恒预测基准21%
5折分层CVAcc.672±.043;AUC.745±.041;F1.626±.039标准差小,结果稳定(第13章)
McFadden 伪R² / AIC0.184 / 819.4伪R²合理,AIC供精简对照(第14章)

17.5 第五步:纯实测稳健性复核(堵住"增广自证"质疑)

另在 500 条纯实测上独立拟合 statsmodels Logit:7 个核心显著因素(X2,X3,X5,X6,X8,X10,X11)的方向与显著性完全一致(纯实测 P 均<0.01),不显著变量结论也一致;仅 X7 强度等级跨在临界(混合 P=0.091、纯实测 P≈0.050),据实报告为边缘显著。这说明结论不依赖增广数据,增广只起稳定训练作用。

答辩收口话术 "模型在纯实测测试集上 AUC 0.76、HL 校准通过、Brier 优于朴素基准、5 折交叉验证稳定,且纯实测复核方向一致;它不追求百分之百预测,而是在浇筑前给出一个可解释、可审计、经统计验证的风险概率,配合下调阈值、宁不漏报,实现事前预警和人机料法环的精准管控。"
必须主动承认的局限(评委更信任坦诚) ①观察性数据得到的是关联而非因果,因果需机理与受控试验支持;②样本来自特定项目/地区,外部推广需更多项目数据验证;③logit 线性等假定需随数据积累持续检验;④小样本阶段用了参数化增广,已用纯实测测试与纯实测复核隔离其影响,后续将以真实台账逐步替代。

第 18 章 答辩高频问答(评委视角 · 标准答案)

下面按六类整理最可能被追问的问题。答案按"30 秒能说完"的口径写,先给结论、再补依据;带 尖锐 的是统计学背景评委容易深挖的,务必能脱口而出。

A. 基础概念

Q1 什么是 Logistic 回归?它和线性回归什么关系?
它是处理"二分类因变量"的广义线性模型:对"发生概率的对数几率"做线性建模 $\ln\frac{p}{1-p}=\mathbf X\boldsymbol\beta$,再经 Sigmoid 映回概率。它继承了线性回归"线性可加、系数可解释"的优点,又解决了线性概率模型概率越界、必然异方差、边际效应恒定三个问题。
Q2 为什么用 logit 这个变换?
一是把取值(0,1)的概率映到全实数,线性组合才合法且永不越界;二是它是伯努利分布的典范链接,MLE 性质好、信息阵简洁;三是反函数 S 形符合概率"中间敏感、两端饱和"的规律;四是系数可直接转优势比、可解释。
Q3 概率、几率、优势比三者区别?
概率 $p\in[0,1]$;几率 $p/(1-p)\in(0,\infty)$,是发生与不发生之比;优势比 OR 是两个几率之比 $=e^\beta$。OR 说的是"几率变成几倍",不是"概率变成几倍"。

B. 估计与检验

Q4 为什么用极大似然而非最小二乘?
模型对参数非线性、因变量0/1、误差非正态且必然异方差,OLS 的闭式解和 BLUE 前提不成立。MLE 直接最大化"观测到这批0/1结果的概率",在大样本下一致、渐近有效、渐近正态,能给出系数标准误做检验。
Q5 MLE 有解析解吗?怎么求?
没有。令得分方程 $\mathbf X^{\mathsf T}(\mathbf y-\mathbf p)=0$,但 $\mathbf p$ 含 Sigmoid、是非线性方程组,要用牛顿–拉夫逊/IRLS 迭代;Hessian 为 $-\mathbf X^{\mathsf T}\mathbf W\mathbf X$ 负定,对数似然是凹函数,解唯一、必收敛到全局最优(无完全分离时)。
尖锐Q6 Wald、似然比、得分检验怎么选?
Wald 只拟合完整模型、出系数P值最快;似然比要拟合约束和完整两个模型、最稳健,适合整体检验和小样本;得分检验只在原假设处算、用于筛变量。大样本三者渐近等价;接近完全分离或样本偏小时以似然比为准。
Q7 P 值怎么理解?P>0.05 能说该因素没作用吗?
P 值是"假设该因素无影响时,出现当前乃至更极端数据的概率"。P>0.05 只能说"现有证据不足以证明有影响",不能说"证明无作用",可能是样本不足或效应弱;所以不显著变量我表述为"未达显著水平",并结合机理决定是否保留。
尖锐Q8 你加了 L2 正则,系数是有偏的,凭什么还报 P 值?
所以我用双引擎:sklearn(liblinear+L2,C=1.0)只负责稳健预测;显著性、OR、置信区间由 statsmodels 的无正则经典 MLE 单独输出,推断口径不混淆。C=1/λ,C 越小收缩越强,我取温和的 1.0。
Q9 什么是完全分离?遇到怎么办?
某变量能把0和1完全分开时似然无有限最大、系数发散不收敛。可合并稀疏类别、连续变量分箱、增加样本或加 L2 正则(正则天然缓解)。我数据分布均衡且加了L2,未出现分离。

C. 数据、变量与样本

尖锐Q10 变量是不是越多越好?
不是。变量多会:摊薄每变量事件数(EPV)、标准误膨胀;拟合噪声导致过拟合;抬高VIF加剧共线;违背简约原则、降低可解释性。我按机理先验选变量、VIF和EPV把关、显著性再复核,EPV=224/14=16 达标。
Q11 哑变量为什么要丢一类?参照组怎么选?
m类放m个哑变量再加截距会完全共线(哑变量陷阱),必须留m−1个、省略的即参照组。参照组选样本量足、工程上最常用/最有基准意义的一类,我选"地泵布料机",各哑变量系数是相对它的差异。
Q12 VIF 是什么、判据、你的数值?
VIF=1/(1−Rj²)衡量该变量被其余变量线性解释的程度,经验上<5可接受、5–10中度、>10严重。我数值型1.01–1.03、哑变量1.24–1.54,远低于5,无共线问题。
尖锐Q13 只有500条为什么还要"造数据"?是不是循环论证?
我用的是参数化模拟增广,分布参数全部由现场实测估计,且设了三条边界:分布来自实测、增广只进训练集、测试集150条全为纯实测、显著性另用纯实测500条复核。增广只稳定训练,绝不用自己生成的数据考自己,测试和推断都在纯实测上,因此不存在循环论证。
Q14 标准化为什么只在训练集上算均值标准差?
否则测试集信息泄漏进训练、评估虚高。正确做法是缩放器只在训练集fit、再transform测试集;交叉验证时每折也要在折内fit。
Q15 为什么要分层划分?
保证训练、测试集里出事比例都等于总体44.8%,避免随机划分使某一折正负例失衡、评估失真。

D. 评价指标

Q16 AUC 到底什么含义?0.76 算高吗?
AUC=随机抽一个出事样本和一个未出事样本、模型给前者打更高风险分的概率,衡量排序区分能力、与阈值无关。0.5是瞎猜。0.76对多因素含噪声的现场问题属可接受偏良好;训练0.7755与之接近说明没过拟合,我不夸大为"很准"。
Q17 召回率为什么只有0.61、不高?
阈值0.5下真出事67批预警41批。现场应用时漏报代价远高于误报,我会下调阈值提高召回、宁可多查不可漏,阈值由误报/漏报成本比决定,不固定0.5;这是部署策略而非模型缺陷。
尖锐Q18 HL 检验的 P 值为什么"大了反而好"?
它的原假设是"模型校准良好",P>0.05表示没有证据说校准失拟,方向和一般显著性检验相反;自由度是组数−2=8。我P=0.326校准良好。HL样本大时过敏,所以还结合Brier与校准曲线。
Q19 Brier 为什么要和"朴素基准"比?
Brier是预测概率对0/1的均方误差,单看数值缺基准。恒预测总体发生率的朴素基准=p̄(1−p̄)=0.2473,我模型0.1957,技巧分约0.21,即比"只凭总体比例拍脑袋"降低21%误差,证明有真实增量。
Q20 区分度和校准度区别?
区分度(AUC/召回)管"谁相对更危险"的排序;校准度(HL/Brier/校准曲线)管"说70%是否真约70%出事"的数值准确性。AUC高不代表概率数值准,两者都要评。
Q21 交叉验证怎么做,标准差说明什么?
分层5折,每折轮流当验证集训5次,报告均值±标准差。均值是平均性能,标准差小说明结果不依赖某次幸运划分、稳定可复现,我三个指标标准差都在0.04左右。
Q22 McFadden 伪R²只有0.18,是不是拟合很差?
伪R²和线性R²定义不同、天然偏低,不能用"越接近1越好"类比;McFadden在0.2–0.4已属不错。模型好坏要综合AUC、校准、CV稳定性,不能只看伪R²。
Q23 为什么不能只看准确率?
类别不平衡时全猜多数类也有高准确率却毫无预警力(准确率悖论)。我正负约45:55较均衡,但仍以AUC、召回、F1为主,准确率只作参考。

E. 方法选择与工程落地

尖锐Q24 深度学习/AI 这么强,为什么用 Logistic 这个"简单"模型?
核电质量管控要满足"四个凡事",要求可解释、可验证、可追溯、可问责。深度模型是黑箱、小样本易过拟合;Logistic 每个系数/OR都对应具体人机料法环因素、可逐步复算留痕,更适合作事前预警依据。我不排斥AI,已把随机森林/XGBoost列为后续对照模型,但主模型坚持白箱。
尖锐Q25 Logistic 能证明因果关系吗?
不能直接证明。观察性数据在控制了已纳入变量后给出的是"条件关联/净相关",仍可能有未观测混杂;因果需要机理支撑和受控试验。我在结论里明确写了"相关≠因果",显著因素都有施工机理对应,并把因果验证列为后续工作——主动说明局限反而更严谨。
Q26 现场到底怎么用这套模型?
浇筑前把该批次人机料法环11项录入自研软件,模型实时输出问题概率,超过阈值即预警并定位是哪些因素推高风险(系数/OR可解释),现场针对性整改,形成"采集—预测—分析—防控—固化"闭环;数据积累后批量重训更新、版本留痕,本地部署不联网。

F. 综合与质疑应对

尖锐Q27 怎么证明结论不是增广数据"喂"出来的?
三重隔离:测试集150条纯实测;另做500条纯实测独立拟合,7个核心因素方向、显著性与混合模型完全一致(P均<0.01);仅强度等级跨临界并如实标注边缘显著。结论在纯实测上同样成立。
尖锐Q28 强度等级 X7 一会 P=0.09 一会 P=0.05,到底显不显著?
它正处在0.05临界附近:混合训练集P=0.091、纯实测P≈0.050。我不做非黑即白的裁剪,统一表述为"边缘显著",方向为正、OR=1.23,提示等级越高(配合更严工艺要求)管控不当风险略升,需更多数据进一步确认。
Q29 样本只来自你的项目,能推广吗?
这是外部效度局限,我在论文中明确说明:模型框架、变量体系和流程可直接迁移,但具体系数需用新项目数据重新标定/再训练;软件支持批量重训,正是为滚动推广设计。
Q30 如果某系数方向和经验相反怎么办?
先查是否共线(VIF)、混杂、样本选择或测量问题,再看是否为"控制其他变量后的净效应"(净效应方向可与单变量不同);若统计与机理都无法解释,宁可保留疑问、不强行解释。我的显著因素方向均与施工机理一致(年限、振捣为保护,入模/环境高温、过厚分层为危险)。
Q31 AUC 才 0.76,凭什么说有工程价值?
工程价值不只看单一精度:它在纯实测上校准通过、Brier优于朴素基准21%、交叉验证稳定、纯实测复核一致,且能把"模糊经验"变成"可量化概率+可定位因素+可留痕"的事前预警。现场不需要一个黑箱给满分,需要一个可信、可解释、能持续迭代的决策辅助。
Q32 用一句话概括你的创新点?
把 Logistic 白箱模型与人机料法环体系、参数化增广的防循环论证设计、自研可审计软件和核电"四个凡事"结合,形成一套小样本可建、概率可解释、过程可追溯的混凝土质量事前风险预警闭环。

综合习题与详解(跨章节自测)

建议合上书先独立完成,再展开对照。每题都对应明确知识点,做错的回到对应章节重看。

A 组 · 概念判断(判断对错并说明理由)

A1 Logistic 回归的因变量可以是连续变量。解答
错。Logistic 用于分类(典型为二分类 0/1,因变量服从伯努利);连续因变量用线性回归。多项分类用多项 Logistic,有序分类用有序 Logistic,都是其扩展。
A2 OR=2 表示发生概率变为原来的 2 倍。解答
错。是"几率(odds)"变为 2 倍;概率的实际变化取决于基线,且一定小于"直接翻倍",需代回 Sigmoid 计算。
A3 Logistic 回归也要求残差服从正态分布。解答
错。它不要求误差正态、不要求同方差;靠 MLE 的大样本渐近正态做检验。它要求观测独立、logit 与连续 X 线性、无完全共线、样本量足够。
A4 Hosmer–Lemeshow 检验 P=0.01 说明模型校准很好。解答
错。HL 的 H0 是"校准良好",P=0.01<0.05 拒绝 H0,反而说明校准较差;P 大(>0.05)才是校准可接受。
A5 增加自变量一定会让 R² 上升,所以变量越多模型越好。解答
前半句对(普通 R² 不会因加变量而下降),结论错。无关变量稀释 EPV、引发过拟合与共线、降低可解释性;要看调整 R²/AIC、交叉验证与机理,而非堆变量。
A6 AUC 与分类阈值的选取无关。解答
对。ROC/AUC 扫描了所有阈值,衡量整体排序能力,不依赖单一阈值;但它不反映概率校准。
A7 标准化时应在划分前对全部数据一起算均值和标准差。解答
错。这是数据泄漏。缩放参数只能在训练集上估计,再套用到验证/测试集。
A8 Wald 统计量 Z 的平方服从自由度 1 的卡方分布。解答
对(在 H0 下、大样本渐近)。$Z^2\sim\chi^2(1)$,这也是单系数 Wald 卡方检验的来源。

B 组 · 公式推导

B1 证明 Sigmoid 的导数 σ′(z)=σ(z)[1−σ(z)]。解答
$\sigma(z)=\dfrac1{1+e^{-z}}$。$\sigma'(z)=\dfrac{e^{-z}}{(1+e^{-z})^2}=\dfrac1{1+e^{-z}}\cdot\dfrac{e^{-z}}{1+e^{-z}}=\sigma(z)\big(1-\sigma(z)\big)$(因 $1-\sigma=\dfrac{e^{-z}}{1+e^{-z}}$)。
B2 由 logit 线性式推导"X 每增 1,OR=e^β"。解答
$\ln\dfrac{p(x+1)}{1-p(x+1)}-\ln\dfrac{p(x)}{1-p(x)}=\beta$,取指数得 $\dfrac{p(x+1)/(1-p(x+1))}{p(x)/(1-p(x))}=e^\beta$,左边即优势比 OR,故 $OR=e^\beta$。
B3 写出对数似然并推导得分方程 ∂ℓ/∂β=Xᵀ(y−p)。解答
$\ell=\sum_i[y_i\eta_i-\ln(1+e^{\eta_i})]$,$\eta_i=\mathbf x_i^{\mathsf T}\boldsymbol\beta$。对 $\boldsymbol\beta$:$\partial\eta_i/\partial\boldsymbol\beta=\mathbf x_i$,且 $\partial[-\ln(1+e^{\eta_i})]/\partial\eta_i=-p_i$(因 $\partial\ln(1+e^\eta)/\partial\eta=\sigma(\eta)=p_i$)。故 $\partial\ell/\partial\boldsymbol\beta=\sum_i\mathbf x_i(y_i-p_i)=\mathbf X^{\mathsf T}(\mathbf y-\mathbf p)$。令其为 0 即得分方程。

C 组 · 动手计算

C1 一元 OLS:点 (0,1)(1,3)(2,2)(3,5),求回归直线。解答
$\bar x=1.5,\bar y=2.75$,$S_{xx}=5$,$S_{xy}=5.5$,$\hat\beta_1=1.1$,$\hat\beta_0=2.75-1.1\times1.5=1.1$,故 $\hat y=1.1+1.1x$。
C2 OR 与概率:β=−0.5,基线概率 0.6,X 增 1 后概率是多少?解答
$OR=e^{-0.5}=0.607$;基线 odds=0.6/0.4=1.5,新 odds=1.5×0.607=0.910,新概率 $=0.910/(1+0.910)=0.476$。
C3 混淆矩阵 TP=20,FN=5,FP=10,TN=65,求 Acc/Prec/Rec/Spec/F1。解答
N=100。Acc=85/100=.85;Prec=20/30=.667;Rec=20/25=.80;Spec=65/75=.867;F1=2×.667×.80/(.667+.80)=.727。
C4 AUC:3 个正例得分 0.9/0.6/0.3,2 个负例 0.7/0.4,用"正负配对胜率"求 AUC(无并列)。解答
共 3×2=6 对。0.9 胜 0.7、0.4(2 胜);0.6 胜 0.4、负于 0.7(1 胜);0.3 全负。胜 3 对,AUC=3/6=0.50。
C5 Brier:四样本预测概率 (.9,.1,.8,.2)、真实 (1,0,1,0),求 BS;若总体率 0.5,朴素基准与技巧分?解答
平方误差 .01+.01+.04+.04=.10,BS=.10/4=.025;基准=.5×.5=.25;BSS=1−.025/.25=.90,预测很好。
C6 对数似然:两样本 (x,y)=(0,1),(1,0),当前 β0=β1=0(所有 p=0.5),求 ℓ。解答
每个样本贡献 $\ln0.5$,$\ell=2\ln0.5=-1.386$。迭代优化就是不断调整 β 让 ℓ 增大(趋近 0)。
C7 VIF 与 EPV:某变量 Rj²=0.75 求 VIF;正例 40、待估参数 8 个,EPV 是否达标?解答
VIF=1/(1−.75)=4(<5,尚可但已需关注);EPV=40/8=5<10,不达标,应增加正例或减少变量。

D 组 · 辨析与简答

D1 为什么说 Logistic 得到的是"关联"而不是"因果"?怎样才更接近因果?解答
观察性数据可能存在未观测混杂、反向因果、选择偏误,控制已纳入变量后得到的是条件关联;系数也可理解为偏相关。要支持因果需:机理依据、随机对照/自然实验、时间先后、剂量反应关系、稳健性检验等。论文已明确此局限。
D2 LPM、Logit、Probit 的联系与区别?解答
都是对二分类因变量建模。LPM 直接线性建模概率,简单但会越界、异方差、边际效应恒定;Logit 用 logit 链接(逻辑分布)、Probit 用正态分位数链接,二者都把线性预测压进(0,1)、结果通常很接近,Logit 因可直接得 OR、求解简洁而最常用。
D3 为什么增广/模拟样本绝不能进入测试集?解答
模拟样本由模型自身生成,用它测试等于"自己出题自己考",指标虚高、构成循环论证,无法证明对真实新数据的泛化能力。因此测试集与显著性复核必须用纯实测,增广只用于扩充训练、稳定优化。
D4 完整说出"下调阈值"引发的连锁变化。解答
阈值↓→判为"有风险"的样本增多→TP↑、FP↑、FN↓→召回率(灵敏度)↑、漏报↓,但精确率↓、现场核查量↑;特异度↓。ROC 上相当于沿曲线向左上移动到 TPR 更高的点。核电质量场景漏报代价高,故倾向较低阈值。

附录 A 符号表(每个符号的明确意义)

符号读法/名称意义
$n$样本量观测记录条数
$k$(或 $p$)自变量个数不含截距;独热后按哑变量计
$Y,\ y_i$因变量/其第 i 个观测$Y\in\{0,1\}$,1=发生质量问题
$\mathbf X,\ \mathbf x_i$设计矩阵/第 i 行特征首列全 1 对应截距
$\boldsymbol\beta,\ \hat\beta_j$回归系数(向量)/估计值对数几率尺度上的净效应
$\eta=\mathbf X\boldsymbol\beta$线性预测(linear predictor)无界实数,logit(p)
$p_i$预测概率$P(Y=1\mid\mathbf x_i)=\sigma(\eta_i)$
$\sigma(\cdot)$Sigmoid/logistic 函数$\sigma(z)=1/(1+e^{-z})$
odds几率/胜算$p/(1-p)\in(0,\infty)$
logit对数几率(链接函数)$\ln[p/(1-p)]$
$OR_j$优势比$e^{\beta_j}$,几率之比
$L,\ \ell$似然/对数似然参数下观测数据出现的概率(对数)
$\mathbf W$权重对角阵$\mathrm{diag}(p_i(1-p_i))$
$\mathbf H$Hessian 矩阵$-\mathbf X^{\mathsf T}\mathbf W\mathbf X$,负定
SE标准误估计量抽样分布的标准差
$Z,\ t,\ \chi^2,\ F$检验统计量正态/t/卡方/F 分布
$\alpha$显著性水平/第一类错误率常用 0.05
$\beta_{II}$、功效第二类错误率、检验功效功效 $=1-\beta_{II}$
CI置信区间如 $\hat\beta\pm1.96\,SE$
TP/FP/FN/TN真正/假正/假负/真负混淆矩阵四格
TPR/FPR真/假正例率TPR=召回=灵敏度;FPR=1−特异度
Acc/Prec/Rec/Spec/F1准确率/精确率/召回/特异度/F1分类指标,定义见第10章
AUCROC 曲线下面积=正例得分高于负例的概率
$D$(deviance)偏差$-2\ell$,GLM 的残差平方和对应物
VIF方差膨胀因子$1/(1-R_j^2)$,度量共线性
EPV每变量事件数少数类事件数/参数数,建议≥10
BSBrier 分数概率均方误差,越小越好
AIC/BIC信息准则$-2\ell+2k$ / $-2\ell+k\ln n$,越小越好
$\lambda,\ C$正则强度/其倒数$C=1/\lambda$,C 越大正则越弱

附录 B 核心公式速查

主题公式备注
一元 OLS$\hat\beta_1=S_{xy}/S_{xx},\ \hat\beta_0=\bar y-\hat\beta_1\bar x$最小化残差平方和
多元 OLS$\hat{\boldsymbol\beta}=(\mathbf X^{\mathsf T}\mathbf X)^{-1}\mathbf X^{\mathsf T}\mathbf y$需 X 列无完全共线
调整 R²$1-(1-R^2)(n-1)/(n-k-1)$惩罚变量数
Logistic$p=1/[1+e^{-(\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf x)}]$Sigmoid
对数似然$\ell=\sum[y_i\eta_i-\ln(1+e^{\eta_i})]$二元交叉熵取负
得分/Hessian$\mathbf g=\mathbf X^{\mathsf T}(\mathbf y-\mathbf p),\ \mathbf H=-\mathbf X^{\mathsf T}\mathbf W\mathbf X$牛顿/IRLS
系数协方差$(\mathbf X^{\mathsf T}\mathbf W\mathbf X)^{-1}$对角开方=SE
Wald$Z=\hat\beta/SE,\ Z^2\sim\chi^2(1)$单系数
似然比$G=D_{reduced}-D_{full}\sim\chi^2(q)$嵌套模型
OR 及其 CI$OR=e^\beta;\ CI=e^{\hat\beta\pm1.96SE}$CI 跨 1 不显著
VIF / EPV$1/(1-R_j^2)$;事件数/参数数<5;≥10
分类指标见第10章式Acc/Prec/Rec/Spec/F1
HL 统计量$\sum_g(O_g-E_g)^2/[n_g\bar p_g(1-\bar p_g)]$df=G−2
Brier$\frac1n\sum(\hat p_i-y_i)^2$;基准 $\bar p(1-\bar p)$越小越好
McFadden R²$1-\ell/\ell_0=1-D/D_0$伪 R²
AIC/BIC$-2\ell+2k$;$-2\ell+k\ln n$越小越好
Z-score$(x-\mu)/s$只在训练集 fit

附录 C 中英术语对照

中文英文中文英文
线性回归Linear Regression广义线性模型Generalized Linear Model (GLM)
普通最小二乘OLS极大似然估计Maximum Likelihood Estimation
对数几率logit / log-odds几率/胜算odds
优势比/比值比Odds Ratio (OR)相对风险Relative Risk (RR)
线性概率模型Linear Probability Model迭代再加权最小二乘IRLS
哑变量/独热dummy / one-hot参照组reference category
多重共线性multicollinearity方差膨胀因子VIF
混淆矩阵confusion matrix受试者工作特征ROC
精确率/召回率precision / recall灵敏度/特异度sensitivity / specificity
校准calibration区分度discrimination
交叉验证cross-validation自助法bootstrap
数据泄漏data leakage过拟合/欠拟合over/under-fitting
偏差/方差bias / variance正则化regularization (L1/L2)
偏差(拟合优度)deviance信息准则AIC / BIC
完全分离complete separation可解释性/白箱interpretability / white-box

附录 D 推荐教材与经典文献(均为权威标准来源)

经典教材(系统学习)
  • Hosmer D.W. Jr, Lemeshow S., Sturdivant R.X. Applied Logistic Regression (3rd ed.). Wiley, 2013. ——Logistic 回归最权威专著,本知识库估计、检验、诊断、HL 部分主要对标本书。
  • Agresti A. Categorical Data Analysis (3rd ed.). Wiley, 2013. ——分类数据分析百科全书。
  • McCullagh P., Nelder J.A. Generalized Linear Models (2nd ed.). Chapman & Hall/CRC, 1989. ——GLM 框架奠基之作。
  • James G., Witten D., Hastie T., Tibshirani R. An Introduction to Statistical Learning (2nd ed.). Springer, 2021.(官方有免费 PDF)——交叉验证、重抽样、正则化入门最佳。
  • Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning (2nd ed.). Springer, 2009.(免费 PDF)——进阶理论。
  • Wooldridge J.M. Introductory Econometrics: A Modern Approach. ——从计量经济学视角讲 LPM、Logit、Probit 与内生性。
  • 何晓群《多元统计分析》,中国人民大学出版社;盛骤等《概率论与数理统计》(浙江大学第四版),高等教育出版社;陈强《计量经济学及 Stata 应用》,高等教育出版社。——中文对照与概率基础。
关键方法的原始文献(答辩可引用)
  • Peduzzi P., Concato J., Kemper E., Holford T.R., Feinstein A.R. A simulation study of the number of events per variable in logistic regression analysis. J Clin Epidemiol. 1996, 49(12):1373–1379. DOI: 10.1016/S0895-4356(96)00236-3(EPV≥10 准则来源)。
  • Hosmer D.W. Jr, Lemeshow S. Goodness of fit tests for the multiple logistic regression model. Communications in Statistics–Theory and Methods. 1980, 9(10):1043–1069(HL 检验来源)。
  • Brier G.W. Verification of forecasts expressed in terms of probability. Monthly Weather Review. 1950, 78(1):1–3(Brier 分数来源)。
结语 统计方法的底气来自"知其然更知其所以然"。把线性回归→GLM→Logistic→MLE→检验→评价→验证这条主线讲通,再结合你自己论文的真实数字反复演练,面对统计学背景的评委也能从容应对。祝答辩顺利。