Logistic 回归分析系统知识库
——从线性回归基础到二分类建模、评价与答辩
怎么用这份知识库(建议学习顺序)
这份材料不是"背题集",而是帮你建立完整且正确的统计直觉。建议按下面四篇顺序学,每章都遵循"问题动机 → 标准公式(符号逐项解释)→ 直观理解 → 小例子 → 易错点 → 与你论文的对应 → 习题"的闭环。公式不需要死记,理解了推导自然就记住了;答辩时评委更看重你能不能讲清"为什么这么做"。
第 0 章 零基础数学与概率统计入门(先修基础)
这一章假设你很久没碰数学、也没学过统计,从"函数、指数对数、求和符号、导数、向量矩阵"一路讲到"概率、期望方差、分布、抽样、置信区间和假设检验"。每个概念都先讲它是什么、为什么需要它,再给能按计算器算出来的小例子。看不懂的地方慢一点、把例子亲手算一遍即可,不需要任何高等数学基础。标 核心 的是答辩高频点。已经熟悉的读者可跳过本章直接进入第一篇。
① 函数与求极值——Logistic 是一个函数,拟合模型就是"调参数让某个目标达到最优",这需要一点点导数;
② 概率与分布——"会不会出质量问题"是个随机事件,要用概率描述,结果只有 0/1 时服从伯努利分布;
③ 由样本推断总体——我们只有有限的施工记录(样本),却要判断规律是否真实存在(不是偶然),这靠置信区间和假设检验。
本章就是把这三块积木一块块做出来。
0.1 先热身:算术、代数与"函数"是什么
(1)百分比、比例与"倍数"。$80\%=0.8$;A 相对 B 的比值是 $A/B$;"绝对变化"是直接相减(0.6→0.8 增加 0.2),"相对变化"是相除(变为 $0.8/0.6=1.33$ 倍)。后面优势比 OR 讲的是相对(倍数)变化,一定别和绝对变化混。
(2)移项解方程。等式两边做同样运算仍相等。例:由 $\ln\frac{p}{1-p}=\eta$ 反解 $p$:先取指数 $\frac{p}{1-p}=e^\eta$,再 $p=e^\eta(1-p)\Rightarrow p(1+e^\eta)=e^\eta\Rightarrow p=\frac{e^\eta}{1+e^\eta}=\frac1{1+e^{-\eta}}$。这就是后面 Sigmoid 的来历,只是简单移项。
(3)函数 $f(x)$:一台"输入→输出"的机器。丢进 $x$、按规则吐出结果。自变量是输入(如温度),因变量是输出(如风险概率)。最简单的是线性函数 $y=a+bx$:$a$ 是截距($x=0$ 时的值),$b$ 是斜率($x$ 每增加 1,$y$ 变化 $b$)。例 $y=2+0.5x$:$x=0\Rightarrow y=2$,$x=2\Rightarrow y=3$,画出来是一条直线,"每 +1 固定 +0.5"。线性回归就是找一条这样的直线;但概率不是直线规律(会超出 0~1),所以后来要换成 S 形曲线。
0.2 指数、自然常数 e 与对数(Logistic 的"语言",零基础重点)
(1)指数与运算律。$a^n$ 表示 $n$ 个 $a$ 相乘;$a^m\cdot a^n=a^{m+n}$(相乘时指数相加)。规定 $a^0=1$、$a^{-1}=1/a$。
(2)对数是指数的"逆运算"。若 $a^x=b$,则 $\log_a b=x$("以 a 为底 b 的对数,就是 a 的多少次方等于 b")。自然对数 $\ln$ 就是以 $e$ 为底:$\ln b=x\Leftrightarrow e^x=b$。于是有 $\ln 1=0$(因为 $e^0=1$)、$\ln e=1$、并且 $e^{\ln x}=x$、$\ln(e^x)=x$(互为反操作、相互抵消)。
关键体会:$\ln\dfrac{0.8}{0.2}=\ln4=1.386$——把"几率 4"取对数变成 1.386;反过来 $e^{1.386}=4$。logit 和 Sigmoid 就是在"几率"和"对数几率"之间用 $\ln$ 与 $e^{(\,)}$ 来回换算。
0.3 求和符号 Σ、连乘 Π 与下标 i
$\sum$ 读作"西格玛",就是把一串数加起来的简写;下标 $i$ 表示"第几个样本"。例:$\sum_{i=1}^{3}x_i=x_1+x_2+x_3$。平均值 $\bar x=\dfrac1n\sum_{i=1}^n x_i$。例:数据 $2,4,6$,则 $\sum x_i=12,\ \bar x=4$。$\prod$(派)是连乘:$\prod_{i=1}^3x_i=x_1x_2x_3$,后面"每个样本概率相乘得到似然"会用到。看到复杂公式里的 $\sum$,就在心里把它展开成"第一个+第二个+…"即可。
0.4 导数从零入门(只需直观,不用会证明)
(1)导数=瞬时变化率=切线斜率。两点连线的斜率 $\dfrac{\Delta y}{\Delta x}=\dfrac{y_2-y_1}{x_2-x_1}$ 是"平均变化率";让两点无限靠近,就得到某一点的导数 $f'(x)=\dfrac{df}{dx}$,几何上是曲线在该点切线的斜率。直线 $y=a+bx$ 处处斜率都是 $b$,所以其导数恒等于 $b$。
(2)会查这几个基本求导就够用($c$ 为常数):
(3)链式法则("套娃"逐层求导再相乘):$\dfrac{d}{dx}f(g(x))=f'(g(x))\,g'(x)$。例:$\frac{d}{dx}e^{-x}=e^{-x}\cdot(-1)=-e^{-x}$。
(4)为什么"找最优"要令导数等于 0:函数在山顶(最大值)或谷底(最小值)处切线是水平的、斜率为 0,即 $f'(x)=0$。解出这个点就找到极值。极大似然估计就是"令对数似然的导数=0,解出参数"。二阶导数判断凹凸:$f''<0$ 开口向下(山顶,最大值),$f''>0$ 开口向上(谷底)。Logistic 的对数似然被证明是"凹函数",意味着只有唯一一个山顶、不会困在局部小山头。
0.5 多个变量时:偏导数与梯度
函数有多个输入(如 $f(x,y)=x^2y$)时,偏导就是"只对其中一个变量求导、其余当成常数":$\dfrac{\partial f}{\partial x}=2xy$(把 $y$ 当常数),$\dfrac{\partial f}{\partial y}=x^2$(把 $x$ 当常数)。把各变量的偏导排成一列就是梯度 $\nabla f$,它指向函数值上升最快的方向(像在山坡上最陡的上坡方向):
极大似然就是沿梯度方向爬到山顶(或直接令梯度为零解出山顶)。后面反复用到 $\frac{d}{dx}\ln x=\frac1x$、$\frac{d}{dx}e^x=e^x$ 和链式法则。
作为预习,Logistic 函数 $\sigma(z)=\dfrac1{1+e^{-z}}$ 的导数有一个极简洁的结果(第6章会一步步推):
数值体会:$z=0$ 时 $\sigma=0.5$、$\sigma'=0.25$(最陡);$z=\pm3$ 时 $\sigma$ 接近 0 或 1、$\sigma'$ 接近 0(趋平)。这正是"概率在 0.5 附近对因素变化最敏感、在两端最迟钝"的数学根源。
0.6 向量与矩阵入门(把它当成"批量计算的表格",不可怕)
向量就是一排有序的数(一列变量取值);矩阵就是一张数表,约定每行是一个样本、每列是一个变量。在数据表中你早就见过它:
(1)内积(点乘)= 对应相乘再求和,结果是一个数。一行特征与系数列向量相乘,正好就是线性组合:
(2)几个常用操作,认得即可:转置 $\mathbf X^{\mathsf T}$ 是行列互换;单位阵 $\mathbf I$ 相当于数字 1;逆矩阵 $\mathbf A^{-1}$ 相当于"除以 $\mathbf A$"(满足 $\mathbf A\mathbf A^{-1}=\mathbf I$)。多元回归的解 $\hat{\boldsymbol\beta}=(\mathbf X^{\mathsf T}\mathbf X)^{-1}\mathbf X^{\mathsf T}\mathbf y$ 本质就是用这套"批量求和"一次性算出所有系数,手算由计算机完成,你只需知道它在"同时考虑所有变量、求最优系数"。
0.7 概率入门:用"长期频率"和"信息更新"理解
(1)随机现象、样本空间与事件。一次结果不确定、但所有可能结果已知(如一批混凝土"出事/不出事")的现象叫随机现象;所有可能结果构成样本空间;其中某些结果组成事件。概率用长期重复下的频率理解:抛均匀硬币足够多次,正面约占一半,故 $P(\text{正})=0.5$。概率取值 $[0,1]$,必然事件=1、不可能事件=0,对立事件 $P(\text{不发生})=1-P(\text{发生})$。
(2)条件概率——知道新信息后更新判断。$P(A\mid B)$ 表示"已知 B 发生后 A 的概率":
若两件事互不影响则为独立,此时 $P(A\cap B)=P(A)P(B)$。
(3)贝叶斯公式——"由结果反推原因"。
全概率 $P(+)=0.95\times0.01+0.05\times0.99=0.059$;贝叶斯 $P(\text{病}\mid+)=\dfrac{0.95\times0.01}{0.059}\approx0.161$。
即使"准确率 95%"的检测,阳性时真患病也只有约 16%——因为病本身稀少。这提醒我们:判断风险不能只看表面信号,还要结合基础发生率(先验/基线),这和第12章用"朴素基准"对照 Brier 是同一种思想。
极大似然估计走的是"频率派"路线:不假设参数先验,只找"让已观测数据出现概率最大"的参数,即最大化 $P(\text{数据}\mid\text{参数})$。
0.8 随机变量、期望、方差与必须认识的分布
随机变量是把随机结果变成数(出事=1、不出事=0)。离散型用分布列列出每个取值的概率,连续型用概率密度描述。
(1)期望 = 以概率为权重的加权平均(长期平均会落在哪)。离散型 $E(X)=\sum_x x\,P(X=x)$。
(2)方差 = 偏离期望的平方的平均(波动有多大),标准差是其平方根。$\mathrm{Var}(X)=E[(X-E(X))^2]$,越大越分散;标准差与原数据同量纲,更好解释。
- 二项分布:$n$ 次独立、同概率 $p$ 的伯努利试验中"成功次数" $K\sim\mathrm{Binomial}(n,p)$,$E(K)=np,\ \mathrm{Var}(K)=np(1-p)$。
- 正态分布 $N(\mu,\sigma^2)$:对称钟形,$\mu$ 定中心、$\sigma$ 定胖瘦;约 68% 落在 $\mu\pm\sigma$、95% 落在 $\mu\pm1.96\sigma$、99.7% 落在 $\mu\pm3\sigma$(68–95–99.7 法则)。标准化 $Z=\dfrac{X-\mu}{\sigma}$ 后变为标准正态 $N(0,1)$,"1.96"即其 95% 临界值。
0.9 总体、样本、抽样分布与两个极限定理
总体是研究对象全体,其数值特征(真实概率 $p$、真实系数 $\boldsymbol\beta$)称参数,固定但未知;样本是抽到的 $n$ 个记录;由样本算出的量(样本均值 $\bar x$、系数 $\hat\beta$)称统计量/估计量。换一批样本,估计量就变,所以它本身是随机变量,它的概率分布叫抽样分布。
中心极限定理(CLT):无论原始数据是什么奇怪分布,只要样本量足够大,"样本均值(以及极大似然估计量)"的抽样分布都会近似成一个正态分布。神奇之处在于不需要原始数据正态。这就是为什么后面系数能用 $Z$、卡方做检验。
衡量估计量好坏的三条标准:
| 性质 | 含义 | 通俗说法 |
|---|---|---|
| 无偏性 | $E(\hat\theta)=\theta$,估计量的平均等于真值 | 瞄得准,长期平均不偏不倚 |
| 一致性 | $n\to\infty$ 时 $\hat\theta\xrightarrow{p}\theta$ | 样本越多越收敛到真值 |
| 有效性 | 在无偏估计中方差最小 | 同样无偏时,波动最小者最优 |
极大似然估计量在正则条件下具有一致性、渐近无偏、渐近有效与渐近正态性——样本较大时"又准又稳、且近似正态",因此能做 Z/卡方检验。
0.10 置信区间(CI):给估计值一个"误差范围"核心
95% 置信区间取 $z_{0.975}=1.96$。正确的频率解释:重复抽样、每次都这样构造区间,约 95% 的区间会覆盖固定真值(好比打靶,100 个圈约 95 个套中靶心,靶心不动、是圈在动);不能说"真值有 95% 概率落在这一个区间里"(真值是常数,动的是区间)。后面 OR 的 95% 置信区间若跨过 1(等价于 $\beta$ 的区间跨过 0),就说明该因素在 0.05 水平上不显著。
0.11 假设检验从零学:用"硬币是否公平"走完整五步核心
假设检验是一套"反证法式"的概率推理:先假定"没有效应/没有差别"(原假设 $H_0$),看在这个假定下当前数据有多罕见;若罕见到低于阈值,就反过来怀疑 $H_0$、认为效应真实存在。五步:①建立 $H_0$ 与备择 $H_1$;②选检验统计量;③在"假定 $H_0$ 成立"下得到该统计量的分布;④由样本算统计量与 P 值;⑤与显著性水平 $\alpha$(常用 0.05)比较下结论。
| $H_0$ 实际为真 | $H_0$ 实际为假 | |
|---|---|---|
| 拒绝 $H_0$ | 第一类错误(弃真),概率 $=\alpha$(冤枉了本来无效的因素) | 正确检出,概率 $=1-\beta$(功效/power) |
| 不拒绝 $H_0$ | 正确,概率 $=1-\alpha$ | 第二类错误(取伪),概率 $=\beta$(漏掉了真实有效因素) |
单尾/双尾:只关心"变大"或"变小"一个方向用单尾;两个方向都可能用双尾(本论文系数检验默认双尾,事先不假定方向更稳妥)。
0-1 判断对错并说明理由点击看解答
(1) 95% 置信区间表示真值有 95% 的概率落在该区间。(2) $P=0.30$ 说明原假设有 30% 的可能成立。(3) 不拒绝 $H_0$ 就等于证明了 $H_0$。(4) 样本量越大,标准误越小。
0-2 伯努利与标准误计算点击看解答
某批次质量问题概率 $p=0.448$,$n=500$。求单个指示变量 $Y$ 的期望与方差;若用样本比例 $\hat p$ 估计 $p$,其标准误约为多少?
0-3 指数与对数互算(熟悉 logit 的换算)点击看解答
不查表,利用运算律计算:(1) $\ln(e^2)$;(2) $e^{\ln 5}$;(3) $\ln\dfrac{0.7}{0.3}$(保留两位小数,已知 $\ln(7/3)\approx0.847$);(4) 若 $\ln\dfrac{p}{1-p}=0.847$,求 $p$。
0-4 期望与方差手算点击看解答
离散变量 $X$:取 1 概率 0.2、取 2 概率 0.5、取 3 概率 0.3。求 $E(X)$ 与 $\mathrm{Var}(X)$;并求伯努利变量在 $p=0.2$ 时的期望、方差与标准差。
0-5 用导数找最大值(极大似然的雏形)点击看解答
设 $f(x)=-x^2+4x$(开口向下,像对数似然)。求导并找出最大值点;说明这与"极大似然令导数为 0"的关系。
0-6 贝叶斯小练习点击看解答
两袋球:甲袋 2 红 8 蓝,乙袋 8 红 2 蓝。先等概率随机选一袋(各 0.5),再从袋中摸出 1 球是红球。问它来自乙袋的概率。
0-7 线性预测(内积)计算点击看解答
已知 $\beta_0=-0.2,\ \beta_1=0.5,\ \beta_2=-0.1$,某批次 $x_1=4,\ x_2=20$。求线性预测 $\eta=\beta_0+\beta_1x_1+\beta_2x_2$,并用 Sigmoid 求概率 $p=1/(1+e^{-\eta})$($e^{0.2}\approx1.221$)。
第 1 章 一元线性回归与最小二乘
1.1 总体关系与样本拟合
设自变量 $X$、因变量 $Y$。总体回归函数(PRF)假定真实关系为
其中 $\beta_0$ 为截距、$\beta_1$ 为斜率(总体真实参数,固定未知),$u$ 为误差项/扰动项,汇总了所有未纳入模型的其他因素与随机波动。我们用样本拟合一条样本回归线:
区分:误差项 $u_i$ 是总体层面、永远观测不到的真值偏差;残差 $e_i$ 是样本层面"实际值减拟合值",可计算。
1.2 普通最小二乘法(OLS)
OLS 的准则:选 $\hat\beta_0,\hat\beta_1$ 使残差平方和最小(平方既惩罚正负偏差、又可导):
分别对 $\beta_0,\beta_1$ 求偏导并令其为 0,得到两条正规方程,解得:
由此 OLS 回归线必过样本均值点 $(\bar x,\bar y)$,且残差之和 $\sum e_i=0$、残差与自变量正交 $\sum e_ix_i=0$。斜率含义:$X$ 每增加 1 个单位,$Y$ 的条件期望平均变化 $\hat\beta_1$ 个单位。
1.3 拟合优度 R²
总变异可分解为"模型解释的变异 + 残差未解释的变异":
一元线性回归中 $R^2=r^2$($r$ 为 $X,Y$ 的皮尔逊相关系数)。$R^2$ 表示"$Y$ 的变异中被 $X$ 线性解释的比例"。注意:$R^2$ 高不代表因果、不代表模型设定正确。
1-1 手算 OLS(务必会算)点击看解答
4 个点:$(x,y)=(1,1),(2,2),(3,2),(4,4)$。求 $\bar x,\bar y,\hat\beta_1,\hat\beta_0$ 与回归方程。
第 2 章 多元线性回归(矩阵视角)
2.1 模型与矩阵解
$k$ 个自变量时:
其中 $\mathbf y$ 是 $n\times1$,$\mathbf X$ 是 $n\times(k+1)$(首列全 1),$\boldsymbol\beta$ 是 $(k+1)\times1$。最小化残差平方和 $\boldsymbol\varepsilon^{\mathsf T}\boldsymbol\varepsilon$,令梯度为零得正规方程 $\mathbf X^{\mathsf T}\mathbf X\boldsymbol\beta=\mathbf X^{\mathsf T}\mathbf y$,于是:
这是多元 OLS 的标准闭式解。要求 $\mathbf X^{\mathsf T}\mathbf X$ 可逆,即自变量之间不存在完全线性相关(完全多重共线)——这正是哑变量设置必须"丢一类做参照"的数学原因(第4章)。
2.2 偏回归系数:关键在"控制其他变量不变"
这与一元回归有本质差别:一元斜率混杂了与 $X_j$ 相关的其他变量的作用。多元回归通过"投影—偏除(partialling out)"分离净效应。可以证明:$\hat\beta_j$ 等于"先用 $X_j$ 对其余自变量回归取残差、再用 $Y$ 对该残差回归"的简单斜率。
2-1 为什么多元系数可能和一元系数符号不同?点击看解答
用"控制变量/混杂"的语言解释,并各举一个工程上可能的例子。
第 3 章 经典假设、估计性质与系数检验
3.1 高斯–马尔可夫假定(OLS 成立的前提)
| 编号 | 假定 | 违反的后果 / 说明 |
|---|---|---|
| MLR1 | 参数线性:$Y=\beta_0+\beta_1X_1+\cdots+u$ | 对参数线性即可,$X$ 可做非线性变换(平方、对数) |
| MLR2 | 随机抽样 i.i.d. | 样本不独立(如时间自相关、聚集)会使标准误失真 |
| MLR3 | 无完全多重共线性 | 自变量间无精确线性关系,否则 $(\mathbf X^{\mathsf T}\mathbf X)$ 不可逆、无解 |
| MLR4 | 零条件均值 $E(u\mid\mathbf X)=0$(严格外生) | 违反则 OLS 有偏(遗漏变量、测量误差、反向因果、内生性) |
| MLR5 | 同方差 $\mathrm{Var}(u\mid\mathbf X)=\sigma^2$ 恒定 | 异方差:系数仍无偏,但标准误/检验失真,需稳健标准误 |
| MLR6 | (可选)误差正态 $u\mid\mathbf X\sim N(0,\sigma^2)$ | 小样本下做精确 t/F 检验需要;大样本由中心极限定理替代 |
系数的条件方差(理解"什么让系数不稳"):
$SST_j=\sum(x_{ij}-\bar x_j)^2$ 是 $X_j$ 自身变异(变异越大系数越稳);$R_j^2$ 是把 $X_j$ 对其余自变量回归的决定系数——$R_j^2$ 越大(共线性越强),分母越小、方差越大。$1/(1-R_j^2)$ 正是第4章的 VIF。
3.2 单个系数的 t 检验与置信区间
检验 $H_0:\beta_j=0$($X_j$ 对 $Y$ 无净影响):
自由度 $n-k-1$(样本量减自变量数再减截距)。大样本时 $t$ 分布趋近标准正态,临界值趋近 1.96。Logistic 里对应的就是 Wald 的 $Z$ 统计量(第8章),形式完全一样,只是分布用正态/卡方。
3.3 联合显著性的 F 检验
同时检验一组(如全部)系数是否为 0,$H_0:\beta_1=\cdots=\beta_q=0$:
$RSS_r,RSS_{ur}$ 分别为去掉这 $q$ 个变量的"受约束模型"与"完整模型"残差平方和。整体 F 检验对应 Logistic 里的"似然比检验/模型整体卡方检验",思想一脉相承:约束是否让拟合显著变差。
3.4 调整 R²:对"堆变量"的第一道警惕
普通 $R^2$ 有个性质:增加任何自变量都不会使它下降(哪怕该变量毫无意义),这会诱导人盲目堆变量。调整 $\bar R^2$ 在分子加入对变量数 $k$ 的惩罚,只有新变量带来的拟合提升超过惩罚时才上升。这与 Logistic 里用 AIC/BIC、EPV 控制变量数量是同一思想(第8、14章)。
第 4 章 回归诊断、共线性,以及线性概率模型为何失灵
4.1 异方差
同方差被破坏即异方差。后果:OLS 系数仍无偏一致,但标准误估计有偏,从而 t/F、P 值、置信区间不可信。常见处理:稳健(异方差一致)标准误 HC、加权最小二乘 WLS、或对变量变换。对 0/1 因变量而言异方差是"天生的、必然的"(见 4.3)。
4.2 多重共线性与方差膨胀因子 VIF
完全共线:某自变量是其他自变量的精确线性组合,$\mathbf X^{\mathsf T}\mathbf X$ 奇异、参数不可识别。最典型是哑变量陷阱:一个有 $m$ 类的分类变量,若把 $m$ 个哑变量全放进去、又保留截距,就完全共线,必须省略 1 类作"参照组"(只放 $m-1$ 个)。论文里输送机械 5 类只放 4 个哑变量、以"地泵布料机"为参照,正是此理。
不完全共线:自变量高度(但非精确)相关,参数可估但方差膨胀、系数不稳、符号可能反常。用 VIF 量化:
| VIF 区间 | 经验判断 |
|---|---|
| $VIF<5$ | 共线性很弱,可接受 |
| $5\le VIF<10$ | 中度共线,需关注、报告 |
| $VIF\ge10$ | 严重共线,系数估计不可靠,应删并变量或正则化 |
判据为经验阈值(O'Brien、Hair 等教材常用 5/10)。论文数值型变量 VIF 约 1.01–1.03、哑变量约 1.24–1.54,全部远小于 5,故不存在显著共线性。
4.3 重头戏:因变量是 0/1 时,线性回归 = 线性概率模型(LPM)
若直接令 $P(Y=1\mid\mathbf X)=\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf X$,称线性概率模型。此时 $\hat\beta_j$ 可解释为"$X_j$ 每增 1、发生概率的绝对变化量",直观是它唯一的优点。但它有三个无法回避的硬伤:
4-1 哑变量陷阱辨析点击看解答
一个分类变量有 4 个类别,模型带截距。应放几个哑变量?若放 4 个会发生什么?参照组的系数在哪里?
4-2 VIF 计算与判断点击看解答
把 $X_j$ 对其余自变量回归得 $R_j^2=0.84$,求 VIF 并判断共线程度。
4-3 为什么 0/1 因变量"必然异方差"?点击看解答
写出推导。
第 5 章 几率、logit 链接与模型的三种等价形式
5.1 从概率到几率,再到对数几率
第一步 概率→几率:$\mathrm{odds}=p/(1-p)=0.8/0.2=4$,读作"出事的几率是不出事的 4 倍"(4∶1)。
第二步 几率→对数几率:$\mathrm{logit}=\ln4\approx1.386$,变成一个可正可负、没有上下界的普通数值。
第三步 模型在"对数几率"这一层做线性加法:$\eta=\beta_0+\beta_1x_1+\cdots=1.386$。
第四步 原路返回:$e^{1.386}=4$(几率),再 $p=4/(1+4)=0.8$,回到概率。
再看几个对照值建立感觉:$p=0.5\Rightarrow$odds$=1\Rightarrow$logit$=0$;$p=0.9\Rightarrow$odds$=9\Rightarrow$logit$\approx2.197$;$p=0.1\Rightarrow$odds$=0.111\Rightarrow$logit$\approx-2.197$。概率以 0.5 为中心对称,对数几率以 0 为中心对称。之所以绕这一圈,是因为概率被限制在 0~1、不能直接做线性加法,而对数几率没有这个限制。
几率是"发生与不发生的比值":$p=0.5$ 时 odds$=1$(对半);$p>0.5$ 时 odds$>1$。再取自然对数得到 logit:
这一步把"受限在 $(0,1)$ 的概率"变成了"取值全实数"的量,于是可以像线性回归那样用 $\eta=\beta_0+\beta_1x_1+\cdots+\beta_kx_k$ 去建模。反过来解出 $p$:
$\sigma(\cdot)$ 称 logistic / Sigmoid 函数,呈 S 形:$\sigma(0)=0.5$、$\sigma(-z)=1-\sigma(z)$、渐近于 0 和 1(天然有界、不会越界)、导数 $\sigma'(z)=\sigma(z)(1-\sigma(z))$。
5.2 模型的三种等价写法(务必都认得)
| 形式 | 表达式 | 用途 |
|---|---|---|
| 对数几率式(logit) | $\ln\dfrac{p(\mathbf x)}{1-p(\mathbf x)}=\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf x$ | 线性、系数=对数几率,做估计与检验 |
| 几率式(odds) | $\dfrac{p(\mathbf x)}{1-p(\mathbf x)}=e^{\beta_0}\prod_j e^{\beta_jx_j}$ | 乘法结构,直接得优势比 OR |
| 概率式(Sigmoid) | $p(\mathbf x)=\dfrac{1}{1+\exp[-(\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf x)]}$ | 输出概率、画 S 曲线、做预测 |
5.3 放在广义线性模型(GLM)框架里看
GLM 三要素:随机成分(因变量分布,这里是伯努利)、系统成分(线性预测 $\eta=\mathbf X\boldsymbol\beta$)、链接函数(连接均值与线性预测,这里 $g(p)=\mathrm{logit}(p)$)。若把链接换成正态分布分位数 $\Phi^{-1}$ 就是 Probit 回归,结果通常非常接近,但 logit 的系数可直接转 OR、解释更方便,故最常用。
5-1 三种形式互算点击看解答
已知某样本线性预测 $\eta=-1.2$。求发生概率 $p$、几率 odds;若另一因素使 $\eta$ 增加 $0.8$,新概率是多少?
5-2 为什么不能直接写 p=β₀+βx?点击看解答
用第4章与本章知识回答。
第 6 章 参数估计:极大似然(MLE)与迭代求解
6.1 为什么 Logistic 不能用最小二乘
因模型对参数非线性、因变量 0/1、误差非正态且必然异方差,OLS 的闭式解与 BLUE 性质不再适用。Logistic 改用极大似然估计(Maximum Likelihood Estimation, MLE):找一组参数,使"实际观测到的这批 0/1 结果"出现的可能性(似然)最大。
要迭代:令对数似然导数为 0 后,系数 $\boldsymbol\beta$ 仍"藏"在 Sigmoid 的指数里,无法像 OLS 那样用一个公式一步解出,只能逐步逼近。可以想象蒙眼摸山顶:先随便站一个位置(初始值)→用脚感受坡度(梯度)→朝最陡上坡方向迈一步(更新系数)→再感受、再迈步,直到脚下几乎变平(梯度≈0、系数不再变化)即收敛。前面证明过对数似然是"凹的山"(只有一个山顶),所以无论从哪起步都会走到同一个最高点。
6.2 似然函数与对数似然
在 i.i.d. 与伯努利假定下,单个样本贡献 $p_i^{y_i}(1-p_i)^{1-y_i}$,联合似然为各样本乘积:
乘积求导不便,取对数把连乘变连加,得到对数似然(两种等价写法):
第二种写法用 $\eta_i=\mathbf x_i^{\mathsf T}\boldsymbol\beta$ 表示,是计算机实际使用的数值稳定形式;$-\ell$ 也称二元交叉熵损失(binary cross-entropy),逻辑回归与"一个神经元的二分类神经网络"损失完全相同——区别在于逻辑回归是线性、白箱可解释的。
6.3 得分方程:为什么没有闭式解
对 $\boldsymbol\beta$ 求梯度(得分向量),利用 $\sigma'=\sigma(1-\sigma)$ 化简得:
但 $p_i$ 本身是 $\boldsymbol\beta$ 的非线性函数(含 Sigmoid),所以这是一组非线性方程,无法像 OLS 那样一步解出,必须迭代。二阶导数(Hessian 矩阵)为:
因 $\mathbf W$ 对角元 $p_i(1-p_i)>0$,$\mathbf H$ 负定,故对数似然是凹函数,最大值唯一(不存在局部极值陷阱),迭代一定收敛到全局最优。
6.4 牛顿–拉夫逊与 IRLS(迭代再加权最小二乘)
其中 $\mathbf g=\mathbf X^{\mathsf T}(\mathbf y-\mathbf p)$ 为梯度,$\mathbf z=\mathbf X\boldsymbol\beta^{(t)}+\mathbf W^{-1}(\mathbf y-\mathbf p)$ 称"工作响应"。每一步都像在解一个以 $\mathbf W$ 为权重的加权最小二乘,故又称 IRLS(Iteratively Reweighted Least Squares)。反复更新直到系数变化小于容差即收敛。statsmodels 的 Logit 默认即用此类牛顿迭代。
收敛后,用(Fisher)信息阵的逆估计系数协方差,从而得到标准误:
6.5 正则化、求解器,以及论文的"双引擎"设计
为抑制小样本过拟合与共线性,可在损失里加惩罚:
- L2 把系数整体向 0 轻微收缩、稳定但不产生稀疏;L1 会把部分系数压成恰好 0,带变量选择效果。
- sklearn 的反直觉参数:$\mathbf C=1/\lambda$,C 越大正则越弱,$C\to\infty$ 等价于无正则;论文取 $C=1.0$、penalty='l2'、solver='liblinear'(适合小样本二分类的信赖域/坐标类算法)。
Logit.fit()(无正则经典 MLE)输出系数、SE、Z、P 值与 OR 用于统计推断,各司其职,避免"用收缩系数去做经典显著性检验"的口径混乱。6-1 写出单个样本的对数似然并说明最大化它的含义点击看解答
6-2 为什么 Logistic 的 MLE 没有局部最优陷阱?点击看解答
6-3 sklearn 中 C=0.01 与 C=100,哪个正则更强?点击看解答
第 7 章 优势比 OR 与回归系数的正确解读
7.1 优势比(Odds Ratio)的推导
固定其他变量,比较 $X_j$ 取 $x_j+1$ 与 $x_j$ 时的几率之比。由几率式 $\mathrm{odds}=e^{\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf x}$:
② 二分类变量用 2×2 表手算:设"是否高温作业"与"是否出事"列联表为——高温且出事 $a=40$、高温未出事 $b=20$、非高温出事 $c=30$、非高温未出事 $d=70$,则 $OR=\dfrac{a/b}{c/d}=\dfrac{ad}{bc}=\dfrac{40\times70}{20\times30}\approx4.67$,即高温组出事几率约为非高温组的 4.67 倍。
务必记住:OR 说的是几率(odds)的倍数,不是概率的倍数(概率倍数叫相对风险 RR,二者在小概率时才近似)。
| 系数/OR | 方向 | 解释(控制其他变量不变) |
|---|---|---|
| $\beta_j>0,\ OR_j>1$ | 危险因素 | $X_j$ 增大,发生的几率上升(乘以 $OR_j$) |
| $\beta_j<0,\ OR_j<1$ | 保护因素 | $X_j$ 增大,发生的几率下降(乘以 $OR_j$) |
| $\beta_j=0,\ OR_j=1$ | 无关联 | 几率不变 |
OR 的 95% 置信区间由系数区间取指数得到:
区间不跨 1(等价于 $\beta$ 区间不跨 0)才显著。例如 $OR=0.54$,95%CI $[0.44,0.65]$ 不跨 1,显著保护;若为 $[0.25,1.12]$ 跨 1,则不显著。
7.2 不同变量类型的解读
- 连续变量(原始尺度):$X_j$ 每增加 1 个物理单位,几率乘 $e^{\beta_j}$。
- 标准化变量(本论文情形):建模前做了 Z-score 标准化 $z=(x-\bar x)/s$,故 OR 对应"每增加 1 个标准差"的几率倍数,消除了量纲、系数大小可横向比较重要性。解读时要说明这一点。
- 哑变量:该类别相对参照组的几率倍数。论文输送机械以"地泵布料机"为参照,某机械哑变量 OR 即"该机械相对地泵布料机"的发生几率比。
- 有序变量:论文强度等级 C30–C50 按 30,35,…,50 数值化,OR 对应"强度等级每升一档(5MPa)"。
7.3 最容易被评委抓的陷阱:OR ≠ 概率倍数(RR)
概率的实际变化量取决于基线概率(非线性边际效应)。同样 $OR=1.5$(即 $\Delta\ln\text{odds}=\ln1.5=0.405$):
| 基线概率 $p_0$ | 基线 odds | 新概率 $p_1$ | 概率绝对变化 |
|---|---|---|---|
| 0.10 | 0.111 | $0.143$ | +0.043 |
| 0.50 | 1.000 | $0.600$ | +0.100 |
| 0.80 | 4.000 | $0.857$ | +0.057 |
同样的 OR,概率变化量在 0.5 附近最大、两端变小——这正是 S 形曲线的体现。要讲"概率提高多少",必须代回 Sigmoid、结合具体基线计算(平均边际效应 AME 是更严谨的整体口径)。
对 $2\times2$ 列联表 $\begin{smallmatrix}a&b\\c&d\end{smallmatrix}$(暴露/未暴露 × 出事/未出事),$OR=\dfrac{ad}{bc}$。
7.4 用论文系数表练解读
7-1 OR 解读与概率换算点击看解答
某因素 $\beta=0.7$,求 OR;若当前基线概率为 0.3,该因素升高 1 单位后概率约为多少?是"概率变为 2 倍"吗?
7-2 OR=0.5 是什么含义?比 OR=1.5 的因素"作用更小"吗?点击看解答
第 8 章 假设检验、三大检验统计量与变量选择
8.1 单个系数:Wald 检验
检验 $H_0:\beta_j=0$。利用 MLE 的渐近正态性:
双侧 P 值 $=2[1-\Phi(|Z|)]$;$|Z|>1.96$(或 $P<0.05$)拒绝。Wald 检验只需拟合完整模型、计算最快,是系数表 P 值的来源;缺点是在系数很大/接近分离、样本较小时不够稳定(此时以似然比检验为准)。
① 算统计量 $Z=0.50/0.12=4.17$;② 因 $|Z|=4.17>1.96$,双侧 $P=2[1-\Phi(4.17)]\approx3\times10^{-5}<0.05$,拒绝 $H_0$,认为该因素作用真实存在;③ 效应量 $OR=e^{0.50}=1.65$;④ 95% 区间:先算 $\beta$ 的区间 $0.50\pm1.96\times0.12=[0.265,0.735]$,再整体取指数得 OR 区间 $[e^{0.265},e^{0.735}]=[1.30,2.09]$,不跨 1,与 P 值结论一致。论文中入模温度 $\beta=0.4918$、$P=4.5\times10^{-8}$($|Z|\approx5.5$),走的就是这套流程,只是由软件一次算完。
8.2 似然比检验(LR)与得分检验(Score)
似然比检验比较一对嵌套模型(受约束模型 0 与完整模型 1)的对数似然:
$q$ 为被约束(少掉)的参数个数,$D=-2\ell$ 为偏差(deviance,第14章)。检验"整组变量是否联合显著""模型整体是否显著(对比只有截距的零模型)"都用它。LR 同时拟合两个模型,统计性质最可靠,小样本下优先于 Wald。
得分检验(Score / Lagrange 乘子)只在 $H_0$(约束模型)处计算对数似然梯度是否已接近 0,不必拟合更大的模型,常用于"加入某变量前先看是否值得"。三者关系:
| 检验 | 需要拟合的模型 | 适用 | 特点 |
|---|---|---|---|
| Wald | 仅完整(无约束)模型 | 单系数显著性、快速出 P 值 | 大样本可靠,接近分离时偏弱 |
| 似然比 LR | 约束 + 完整两个模型 | 多变量联合、整体模型、增删变量 | 最稳健,小样本首选 |
| Score | 仅约束模型 | 筛选候选变量、诊断 | 不必拟合大模型 |
大样本下三者渐近等价。线性回归里的 t 检验、偏 F 检验,在 Logistic 里分别对应 Wald、似然比检验。
8.3 变量并非越多越好(简约原则)答辩重点
盲目堆砌自变量有四类风险:
常用的变量选择/精简手段:①机理先验——按人机料法环与规范、现场可测性先圈定,不把能采到的字段都塞进去;②共线性诊断 VIF 把关;③数据驱动——向前/向后/逐步选择(基于 LR 或 AIC)、L1(Lasso) 稀疏,但逐步法有多重检验、结果不稳的问题,只能作辅助、且最终要回到机理;④信息准则 AIC/BIC 在拟合与简洁间权衡(第14章)。论文对不显著变量(班组人数、连续工时、4 个机械哑变量)如实报告"为维持人机料法环体系完整而保留",后续可按逐步回归/AIC 进一步精简。
第 9 章 Logistic 回归的假设与回归诊断
9.1 它"不需要"什么、"需要"什么
与线性回归不同,Logistic 不要求因变量正态(Y 本就是 0/1)、不要求同方差、也不要求自变量正态分布。但它有自己的假定:
| 假定 | 含义 | 违反后果 / 检查 |
|---|---|---|
| ① 观测独立 | 各批次结果相互独立(i.i.d.) | 聚集/重复测量需用混合效应或稳健聚类标准误 |
| ② logit 线性 | 连续自变量与 logit(p)(不是 p)呈线性 | Box–Tidwell 检验、分组、样条/分段、变量变换 |
| ③ 无完全共线 | 自变量无精确线性关系 | VIF;分类变量留参照组避免哑变量陷阱 |
| ④ 样本量充足 | EPV≥10、无完全分离 | 增样、合并类别、正则化 |
| ⑤ 无强影响点 | 个别点不能左右整个模型 | 残差、杠杆、Cook 距离诊断 |
9.2 logit 线性假定与 Box–Tidwell 检验
检验连续变量 $X_j$ 是否与 logit 线性:在模型中额外加入交互项 $X_j\ln X_j$(对可能取 0/负值先线性平移为正),若该项显著,说明原变量在 logit 尺度上不线性,应做变换、分箱或用样条。论文连续变量经分布核查、量纲标准化,未发现明显非线性失拟。
9.3 残差与影响点诊断(认识即可)
杠杆值 $h_{ii}$ 来自加权帽子矩阵 $\mathbf H=\mathbf X^{1/2}(\mathbf X^{\mathsf T}\mathbf W\mathbf X)^{-1}\mathbf X^{\mathsf T}\mathbf W^{1/2}$ 的对角;结合残差与杠杆可得 Cook 距离 / DFBETA,衡量"删掉第 $i$ 个样本后系数变动多大"。标准做法是找异常大值、复核是否为录入错误或特殊工况,而非简单删除。
8-1 Wald、LR、Score 三检验辨析点击看解答
(1) 系数表里每个变量的 P 值通常来自哪个检验?(2) 检验"模型整体是否显著"用哪个?(3) 接近完全分离时更应信哪个?
8-2 EPV 计算与判断点击看解答
正例 60、负例 240,独热后待估系数(含截距)共 12 个,EPV 是多少、是否达标?若再加 10 个特征呢?
9-1 Logistic 需要假设自变量和因变量都正态吗?点击看解答
第 10 章 混淆矩阵与分类指标
10.1 从概率到分类:阈值
模型输出概率 $\hat p_i$,设定阈值 $c$(默认 0.5):$\hat p_i\ge c$ 判为"发生(1)",否则判"不发生(0)"。与真实标签交叉得到 $2\times2$ 混淆矩阵:
| 真实为 1(出事) | 真实为 0(未出事) | |
|---|---|---|
| 预测 1 | TP 真正例(报对了) | FP 假正例(误报/虚惊) |
| 预测 0 | FN 假负例(漏报!) | TN 真负例(判对安全) |
10.2 六个核心指标(标准定义)
- 精确率 Precision:报警的里面有多少真出事(衡量"误报");
- 召回率 Recall/灵敏度:真出事的里面被提前发现了多少(衡量"漏报");
- 特异度 Specificity:真安全的里面被正确放行的比例;
- F1:精确率与召回率的调和平均,二者的综合。
10.3 阈值移动:核电场景为什么"宁可误报、不可漏报"
10-1 由混淆矩阵算全套指标点击看解答
TP=30, FN=10, FP=20, TN=40。求 Acc、Precision、Recall、Specificity、F1。
10-2 想减少漏报应上调还是下调阈值?代价是什么?点击看解答
第 11 章 ROC 曲线与 AUC
11.1 ROC 是怎么画出来的
让阈值 $c$ 从高到低扫过所有可能值,每取一个阈值就算一对 $\big(FPR=1-\text{特异度},\ TPR=\text{召回率}\big)$,以 FPR 为横轴、TPR 为纵轴描点连线,即 ROC 曲线。左上角(FPR=0,TPR=1)是完美点;对角线 $y=x$ 是"瞎猜"水平。曲线越靠近左上、越凸,区分能力越强。
11.2 AUC 的定义与精妙解释
AUC(曲线下面积,取值 0–1)有一个概率解释:随机抽一个真实出事样本和一个真实未出事样本,模型给前者打出更高风险概率的概率就是 AUC。它与 Mann–Whitney U 统计量等价。因此 AUC 衡量的是排序/区分能力,与具体阈值无关,且对类别比例不敏感。
| AUC | 经验判读(非绝对标准) |
|---|---|
| 0.5 | 等同随机猜测,无区分能力 |
| 0.7–0.8 | 可接受/中等区分度 |
| 0.8–0.9 | 良好 |
| >0.9 | 优秀(现场社会科学数据中少见,过高还需警惕数据泄漏) |
11-1 AUC=0.5、AUC=1、AUC=0.3 分别意味着什么?点击看解答
第 12 章 概率校准:Hosmer–Lemeshow 与 Brier 分数
12.1 区分度 vs 校准度
区分度回答"谁更危险"(排序),校准度回答"说 70% 会出事的那些批次,是否真有约 70% 出事"(数值是否可信)。一个模型可以 AUC 很高却系统性高估/低估概率。画可靠性曲线(校准曲线):把样本按预测概率分箱,横轴为每箱平均预测概率、纵轴为实际发生频率,越贴近 45° 对角线越校准。
12.2 Hosmer–Lemeshow 拟合优度检验
把样本按预测概率排序分成 $G$ 组(常用 $G=10$),第 $g$ 组样本数 $n_g$、平均预测概率 $\bar p_g$,则期望事件数 $E_g=n_g\bar p_g$、观测事件数 $O_g$:
12.3 Brier 分数(概率的均方误差)
它就是预测概率对 0/1 结果的均方误差,同时惩罚"排序错"和"数值偏"。要判断模型 BS 是否真的好,需对比朴素基准:不用任何变量、对所有人恒预测总体发生率 $\bar p$,其 $BS_{base}=\bar p(1-\bar p)$。还可算技巧分 $BSS=1-BS/BS_{base}$(>0 即优于基准)。
12-1 HL 检验 P=0.02 与 P=0.40 分别说明什么?自由度怎么定?点击看解答
12-2 Brier 与朴素基准点击看解答
总体发生率 0.3,模型 Brier=0.18,求朴素基准与 Brier 技巧分并判断。
第 13 章 模型验证、重抽样与数据增广的边界
13.1 过拟合、欠拟合与偏差–方差
过拟合:模型把训练集的噪声也学进去,训练表现很好、新数据差;欠拟合:模型太简单、训练都学不好。总预测误差可分解为偏差(模型设定不足)+方差(对训练样本波动过度敏感)+不可消误差。变量过多、样本太少会同时推高方差与过拟合——这正是第8章要控制变量数的根本原因。检验泛化的唯一办法是用没参与训练的数据考它。
13.2 训练/测试划分与数据泄漏(必须守住)
- 留出法:按比例(如 7:3)划分;二分类要用分层抽样 stratify,保证训练/测试集正负比例与总体一致,避免某一折全是一类。
- 数据泄漏(data leakage):测试集的信息在训练阶段被"偷看"。最常见是标准化/特征缩放时在全量数据上算均值标准差。正确做法:缩放参数(均值、标准差)只在训练集上 fit,再用同一参数 transform 测试集。论文 StandardScaler 只在实测训练集上 fit,正是为防泄漏。
- 测试集在整个建模过程中只能用"一次"做最终评价,反复按测试结果调模型等于间接泄漏。
13.3 K 折交叉验证(Cross-Validation)
它让每条样本都当过一次验证集,比单次留出更稳定、更充分利用小样本;均值反映平均水平,标准差反映稳定性(越小越稳)。论文用 StratifiedKFold(K=5, shuffle, 固定随机种子 42 保证可复现):准确率 0.672±0.043、AUC 0.745±0.041、F1 0.626±0.039,标准差都较小,说明结果不是某一次幸运划分。样本极少时可用留一法 LOOCV(K=n)。
13.4 Bootstrap(自助法)的两种形态,务必分清
13.5 超参数选择
正则强度 $C$ 等超参数应用交叉验证(如 GridSearchCV)在训练集内部选,再到独立测试集评一次;要同时评估"选超参"这一步的不确定性时用嵌套交叉验证(外层评估、内层选参)。论文为保证流程透明可审计,$C$ 取常用值 1.0 并固定,未做网格搜索,属于稳健、保守的选择(答辩如实说明即可)。
13-1 为什么标准化只能在训练集上 fit?点击看解答
13-2 5 折 CV 的均值和标准差分别说明什么?点击看解答
第 14 章 偏差、伪 R² 与信息准则
14.1 偏差(Deviance)与模型整体检验
偏差可理解为 GLM 里的"残差平方和对应物",衡量当前模型相对饱和模型(完美拟合每个点)还差多少,越小拟合越好。模型整体显著性用似然比:
14.2 伪 R²:别和线性 R² 等同
Logistic 没有线性回归那种"解释方差比例",学者提出多种伪 R²(pseudo-$R^2$),最常用 McFadden:
另有 Cox–Snell、Nagelkerke(后者把上限归一到 1)。它们数值通常明显低于线性 R²,McFadden 达到 0.2–0.4 已属不错(经验范围,不可与线性 R² 的 0.8 类比)。论文 McFadden 伪 R²=0.184,对现场多因素质量问题是合理水平。
14.3 信息准则 AIC / BIC:拟合与简洁的平衡
第一项奖励拟合(似然越大越小),第二项惩罚复杂度(参数 $k$ 越多越大),越小越好,用于在若干候选模型间权衡、配合逐步选择。BIC 随 $\ln n$ 增长、对复杂模型罚得更重,更倾向简约。它们都是"相对指标",只在同一数据的模型间比较大小,本身没有绝对好坏阈值。论文模型 AIC=819.4,可作为后续精简变量时的对照基准。
14-1 McFadden 伪R²=0.18 是不是说明模型很差?点击看解答
14-2 两个嵌套模型,A 比 B 多 3 个变量、对数似然高 2.1,用 AIC 该选谁?点击看解答
第 15 章 完整分析流程与数据预处理
15.1 端到端标准流程(每一步都要可复现)
明确 Y=是否出事、预测目标与代价
现场台账、去重、查缺失/异常
分布、单因素关系、估计分布规律
独热、有序、标准化
训练/测试,缩放只在训练fit
MLE/IRLS,必要时L2正则
VIF、logit线性、Wald/LR、影响点
AUC/HL/Brier/混淆矩阵/K折
按漏报/误报代价,宁不漏
浇筑前录入因素→输出概率
积累实测、批量重训、版本留痕
15.2 变量类型与编码
| 类型 | 例子 | 编码方式 | 论文对应 |
|---|---|---|---|
| 连续数值 | 温度、坍落度、年限、厚度 | 直接使用,再 Z-score 标准化 | X2,X3,X5,X6,X8–X11 |
| 名义分类(无序) | 输送机械 5 类 | 独热 one-hot,留 1 类参照(m−1 个哑变量) | X4→4 个哑变量,参照"地泵布料机" |
| 有序分类 | 强度等级 C30–C50 | 按等级数值化(30,35,…,50),隐含等距假设并说明 | X7 |
| 离散计数 | 班组人数 | 按数值型处理 | X1 |
15.3 标准化(Z-score)及其作用
作用:①消除量纲(℃、mm、年混在一起不致数值尺度悬殊);②标准化后系数绝对值大小可直接比较因素重要性,OR 对应"每 1 个标准差";③加快 liblinear 等数值求解器收敛、稳定正则。均值、标准差必须只在训练集估计(防泄漏)。若需保留原始可解释性,可同时报告"原始尺度"与"标准化"两套系数。Min–Max 归一化 $x'=(x-\min)/(\max-\min)$ 是另一种缩放到 [0,1] 的方法。
15.4 缺失值与类别不平衡(了解标准做法)
- 缺失值:缺失少可删样本/变量;数值变量用均值/中位数、分类用众数或模型插补;插补参数同样只能在训练集 fit;缺失本身有信息时可加"是否缺失"指示变量。
- 类别不平衡:优先调阈值与看召回/AUC/PR;可用 class_weight 加权、欠采样多数类、SMOTE 过采样少数类(合成样本只能进训练集)。论文正负约 45:55,基本均衡,无需重采样。
第 16 章 白箱可解释性与核电"四个凡事"
16.1 白箱模型与黑箱模型的区别
| 维度 | 白箱:Logistic / 线性模型 | 黑箱:深度神经网络 / 复杂集成(RF、XGBoost) |
|---|---|---|
| 结构 | 显式公式,参数数量有限、含义明确 | 大量隐层/树结构,映射关系不透明 |
| 可解释 | 每个系数、OR、P 值、方向都能解释到人能懂 | 需 SHAP/LIME 等事后解释,仍是"近似说明" |
| 可审计 | 结果可逐步复算、留痕、责任可追溯 | 复算依赖训练细节,调参/随机性影响大 |
| 数据需求 | 小样本也能稳定建模、给出不确定性 | 通常需大量数据,小样本易过拟合 |
| 预测上限 | 只能刻画 logit 线性关系,复杂非线性弱 | 能拟合高度非线性、交互,预测可能更准 |
二者不是对错关系,而是取舍:在核安全相关、需要问责与留痕、样本有限的工程现场,可解释、可审计、稳健比"多几个百分点的预测精度"更重要;黑箱模型可作为对照/上限参考(论文展望即提出以随机森林、XGBoost 做对照,但最终仍以可解释模型为准)。
16.2 为什么契合核电"四个凡事"
| 原则 | Logistic 白箱方法如何落实 |
|---|---|
| 凡事有章可循 | 模型是一条写得明明白白的公式与标准化流程,变量来自人机料法环规范与现场台账,不依赖不可言说的"模型直觉" |
| 凡事有人负责 | 每个因素对应明确的责任专业(人、机、料、法、环),系数方向能追到具体管控环节与责任人 |
| 凡事有人验证 | Wald/似然比检验、VIF、HL、交叉验证、纯实测稳健性复核,每一步都有统计验证手段 |
| 凡事有据可查 | 数据来源、随机种子、参数、系数、指标全程留痕、可复算;本地部署不联网,过程可审计 |
第 17 章 用本论文完整走一遍(贯穿案例)
本章把前面所有概念落到你自己的真实结果上,答辩时每报一个数字都能说清"它是什么、怎么来、说明什么"。
17.1 第一步:问题与数据
- 因变量 Y:单次混凝土浇筑拆模验收"是否发生质量问题",$Y=1$ 发生、$Y=0$ 未发生(伯努利)。
- 样本:现场施工过程记录 500 条,其中未发生 276、发生 224,发生率 $\bar p=44.8\%$(类别较均衡)。
- 自变量(按人机料法环 4M1E 组织,11 项,独热后 14 个特征):
| 要素 | 变量 | 含义/类型 | 建模结论 |
|---|---|---|---|
| 人 | X1 班组人数 | 离散计数 | 不显著 |
| X2 班组平均年限 | 连续,年 | 显著·保护 | |
| X3 监督人员年限 | 连续,年 | 显著·保护(最强) | |
| 机 | X4 输送机械 | 5 类名义变量→4 哑变量,参照"地泵布料机" | 4 哑变量均不显著 |
| 料 | X5 坍落度 | 连续,mm | 显著·保护 |
| X6 入模温度 | 连续,℃ | 显著·危险 | |
| X7 强度等级 | 有序 C30–C50→30…50 | 边缘显著 | |
| 法 | X8 平均振捣时间 | 连续,s | 显著·保护 |
| X9 连续工作时长 | 连续,h | 不显著 | |
| X10 分层浇筑厚度 | 连续,cm | 显著·危险 | |
| 环 | X11 环境温度 | 连续,℃ | 显著·危险 |
17.2 第二步:预处理与划分(防泄漏设计)
- X4 独热编码 drop_first,留"地泵布料机"为参照(避免哑变量陷阱/完全共线);
- 7:3 分层划分,保持 44.8% 发生率;训练侧再经参数化模拟增广到 700(实测 350+增广 350),测试集 150 条全部为纯实测;
- Z-score 标准化,均值/标准差只在实测训练集 fit,再套用到测试集(防数据泄漏);
- 固定随机种子 42,全流程可复现。
17.3 第三步:双引擎估计
预测引擎:sklearn LogisticRegression(solver='liblinear', penalty='l2', C=1.0),温和 L2 收缩、保证小样本稳健;推断引擎:statsmodels Logit 经典 MLE(牛顿迭代收敛)输出 $\hat\beta,SE,Z,P,OR$。标准化系数(按 $|\beta|$ 排序,摘):
| 因素 | β | P | OR=e^β | 解读(每+1个标准差,控制其他) |
|---|---|---|---|---|
| X3 监督年限 | −0.623 | <0.001 | 0.54 | 几率降到0.54倍,保护 |
| X6 入模温度 | +0.492 | <0.001 | 1.64 | 几率升为1.64倍,危险 |
| X8 振捣时间 | −0.489 | <0.001 | 0.61 | 几率降到0.61倍,保护 |
| X2 班组年限 | −0.450 | <0.001 | 0.64 | 保护 |
| X11 环境温度 | +0.417 | <0.001 | 1.52 | 危险 |
| X5 坍落度 | −0.408 | <0.001 | 0.67 | 保护(在合格区间内控制更稳) |
| X10 分层厚度 | +0.207 | 0.017 | 1.23 | 越厚越危险 |
| X7 强度等级 | +0.144 | 0.091 | 1.15 | 边缘显著(纯实测 P≈0.050) |
| X1/X9/X4四哑变量 | — | >0.4 | — | 不显著,为体系完整保留 |
17.4 第四步:诊断、评价、验证(一张总表)
| 维度 | 结果 | 对应概念 / 说明 |
|---|---|---|
| 共线性 VIF | 数值型1.01–1.03;哑变量1.24–1.54 | 全部<5,无显著共线(第4、9章) |
| 样本量 EPV | 224/14=16 | >10,事件数支撑充分(第8章) |
| 测试混淆矩阵 | TN58 FP25 FN26 TP41 | 150条纯实测(第10章) |
| Acc/Prec/Rec/F1 | 0.660/0.621/0.612/0.617 | 特异度0.699 |
| AUC(测试/训练) | 0.7625 / 0.7755 | 接近→无明显过拟合,区分度可接受(第11章) |
| HL 校准 | χ²=9.195, df=8, P=0.326 | P>0.05,校准良好(第12章) |
| Brier / 朴素基准 | 0.1957 / 0.2473 | BSS≈0.21,优于恒预测基准21% |
| 5折分层CV | Acc.672±.043;AUC.745±.041;F1.626±.039 | 标准差小,结果稳定(第13章) |
| McFadden 伪R² / AIC | 0.184 / 819.4 | 伪R²合理,AIC供精简对照(第14章) |
17.5 第五步:纯实测稳健性复核(堵住"增广自证"质疑)
另在 500 条纯实测上独立拟合 statsmodels Logit:7 个核心显著因素(X2,X3,X5,X6,X8,X10,X11)的方向与显著性完全一致(纯实测 P 均<0.01),不显著变量结论也一致;仅 X7 强度等级跨在临界(混合 P=0.091、纯实测 P≈0.050),据实报告为边缘显著。这说明结论不依赖增广数据,增广只起稳定训练作用。
第 18 章 答辩高频问答(评委视角 · 标准答案)
下面按六类整理最可能被追问的问题。答案按"30 秒能说完"的口径写,先给结论、再补依据;带 尖锐 的是统计学背景评委容易深挖的,务必能脱口而出。
A. 基础概念
它是处理"二分类因变量"的广义线性模型:对"发生概率的对数几率"做线性建模 $\ln\frac{p}{1-p}=\mathbf X\boldsymbol\beta$,再经 Sigmoid 映回概率。它继承了线性回归"线性可加、系数可解释"的优点,又解决了线性概率模型概率越界、必然异方差、边际效应恒定三个问题。
一是把取值(0,1)的概率映到全实数,线性组合才合法且永不越界;二是它是伯努利分布的典范链接,MLE 性质好、信息阵简洁;三是反函数 S 形符合概率"中间敏感、两端饱和"的规律;四是系数可直接转优势比、可解释。
概率 $p\in[0,1]$;几率 $p/(1-p)\in(0,\infty)$,是发生与不发生之比;优势比 OR 是两个几率之比 $=e^\beta$。OR 说的是"几率变成几倍",不是"概率变成几倍"。
B. 估计与检验
模型对参数非线性、因变量0/1、误差非正态且必然异方差,OLS 的闭式解和 BLUE 前提不成立。MLE 直接最大化"观测到这批0/1结果的概率",在大样本下一致、渐近有效、渐近正态,能给出系数标准误做检验。
没有。令得分方程 $\mathbf X^{\mathsf T}(\mathbf y-\mathbf p)=0$,但 $\mathbf p$ 含 Sigmoid、是非线性方程组,要用牛顿–拉夫逊/IRLS 迭代;Hessian 为 $-\mathbf X^{\mathsf T}\mathbf W\mathbf X$ 负定,对数似然是凹函数,解唯一、必收敛到全局最优(无完全分离时)。
Wald 只拟合完整模型、出系数P值最快;似然比要拟合约束和完整两个模型、最稳健,适合整体检验和小样本;得分检验只在原假设处算、用于筛变量。大样本三者渐近等价;接近完全分离或样本偏小时以似然比为准。
P 值是"假设该因素无影响时,出现当前乃至更极端数据的概率"。P>0.05 只能说"现有证据不足以证明有影响",不能说"证明无作用",可能是样本不足或效应弱;所以不显著变量我表述为"未达显著水平",并结合机理决定是否保留。
所以我用双引擎:sklearn(liblinear+L2,C=1.0)只负责稳健预测;显著性、OR、置信区间由 statsmodels 的无正则经典 MLE 单独输出,推断口径不混淆。C=1/λ,C 越小收缩越强,我取温和的 1.0。
某变量能把0和1完全分开时似然无有限最大、系数发散不收敛。可合并稀疏类别、连续变量分箱、增加样本或加 L2 正则(正则天然缓解)。我数据分布均衡且加了L2,未出现分离。
C. 数据、变量与样本
不是。变量多会:摊薄每变量事件数(EPV)、标准误膨胀;拟合噪声导致过拟合;抬高VIF加剧共线;违背简约原则、降低可解释性。我按机理先验选变量、VIF和EPV把关、显著性再复核,EPV=224/14=16 达标。
m类放m个哑变量再加截距会完全共线(哑变量陷阱),必须留m−1个、省略的即参照组。参照组选样本量足、工程上最常用/最有基准意义的一类,我选"地泵布料机",各哑变量系数是相对它的差异。
VIF=1/(1−Rj²)衡量该变量被其余变量线性解释的程度,经验上<5可接受、5–10中度、>10严重。我数值型1.01–1.03、哑变量1.24–1.54,远低于5,无共线问题。
我用的是参数化模拟增广,分布参数全部由现场实测估计,且设了三条边界:分布来自实测、增广只进训练集、测试集150条全为纯实测、显著性另用纯实测500条复核。增广只稳定训练,绝不用自己生成的数据考自己,测试和推断都在纯实测上,因此不存在循环论证。
否则测试集信息泄漏进训练、评估虚高。正确做法是缩放器只在训练集fit、再transform测试集;交叉验证时每折也要在折内fit。
保证训练、测试集里出事比例都等于总体44.8%,避免随机划分使某一折正负例失衡、评估失真。
D. 评价指标
AUC=随机抽一个出事样本和一个未出事样本、模型给前者打更高风险分的概率,衡量排序区分能力、与阈值无关。0.5是瞎猜。0.76对多因素含噪声的现场问题属可接受偏良好;训练0.7755与之接近说明没过拟合,我不夸大为"很准"。
阈值0.5下真出事67批预警41批。现场应用时漏报代价远高于误报,我会下调阈值提高召回、宁可多查不可漏,阈值由误报/漏报成本比决定,不固定0.5;这是部署策略而非模型缺陷。
它的原假设是"模型校准良好",P>0.05表示没有证据说校准失拟,方向和一般显著性检验相反;自由度是组数−2=8。我P=0.326校准良好。HL样本大时过敏,所以还结合Brier与校准曲线。
Brier是预测概率对0/1的均方误差,单看数值缺基准。恒预测总体发生率的朴素基准=p̄(1−p̄)=0.2473,我模型0.1957,技巧分约0.21,即比"只凭总体比例拍脑袋"降低21%误差,证明有真实增量。
区分度(AUC/召回)管"谁相对更危险"的排序;校准度(HL/Brier/校准曲线)管"说70%是否真约70%出事"的数值准确性。AUC高不代表概率数值准,两者都要评。
分层5折,每折轮流当验证集训5次,报告均值±标准差。均值是平均性能,标准差小说明结果不依赖某次幸运划分、稳定可复现,我三个指标标准差都在0.04左右。
伪R²和线性R²定义不同、天然偏低,不能用"越接近1越好"类比;McFadden在0.2–0.4已属不错。模型好坏要综合AUC、校准、CV稳定性,不能只看伪R²。
类别不平衡时全猜多数类也有高准确率却毫无预警力(准确率悖论)。我正负约45:55较均衡,但仍以AUC、召回、F1为主,准确率只作参考。
E. 方法选择与工程落地
核电质量管控要满足"四个凡事",要求可解释、可验证、可追溯、可问责。深度模型是黑箱、小样本易过拟合;Logistic 每个系数/OR都对应具体人机料法环因素、可逐步复算留痕,更适合作事前预警依据。我不排斥AI,已把随机森林/XGBoost列为后续对照模型,但主模型坚持白箱。
不能直接证明。观察性数据在控制了已纳入变量后给出的是"条件关联/净相关",仍可能有未观测混杂;因果需要机理支撑和受控试验。我在结论里明确写了"相关≠因果",显著因素都有施工机理对应,并把因果验证列为后续工作——主动说明局限反而更严谨。
浇筑前把该批次人机料法环11项录入自研软件,模型实时输出问题概率,超过阈值即预警并定位是哪些因素推高风险(系数/OR可解释),现场针对性整改,形成"采集—预测—分析—防控—固化"闭环;数据积累后批量重训更新、版本留痕,本地部署不联网。
F. 综合与质疑应对
三重隔离:测试集150条纯实测;另做500条纯实测独立拟合,7个核心因素方向、显著性与混合模型完全一致(P均<0.01);仅强度等级跨临界并如实标注边缘显著。结论在纯实测上同样成立。
它正处在0.05临界附近:混合训练集P=0.091、纯实测P≈0.050。我不做非黑即白的裁剪,统一表述为"边缘显著",方向为正、OR=1.23,提示等级越高(配合更严工艺要求)管控不当风险略升,需更多数据进一步确认。
这是外部效度局限,我在论文中明确说明:模型框架、变量体系和流程可直接迁移,但具体系数需用新项目数据重新标定/再训练;软件支持批量重训,正是为滚动推广设计。
先查是否共线(VIF)、混杂、样本选择或测量问题,再看是否为"控制其他变量后的净效应"(净效应方向可与单变量不同);若统计与机理都无法解释,宁可保留疑问、不强行解释。我的显著因素方向均与施工机理一致(年限、振捣为保护,入模/环境高温、过厚分层为危险)。
工程价值不只看单一精度:它在纯实测上校准通过、Brier优于朴素基准21%、交叉验证稳定、纯实测复核一致,且能把"模糊经验"变成"可量化概率+可定位因素+可留痕"的事前预警。现场不需要一个黑箱给满分,需要一个可信、可解释、能持续迭代的决策辅助。
把 Logistic 白箱模型与人机料法环体系、参数化增广的防循环论证设计、自研可审计软件和核电"四个凡事"结合,形成一套小样本可建、概率可解释、过程可追溯的混凝土质量事前风险预警闭环。
综合习题与详解(跨章节自测)
建议合上书先独立完成,再展开对照。每题都对应明确知识点,做错的回到对应章节重看。
A 组 · 概念判断(判断对错并说明理由)
A1 Logistic 回归的因变量可以是连续变量。解答
A2 OR=2 表示发生概率变为原来的 2 倍。解答
A3 Logistic 回归也要求残差服从正态分布。解答
A4 Hosmer–Lemeshow 检验 P=0.01 说明模型校准很好。解答
A5 增加自变量一定会让 R² 上升,所以变量越多模型越好。解答
A6 AUC 与分类阈值的选取无关。解答
A7 标准化时应在划分前对全部数据一起算均值和标准差。解答
A8 Wald 统计量 Z 的平方服从自由度 1 的卡方分布。解答
B 组 · 公式推导
B1 证明 Sigmoid 的导数 σ′(z)=σ(z)[1−σ(z)]。解答
B2 由 logit 线性式推导"X 每增 1,OR=e^β"。解答
B3 写出对数似然并推导得分方程 ∂ℓ/∂β=Xᵀ(y−p)。解答
C 组 · 动手计算
C1 一元 OLS:点 (0,1)(1,3)(2,2)(3,5),求回归直线。解答
C2 OR 与概率:β=−0.5,基线概率 0.6,X 增 1 后概率是多少?解答
C3 混淆矩阵 TP=20,FN=5,FP=10,TN=65,求 Acc/Prec/Rec/Spec/F1。解答
C4 AUC:3 个正例得分 0.9/0.6/0.3,2 个负例 0.7/0.4,用"正负配对胜率"求 AUC(无并列)。解答
C5 Brier:四样本预测概率 (.9,.1,.8,.2)、真实 (1,0,1,0),求 BS;若总体率 0.5,朴素基准与技巧分?解答
C6 对数似然:两样本 (x,y)=(0,1),(1,0),当前 β0=β1=0(所有 p=0.5),求 ℓ。解答
C7 VIF 与 EPV:某变量 Rj²=0.75 求 VIF;正例 40、待估参数 8 个,EPV 是否达标?解答
D 组 · 辨析与简答
D1 为什么说 Logistic 得到的是"关联"而不是"因果"?怎样才更接近因果?解答
D2 LPM、Logit、Probit 的联系与区别?解答
D3 为什么增广/模拟样本绝不能进入测试集?解答
D4 完整说出"下调阈值"引发的连锁变化。解答
附录 A 符号表(每个符号的明确意义)
| 符号 | 读法/名称 | 意义 |
|---|---|---|
| $n$ | 样本量 | 观测记录条数 |
| $k$(或 $p$) | 自变量个数 | 不含截距;独热后按哑变量计 |
| $Y,\ y_i$ | 因变量/其第 i 个观测 | $Y\in\{0,1\}$,1=发生质量问题 |
| $\mathbf X,\ \mathbf x_i$ | 设计矩阵/第 i 行特征 | 首列全 1 对应截距 |
| $\boldsymbol\beta,\ \hat\beta_j$ | 回归系数(向量)/估计值 | 对数几率尺度上的净效应 |
| $\eta=\mathbf X\boldsymbol\beta$ | 线性预测(linear predictor) | 无界实数,logit(p) |
| $p_i$ | 预测概率 | $P(Y=1\mid\mathbf x_i)=\sigma(\eta_i)$ |
| $\sigma(\cdot)$ | Sigmoid/logistic 函数 | $\sigma(z)=1/(1+e^{-z})$ |
| odds | 几率/胜算 | $p/(1-p)\in(0,\infty)$ |
| logit | 对数几率(链接函数) | $\ln[p/(1-p)]$ |
| $OR_j$ | 优势比 | $e^{\beta_j}$,几率之比 |
| $L,\ \ell$ | 似然/对数似然 | 参数下观测数据出现的概率(对数) |
| $\mathbf W$ | 权重对角阵 | $\mathrm{diag}(p_i(1-p_i))$ |
| $\mathbf H$ | Hessian 矩阵 | $-\mathbf X^{\mathsf T}\mathbf W\mathbf X$,负定 |
| SE | 标准误 | 估计量抽样分布的标准差 |
| $Z,\ t,\ \chi^2,\ F$ | 检验统计量 | 正态/t/卡方/F 分布 |
| $\alpha$ | 显著性水平/第一类错误率 | 常用 0.05 |
| $\beta_{II}$、功效 | 第二类错误率、检验功效 | 功效 $=1-\beta_{II}$ |
| CI | 置信区间 | 如 $\hat\beta\pm1.96\,SE$ |
| TP/FP/FN/TN | 真正/假正/假负/真负 | 混淆矩阵四格 |
| TPR/FPR | 真/假正例率 | TPR=召回=灵敏度;FPR=1−特异度 |
| Acc/Prec/Rec/Spec/F1 | 准确率/精确率/召回/特异度/F1 | 分类指标,定义见第10章 |
| AUC | ROC 曲线下面积 | =正例得分高于负例的概率 |
| $D$(deviance) | 偏差 | $-2\ell$,GLM 的残差平方和对应物 |
| VIF | 方差膨胀因子 | $1/(1-R_j^2)$,度量共线性 |
| EPV | 每变量事件数 | 少数类事件数/参数数,建议≥10 |
| BS | Brier 分数 | 概率均方误差,越小越好 |
| AIC/BIC | 信息准则 | $-2\ell+2k$ / $-2\ell+k\ln n$,越小越好 |
| $\lambda,\ C$ | 正则强度/其倒数 | $C=1/\lambda$,C 越大正则越弱 |
附录 B 核心公式速查
| 主题 | 公式 | 备注 |
|---|---|---|
| 一元 OLS | $\hat\beta_1=S_{xy}/S_{xx},\ \hat\beta_0=\bar y-\hat\beta_1\bar x$ | 最小化残差平方和 |
| 多元 OLS | $\hat{\boldsymbol\beta}=(\mathbf X^{\mathsf T}\mathbf X)^{-1}\mathbf X^{\mathsf T}\mathbf y$ | 需 X 列无完全共线 |
| 调整 R² | $1-(1-R^2)(n-1)/(n-k-1)$ | 惩罚变量数 |
| Logistic | $p=1/[1+e^{-(\beta_0+\boldsymbol\beta^{\mathsf T}\mathbf x)}]$ | Sigmoid |
| 对数似然 | $\ell=\sum[y_i\eta_i-\ln(1+e^{\eta_i})]$ | 二元交叉熵取负 |
| 得分/Hessian | $\mathbf g=\mathbf X^{\mathsf T}(\mathbf y-\mathbf p),\ \mathbf H=-\mathbf X^{\mathsf T}\mathbf W\mathbf X$ | 牛顿/IRLS |
| 系数协方差 | $(\mathbf X^{\mathsf T}\mathbf W\mathbf X)^{-1}$ | 对角开方=SE |
| Wald | $Z=\hat\beta/SE,\ Z^2\sim\chi^2(1)$ | 单系数 |
| 似然比 | $G=D_{reduced}-D_{full}\sim\chi^2(q)$ | 嵌套模型 |
| OR 及其 CI | $OR=e^\beta;\ CI=e^{\hat\beta\pm1.96SE}$ | CI 跨 1 不显著 |
| VIF / EPV | $1/(1-R_j^2)$;事件数/参数数 | <5;≥10 |
| 分类指标 | 见第10章式 | Acc/Prec/Rec/Spec/F1 |
| HL 统计量 | $\sum_g(O_g-E_g)^2/[n_g\bar p_g(1-\bar p_g)]$ | df=G−2 |
| Brier | $\frac1n\sum(\hat p_i-y_i)^2$;基准 $\bar p(1-\bar p)$ | 越小越好 |
| McFadden R² | $1-\ell/\ell_0=1-D/D_0$ | 伪 R² |
| AIC/BIC | $-2\ell+2k$;$-2\ell+k\ln n$ | 越小越好 |
| Z-score | $(x-\mu)/s$ | 只在训练集 fit |
附录 C 中英术语对照
| 中文 | 英文 | 中文 | 英文 |
|---|---|---|---|
| 线性回归 | Linear Regression | 广义线性模型 | Generalized Linear Model (GLM) |
| 普通最小二乘 | OLS | 极大似然估计 | Maximum Likelihood Estimation |
| 对数几率 | logit / log-odds | 几率/胜算 | odds |
| 优势比/比值比 | Odds Ratio (OR) | 相对风险 | Relative Risk (RR) |
| 线性概率模型 | Linear Probability Model | 迭代再加权最小二乘 | IRLS |
| 哑变量/独热 | dummy / one-hot | 参照组 | reference category |
| 多重共线性 | multicollinearity | 方差膨胀因子 | VIF |
| 混淆矩阵 | confusion matrix | 受试者工作特征 | ROC |
| 精确率/召回率 | precision / recall | 灵敏度/特异度 | sensitivity / specificity |
| 校准 | calibration | 区分度 | discrimination |
| 交叉验证 | cross-validation | 自助法 | bootstrap |
| 数据泄漏 | data leakage | 过拟合/欠拟合 | over/under-fitting |
| 偏差/方差 | bias / variance | 正则化 | regularization (L1/L2) |
| 偏差(拟合优度) | deviance | 信息准则 | AIC / BIC |
| 完全分离 | complete separation | 可解释性/白箱 | interpretability / white-box |
附录 D 推荐教材与经典文献(均为权威标准来源)
经典教材(系统学习)
- Hosmer D.W. Jr, Lemeshow S., Sturdivant R.X. Applied Logistic Regression (3rd ed.). Wiley, 2013. ——Logistic 回归最权威专著,本知识库估计、检验、诊断、HL 部分主要对标本书。
- Agresti A. Categorical Data Analysis (3rd ed.). Wiley, 2013. ——分类数据分析百科全书。
- McCullagh P., Nelder J.A. Generalized Linear Models (2nd ed.). Chapman & Hall/CRC, 1989. ——GLM 框架奠基之作。
- James G., Witten D., Hastie T., Tibshirani R. An Introduction to Statistical Learning (2nd ed.). Springer, 2021.(官方有免费 PDF)——交叉验证、重抽样、正则化入门最佳。
- Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning (2nd ed.). Springer, 2009.(免费 PDF)——进阶理论。
- Wooldridge J.M. Introductory Econometrics: A Modern Approach. ——从计量经济学视角讲 LPM、Logit、Probit 与内生性。
- 何晓群《多元统计分析》,中国人民大学出版社;盛骤等《概率论与数理统计》(浙江大学第四版),高等教育出版社;陈强《计量经济学及 Stata 应用》,高等教育出版社。——中文对照与概率基础。
关键方法的原始文献(答辩可引用)
- Peduzzi P., Concato J., Kemper E., Holford T.R., Feinstein A.R. A simulation study of the number of events per variable in logistic regression analysis. J Clin Epidemiol. 1996, 49(12):1373–1379. DOI: 10.1016/S0895-4356(96)00236-3(EPV≥10 准则来源)。
- Hosmer D.W. Jr, Lemeshow S. Goodness of fit tests for the multiple logistic regression model. Communications in Statistics–Theory and Methods. 1980, 9(10):1043–1069(HL 检验来源)。
- Brier G.W. Verification of forecasts expressed in terms of probability. Monthly Weather Review. 1950, 78(1):1–3(Brier 分数来源)。