Mixing
置信区间
 | 本條目可参照英語維基百科相應條目来扩充。 (2016年9月13日) |
在统计学中，一个概率样本的置信区间（英语：Confidence interval，CI），是对产生这个样本的总体的参数分布（Parametric Distribution）中的某一个未知参数值，以区间形式给出的估计。相对于点估计（Point Estimation）用一个样本统计量来估计参数值，置信区间还蕴含了估计的精确度的信息。在现代机器学习中越来越常用的置信集合（Confidence Set）概念是置信区间在多维分析的推广[1]。
置信区间在频率学派中间使用，其在贝叶斯统计中的对应概念是可信区间（Credible Interval）。两者建立在不同的概念基础上的，贝叶斯统计将分布的位置参数视为随机变量，并对给定观测到的数据之后未知参数的后验分布进行描述，故无论对随机样本还是已观测数据，构造出来的可信区间，其可信水平都是一个合法的概率[2]；而置信区间的置信水平，只在考虑随机样本时可以被理解为一个概率。
目录
1 定义
2 例子
3 构造法
4 与参数检验的联系
5 参考文献
6 参考书目
定义
- 对随机样本的定义
定义置信区间最清晰的方式是从一个随机样本出发。考虑一个一维随机变量X{displaystyle {cal {X}}}
- P(θ∈(u(X1,…,Xn),v(X1,…,Xn)))=1−α{displaystyle mathbb {P} left(theta in left(u(X_{1},ldots ,X_{n}),v(X_{1},ldots ,X_{n})right)right)=1-alpha }
则称(u(X1,…,Xn),v(X1,…,Xn)){displaystyle left(u(X_{1},ldots ,X_{n}),v(X_{1},ldots ,X_{n})right)}
- 对观测到的数据的定义
接续随机样本版本的定义，现在，对于随机变量X{displaystyle {cal {X}}}
- (u(x1,…,xn),v(x1,…,xn)){displaystyle left(u(x_{1},ldots ,x_{n}),v(x_{1},ldots ,x_{n})right)}
注意，置信区间可以是单边或者双边的，单边的置信区间中设定u=−∞{displaystyle u=-infty }
初学者常犯一个概念性错误，是将基于观测到的数据所构造的置信区间的置信水平，误认为是它包含未知参数的真实值的概率。正确的理解是：置信水平只有在描述这个构造置信区间的过程(或称方法)的意义下才能被视为一个概率。一个基于已经观测到的数据所构造出来的置信区间，其两个端点已经不再具有随机性，因此，其包含未知参数的真实值的概率是0或者1，但我们不能知道是前者还是后者[3]。
例子
- 例1：正态分布，已知总体方差σ2{displaystyle sigma ^{2}}
1−α{displaystyle 1-alpha }
(x¯−z1−α/2σn,x¯+z1−α/2σn){displaystyle left({bar {x}}-z_{1-alpha /2}{frac {sigma }{sqrt {n}}},{bar {x}}+z_{1-alpha /2}{frac {sigma }{sqrt {n}}}right)}(双边)
(−∞,x¯+z1−ασn){displaystyle left(-infty ,{bar {x}}+z_{1-alpha }{frac {sigma }{sqrt {n}}}right)}(单边)
(x¯−z1−ασn,+∞){displaystyle left({bar {x}}-z_{1-alpha }{frac {sigma }{sqrt {n}}},+infty right)}(单边)
以下为方便起见，只列出双边置信区间的例子，且区间中用"±{displaystyle pm }
- 例2：正态分布，未知总体方差σ2{displaystyle sigma ^{2}}
1−α{displaystyle 1-alpha }
- (x¯±tn−1;α/2sn){displaystyle left({bar {x}}pm t_{n-1;alpha /2}{frac {s}{sqrt {n}}}right)}
- 例3：两个独立正态样本x{displaystyle x}
和y{displaystyle y}
，样本大小为m{displaystyle m}
和n{displaystyle n}
，假设总体方差未知但相等：σ1=σ2{displaystyle sigma _{1}=sigma _{2}}
(如果未知且不等就要应用Welch公式来确定t分布的自由度)
1−α{displaystyle 1-alpha }
(x¯−y¯±tm+n−2;α/2⋅sp⋅1m+1n){displaystyle left({bar {x}}-{bar {y}}pm t_{m+n-2;alpha /2}cdot s_{p}cdot {sqrt {{frac {1}{m}}+{frac {1}{n}}}}right)}，其中sp=(m−1)sx2+(n−1)sy2m+n−2{displaystyle s_{p}={sqrt {frac {(m-1)s_{x}^{2}+(n-1)s_{y}^{2}}{m+n-2}}}}
且sx,sy{displaystyle s_{x},s_{y}}
分别表示x{displaystyle x}
构造法
一般来说，置信区间的构造需要先找到一个枢轴变量（Pivotal quantity，或称Pivot），其表达式依赖于样本以及带估计的未知参数(但不能依赖于总体的其它未知参数)，其分布不依赖于任何未知参数。
下面以上述例2为例，说明如何利用枢轴变量构造置信区间。对于一个正态分布的随机样本X1,…,Xn{displaystyle {X_{1},ldots ,X_{n}}}
X¯=1n∑i=1nXi{displaystyle {bar {X}}={frac {1}{n}}sum _{i=1}^{n}X_{i}}和 S2=∑i=1n(Xi−X¯)2n−1{displaystyle S^{2}={frac {sum _{i=1}^{n}left(X_{i}-{bar {X}}right)^{2}}{n-1}}}
它们的分布是：
X¯−μσ∼N(0,1){displaystyle {frac {{bar {X}}-mu }{sigma }}sim N(0,1)}和 S2σ2∼χn−12{displaystyle {frac {S^{2}}{sigma ^{2}}}sim chi _{n-1}^{2}}
所以根据t分布的定义，有
- t=X¯−μS2∼tn−1{displaystyle t={frac {{bar {X}}-mu }{sqrt {S^{2}}}}sim t_{n-1}}
于是反解如下等式左边括号中的不等式
- P(−tn−1;α/2<t=X¯−μS2<tn−1;α/2)=1−α{displaystyle mathbb {P} left(-t_{n-1;alpha /2}<t={frac {{bar {X}}-mu }{sqrt {S^{2}}}}<t_{n-1;alpha /2}right)=1-alpha }
就得到了例2中双边置信区间的表达式。
与参数检验的联系
有时，置信区间可以用来进行参数检验。例如在上面的例1中构造的双边1−α{displaystyle 1-alpha }
正态分布总体，知道总体方差σ2{displaystyle sigma ^{2}}
H0:μ=μ0{displaystyle H_{0}:mu =mu _{0}}vs H1:μ≠μ0{displaystyle H_{1}:mu neq mu _{0}}
检验方法是：当且仅当相应的1−α{displaystyle 1-alpha }
例1中构造的双边1−α{displaystyle 1-alpha }
H0:μ≤μ0{displaystyle H_{0}:mu leq mu _{0}}vs H1:μ>μ0{displaystyle H_{1}:mu >mu _{0}}
和
H0:μ≥μ0{displaystyle H_{0}:mu geq mu _{0}}vs H1:μ<μ0{displaystyle H_{1}:mu <mu _{0}}
检验方法是完全类似的，比如对于上述第一个单边检验H1:μ>μ0{displaystyle H_{1}:mu >mu _{0}}
参考文献
^ Brittany Terese Fasy; Fabrizio Lecci; Alessandro Rinaldo; Larry Wasserman; Sivaraman Balakrishnan; Aarti Singh. Confidence sets for persistence diagrams. The Annals of Statistics. 2014, 42 (6): 2301–2339.
^ Box, George EP; Tiao, George C. Bayesian inference in statistical analysis. John Wiley & Sons. 2011.
^ Moore, D; McCabe, George P; Craig, B. Introduction to the Practice of Statistics. San Francisco, CA: Freeman. 2012.
参考书目
.mw-parser-output .refbegin{font-size:90%;margin-bottom:0.5em}.mw-parser-output .refbegin-hanging-indents>ul{list-style-type:none;margin-left:0}.mw-parser-output .refbegin-hanging-indents>ul>li,.mw-parser-output .refbegin-hanging-indents>dl>dd{margin-left:0;padding-left:3.2em;text-indent:-3.2em;list-style:none}.mw-parser-output .refbegin-100{font-size:100%}
羅納德·費雪 (1956) Statistical Methods and Scientific Inference. Oliver and Boyd, Edinburgh. (See p. 32.)- 弗罗因德 (1962) Mathematical Statistics Prentice Hall, Englewood Cliffs, NJ. (See pp. 227–228.)
伊安·海金 (1965) Logic of Statistical Inference. Cambridge University Press, Cambridge- 齐平 (1962) Introduction to Statistical Inference. D. Van Nostrand, Princeton, NJ.
杰克·基弗(1977) "Conditional Confidence Statements and Confidence Estimators (with discussion)" Journal of the American Statistical Association, 72, 789–827.
泽西·内曼 (1937) "Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability" Philosophical Transactions of the Royal Society of London A, 236, 333–380. (Seminal work.)- G.K.罗宾逊 (1975) "Some Counterexamples to the Theory of Confidence Intervals." Biometrika, 62, 155–161.
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
分类
主题
共享资源
专题
Comments
Post a Comment