확률과 통계

앞의 열 장은 전부 결정론이었다. 초기 조건과 방정식이 주어지면 답은 하나로 정해졌다. 이 장은 반대편에서 출발한다 — 같은 조건에서 같은 실험을 되풀이해도 결과가 매번 달라지는 상황이다. 그런 상황을 다루는 수학이 확률이고, 유한 번 관찰한 결과로부터 거꾸로 조건을 알아내는 기술이 통계다.

반도체에서 무작위성은 예외가 아니라 바탕이다. 도핑 원자가 격자의 어느 자리에 들어갈지는 정해져 있지 않고, 결함이 웨이퍼의 어느 다이에 생길지도, 전자 한 개가 장벽을 넘는 순간도 정해져 있지 않다. 소자가 컸을 때는 이 무작위성이 평균 밑에 묻혀 있었다. 채널에 도너가 백만 개 있으면 천 개쯤 흔들려도 0.1 %다. 채널이 줄어 도너가 백 개 남짓이 되면 열 개가 흔들리고, 그것이 곧 문턱전압의 산포다. 공정 쪽에서는 계측 데이터를 읽는 언어 자체가 통계다 — 이 로트가 저 로트와 다른가, 새 레시피가 정말 수율을 올렸는가, 측정값의 몇 자리까지 믿을 수 있는가.

장은 두 부분으로 나뉜다. 1~7절은 확률이다 — 모형이 주어졌을 때 어떤 데이터가 나올지를 말한다. 8~12절은 통계다 — 데이터가 주어졌을 때 모형이 무엇일지를 되짚는다. 방향이 정반대인 두 부분을 잇는 경첩이 가운데의 6절, 정규 분포와 중심극한정리다. 통계의 거의 모든 절차가 정규 분포를 전제로 하는데, 그 전제가 왜 그렇게 자주 성립하는지를 중심극한정리가 설명한다.

기호부터 다른 장과 어긋나는 것이 많다. 확률에서는 대문자와 소문자가 다른 물건이다 — $X$는 확률 변수이고 $x$는 그것이 취한 값, $P$는 확률이고 $p$는 성공 확률, $N$은 모집단 크기이고 $n$은 표본 크기다. 1절의 기호표에서 한 번에 정리한다.

이 장이 뒤에서 어디로 흘러가는지만 적어 둔다. 상태의 개수를 세는 2절의 조합론이 6부 통계역학의 출발점이고, 페르미–디랙 분포는 그 셈에서 나온다. 5절의 푸아송 분포는 산탄 잡음(13.9·22.6)과 수율 모형(19.10)의 밑바탕이며, 6절의 정규 분포는 소자 변동성(14.4)과 회로의 통계적 설계(21.11)가 서 있는 자리다. 8~12절의 추정·검정·회귀는 19.9 통계 기초와 19.11 통계적 공정 관리, 19.12 실험 계획에서 공정 데이터에 그대로 적용된다.

확률의 정의와 조건부 확률

실험·결과·사건

같은 조건에서 되풀이할 수 있고 결과를 미리 알 수 없는 절차를 확률 실험이라 한다. 다이 하나를 검사한다, 저항 하나를 측정한다, 동전을 던진다. 나올 수 있는 결과 전체의 집합이 표본공간 $S$이고, 그 부분집합이 사건이다.

• 다이 하나를 검사한다 → $S = \{\text{양품},\ \text{불량}\}$. 원소 둘.
• 다이 $n$개를 검사한다 → 원소 $2^n$개. “불량이 두 개 이하”는 그중 일부를 모은 부분집합, 즉 사건.
• 저항을 측정한다 → $S$는 실수 구간. “$4.9\,\Omega$와 $5.1\,\Omega$ 사이”가 사건.

표본공간의 원소(표본점)는 두 조건을 지켜야 한다 — 실험 한 번에 정확히 하나가 나와야 하고 (서로 배반), 나올 수 있는 것을 빠짐없이 담아야 한다. 동전 두 번에 대해 $\{\text{앞면 둘},\ \text{앞면 적어도 하나},\ \text{뒷면 정확히 하나}\}$는 표본공간이 아니다. “앞·뒤”가 나오면 둘째와 셋째가 동시에 해당하기 때문이다.

같은 실험에 표본공간이 여럿일 수 있다. 동전 두 번이면 $\{\text{앞앞},\ \text{앞뒤},\ \text{뒤앞},\ \text{뒤뒤}\}$도 되고, 앞면의 개수만 적은 $\{2,\ 1,\ 0\}$도 된다. 앞의 것은 네 점이 같은 확률(각 1/4)인 균일 표본공간이고, 뒤의 것은 점마다 확률이 다른(1/4, 1/2, 1/4) 비균일 표본공간이다. 어느 쪽이든 사건의 확률은 거기 속한 표본점의 확률을 더한 것이다.

$$P(A) = \sum_{\text{표본점 } i \,\in\, A} p_i$$

거친 표본공간으로는 답할 수 없는 질문도 있다. $\{\text{앞면 없음},\ \text{앞면 있음}\}$으로는 “앞면이 둘”의 확률을 구할 수 없다 — 그 사건이 표본점의 합으로 쓰이지 않기 때문이다. 그리고 어느 표본점들이 같은 확률인가는 수학이 정하지 않는다. 그것은 물리적 가정이고 실험으로만 판정된다. 2절 끝에서 입자를 상태에 나눠 담을 때 이 가정이 셋으로 갈리고, 그 셋이 맥스웰–볼츠만·페르미–디랙·보스–아인슈타인 통계다.

사건은 집합이므로 집합 연산이 그대로 사건 연산이다. $A \cup B$는 ”$A$ 또는 $B$”, $A \cap B$는 “$A$이고 $B$”, 여집합 $A^{\mathsf c}$는 “$A$가 아님”이다. $A \cap B = \varnothing$이면 두 사건이 배반이라 한다 — 동시에 일어날 수 없다.

확률의 세 얼굴

확률 $P(A)$를 정의하는 방식이 셋 있고, 셋이 같은 계산 규칙에 이른다.

① 대칭성. 표본공간이 균일하면 — 결과가 모두 같은 가능성이면 —

$$P(A) = \frac{A\text{에 속하는 결과의 수}}{S\text{의 결과의 수}}$$

주사위·카드·“무작위로 고른 다이”가 이 경우다. 2절의 셈이 이 정의를 위해 있다.

② 빈도. 실험을 $n$번 되풀이해 $A$가 $n_A$번 나왔으면, $n_A/n$이 $n \to \infty$에서 안정되는 값. 공정에서 “불량률 2 %“라고 말할 때의 확률이 이것이다 — 대칭성이 어디에도 없고, 그저 오래 세어 보니 그 비율로 나온다는 뜻이다. 물리에서 쓰는 확률도 대부분 이 뜻이다.

③ 공리. 정의를 포기하고 성질만 요구한다. $P$는 사건에 수를 배정하는 함수로서

$$P(A) \ge 0, \qquad P(S) = 1, \qquad A \cap B = \varnothing \;\Longrightarrow\; P(A \cup B) = P(A) + P(B)$$

를 만족하면 된다. 셋째 공리는 셀 수 있는 무한 개의 배반 사건에 대해서도 성립해야 한다.

세 공리는 아무 데서나 온 것이 아니다. ②의 상대빈도 $f_{\mathrm{rel}}(A) = n_A/n$은 몇 번을 되풀이하든 $0 \le f_{\mathrm{rel}}(A) \le 1$이고, $f_{\mathrm{rel}}(S) = 1$이며, 배반인 두 사건이면 $n_{A \cup B} = n_A + n_B$라 $f_{\mathrm{rel}}(A \cup B) = f_{\mathrm{rel}}(A) + f_{\mathrm{rel}}(B)$다. 공리는 상대빈도가 언제나 지키는 세 성질을 그대로 옮겨 적은 것이고, 그래서 공리로 정의한 확률이 빈도와 어긋나지 않는다.

직관

확률은 넓이다. 셋째 공리를 읽어 보라 — 겹치지 않는 두 조각의 넓이는 각각의 합. 첫째는 넓이가 음수가 아니라는 것, 둘째는 전체 넓이를 1로 잰다는 약속이다. 표본공간 위에 질량 1을 발라 놓았다고 생각하면 그 뒤로 나오는 정리는 전부 넓이 계산이다. 덧셈 법칙은 겹친 부분을 두 번 세지 않는 것이고, 조건부 확률은 일부만 남기고 전체를 다시 1로 재는 것이며, 3절의 밀도함수는 그 질량이 실수 축 위에 얼마나 두껍게 발려 있는가다.

이 그림이 세 정의를 하나로 묶는다. 대칭성 정의는 질량이 유한 개의 점에 똑같이 나뉜 경우이고, 비균일 표본공간은 점마다 질량이 다른 경우이며, 빈도 정의는 그 질량을 실험으로 재는 방법이다.

기호 — 이 장의 약속

확률·통계는 대소문자로만 다른 짝이 유난히 많고, 같은 글자가 다른 장에서 다른 뜻으로 쓰인 것도 많다. 시작하기 전에 한 번에 적어 둔다. 8절부터 나오는 표본 쪽 기호까지 함께 두었으니 필요할 때 돌아와 볼 것.

기호	읽는 법	무엇을 가리키는가
$S$	표본공간	나올 수 있는 결과 전체. 8절부터는 $S^2$가 표본분산이 된다 — 문맥으로 갈린다
$A,\ B$	사건	$S$의 부분집합. $A^{\mathsf c}$는 여사건
$P(A)$	$A$의 확률	대문자 $P$. 사건에 배정된 수
$P(A \mid B)$	$B$가 주어졌을 때 $A$의 조건부 확률	세로선 오른쪽이 조건
$X,\ Y$	확률 변수	대문자. 결과에 수를 배정하는 함수 (3절)
$x,\ y$	그 값	소문자. $X$가 실제로 취한 값, 또는 취할 수 있는 값
$f(x)$	확률함수 / 밀도함수	이산이면 $P(X = x)$, 연속이면 밀도 (3절)
$F(x)$	누적분포함수	$P(X \le x)$
$\mu,\ \sigma^2$	모평균 · 모분산	분포의 참값. 그리스 문자
$\sigma$	표준편차	$\sqrt{\sigma^2}$. 이 장에서 전도도가 아니다
$E(X)$	$X$의 기댓값	$= \mu$. 이 장에서 $E$는 에너지가 아니다
$\langle X \rangle$	$X$의 평균	$= E(X)$. 물리 쪽 표기(Arfken·Boas). 5·6절의 $\langle N \rangle$, $\langle x_n^2 \rangle$가 이것
$\operatorname{Var}(X)$	분산	$= \sigma^2$
$n$	시행 횟수 · 표본 크기	소문자
$N$	모집단 크기	대문자. 5절 초기하 분포와 8절에서
$p,\ q$	성공 확률 · 실패 확률	$q = 1 - p$. 소문자 $p$는 확률 $P$가 아니다
$\Phi(z),\ \varphi(z)$	표준정규 누적분포 · 밀도	6절
$\bar{x},\ s^2$	표본평균 · 표본분산	데이터에서 계산한 값. 로마자
$\bar{X},\ S^2$	같은 것을 확률 변수로 본 것	표본을 뽑기 전, 값이 아직 정해지지 않은 상태
$\theta,\ \hat{\theta}$	파라미터 · 그 추정량	모자가 붙으면 데이터에서 계산한 것
$\tilde{\sigma}^2$	분산의 최대가능도 추정	물결은 최대가능도(8절). 분모가 $n$이라 $s^2$과 다르다
$\alpha$	유의수준	신뢰수준은 $1 - \alpha$ (9·10절). Kreyszig는 신뢰수준을 $\gamma$로 쓴다
$\beta$	제2종 오류 확률	검정력은 $1 - \beta$ (10절). Kreyszig는 검정력을 $\eta$로 쓴다
$H_0,\ H_1$	귀무가설 · 대립가설	10절
$\nu$	자유도	$t$·$\chi^2$·$F$ 분포의 파라미터 (9~11절). Kreyszig는 $m$
$\kappa_0,\ \kappa_1$	회귀 계수	12절. $\beta$와 겹치지 않게 Kreyszig의 글자를 따른다
$\rho,\ r$	상관계수 · 표본상관계수	12절

주의

짚고 갈 함정이 일곱이다.

① $X$와 $x$. 확률 변수는 함수이고 그 값은 수다. $P(X = x)$는 “함수 $X$가 값 $x$를 취할 확률”이다. $P(X \le x)$처럼 두 글자가 한 식에 같이 나오는 것이 정상이고, 그때 대문자만이 무작위성을 지닌다. 통계 쪽에서 $\bar{X}$와 $\bar{x}$의 구분도 같은 규칙이다 — $\bar{X}$는 아직 뽑지 않은 표본의 평균(확률 변수), $\bar{x}$는 뽑아서 계산한 수.

② $P$와 $p$. $P(\cdot)$는 사건을 받아 확률을 내는 함수이고, $p$는 이항 분포의 파라미터 (“한 번 성공할 확률”)인 수다. $P(X = x)$ 안에 $p^x$가 나오는 식이 흔하다.

③ $N$과 $n$. 모집단(웨이퍼 한 장의 다이 전체, 로트 전체)이 $N$, 거기서 뽑은 표본이 $n$. 5절의 초기하 분포에서 둘이 한 식에 나온다.

④ 그리스 문자와 로마자. $\mu, \sigma, \theta, \rho$는 모집단의 참값이고 $\bar{x}, s, \hat{\theta}, r$은 데이터에서 계산한 값이다. 통계의 모든 질문이 “로마자로 그리스 문자를 얼마나 알 수 있는가”이므로 이 구분이 무너지면 장 후반이 통째로 읽히지 않는다.

⑤ $f$와 $F$. 소문자 $f$는 확률(이산) 또는 밀도(연속), 대문자 $F$는 누적확률이다. $F$는 $f$를 더하거나 적분한 것이고, $f$는 $F$의 계단 높이 또는 도함수다. 연속에서 $f(x)$ 자체는 확률이 아니다 — 3절에서 다시 짚는다.

⑥ 다른 장과 겹치는 글자. 이 장의 $E$는 기댓값, $\sigma$는 표준편차, $\mu$는 평균이다. 에너지·전도도·이동도가 아니다. 반대로 3부 이후에서 $\sigma_{V_T}$ 같은 표기를 보면 그것은 이 장의 표준편차다. $\alpha$는 9절에서 신뢰구간의 여백, 10절에서 유의수준으로 쓰이는데 같은 수다 — 신뢰수준 95 %와 유의수준 5 %는 한 동전의 양면이다.

이 장 안에서도 반도체 예를 들 때는 물리의 관용 기호가 잠깐 들어온다. 그 자리에서 다시 밝히지만 미리 모아 두면 이렇다.

글자	확률·통계에서	물리 예에서 잠깐
$q$	실패 확률 $1 - p$ (5절), 잔차 제곱합 $q_0$ (12절)	기본 전하 (5절 산탄 잡음)
$N$	모집단 크기	입자·전자·광자의 개수 (2·5절)
$T$	검정통계량 (9·10절), 수명 (3절)	관측 시간 (5절 산탄 잡음)
$Y$	둘째 확률 변수	수율 (5절)
$E$	기댓값	에너지 $E_i$, 페르미 준위 $E_F$, 활성화 에너지 $E_a$
$k$	체비셰프의 배수, 회귀 추정값 $k_0, k_1$	볼츠만 상수는 **$k_B$**로 첨자를 붙여 구분한다

⑦ 책마다 다른 표기. 기준 교재 셋이 서로 다르게 쓰는 것이 있다. Boas는 $A \cap B$를 $AB$, $A \cup B$를 $A + B$로 쓰고, 조건부 확률을 $P_A(B)$ — “$A$가 주어졌을 때 $B$” — 로 쓴다. 조건이 아래첨자로 앞에 붙어서 이 장의 $P(B \mid A)$와 읽는 순서가 반대다. Boas와 Arfken은 확률 변수와 그 값을 구분하지 않고 둘 다 소문자로 쓰며, 평균을 $\langle x \rangle$ 또는 $\bar x$로 쓴다. 이 장은 Kreyszig의 구분(대문자 확률 변수, $E(X)$)을 따른다.

공리에서 따라오는 것

세 공리만으로 나머지 계산 규칙이 전부 나온다. 넓이 그림으로 읽으면 하나하나가 자명하다.

$$P(\varnothing) = 0, \qquad P(A^{\mathsf c}) = 1 - P(A), \qquad A \subseteq B \;\Longrightarrow\; P(A) \le P(B)$$

증명은 전부 “배반인 조각으로 쪼개고 셋째 공리를 쓴다”이다. $S = A \cup A^{\mathsf c}$이고 둘이 배반이므로 $1 = P(S) = P(A) + P(A^{\mathsf c})$ — 여사건 규칙이다. $A = S$로 두면 $P(\varnothing) = 0$. $A \subseteq B$이면 $B = A \cup (B \cap A^{\mathsf c})$로 배반하게 쪼개지고 둘째 조각의 확률이 음이 아니므로 $P(A) \le P(B)$.

여사건 규칙은 계산 요령으로도 쓸모가 크다. “적어도 하나”는 경우가 많아 직접 세기 어렵지만 그 여사건 “하나도 없음”은 경우가 하나다. 다이 20개 중 적어도 하나가 불량일 확률은 $1 - P(\text{전부 양품})$으로 구한다.

겹치는 두 사건에는 덧셈 법칙이 있다.

$$P(A \cup B) = P(A) + P(B) - P(A \cap B)$$

$A \cup B$를 배반인 세 조각 — $A$에만 든 것, 둘 다에 든 것 $A \cap B$, $B$에만 든 것 — 으로 쪼개면 $P(A)$는 앞의 두 조각, $P(B)$는 뒤의 두 조각이라 가운데 조각이 두 번 더해진다. 그래서 한 번 빼 준다. 사건이 셋이면 둘씩 겹친 것을 빼고 셋이 겹친 것을 다시 더한다(포함–배제). 겹침을 모를 때도 쓸 수 있는 것이 부등식 쪽이다.

$$P(A_1 \cup A_2 \cup \cdots \cup A_m) \le P(A_1) + P(A_2) + \cdots + P(A_m)$$

직관

이 부등식이 신뢰성 계산의 첫 도구다. 부품 $m$개 중 하나라도 고장 나면 시스템이 죽는다고 하자. 각 부품의 고장 확률이 $P(A_i)$이면 시스템 고장 확률은 그 합을 넘지 않는다. 겹침을 알 필요가 없고, 고장 확률이 작을수록 합에 가까워진다 — 작은 넓이들은 거의 겹치지 않기 때문이다. 회로에 트랜지스터가 $10^9$개이고 하나의 고장 확률이 $10^{-12}$이면 회로의 고장 확률은 $10^{-3}$ 이하. “부품 하나의 확률에 개수를 곱한다”는 어림이 정확히 이 부등식이다.

조건부 확률

$B$가 일어났다는 것을 알게 되면 $A$의 확률이 달라진다. 새로운 확률을 $P(A \mid B)$로 쓰고 다음으로 정의한다.

$$P(A \mid B) = \frac{P(A \cap B)}{P(B)}, \qquad P(B) > 0$$

그림 1.11-1. 조건부 확률의 넓이 그림. B가 일어났음을 알면 표본공간이 S에서 B로 줄어들고, 그 안에서 A가 차지하는 넓이가 A∩B다. P(B)로 나누는 것은 줄어든 새 전체의 넓이를 다시 1로 맞추는 정규화다.직접 작도

직관

분자는 자연스럽다 — $B$ 안에서 $A$가 차지하는 부분은 $A \cap B$뿐이다. 분모가 요점이다. $B$가 일어났음을 알았으니 이제 $B$가 새 표본공간이고, 새 표본공간의 확률은 1이어야 한다. 그래서 $P(B)$로 나눈다. 조건부 확률은 확률을 새로 만드는 것이 아니라 범위를 좁히고 눈금을 다시 맞추는 것이다. 그 결과 $P(\cdot \mid B)$는 그 자체로 세 공리를 만족하는 확률이다.

정의를 곱셈 꼴로 쓴 것이 곱셈 법칙이다.

$$P(A \cap B) = P(B)\,P(A \mid B) = P(A)\,P(B \mid A)$$

“$A$이고 $B$“의 확률은 “$B$가 일어나고, 그다음 $B$ 아래서 $A$가 일어나는” 두 단계의 곱이다. 단계가 여럿이면 사슬로 이어진다 — $P(A \cap B \cap C) = P(A)\,P(B \mid A)\,P(C \mid A \cap B)$.

독립

$B$를 알아도 $A$의 확률이 달라지지 않으면, 즉 $P(A \mid B) = P(A)$이면 두 사건이 독립이다. 곱셈 법칙에 넣으면 대칭적인 정의가 된다.

$$A,\ B \text{ 독립} \;\Longleftrightarrow\; P(A \cap B) = P(A)\,P(B)$$

사건이 여럿이면 어느 부분집합을 골라도 곱이 성립해야 상호 독립이다. 셋이면 둘씩의 곱 셋에 셋 모두의 곱까지, 네 식이 모두 필요하다.

$$\begin{gathered} P(A \cap B) = P(A)P(B), \qquad P(B \cap C) = P(B)P(C), \\ P(C \cap A) = P(C)P(A), \qquad P(A \cap B \cap C) = P(A)P(B)P(C) \end{gathered}$$

둘씩만 독립인 것과는 다르다. 칩 네 개에 000, 011, 101, 110이 적혀 있고 하나를 무작위로 뽑는다. $A$ = 첫 자리가 1, $B$ = 둘째 자리가 1, $C$ = 셋째 자리가 1이라 하면 각각 확률 1/2이고 둘씩 겹치는 칩은 하나라 $P(A \cap B) = 1/4 = P(A)P(B)$ — 세 쌍 모두 독립이다. 그런데 세 자리가 모두 1인 칩은 없으므로 $P(A \cap B \cap C) = 0 \ne 1/8$. 둘을 알면 셋째가 정해져 버린다(자릿수 합이 늘 짝수다).

주의

독립과 배반은 반대말에 가깝다. 배반은 $A \cap B = \varnothing$, 즉 $P(A \cap B) = 0$이다. 그런데 $P(A) > 0$, $P(B) > 0$이면 독립일 때 $P(A \cap B) = P(A)P(B) > 0$이어야 하므로, 배반인 두 사건은 독립일 수 없다. 배반이란 “$B$가 일어났음을 알면 $A$는 절대 일어나지 않는다”는 뜻이니 극단적으로 종속적인 관계다. 넓이 그림에서 배반은 두 조각이 떨어져 있는 것이고, 독립은 한 조각이 다른 조각 안에서 차지하는 비율이 전체에서 차지하는 비율과 같은 것이다 — 그림이 전혀 다르다.

독립의 실용적 값어치는 곱한다는 데 있다. 공정 단계 여덟 개가 있고 각 단계에서 다이가 결함 없이 통과할 확률이 0.99이며 단계들이 독립이라면, 최종 양품 확률은 $0.99^8 = 0.923$이다. 단계가 서른이면 $0.99^{30} = 0.740$. 단계별 수율이 아무리 높아도 단계 수가 지수에 올라앉기 때문에 전체 수율은 빠르게 떨어진다. 19.10의 수율 모형은 이 곱셈에서 출발해 단계들이 독립이 아닐 때(결함이 뭉쳐 다닐 때) 곱이 어떻게 달라지는가를 다룬다.

독립이 성립하는지 아닌지가 뽑는 방법 하나로 갈리기도 한다. 나사 10개 중 3개가 불량인 상자에서 두 개를 뽑아 둘 다 양품일 확률을 보자.

• 복원 추출 — 하나를 보고 되돌려 놓은 뒤 다시 뽑는다. 두 번의 뽑기가 독립이라 $0.7 \times 0.7 = 0.49$.
• 비복원 추출 — 되돌려 놓지 않는다. 첫째가 양품이면 남은 9개 중 양품이 6개이므로 곱셈 법칙으로 $\tfrac{7}{10} \times \tfrac{6}{9} = \tfrac{7}{15} = 0.467$. 첫 뽑기가 둘째의 확률을 바꾸었으니 독립이 아니다.

모집단이 표본보다 훨씬 크면 한두 개를 빼도 비율이 거의 변하지 않아 둘의 차이가 사라진다. 이 구분이 5절의 이항 분포(복원)와 초기하 분포(비복원)로, 8절의 “무작위 표본은 독립”이라는 가정으로 이어진다.

전확률 공식과 베이즈 정리

표본공간을 배반인 사건 $B_1, \dots, B_m$으로 빈틈없이 쪼개 놓았다고 하자($B_i$들의 합집합이 $S$). 어떤 사건 $A$든 각 조각과 겹친 부분의 합이므로

$$P(A) = \sum_{i=1}^{m} P(B_i)\,P(A \mid B_i)$$

이것이 전확률 공식이다. 조각마다 조건부 확률을 알 때 전체 확률을 짜 맞춘다. 반대 방향 — $A$가 일어났음을 보고 어느 조각에서 왔는지를 되묻는 것 — 이 베이즈 정리다.

$$P(B_k \mid A) = \frac{P(B_k)\,P(A \mid B_k)}{\sum_i P(B_i)\,P(A \mid B_i)}$$

분자는 곱셈 법칙, 분모는 전확률 공식이다. 새로울 것이 없는 식인데, 조건의 방향을 뒤집는다는 점이 모든 것을 바꾼다. 원인에서 결과로 가는 확률 $P(A \mid B_k)$는 대개 물리나 사양에서 알고 있고, 정작 묻고 싶은 것은 결과를 보고 원인을 짚는 $P(B_k \mid A)$다. (이름에 주의 — Boas는 조건부 확률의 정의식 $P_A(B) = P(A \cap B)/P(A)$ 자체를 “베이즈 공식”이라 부른다. 이 장의 베이즈 정리는 그것을 뒤집어 전확률 공식으로 분모를 채운 위 식이다.)

검사 문제로 확인하자. 어떤 공정의 불량률이 1 %다. 검사기는 불량품을 98 % 확률로 불량이라 판정하고, 양품을 3 % 확률로 불량이라 잘못 판정한다. 검사기가 불량이라 했을 때 실제로 불량일 확률은?

$B_1$ = 불량, $B_2$ = 양품, $A$ = “불량 판정”으로 두면

$$P(B_1 \mid A) = \frac{0.01 \times 0.98}{0.01 \times 0.98 + 0.99 \times 0.03} = \frac{0.0098}{0.0098 + 0.0297} = 0.248$$

4분의 1이다. 검사기가 98 %를 잡아내고 3 %만 헛짚는데도, 불량 판정을 받은 다이 넷 중 셋은 양품이다.

직관

분모의 두 항을 보면 이유가 보인다. 진짜 불량이 잡힌 몫(0.0098)보다 양품이 잘못 잡힌 몫(0.0297)이 세 배 크다. 양품이 워낙 많아서(99 %) 3 %라는 작은 오판율이 큰 개수를 만든다. 이것이 기저율 효과이고, 베이즈 정리가 가르치는 단 하나의 교훈이라 해도 좋다 — 검사의 정확도만 보지 말고 검사받는 집단의 구성을 보라.

파라미터로 읽으면 더 뚜렷하다. 불량률 $p$를 낮출수록 분자는 $p$에 비례해 줄고 분모의 둘째 항은 거의 그대로다. 그래서 공정이 성숙해 수율이 오를수록 불량 판정 가운데 오판의 비율이 늘어난다. 불량률 0.1 %면 위 값은 3 %로 떨어진다. 검사기를 개선하지 않았는데 검사기가 나빠진 것처럼 보이는 이유가 이것이고, 양품을 불량으로 버리는 손실(overkill)을 관리해야 하는 이유이기도 하다.

베이즈 정리는 갱신 규칙으로도 읽힌다. $P(B_k)$는 관찰 전의 믿음(사전 확률), $P(B_k \mid A)$는 관찰 후의 믿음(사후 확률)이고, 둘의 비는 $P(A \mid B_k)/P(A)$ — “이 원인 아래서 그 관찰이 얼마나 더 그럴듯한가”다. 관찰이 쌓이면 사후가 다음 단계의 사전이 되어 믿음이 계속 갱신된다. 이 장의 통계는 8절 이후 빈도주의 쪽으로 가지만, 소자 파라미터 추출과 공정 진단에서 사전 지식을 쓰는 베이즈 방법이 같은 뿌리다.

순열·조합과 셈

1절의 대칭성 정의는 “같은 가능성의 결과 몇 개 중 몇 개”를 세는 일로 확률을 환원한다. 그러니 세는 기술이 곧 확률 계산이다. 규칙은 결국 하나 — 곱의 법칙 — 이고 나머지는 그것을 상황에 맞게 접은 것이다.

곱의 법칙과 순열

첫 단계에 $n_1$가지, 둘째 단계에 $n_2$가지 선택이 있으면 두 단계를 거치는 방법은 $n_1 n_2$가지다. 서로 다른 물건 $n$개를 한 줄로 세우는 방법은 첫 자리에 $n$가지, 둘째 자리에 $n - 1$가지, …, 이므로

$$n! = n(n-1)(n-2)\cdots 2 \cdot 1$$

$n$개 중 $k$개만 골라 순서 있게 세우면 곱을 $k$항에서 끊는다.

$${}_n P_k = n(n-1)\cdots(n-k+1) = \frac{n!}{(n-k)!}$$

$k = n$이면 분모가 $0!$이 되는데, 식이 $n!$과 맞으려면 $0! = 1$이어야 한다 — 그렇게 약속한다. 같은 물건을 여러 번 써도 되면(중복 허용) 자리마다 언제나 $n$가지라 $n^k$가지다. 네 자리 숫자 비밀번호가 $10^4$가지인 것, 결함 $k$개가 다이 $n$개 중 어디에든 떨어지는 방법이 $n^k$가지인 것이 이 경우다.

조합

순서를 무시하면 같은 $k$개가 $k!$가지 순서로 중복해서 세어졌으므로 그만큼 나눈다.

$$\binom{n}{k} = \frac{{}_n P_k}{k!} = \frac{n!}{k!\,(n-k)!}$$

이것이 이항 계수다. 자주 쓰는 성질 넷.

$$\begin{aligned} \binom{n}{k} &= \binom{n}{n-k}, & \binom{n}{k} &= \binom{n-1}{k-1} + \binom{n-1}{k}, \\[4pt] \sum_{k=0}^{n} \binom{n}{k} &= 2^n, & (a+b)^n &= \sum_{k=0}^{n} \binom{n}{k} a^k b^{n-k} \end{aligned}$$

첫째는 $k$개를 고르는 것과 $n - k$개를 남기는 것이 같은 일이라는 말이다. 둘째는 특정한 물건 하나를 넣느냐 빼느냐로 경우를 나눈 것이고(파스칼 삼각형), 셋째는 $n$개 각각을 넣거나 빼는 $2^n$가지가 $k$별로 나뉜 것이다. 넷째 이항정리는 5절에서 이항 분포의 확률이 합해서 1이 되는 이유가 된다.

둘을 더 적어 둔다. 하나는 방데르몽드 항등식이다.

$$\sum_{k} \binom{a}{k}\binom{b}{r - k} = \binom{a + b}{r}$$

$a + b$개에서 $r$개를 고르되 앞쪽 $a$개에서 몇 개를 골랐는지로 경우를 나눈 것이다. 5절의 초기하 분포 확률이 합해서 1이 되는 이유가 이 식이다. 다른 하나는 이항 계수를 음의 위쪽 수로 넓힌 것이다.

$$\binom{-m}{k} = \frac{(-m)(-m-1)\cdots(-m-k+1)}{k!} = (-1)^k\binom{m + k - 1}{k}$$

정의 ${}_nP_k/k!$은 $n$이 음수여도 그대로 계산되므로 이렇게 넓힐 수 있다. 이것으로 $(1 - x)^{-m} = \sum_k \binom{m+k-1}{k} x^k$이 이항정리의 연장이 되고, 19.10의 음이항 수율 모형이 이름을 여기서 얻는다.

같은 것이 섞여 있으면 구분되지 않는 순서만큼 나눈다. $n$개가 $n_1$개, $n_2$개, …, $n_m$개의 그룹으로 나뉘고 그룹 안에서는 구별이 없으면

$$\frac{n!}{n_1!\,n_2!\cdots n_m!}, \qquad n_1 + n_2 + \cdots + n_m = n$$

이것이 다항 계수이고, $m = 2$이면 이항 계수로 돌아간다.

마지막 남은 경우가 순서 없이 중복을 허용해 $n$종류에서 $k$개를 고르는 것이다. 종류마다 몇 개씩 고르는지만 정하면 되므로, $k$개의 공을 $n - 1$개의 칸막이로 $n$칸에 나누는 배치와 일대일로 대응한다. 공과 칸막이를 합친 $n + k - 1$자리 중 공이 놓일 $k$자리를 고르는 셈이다.

$$\binom{n + k - 1}{k}$$

네 경우를 한 표로 모으면 이렇다. $n$가지에서 $k$개를 뽑는다.

	중복 없음	중복 허용
순서 있음 (순열)	$\dfrac{n!}{(n-k)!}$	$n^k$
순서 없음 (조합)	$\dbinom{n}{k}$	$\dbinom{n+k-1}{k}$

직관

셈의 규칙을 하나로 요약하면 순서가 있으면 곱하고, 구별이 없으면 나눈다이다. 문제를 받으면 두 가지만 물으면 된다 — 순서가 의미 있는가, 같은 것을 여러 번 쓸 수 있는가. 위 표의 네 칸이 그 두 물음의 네 가지 답이다. 이 장 끝의 물리에서 표의 칸이 그대로 입자의 종류가 된다 — 구별되는 입자는 오른쪽 위, 페르미온은 왼쪽 아래, 보손은 오른쪽 아래 칸이다.

이항 계수의 크기 감각도 필요하다. $\binom{n}{k}$는 $k = n/2$ 근처에서 가장 크고, 양끝으로 갈수록 급격히 작아진다. 그 봉우리 모양이 5절에서 이항 분포의 종 모양이 되고, 6절에서 정규 분포가 된다 — 정규 분포의 종 모양은 결국 이항 계수의 모양이다.

큰 수의 계승 — 스털링 근사

물리에서 세는 대상은 $10^{20}$개 단위라 $n!$을 그대로 다룰 수 없다. 로그를 취해 근사한다.

$$\ln n! \approx n \ln n - n \qquad (n \gg 1)$$

더 정확한 꼴 $\ln n! \approx n\ln n - n + \tfrac12 \ln(2\pi n)$과 그 유도는 1.5.9감마·베타 함수와 스털링 근사에 있다. 지수를 취해 곱의 꼴로 쓰면

$$n! \sim \sqrt{2\pi n}\left(\frac{n}{e}\right)^{n}$$

여기서 $\sim$는 양변의 비가 1로 간다는 뜻이다. 차는 오히려 커진다 — 상대 오차가 약 $1/(12n)$으로 줄어들 뿐이다. $4! = 24$를 23.5로(2.1 %), $10!$을 0.8 %, $20!$을 0.4 % 오차로 준다. 통계역학에서 셋째 항은 앞의 두 항에 비해 무시된다 — $n = 10^{20}$이면 $n \ln n$은 $10^{21}$ 자릿수인데 $\tfrac12\ln(2\pi n)$은 24 남짓이다. 다만 확률을 계산할 때는 이 항이 살아 있어야 한다. 6절에서 이항 분포를 정규 분포로 넘길 때 정규화 상수 $1/\sqrt{2\pi npq}$가 바로 이 $\sqrt{2\pi n}$에서 나온다.

직관

스털링 근사의 진짜 값어치는 숫자를 줄이는 데 있지 않다. $n!$은 정수에서만 정의된 계단인데, $n \ln n - n$은 미분할 수 있는 매끈한 함수다. 그래서 “경우의 수가 가장 많은 배치”를 찾을 때 $\partial/\partial n_i$로 미분해서 0을 놓을 수 있다. 6부에서 페르미–디랙 분포를 유도하는 계산이 정확히 이것이다 — 아래의 $W$에 로그를 취하고, 스털링으로 매끈하게 만들고, 입자 수와 에너지가 고정된 조건에서 최대로 만든다.

물리로 — 미시상태 세기

에너지가 같은 상태 $G$개에 입자 $N$개를 나눠 담는 방법의 수 $W$를 세어 보자(여기서 $N$은 입자 수다). 입자의 종류에 따라 답이 셋으로 갈린다.

통계	입자	규칙	$W$
맥스웰–볼츠만	구별되는 입자	한 상태에 몇 개든	$G^N$
페르미–디랙	페르미온 (전자)	구별 안 됨 · 한 상태에 하나만	$\dbinom{G}{N}$
보스–아인슈타인	보손 (포논·광자)	구별 안 됨 · 한 상태에 몇 개든	$\dbinom{G + N - 1}{N}$

첫 줄은 중복순열이다 — 입자마다 $G$가지 자리. 둘째 줄은 $G$개 자리 중 채울 $N$개를 고르는 조합이다. 파울리 배타 원리가 “한 상태에 하나”를 강제하고, 구별이 없으니 순서를 세지 않는다. 셋째 줄은 중복조합이다 — $N$개의 공과 $G - 1$개의 칸막이를 한 줄로 늘어놓는 문제.

세 줄의 차이는 셈법이 아니라 무엇을 같은 확률로 보느냐에 있다. 1절 끝에서 말한 그 물리적 가정이다. 입자 4개를 상태 6개에 담는 경우로 비교해 보자.

배치	맥스웰–볼츠만	보스–아인슈타인	페르미–디랙
넷 모두 상태 1에	$1/6^4 = 1/1296$	$1/126$	불가능 (0)
상태 1~4에 하나씩	$4!/6^4 = 1/54$	$1/126$	$1/15$

맥스웰–볼츠만은 번호 붙은 $6^4 = 1296$가지 배치를 같은 확률로 본다. “하나씩” 배치는 어느 입자가 어디 가는지 $4!$가지로 실현되므로 “한곳에 몰림”보다 24배 흔하다. 보스–아인슈타인은 입자를 구별하지 않으므로 점유 상태 $\binom{9}{4} = 126$가지 하나하나가 같은 확률이다 — 몰린 배치가 상대적으로 흔해지고, 이것이 레이저와 보스 응축의 뿌리다. 페르미–디랙은 몰린 배치를 아예 금지한다.

준위가 여럿이면 준위 $i$(상태 $G_i$개, 입자 $N_i$개)마다 센 것을 곱한다.

$$W_{\mathrm{MB}} = N!\prod_i \frac{G_i^{N_i}}{N_i!}, \qquad W_{\mathrm{FD}} = \prod_i \binom{G_i}{N_i}, \qquad W_{\mathrm{BE}} = \prod_i \binom{G_i + N_i - 1}{N_i}$$

$W_{\mathrm{MB}}$의 $N!/\prod N_i!$은 구별되는 입자 $N$개를 준위별로 나누는 다항 계수이고, $G_i^{N_i}$는 준위 안에서 자리를 고르는 중복순열이다. 전자의 $W_{\mathrm{FD}}$에 로그를 취하고 스털링을 쓰면

$$\ln W_{\mathrm{FD}} \approx \sum_i \bigl[\,G_i \ln G_i - N_i \ln N_i - (G_i - N_i)\ln(G_i - N_i)\,\bigr]$$

이것을 입자 수 $\sum N_i$와 총에너지 $\sum N_i E_i$를 고정한 채 최대로 만들면 $N_i / G_i = 1/\bigl(e^{(E_i - E_F)/k_B T} + 1\bigr)$, 즉 페르미 함수가 나온다(여기서 $E_i$는 준위의 에너지, $E_F$는 페르미 준위, $k_B$는 볼츠만 상수다 — 이 장의 기댓값 $E$와 다른 글자다). 반도체 통계 전체가 이 한 줄의 조합에서 시작한다는 것만 여기서 적어 두고, 계산은 6부로 넘긴다.

파라미터 연계

묽은 극한 — 세 통계가 하나가 되는 곳. 상태가 입자보다 훨씬 많으면($G \gg N$) 한 상태에 입자가 둘 들어갈 일이 거의 없어 “하나만”이라는 제약이 무의미해지고, 세 셈이 모두 같은 값으로 모인다.

$$\binom{G}{N} \approx \binom{G + N - 1}{N} \approx \frac{G^N}{N!} \qquad (G \gg N)$$

마지막 꼴은 맥스웰–볼츠만의 $G^N$을 입자의 구별을 지운 $N!$로 나눈 것이다. 이 셈으로 최대화하면 $\ln W \approx \sum_i N_i\bigl[\ln(G_i/N_i) + 1\bigr]$에서 $N_i/G_i = e^{-(E_i - E_F)/k_B T}$ — 볼츠만 인자가 나온다. 점유율 $N_i/G_i$가 작다는 것이 조건이고, 페르미 함수로 말하면 $E_i - E_F \gg k_B T$다. 비축퇴 반도체에서 전자 농도를 볼츠만 근사로 계산해도 되는 이유가 이 셈이고, 도핑이 올라 점유율이 커지면(축퇴) 근사가 깨지는 이유도 같은 셈이다.

예 — 결함이 서로 다른 다이에 떨어질 확률

웨이퍼에 다이 100개가 있고 결함 5개가 각각 독립적으로 무작위 다이에 떨어진다. 다섯 개가 모두 다른 다이에 떨어질 확률은? 결함마다 자리가 100가지이므로 전체 $100^5$, 서로 다르게 떨어지는 경우는 $100 \times 99 \times 98 \times 97 \times 96 = {}_{100}P_5$.

$$P = \frac{{}_{100}P_5}{100^5} = 0.903$$

결함 5개면 열에 하나꼴로 어느 다이가 결함을 두 개 받는다. 결함이 20개면 같은 계산이 0.13으로 떨어진다 — 결함 수가 다이 수의 제곱근 근처($\sqrt{100} = 10$)를 넘어서면 겹침이 흔해진다. 생일 문제와 같은 구조다. 이 계산은 결함이 독립적으로 떨어진다는 가정 위에 있고, 실제 결함은 뭉쳐 다니는 경향이 있어 같은 다이에 몰리는 확률이 이보다 높다. 그 차이가 수율에 어떻게 나타나는지는 5절의 푸아송 분포를 거쳐 19.10에서 다룬다.

확률 변수와 확률 분포

1절의 사건은 집합이었다. 집합으로는 “불량이 두 개 이하”는 말할 수 있어도 “불량 개수의 평균”은 말할 수 없다 — 더하고 곱하려면 수가 필요하다. 그래서 결과마다 수를 하나씩 붙인다.

확률 변수 — 결과에 수를 붙인다

확률 변수 $X$는 표본공간의 각 결과에 실수를 대응시키는 함수다. 다이 열 개를 검사한 결과(길이 10의 양품·불량 열)에 “불량의 개수”를 대응시키면 $X$는 0에서 10까지의 정수를 값으로 갖는다. 저항을 잰 결과에 “측정값”을 대응시키면 $X$는 실수 구간을 값으로 갖는다.

$X$가 가질 수 있는 값이 많아야 셀 수 있을 만큼(유한 개이거나 $0, 1, 2, \dots$처럼 번호를 붙일 수 있을 만큼)이면 이산, 누적분포가 밀도의 적분으로 쓰이면(아래) 연속이다. 불량 개수·결함 개수·장벽을 넘은 전자 수는 이산이고, 두께·문턱전압·고장 시간은 연속이다. 둘은 합과 적분의 차이일 뿐 같은 규칙을 따른다. “띄엄띄엄이냐 구간을 채우느냐”는 어림이다 — 유리수 전체처럼 촘촘하지만 셀 수 있는 값을 갖는 변수도 정의상 이산이다.

$X$의 값이 $x$일 사건 $\{X = x\}$, 어느 값 이하일 사건 $\{X \le x\}$에 1절의 확률이 배정되고, 그 배정 전체를 $X$의 확률 분포라 한다.

이산 — 확률함수와 누적분포함수

이산 확률 변수의 분포는 값마다의 확률로 완전히 주어진다.

$$f(x) = P(X = x), \qquad f(x) \ge 0, \qquad \sum_x f(x) = 1$$

이것이 확률함수다(확률질량함수라고도 한다). $X$가 취하지 않는 $x$에서는 $f(x) = 0$이다. 값이 어느 수 이하일 확률을 모아 둔 것이 누적분포함수다. $X$가 취하는 값을 $x_1, x_2, \dots$라 하면

$$F(x) = P(X \le x) = \sum_{x_j \le x} f(x_j)$$

Kreyszig는 $F$를 그냥 분포함수라 부르고 “누적”을 별칭으로 둔다. Boas는 이산의 $f$까지 “확률밀도함수”라 부르고 “분포함수”를 누적 쪽에 쓴다 — 책마다 이름이 흔들리므로 $f$와 $F$의 대소문자로 구분하는 편이 안전하다.

$F$는 계단 모양이다 — $X$가 취하는 값에서 $f$만큼 뛰어오르고 그 사이에서는 평평하다. 구간의 확률은 계단의 높이 차로 읽는다.

$$P(a < X \le b) = F(b) - F(a)$$

사건 $\{X \le b\}$가 배반인 두 조각 $\{X \le a\}$와 $\{a < X \le b\}$로 쪼개지므로 셋째 공리에서 $F(b) = F(a) + P(a < X \le b)$이고, 옮기면 위 식이다. 부등호의 방향에 주의한다. 왼쪽은 열려 있고 오른쪽은 닫혀 있다. $F(a)$가 $a$ 까지를 포함해서 누적하기 때문이다. 연속에서는 한 점의 확률이 0이라 이 구분이 사라진다.

연속 — 밀도함수

연속 확률 변수는 특정 값을 정확히 취할 확률이 0이다. 저항이 정확히 $5\,\Omega$일 확률은 0이고, $5\,\Omega$ 근처 어느 구간에 들 확률만 0이 아니다. 그래서 값마다의 확률 대신 구간마다의 확률로 분포를 정의하고, 그것을 적분으로 쓴다.

$$F(x) = P(X \le x) = \int_{-\infty}^{x} f(v)\,dv, \qquad f(x) = F'(x)$$

$f$를 확률밀도함수라 한다. 적분 변수 $v$는 이름만 빌린 더미 변수다(Kreyszig의 글자를 따랐다 — $t$는 이 장에서 시간과 $t$ 분포에 쓴다). $f = F'$은 $f$가 연속인 점에서 성립한다. 정의에서 곧바로

$$P(a < X \le b) = F(b) - F(a) = \int_a^b f(x)\,dx, \qquad \int_{-\infty}^{\infty} f(x)\,dx = 1$$

주의

밀도는 확률이 아니다. $f(x)\,dx$가 확률이고, $f(x)$는 ”$x$ 근처 단위 길이당 확률”이다. 그래서 $f$의 단위는 $x$의 단위의 역수다 — $X$가 두께(nm)면 $f$의 단위는 1/nm. 확률과 달리 $f(x)$는 1을 넘을 수 있다. 0에서 0.1 사이에 고르게 퍼진 분포의 밀도는 10이다.

이 ‘밀도’는 반도체 물리의 상태밀도 $g(E)$와 정확히 같은 뜻의 말이다. $g(E)$는 상태의 개수가 아니라 단위 에너지당 개수이고, 개수는 $g(E)\,dE$다. 밀도를 확률로 읽는 실수는 대개 $dx$를 잊는 데서 온다.

직관

모양으로 읽는 $f$와 $F$. $F$는 $-\infty$에서 0, $+\infty$에서 1로 가는 단조 증가 곡선이고 결코 내려가지 않는다. $f$는 그 기울기다. 그러니 $F$가 가파른 곳이 질량이 몰린 곳이고, $F$가 평평한 곳은 $X$가 거의 오지 않는 곳이다. 1절의 넓이 그림으로는 — $f$는 실수 축 위에 질량 1을 바른 두께이고, $F(x)$는 $x$ 왼쪽에 발린 질량의 총량이다.

이 그림은 9절·10절에서 계속 쓰인다. “꼬리의 넓이가 $\alpha$가 되는 자리”를 찾는 일이 임계값을 정하는 일이고, 그것은 $F(c) = 1 - \alpha$를 $c$에 대해 푸는 것이다.

자주 만나는 분포 다섯

5절과 6절에서 이항·푸아송·정규를 따로 다루므로, 여기서는 그 밖에 이 백과 전체에서 되풀이될 다섯만 적어 둔다. 평균과 분산은 4절에서 계산한다.

베르누이. 값이 0 또는 1이고 $P(X = 1) = p$, $P(X = 0) = q = 1 - p$. 가장 작은 확률 변수이고, 5절의 이항 분포는 이것을 $n$번 더한 것이다. 물리에서는 한 양자 상태가 전자로 채워졌는가가 베르누이 변수이고, 그 $p$가 페르미 함수 $f(E)$다. 페르미 함수를 “점유 확률”이라 부르는 것이 바로 이 뜻이다.

기하. 베르누이 시행을 되풀이해 처음 성공할 때까지 걸린 횟수 $X$. 처음 $x - 1$번 실패하고 $x$번째에 성공해야 하므로

$$f(x) = q^{x-1}p, \qquad x = 1, 2, 3, \dots$$

불량률 $p$인 라인에서 첫 불량 다이가 나올 때까지 검사한 개수가 이것이다. 값이 끝없이 이어지는 이산 분포의 첫 예이고, 전부 더하면 등비급수 $p\sum_{x \ge 1} q^{x-1} = p/(1 - q) = 1$로 확률이 맞는다. 아래 지수 분포의 이산판이라 같은 무기억성을 갖는다 — 백 번 연속 양품이 나왔다고 다음 다이가 불량일 확률이 높아지지 않는다.

균등. 구간 $[a, b]$에 고르게 퍼진 분포. $f(x) = 1/(b - a)$, $a \le x \le b$. 컴퓨터가 만드는 난수가 $[0, 1)$ 위의 균등 분포이고, 7절에서 이것을 어떤 분포로든 바꾸는 방법을 본다 — 몬테카를로 시뮬레이션의 출발점이다.

지수. $f(t) = \lambda e^{-\lambda t}$, $t \ge 0$. 누적분포는 $F(t) = 1 - e^{-\lambda t}$이고 평균은 $1/\lambda$다. 이 장에서 $\lambda$는 언제나 단위 시간(또는 단위 길이·면적)당 비율이다 — 파장이나 평균 자유 행로가 아니다. 5절의 푸아송 과정에서 사건 사이의 간격이 이 분포를 따른다. 전자가 산란 없이 날아가는 거리도 같은 꼴이다. 평균 자유 행로를 $\ell$이라 하면 $f(x) = e^{-x/\ell}/\ell$이고, $2\ell$ 넘게 날아갈 확률은 $e^{-2} = 0.135$다. 방사성 붕괴의 반감기는 이 분포의 중앙값 $F(t_{1/2}) = 1/2$, 즉 $t_{1/2} = \ln 2/\lambda \approx 0.693/\lambda$로 평균 수명 $1/\lambda$보다 짧다 — 오른쪽 꼬리가 평균을 끌어올리기 때문이다. 특징은 무기억성이다 — 지금까지 $s$만큼 살았다는 조건 아래 앞으로 $t$만큼 더 살 확률이 처음의 것과 같다.

$$P(T > s + t \mid T > s) = \frac{e^{-\lambda(s+t)}}{e^{-\lambda s}} = e^{-\lambda t} = P(T > t)$$

고장 시간과 위험률. 소자의 수명 $T$의 분포를 $f(t)$, $F(t)$로 두면, $t$까지 살아남은 것이 다음 순간 고장 날 조건부 비율이 위험률(고장률)이다.

$$h(t) = \frac{f(t)}{1 - F(t)}$$

분모가 “지금까지 살아 있을 확률”, 분자가 “지금 고장 날 밀도”이니 조건부 확률의 밀도판이다. 지수 분포는 $h(t) = \lambda$로 상수 — 낡지도 길들지도 않는다. 시간이 갈수록 $h$가 오르면 마모, 내리면 초기 불량이 걸러지는 것이다. 신뢰성 공학의 욕조 곡선은 $h(t)$의 그래프이고, 그 바닥 구간이 지수 분포다. 마모 구간을 기술하는 와이불 분포와 대수정규 분포는 14.7·19.14에서 다룬다.

파라미터가 하는 일 — 위치와 척도

분포는 대개 파라미터 한두 개로 정해지고, 그중 가장 흔한 둘이 위치와 척도다. $X$의 밀도가 $f(x)$일 때 $Y = aX + b$ ($a > 0$)의 밀도는

$$f_Y(y) = \frac{1}{a}\,f\!\left(\frac{y - b}{a}\right)$$

$b$는 그래프를 오른쪽으로 옮기고, $a$는 가로로 $a$배 늘이면서 높이를 $1/a$로 줄인다 — 넓이가 1로 유지돼야 하기 때문이다. 정규 분포의 $\mu$와 $\sigma$가 정확히 이 둘이다. 유도는 7절의 변수 변환에서 한다.

확률 변수의 독립 — 미리 적어 두는 정의

4~6절은 “독립인 확률 변수를 더한다”는 말을 여러 번 쓴다. 정식으로는 7절에서 다루지만 정의만 여기서 적어 둔다. 두 확률 변수 $X, Y$가 독립이라는 것은, 어떤 $x, y$를 골라도 두 사건 $\{X \le x\}$와 $\{Y \le y\}$가 1절의 뜻으로 독립이라는 것이다.

$$P(X \le x,\ Y \le y) = P(X \le x)\,P(Y \le y) \qquad \text{모든 } x,\ y$$

한 변수가 어떤 값을 가졌는지 알아도 다른 변수의 분포가 달라지지 않는다는 뜻이고, 변수가 여럿이면 누적확률이 모두의 곱으로 갈라져야 한다. 서로 다른 다이의 검사 결과, 서로 겹치지 않는 시간 구간에 장벽을 넘은 전자 수가 전형적인 예다.

평균·분산·모멘트

분포 전체를 다루기 무거울 때 숫자 두 개로 요약한다. 어디에 몰려 있는가($\mu$), 얼마나 퍼져 있는가($\sigma$). 이 둘이면 통계의 대부분이 굴러간다.

기댓값 — 무게중심

$$\mu = E(X) = \sum_x x\,f(x) \quad(\text{이산}), \qquad \mu = E(X) = \int_{-\infty}^{\infty} x\,f(x)\,dx \quad(\text{연속})$$

값에 확률을 곱해 더한 것이다. 확률 분포를 실수 축 위의 질량 분포로 보면 $\mu$는 무게중심이다 — 역학에서 $\int x\,\rho(x)\,dx / \int \rho\,dx$인데 총질량이 1이라 분모가 사라진 것. “기댓값”이라는 이름과 달리 $X$가 실제로 취하는 값이 아닐 수 있다. 주사위의 기댓값 3.5는 어느 면에도 없다.

$X$의 함수 $g(X)$도 확률 변수이고 그 기댓값은 분포를 새로 구하지 않고 바로 계산된다.

$$E\bigl(g(X)\bigr) = \sum_x g(x)\,f(x) \qquad\text{또는}\qquad \int g(x)\,f(x)\,dx$$

기댓값은 선형이다. $E(aX + b) = aE(X) + b$이고, 7절에서 보듯 독립 여부와 무관하게 $E(X + Y) = E(X) + E(Y)$다. 선형성이 이 장에서 가장 많이 쓰이는 성질이다.

무게중심이라는 그림에서 곧바로 나오는 것이 하나 있다. 분포가 어떤 점 $c$에 대해 좌우 대칭이면 — $f(c - x) = f(c + x)$ — 평균은 $c$다(평균이 존재한다면). 균등 분포의 평균이 구간의 가운데 $(a + b)/2$인 것, 정규 분포의 평균이 봉우리 자리인 것이 계산 없이 나온다.

분산 — 퍼짐의 제곱

평균에서 벗어난 거리를 제곱해 평균 낸 것이 분산이다.

$$\sigma^2 = \operatorname{Var}(X) = E\bigl[(X - \mu)^2\bigr] = E(X^2) - \mu^2$$

둘째 등호는 제곱을 전개하고 선형성을 쓰면 나온다. $E(X^2) - 2\mu E(X) + \mu^2 = E(X^2) - \mu^2$. 표준편차 $\sigma = \sqrt{\sigma^2}$은 $X$와 같은 단위라 실제 폭으로 읽을 수 있다. 분산은 단위가 제곱이라 직접 읽기 어렵지만 계산에서는 분산이 더한다(7절).

직관

공간적으로는 무게중심 둘레의 관성 모멘트다. 질량이 중심에서 멀리 있을수록 커지고, 거리의 제곱으로 세니 먼 조각이 가까운 조각보다 훨씬 무겁게 잡힌다. 그래서 분산은 꼬리에 민감하다 — 꼬리에 질량이 조금만 있어도 분산이 크게 오르고, 꼬리가 충분히 두꺼우면 분산이 발산한다(코시 분포).

왜 제곱인가. 평균에서의 편차 $X - \mu$ 자체는 평균이 0이라 쓸모가 없고, 절댓값은 미분이 안 된다. 제곱은 부호를 없애면서 매끈하고, 무엇보다 독립인 것을 더하면 분산도 더해진다는 성질을 준다. 이 성질이 없었다면 6절도 8절도 없다.

주의

$E(X^2) - \mu^2$은 이론에서는 편하지만 수치 계산에서는 위험하다. 큰 두 수의 차로 작은 수를 얻는 꼴이라 유효숫자가 잘려 나간다. 평균 1000, 표준편차 1인 데이터면 $E(X^2) \approx 10^6$과 $\mu^2 \approx 10^6$의 차에서 1을 건져야 한다. 데이터가 있으면 평균을 먼저 빼고 제곱합을 구할 것. 자릿수 손실은 1.12에서 다룬다.

위치와 척도를 바꾸면 평균과 분산은 다음처럼 따라간다.

$$E(aX + b) = a\mu + b, \qquad \operatorname{Var}(aX + b) = a^2\sigma^2$$

$b$는 분산에 아무 영향이 없다 — 전체를 옮겨도 퍼짐은 그대로다. $a$는 제곱으로 들어간다. 이것을 거꾸로 쓰면 어떤 확률 변수든 평균 0, 분산 1로 맞출 수 있다.

$$Z = \frac{X - \mu}{\sigma}$$

이것이 표준화이고, 6절에서 정규 분포표를 하나만 두어도 되는 이유다. (Kreyszig는 일차 변환을 $X^* = a_1 + a_2 X$로 적어 $\mu^* = a_1 + a_2\mu$, $\sigma^{*2} = a_2^2\sigma^2$로 쓴다. 같은 식이다.)

3절의 분포들에 정의를 적용해 두면 뒤에서 계속 쓴다.

분포	평균 $\mu$	분산 $\sigma^2$	계산의 요점
베르누이	$p$	$pq$	$E(X^2) = E(X) = p$ (값이 0·1이라 제곱해도 같다)
기하	$1/p$	$q/p^2$	급수 $\sum x q^{x-1} = 1/(1 - q)^2$
균등 $[a, b]$	$(a + b)/2$	$(b - a)^2/12$	대칭 · $\int x^2 dx/(b-a)$
지수	$1/\lambda$	$1/\lambda^2$	부분적분 · $\sigma = \mu$

균등 분포의 $\sigma = (b - a)/\sqrt{12}$는 반올림 오차의 크기로 자주 쓰인다. 눈금 간격 $\Delta$로 읽은 값의 반올림 오차는 $[-\Delta/2, \Delta/2]$에 고르게 퍼져 있다고 보면 표준편차가 $\Delta/\sqrt{12} \approx 0.29\,\Delta$다 — ADC의 양자화 잡음이 이것이다. 지수 분포는 표준편차가 평균과 같아 상대 산포가 늘 100 %다. 고장 시간이 지수를 따르는 부품은 수명이 평균의 절반도 안 되는 것과 두 배가 넘는 것이 흔하게 섞인다.

모멘트와 특성함수

$E(X^k)$를 $k$차 모멘트, $E[(X - \mu)^k]$를 $k$차 중심 모멘트라 한다. 평균은 1차 모멘트, 분산은 2차 중심 모멘트다. 3차 중심 모멘트를 $\sigma^3$으로 나눈 왜도는 분포가 어느 쪽으로 기울었는지를, 4차를 $\sigma^4$으로 나눈 첨도는 꼬리가 얼마나 두꺼운지를 잰다. 정규 분포는 왜도 0, 첨도 3이고, 이 둘이 정규성 확인의 첫 지표다(19.9).

모멘트를 한꺼번에 담는 도구가 모멘트 생성함수다.

$$M(t) = E\bigl(e^{tX}\bigr) = \sum_{k=0}^{\infty} \frac{t^k}{k!}\,E(X^k)$$

$e^{tX}$를 급수로 펼치면 $t^k$의 계수에 $k$차 모멘트가 앉는다. 그래서 $M$을 $k$번 미분해 $t = 0$을 넣으면 $E(X^k)$가 나온다 — $M'(0) = \mu$, $M''(0) - M'(0)^2 = \sigma^2$. (Kreyszig는 이것을 $G(t)$로 쓴다. 이 장은 $G$를 2절에서 상태의 수로 썼으므로 $M$을 쓴다. 여기의 $t$는 시간이 아니라 보조 변수다.)

모멘트 생성함수가 정말 쓸모 있는 것은 독립인 변수의 합을 다룰 때다. $X, Y$가 독립이면 $e^{t(X+Y)} = e^{tX}e^{tY}$의 기댓값이 기댓값의 곱으로 갈라지므로(7절)

$$M_{X+Y}(t) = M_X(t)\,M_Y(t)$$

합의 분포를 직접 구하는 합성곱(7절) 대신 곱셈 한 번이면 된다. 뒤에서 쓸 것을 모아 둔다.

분포	$M(t)$	한 줄 유도
베르누이 $(p)$	$q + pe^t$	$q \cdot e^0 + p \cdot e^t$
이항 $(n, p)$	$(q + pe^t)^n$	베르누이 $n$개의 합이므로 $n$제곱
푸아송 $(\mu)$	$e^{\mu(e^t - 1)}$	$\sum_x e^{tx}\mu^x e^{-\mu}/x!$ — 지수함수 급수
정규 $(\mu, \sigma^2)$	$e^{\mu t + \sigma^2 t^2/2}$	지수 안의 제곱을 완성
지수 $(\lambda)$	$\lambda/(\lambda - t)$, $t < \lambda$	$\int_0^\infty \lambda e^{-(\lambda - t)x}dx$

5절에서 이항·푸아송의 분산을, 7절에서 “정규 + 정규 = 정규”와 “푸아송 + 푸아송 = 푸아송”을 이 표로 한 줄에 얻는다. $t$ 대신 $i\omega$를 넣은 것이 특성함수다.

$$\phi(\omega) = E\bigl(e^{i\omega X}\bigr) = \int_{-\infty}^{\infty} e^{i\omega x} f(x)\,dx$$

이것은 밀도함수의 푸리에 변환(1.10.4푸리에 변환의 성질)이다 — 정확히는 지수의 부호가 반대다. 1.10의 규약 $F(\omega) = \int f(x)\,e^{-i\omega x}\,dx$로 쓰면 $\phi(\omega) = F(-\omega)$이고, 확률론은 관례상 $+i$를 쓴다. 부호는 아래의 어떤 성질에도 영향을 주지 않는다. 특성함수의 값어치는 세 가지다. ① 모든 분포에 존재한다($\lvert e^{i\omega x}\rvert = 1$이라 적분이 늘 수렴한다. 모멘트 생성함수는 꼬리가 두꺼우면 발산한다). ② 분포를 완전히 결정한다 — 푸리에 변환이 가역이므로. ③ 독립인 확률 변수의 합의 특성함수는 각각의 곱이다. 셋째가 6절에서 중심극한정리의 증명을 열 줄로 만든다. 위 표의 $M(t)$에 $t = i\omega$를 넣으면 그대로 특성함수가 된다.

주의

특성함수의 $\phi$와 6절 표준정규 밀도의 $\varphi$는 같은 그리스 문자 φ의 두 글꼴이다. 이 장에서 $\phi(\omega)$는 언제나 괄호 안이 $\omega$인 특성함수, $\varphi(z)$는 괄호 안이 $z$인 정규 밀도다. 괄호 안의 변수를 보고 구분한다.

체비셰프 부등식

분포를 전혀 모르고 $\mu$와 $\sigma$만 알 때도 말할 수 있는 것이 있다. 먼저 더 단순한 것부터. $Y \ge 0$인 확률 변수와 양수 $K$에 대해

$$P(Y \ge K) \le \frac{E(Y)}{K}$$

이것이 마르코프 부등식이다. $E(Y) = \int y f\,dy \ge \int_{y \ge K} y f\,dy \ge K \cdot P(Y \ge K)$ — $K$ 이상인 부분만 남기고, 그 부분에서 $y$를 $K$로 깎아 내린 것이다. 평균이 1인 음 아닌 양이 10을 넘을 확률은 많아야 10 %다. 여기에 $Y = (X - \mu)^2$, $K = k^2\sigma^2$을 넣으면 $E(Y) = \sigma^2$이므로

$$P\bigl(\lvert X - \mu\rvert \ge k\sigma\bigr) \le \frac{1}{k^2}$$

이것이 체비셰프 부등식이다. 평균에서 $2\sigma$ 밖에 있을 확률은 어떤 분포든 25 % 이하, $3\sigma$ 밖은 11 % 이하다. 정규 분포에서는 각각 4.6 %, 0.27 %이니 체비셰프는 매우 느슨하다 — 그러나 분포에 대한 가정이 하나도 없다는 것이 요점이고, 분산이 “퍼짐”의 척도라는 주장에 대한 정량적 보증이기도 하다.

데이터 쪽 — 표본평균과 표본분산

지금까지의 $\mu$, $\sigma^2$은 분포(모집단)의 참값이었다. 측정값 $x_1, \dots, x_n$이 손에 있으면 같은 이름의 양을 데이터에서 계산한다.

$$\bar{x} = \frac{1}{n}\sum_{j=1}^{n} x_j, \qquad s^2 = \frac{1}{n-1}\sum_{j=1}^{n} (x_j - \bar{x})^2$$

$s^2$의 분모가 $n$이 아니라 $n - 1$인 이유는 8절에서 증명한다 — 짧게 말하면, 편차를 $\mu$가 아니라 $\bar{x}$에서 재기 때문에 제곱합이 조금 작게 나오고, 그것을 되돌리는 보정이다. $n$이 크면 차이는 사라진다.

주의

분모가 책마다 다르다. 이 장과 Kreyszig의 $s^2$은 분모가 $n - 1$이다. Boas는 $s^2 = \frac1n\sum(x_j - \bar x)^2$로 분모가 $n$이고 “표본분산”이라는 이름을 일부러 피하며, $\sigma^2$의 추정값으로는 $\frac{n}{n-1}s^2$을 쓴다. Arfken도 데이터의 $\sigma$를 먼저 분모 $n$으로 정의한 뒤 나중에 $n - 1$로 고친다. 다른 책의 $s$를 옮겨 올 때는 분모부터 확인할 것 — $n = 5$면 분산으로 25 %, 표준편차로 12 % 다르다.

데이터를 요약하는 다른 수들 — 크기순으로 나열해 가운데를 취한 중앙값, 4분의 1·4분의 3 지점의 사분위수, 그 사이 폭인 사분위 범위 — 는 꼬리의 영향을 덜 받아 이상값이 섞인 계측 데이터에서 평균·표준편차보다 안전하다. 히스토그램은 $f$의, 누적 빈도는 $F$의 데이터판이다.

평균과 중앙값의 차이는 무엇을 최소로 하는가의 차이로도 읽힌다. 어떤 수 $c$에서 데이터까지의 거리를 재어 합할 때, 거리의 제곱합 $\sum(x_j - c)^2$을 가장 작게 하는 $c$가 평균 $\bar x$이고 (미분해 0을 놓으면 $\sum(x_j - c) = 0$), 절댓값의 합 $\sum\lvert x_j - c\rvert$를 가장 작게 하는 $c$가 중앙값이다($c$를 옮길 때 양쪽에 남은 점의 개수가 같아야 합이 줄지 않는다). 제곱은 먼 점을 무겁게 세므로 평균은 이상값에 끌려가고, 절댓값은 모든 점을 같은 무게로 세므로 중앙값은 버틴다. 12절의 최소제곱이 제곱합 쪽을 택한 결과라는 것도 기억해 둘 것.

파라미터 연계 — 상대 산포와 개수의 제곱근

파라미터 연계

평균과 표준편차의 비 $\sigma/\mu$가 “얼마나 흔들리는가”의 실용적 척도다(변동계수). 5절에서 보겠지만 개수를 세는 양은 대개 $\sigma^2 = \mu$, 즉 $\sigma/\mu = 1/\sqrt{\mu}$다. 개수가 백만이면 0.1 %, 백이면 10 %다.

이것이 소자 축소가 통계를 물리 문제로 끌어올린 경로다. 채널 안의 도펀트 개수 $N$은 부피에 비례하고, 그 개수의 상대 산포는 $1/\sqrt{N}$이다. 그래서 문턱전압의 표준편차가 채널 면적의 제곱근에 반비례한다 — $\sigma_{V_T} \propto 1/\sqrt{WL}$. 면적을 4분의 1로 줄이면 산포가 두 배로 는다. 14.4에서 이 관계를 소자 모형으로 유도할 때 뿌리는 이 절의 $\sigma/\mu$와 5절의 푸아송 분포다.

이항 분포와 푸아송 분포

세는 일에서 나오는 분포 둘이다. 이항 분포는 “정해진 횟수 중 몇 번”이고, 푸아송 분포는 “정해진 구간 안에 몇 개”다. 후자가 전자의 극한이다.

베르누이 시행에서 이항 분포로

성공 확률 $p$인 시행을 독립적으로 $n$번 되풀이한다. 성공 횟수 $X$의 분포는? 특정한 순서로 성공이 $x$번, 실패가 $n - x$번 나올 확률은 독립이므로 곱해서 $p^x q^{n-x}$이고, 그런 순서는 $n$자리 중 성공 자리 $x$개를 고르는 $\binom{n}{x}$가지다. 따라서

$$f(x) = \binom{n}{x} p^x q^{n-x}, \qquad x = 0, 1, \dots, n, \qquad q = 1 - p$$

이것이 이항 분포다(Kreyszig는 베르누이 분포라고도 부른다 — 3절의 0·1 변수 하나와 이름이 겹치니 주의). 전부 더하면 이항정리로 $(p + q)^n = 1$이 되어 확률의 합이 1임이 확인된다. 평균과 분산은 정의대로 합을 계산해도 되지만, 더 빠른 길이 둘 있다. 하나는 $X$를 베르누이 변수 $n$개의 합으로 보는 것이다. 베르누이 하나의 평균은 $p$, 분산은 $E(X^2) - p^2 = p - p^2 = pq$이고, 독립이므로 평균도 분산도 더한다. 다른 하나는 4절의 모멘트 생성함수 $M(t) = (q + pe^t)^n$을 미분하는 것이다 — $M'(0) = np$, $M''(0) = np + n(n-1)p^2$이므로 $\sigma^2 = M''(0) - M'(0)^2 = np - np^2$.

$$\mu = np, \qquad \sigma^2 = npq$$

직관

모양. $p = 1/2$이면 좌우 대칭이고, $p$가 작으면 왼쪽에 몰리고 오른쪽으로 긴 꼬리가 난다. 봉우리는 $np$ 근처(정확히는 $(n + 1)p$의 정수 부분)에 있고 폭은 $\sqrt{npq}$다. $n$을 키우면 봉우리는 $n$에 비례해 오른쪽으로 가는데 폭은 $\sqrt{n}$으로만 늘어난다. 그래서 상대 폭 $\sigma/\mu = \sqrt{q/(np)}$는 줄어든다 — 시행을 많이 할수록 성공 비율 $X/n$이 $p$에 붙는다.

이것을 식으로 적은 것이 큰 수의 법칙이다. 성공 비율 $X/n$의 평균은 $p$, 분산은 $pq/n$이므로 4절의 체비셰프 부등식에 넣으면, 어떤 작은 $\varepsilon > 0$을 잡아도

$$P\!\left(\left\lvert \frac{X}{n} - p \right\rvert \ge \varepsilon\right) \le \frac{pq}{n\varepsilon^2} \;\longrightarrow\; 0 \qquad (n \to \infty)$$

비율이 $p$에서 $\varepsilon$ 이상 벗어날 확률이 $n$에 반비례해 사라진다. 1절에서 “상대빈도가 안정되는 값”이라 한 빈도 정의가 공리에서 정리로 돌아온 것이다 — 세 절이 이 한 줄로 이어진다.

반대로 특정한 한 값의 확률은 오히려 작아진다. 봉우리 높이가 $1/\sqrt{2\pi npq}$(6절)로 줄기 때문이다. 동전을 백만 번 던져 앞면이 정확히 50만 번일 확률은 $8.0 \times 10^{-4}$뿐이다. 비율은 $1/2$에 붙지만 개수는 $\sqrt{n}$만큼 흔들린다.

이항 분포는 복원 추출을 전제한다 — 매 시행의 $p$가 같아야 한다. 유한한 로트에서 검사할 다이를 뽑아 되돌려 놓지 않으면 $p$가 시행마다 바뀐다(1절의 나사 예). 로트에 $N$개가 있고 그중 $M$개가 불량일 때 $n$개를 비복원으로 뽑아 불량이 $x$개일 확률은 셈으로 바로 나온다.

$$f(x) = \frac{\dbinom{M}{x}\dbinom{N - M}{n - x}}{\dbinom{N}{n}}$$

이것이 초기하 분포다. 분모는 $N$개 중 $n$개를 고르는 전체 경우, 분자는 불량 $M$개 중 $x$개와 양품 $N - M$개 중 $n - x$개를 고르는 경우다. $x$에 대해 다 더하면 2절의 방데르몽드 항등식으로 분자의 합이 분모가 되어 1이다. 평균과 분산은

$$\mu = n\frac{M}{N}, \qquad \sigma^2 = npq\,\frac{N - n}{N - 1} \qquad \Bigl(p = \frac{M}{N},\ q = 1 - p\Bigr)$$

평균은 이항과 같고, 분산에 유한 모집단 보정 $(N - n)/(N - 1)$이 곱해진다. 되돌려 놓지 않으면 같은 다이를 두 번 볼 일이 없어 정보가 그만큼 알차고, 그래서 분산이 줄어든다. $n = N$(전수 검사)이면 보정이 0 — 불량 개수가 확률 변수가 아니게 된다. 나사 예($N = 10$, $M = 3$, $n = 2$)의 불량 0·1·2개 확률은 초기하로 0.47·0.47·0.07, 이항($p = 0.3$)으로 0.49·0.42·0.09다. $N$, $M$, $N - M$이 모두 $n$보다 충분히 크면 보정이 1에 가까워져 이항 분포($p = M/N$)로 돌아간다. 로트 합격 판정(10절, 19.11)에서 표본이 로트의 10 %를 넘으면(보정 0.9 이하) 이항 대신 이것을 써야 한다.

결과가 둘이 아니라 여럿이면 이항이 다항 분포가 된다. 한 번의 시행에서 결과 $1, \dots, m$이 각각 확률 $p_1, \dots, p_m$으로 나오고 $n$번 되풀이해 각 결과가 $x_1, \dots, x_m$번 나올 확률은

$$f(x_1, \dots, x_m) = \frac{n!}{x_1!\cdots x_m!}\,p_1^{x_1}\cdots p_m^{x_m}, \qquad x_1 + \cdots + x_m = n$$

특정한 순서 하나의 확률이 $p_1^{x_1}\cdots p_m^{x_m}$이고, 그런 순서의 수가 2절의 다항 계수다. 결과 $i$만 보면 이항 $B(n, p_i)$이지만, 개수들이 합이 $n$으로 묶여 있어 독립이 아니다. 한 칸이 많이 나오면 다른 칸이 적게 나와야 하므로 공분산이 음이다(7절).

$$\operatorname{Var}(X_i) = np_i(1 - p_i), \qquad \operatorname{Cov}(X_i, X_j) = -np_ip_j \quad (i \ne j)$$

웨이퍼 위 다이를 양품·수리 가능·폐기로 나눈 개수, 11절에서 도수를 칸별로 센 표가 이 분포를 따른다.

푸아송 분포 — 이항의 극한

$n$이 아주 크고 $p$가 아주 작으면서 평균 $np = \mu$가 유한한 값으로 고정되는 극한을 생각한다. 결함 하나가 특정 다이에 떨어질 확률은 작고, 결함 후보 자리는 많고, 다이당 평균 결함 수는 적당한 값 — 정확히 이 상황이다. 이항 확률에 $p = \mu/n$을 넣고 정리한다.

$$\binom{n}{x} p^x q^{n-x} = \frac{n(n-1)\cdots(n-x+1)}{x!}\,\frac{\mu^x}{n^x}\left(1 - \frac{\mu}{n}\right)^{n-x}$$

$n \to \infty$에서 첫 인수의 $n(n-1)\cdots(n-x+1)/n^x \to 1$이고, $(1 - \mu/n)^{n} \to e^{-\mu}$, $(1 - \mu/n)^{-x} \to 1$이다. 남는 것이

$$f(x) = \frac{\mu^x}{x!}\,e^{-\mu}, \qquad x = 0, 1, 2, \dots$$

푸아송 분포다. 파라미터가 $\mu$ 하나뿐이고, 그 하나가 평균이면서 분산이다.

$$E(X) = \mu, \qquad \operatorname{Var}(X) = \mu$$

분산은 이항의 $npq$에서 $q \to 1$을 취한 것으로도 보이고, 직접 계산해도 된다. $x(x-1)$을 곱하면 $x!$의 앞 두 인수가 약분되는 것이 요령이다.

$$E\bigl[X(X - 1)\bigr] = \sum_{x \ge 2} \frac{\mu^x e^{-\mu}}{(x - 2)!} = \mu^2 \sum_{y \ge 0}\frac{\mu^y e^{-\mu}}{y!} = \mu^2$$

따라서 $E(X^2) = \mu^2 + \mu$이고 $\sigma^2 = E(X^2) - \mu^2 = \mu$. 4절의 표로 가면 더 짧다 — $M(t) = e^{\mu(e^t - 1)}$에서 $M'(0) = \mu$, $M''(0) = \mu^2 + \mu$.

그림 1.11-2. 평균 np = 3을 고정한 채 n을 5, 20으로 늘린 이항 분포와 평균 3인 푸아송 분포. n = 5(p = 0.6)는 대칭에 가깝고 n = 5에서 끝나지만, n = 20(p = 0.15)이면 벌써 푸아송의 점 쪽으로 크게 다가간다. p가 이만큼 커도 모양은 닮아 간다는 것이 그림의 요점이고, 확률값까지 몇 % 안에서 맞추려면 흔히 쓰는 기준 n ≥ 20, p ≤ 0.05를 지킨다.직접 작도

그 기준 안에서는 근사가 매우 좋다. $n = 100$, $p = 0.01$에서 불량이 셋 이상일 확률은 이항으로 7.94 %, 푸아송($\mu = 1$)으로 8.03 %다. 계승과 거듭제곱이 가득한 이항 식 대신 $1 - e^{-1}(1 + 1 + \tfrac12)$ 한 줄이면 된다.

주의

푸아송의 파라미터 글자. Kreyszig는 푸아송의 평균을 $\mu$로 쓰고 이 백과도 따른다. 다른 책의 $\lambda$가 평균을 뜻하면 같은 것이다. 그런데 Boas와 Arfken은 아래의 푸아송 과정을 유도할 때 같은 $\mu$를 단위 시간당 비율로 쓰고, 시간 $t$ 동안의 평균을 $\mu t$로 적는다 — 같은 글자가 한 쪽 안에서 비율에서 평균으로 옮겨 간다. 이 백과는 둘을 갈라 $\lambda$를 단위 시간(또는 단위 면적)당 비율로 남겨 두고, 길이 $t$의 구간에서 $\mu = \lambda t$로 쓴다. 3절 지수 분포의 $\lambda$가 바로 이 비율이다.

직관

모양. $\mu < 1$이면 $x = 0$에서 가장 크고 단조 감소한다 — 대부분의 다이에 결함이 없다. $\mu$가 커지면 봉우리가 $\mu$ 근처로 옮겨 가고 폭이 $\sqrt{\mu}$로 는다. $\mu \gtrsim 10$이면 정규 분포와 거의 구분되지 않는다(6절). 연속한 두 확률의 비 $f(x+1)/f(x) = \mu/(x+1)$은 $x + 1 < \mu$인 동안 1보다 크고 $x + 1 > \mu$가 되면 1보다 작아지므로, 봉우리는 $\mu$를 넘지 않는 가장 큰 정수 $\lfloor \mu \rfloor$에 있다. $\mu$가 정수이면 $f(\mu - 1) = f(\mu)$라 봉우리가 둘이다.

푸아송 과정 — 시간과 공간에 흩뿌려진 사건

푸아송 분포가 나오는 상황을 이항의 극한 말고 직접 적을 수도 있다. 사건이 시간(또는 면적) 위에서 ① 서로 겹치지 않는 구간에서 독립이고 ② 짧은 구간 $dt$ 안에서 하나 일어날 확률이 $\lambda\,dt$로 비율이 일정하며 ③ 같은 순간에 둘이 일어날 확률은 무시할 만하다고 하자. 이런 사건의 흐름을 푸아송 과정이라 한다. 길이 $t$의 구간에 사건이 $x$개 든 확률을 $P_x(t)$라 하면, $t + dt$까지 $x$개가 되는 길은 둘뿐이다 — $t$까지 $x$개였고 $dt$ 동안 아무 일도 없었거나, $x - 1$개였고 $dt$ 동안 하나가 일어났거나. ①이 곱을, ②가 $\lambda\,dt$를, ③이 “길은 둘뿐”을 준다.

$$P_x(t + dt) = P_x(t)\,(1 - \lambda\,dt) + P_{x-1}(t)\,\lambda\,dt$$

$dt$로 나누면 미분방정식의 사슬이 된다.

$$\frac{dP_0}{dt} = -\lambda P_0, \qquad \frac{dP_x}{dt} = \lambda\bigl(P_{x-1} - P_x\bigr) \quad (x \ge 1)$$

시작할 때는 사건이 없으므로 $P_0(0) = 1$, 나머지는 0이다. 첫 식에서 $P_0 = e^{-\lambda t}$이고, 이것을 둘째 식에 넣어 차례로 풀면(1.4.2선형 1계 ODE와 베르누이 방정식의 선형 1계 방정식)

$$P_x(t) = \frac{(\lambda t)^x}{x!}\,e^{-\lambda t}$$

— 평균 $\mu = \lambda t$인 푸아송이다. 이항의 극한과 같은 답이 가정 셋에서 곧장 나왔다. 식의 꼴은 반도체의 속도 방정식(생성·포획률로 개수가 변하는 식)과 같다. 들어오는 흐름 $\lambda P_{x-1}$과 나가는 흐름 $\lambda P_x$의 차가 변화율이다.

같은 과정에서 사건과 사건 사이의 간격은 3절의 지수 분포를 따른다. 간격이 $t$보다 길 확률은 ”$t$ 동안 사건이 하나도 없을 확률”이고 그것이 위의 $P_0(t) = e^{-\lambda t}$이므로 $F(t) = 1 - e^{-\lambda t}$. 개수는 푸아송, 간격은 지수 — 같은 물건의 두 얼굴이다.

방사선 계수기로 확인하자. 10시간에 1800번을 세었으면 $\lambda = 3$회/분이다. 이 기록을 1분씩 600개 구간으로 자르면 한 번도 세지 않은 구간이 $600 \times e^{-3} \approx 30$개쯤 나와야 한다. 실제 개수가 이와 크게 다르면 계수기에 불감 시간이 있거나 선원이 일정하지 않다는 뜻이다 — 11절의 적합도 검정이 이 비교를 정량화한다.

반도체로 — 푸아송이 나오는 네 자리

① 산탄 잡음. 전자가 pn 접합의 장벽을 넘는 사건은 서로 독립이고 일정한 비율로 일어난다. 시간 $T$ 동안 넘은 전자 수 $N$은 푸아송이고, 전류는 $I = qN/T$다. (이 문단에서만 $q$는 기본 전하, $N$은 전자 수, $T$는 관측 시간이다 — 이항의 $q = 1 - p$, 모집단 크기 $N$, 검정통계량 $T$가 아니다.) 평균 전류를 $\bar I$라 하면 $\langle N \rangle = \bar I T / q$이고 분산도 같으므로

$$\sigma_I^2 = \frac{q^2}{T^2}\operatorname{Var}(N) = \frac{q^2}{T^2}\cdot\frac{\bar I T}{q} = \frac{q\,\bar I}{T}$$

전류의 요동이 전류 자체에 비례하고 관측 시간에 반비례한다. 관측 시간을 대역폭으로 바꿔 쓰면 스펙트럼 밀도 $2q\bar I$가 되고, 이것이 13.9·22.6의 산탄 잡음 공식이다. 잡음의 근원은 회로가 아니라 “전자가 낱개로 센다”는 사실 하나이고, 그 사실을 수학으로 옮긴 것이 분산 $=$ 평균이다.

② 수율. 다이 면적 $A$, 단위 면적당 결함 밀도 $D_0$이면 다이 하나에 떨어지는 결함 수는 푸아송$(A D_0)$이다. 결함이 하나라도 있으면 죽는다고 하면 수율 $Y$(확률 변수 $Y$가 아니라 수율의 관용 기호다)는 결함이 0개일 확률이다.

$$Y = P(X = 0) = e^{-A D_0}$$

면적이 지수 위에 올라앉는다. 다이를 두 배로 키우면 $\ln Y$가 두 배로 나빠진다. 실제 결함은 독립적으로 흩뿌려지지 않고 뭉쳐 다니므로 실측 수율은 이 식보다 높다 — 결함이 몇 개 다이에 몰리면 나머지 다이가 산다. 그 보정이 19.10의 음이항 모형이고, 출발점은 언제나 이 푸아송 식이다.

③ EUV의 광자 산탄 잡음. 레지스트의 한 픽셀에 도달하는 광자 수는 푸아송이라 상대 요동이 $1/\sqrt{\langle N \rangle}$이다. 극자외선은 광자 하나의 에너지가 커서 같은 노광량에 광자 수가 적고, 그래서 선폭 거칠기가 통계적으로 생긴다. 노광량을 줄이면 처리량은 오르지만 $\langle N \rangle$이 줄어 거칠기가 는다 — 파라미터 하나가 두 방향으로 당기는 전형적 상충이다.

④ 랜덤 도펀트. 채널 부피 $V$에 농도 $N_D$로 도핑하면 실제 개수는 푸아송$(N_D V)$이다. 4절 끝의 $1/\sqrt{N}$이 여기서 나온다. 개수만이 아니라 위치도 무작위라 실제 산포는 이보다 크고, 그 부분이 14.4의 일이다.

네 자리 모두 같은 가정 — 독립, 일정한 비율, 낱개 — 에서 같은 분포가 나온다. 반대로 데이터의 분산이 평균보다 뚜렷이 크면 그 가정 중 하나가 깨진 것이고(대개 독립성 — 결함의 군집), 그 자체가 진단 정보다.

정규 분포와 중심극한정리

이 장의 경첩이다. 앞의 이산 분포들이 $n$이 커지면 전부 여기로 흘러들고, 뒤의 추정·검정은 전부 여기서 출발한다.

밀도함수 — 왜 하필 이 꼴인가

$$f(x) = \frac{1}{\sigma\sqrt{2\pi}}\exp\!\left[-\frac{(x - \mu)^2}{2\sigma^2}\right]$$

파라미터는 둘, 평균 $\mu$와 표준편차 $\sigma$이고 $N(\mu, \sigma^2)$로 적는다. 괄호 안 둘째 자리가 $\sigma$가 아니라 **$\sigma^2$**인 것에 주의한다 — $N(0, 4)$는 표준편차 2다.

물리에서 가장 먼저 만나는 정규 분포는 열평형 기체 분자의 속도 성분 하나다. 볼츠만 인자 $e^{-E/k_BT}$에 운동에너지 $E = mv_x^2/2$를 넣으면

$$f(v_x) \propto \exp\!\left(-\frac{m v_x^2}{2k_BT}\right) \quad\Longrightarrow\quad v_x \sim N\!\left(0,\ \frac{k_BT}{m}\right)$$

지수 안을 위 식과 맞춰 읽으면 $\sigma^2 = k_BT/m$이다(여기서 $E$는 에너지, $k_B$는 볼츠만 상수). 반도체에서 전자의 열속도 $\sqrt{k_BT/m^*}$가 이 표준편차이고, 온도가 네 배가 되어야 속도 산포가 두 배가 된다.

직관

수식적으로 읽으면 세 조각이다. 지수 안의 $-(x - \mu)^2$은 “평균에서 멀어질수록 거리의 제곱으로 빠르게 줄어든다”는 뜻이고, 이 제곱이 종 모양을 만든다 — 꼭대기 근처는 평평하고(1차 항이 없다) 어깨에서 급히 떨어지며 꼬리는 $e^{-x^2}$으로 어떤 거듭제곱보다 빨리 사라진다. $2\sigma^2$은 그 거리를 재는 자, 즉 척도다. 앞의 $1/(\sigma\sqrt{2\pi})$는 넓이를 1로 맞추는 정규화 상수이고, $\sqrt{2\pi}$는 가우스 적분 $\int e^{-x^2/2}\,dx = \sqrt{2\pi}$에서 온다 — 극좌표로 넘어가 이중적분을 계산하는 그 유명한 요령(1.1.5이중·삼중 적분)이다.

형태적으로 — 2차 도함수를 0으로 놓으면 $x = \mu \pm \sigma$가 나온다. 곡선이 볼록에서 오목으로 바뀌는 변곡점이 정확히 $\sigma$ 자리다. 그래서 종 모양 곡선에서 $\sigma$를 눈으로 읽을 수 있다: 어깨가 꺾이는 곳까지의 거리다. 높이는 $1/(\sigma\sqrt{2\pi})$이므로 $\sigma$를 반으로 줄이면 폭이 반이 되면서 키가 두 배가 된다 — 넓이 1을 지키기 위해서다.

그림 1.11-3. 정규 분포의 밀도. 평균에서 ±σ, ±2σ, ±3σ 안에 각각 68.3 %, 95.45 %, 99.73 %가 든다. 곡선의 변곡점이 μ ± σ에 있어 σ를 눈으로 읽을 수 있고, 봉우리 높이 1/(σ√2π)는 σ에 반비례한다.직접 작도

표준정규분포와 누적분포 Φ

4절의 표준화 $Z = (X - \mu)/\sigma$를 쓰면 $Z$는 $N(0, 1)$이다. 그 밀도와 누적분포에 이름을 따로 준다.

$$\varphi(z) = \frac{1}{\sqrt{2\pi}}e^{-z^2/2}, \qquad \Phi(z) = \int_{-\infty}^{z} \varphi(u)\,du$$

$\Phi$는 닫힌 꼴이 없다. 오차함수(1.5.10오차함수와 불완전 감마함수)로 쓰면 $\Phi(z) = \tfrac12\bigl[1 + \operatorname{erf}(z/\sqrt2)\bigr]$이고, 표나 수치 계산으로 값을 얻는다. 대칭이므로 $\Phi(-z) = 1 - \Phi(z)$이며, 표는 $z \ge 0$만 있으면 된다. 양쪽 꼬리를 합친 확률은 여오차함수 하나로 쓰인다 — $P(\lvert X - \mu\rvert \ge k\sigma) = \operatorname{erfc}(k/\sqrt2)$. 1.7에서 확산의 해로 만난 $\operatorname{erfc}$가 바로 이 꼬리 넓이다. 임의의 정규 분포는 표준화를 거쳐 이 하나로 돌아온다.

$$P(a < X \le b) = \Phi\!\left(\frac{b - \mu}{\sigma}\right) - \Phi\!\left(\frac{a - \mu}{\sigma}\right)$$

외워 두면 좋은 값 몇 개.

$z$	$\Phi(z)$	양쪽 $\pm z$ 안의 확률	쓰이는 곳
0.6745	0.75	50 %	확률 오차 — 옛 물리 문헌의 오차 막대
1	0.8413	68.3 %	$1\sigma$, 물리 측정값의 $\pm$
1.645	0.95	90 %	한쪽 5 % 검정, 90 % 신뢰구간
1.96	0.975	95 %	95 % 신뢰구간, 양쪽 5 % 검정
2	0.9772	95.45 %	$2\sigma$
2.576	0.995	99 %	99 % 신뢰구간, Kreyszig의 관리도 한계
3	0.99865	99.73 %	$3\sigma$, 관리도의 한계선
3.291	0.9995	99.9 %	99.9 % 신뢰구간
4.5	$1 - 3.4 \times 10^{-6}$	—	“6시그마”의 실제 기준 (평균 이동 $1.5\sigma$ 가정)

감각으로 옮기면 — 평균에서 $1\sigma$ 밖은 세 번에 한 번, $2\sigma$ 밖은 22번에 한 번, $3\sigma$ 밖은 370번에 한 번 나온다. 측정값 하나가 기대에서 $1\sigma$쯤 벗어난 것은 아무 일도 아니고, $3\sigma$를 넘으면 그때 의심할 이유가 생긴다. 표의 첫 줄은 폭이 반반인 구간이다. 물리 문헌이 결과를 $\bar x \pm \sigma$(68 % 구간)로 적는 관례와, 통계·공정이 95 % 구간을 쓰는 관례가 서로 다르다는 것도 기억해 둘 것 — 같은 $\pm$라도 어느 쪽인지 밝혀야 비교가 된다.

문턱전압이 $N(0.40\,\mathrm{V}, (20\,\mathrm{mV})^2)$이고 사양이 $0.35 \sim 0.45\,\mathrm{V}$이면, 사양 한계는 $\pm 2.5\sigma$이고 안에 들 확률은 $\Phi(2.5) - \Phi(-2.5) = 0.9876$, 즉 1.2 %가 사양 밖이다. $\sigma$를 $15\,\mathrm{mV}$로 줄이면 $\pm 3.33\sigma$가 되어 0.09 %로 떨어진다. 사양 폭을 $\sigma$로 나눈 비가 공정 능력 지수 $C_p$의 뼈대이고(19.11), 그 지수가 “표준편차 몇 개가 사양 안에 들어가는가”라는 이 계산 하나를 이름 붙인 것이다.

거꾸로도 쓴다. 사양 밖을 1 % 이하로 두려면 $\pm 50\,\mathrm{mV}$가 $\pm 2.576\sigma$보다 넓어야 하므로 $\sigma \le 50/2.576 = 19.4\,\mathrm{mV}$ — 공정이 지켜야 할 산포의 상한이 표의 한 줄에서 나온다.

이항·푸아송의 정규 근사 — 스털링으로 유도

$n$이 크면 이항 분포의 봉우리 근처가 정규 분포와 같아진다(드무아브르–라플라스). 2절의 스털링 근사가 있으면 직접 보일 수 있다. 이항 확률의 계승 셋에 $n! \sim \sqrt{2\pi n}(n/e)^n$을 넣으면 $e$의 거듭제곱이 서로 지워지고

$$f(x) \sim \sqrt{\frac{n}{2\pi x(n - x)}}\left(\frac{np}{x}\right)^{x}\left(\frac{nq}{n - x}\right)^{n-x}$$

이 남는다. 봉우리에서 벗어난 거리 $\delta = x - np$로 옮겨 가자. 거듭제곱 부분의 로그는

$$-(np + \delta)\ln\!\left(1 + \frac{\delta}{np}\right) - (nq - \delta)\ln\!\left(1 - \frac{\delta}{nq}\right)$$

이고, $\ln(1 + u) \approx u - u^2/2$로 2차까지 전개하면 1차 항 $-\delta$와 $+\delta$가 지워지고 2차 항만 남는다.

$$-\frac{\delta^2}{2np} - \frac{\delta^2}{2nq} = -\frac{\delta^2}{2npq} \qquad\Bigl(\text{왜냐하면 } \tfrac1p + \tfrac1q = \tfrac{1}{pq}\Bigr)$$

앞의 근호는 봉우리 근처에서 $x(n - x) \approx n^2pq$이므로 $1/\sqrt{2\pi npq}$다. 합치면

$$f(x) \sim \frac{1}{\sqrt{2\pi npq}}\exp\!\left[-\frac{(x - np)^2}{2npq}\right]$$

— 평균 $np$, 분산 $npq$인 정규 밀도다. 여기서 $\sim$는 비가 1로 간다는 뜻이다. 두 가지를 읽어 둔다. ① 정규화 상수는 스털링의 $\sqrt{2\pi n}$에서 왔다. 2절에서 “통계역학에서는 무시한다”던 그 항이 확률에서는 곡선의 높이를 정한다. 2절에서 “종 모양은 이항 계수의 모양”이라 한 말의 증명이 이것이다. ② 전개를 2차에서 끊었다. 버린 3차 항은 $\delta^3/n^2$ 크기라 봉우리 근처($\delta \sim \sqrt n$)에서는 작지만 꼬리로 가면 커진다. 근사가 맞는 곳은 봉우리 근처이고, 꼬리의 작은 확률은 상대 오차가 크다. 같은 계산을 푸아송에 하면($x = \mu + \delta$) $\mu$가 클 때 $N(\mu, \mu)$가 나온다.

실제로 쓰는 것은 구간의 꼴이다.

$$P(a \le X \le b) \approx \Phi(\beta) - \Phi(\alpha), \qquad \alpha = \frac{a - np - 0.5}{\sqrt{npq}}, \quad \beta = \frac{b - np + 0.5}{\sqrt{npq}}$$

$\pm 0.5$가 연속성 보정이다. 정수 $x$의 확률을 폭 1짜리 막대 $[x - 0.5,\ x + 0.5]$의 넓이로 본 것이라, 양끝 막대를 온전히 넣으려면 반 칸씩 넓혀야 한다. 흔히 $np \ge 5$, $nq \ge 5$ 정도면 쓸 만하다. 보정의 크기를 보자. 동전 100번에서 앞면이 45~55번일 확률은 정확히 0.7287이다. 보정 없이 $\Phi(1) - \Phi(-1)$로 계산하면 0.6827로 7 %포인트 가까이 모자라고, 보정해 $\Phi(1.1) - \Phi(-1.1)$로 계산하면 0.7287로 넷째 자리까지 맞는다. 5절에서 “봉우리는 $n$으로, 폭은 $\sqrt{n}$으로 커진다”고 했던 그림이 이 근사의 내용이다.

중심극한정리

정규 분포가 어디에나 나타나는 이유가 이 정리다.

$X_1, X_2, \dots, X_n$이 서로 독립이고 같은 분포를 따르며 평균 $\mu$, 분산 $\sigma^2$(유한)을 갖는다고 하자. 합 $S_n = X_1 + \cdots + X_n$을 표준화한

$$Z_n = \frac{S_n - n\mu}{\sigma\sqrt{n}}$$

의 분포는 $n \to \infty$에서 $N(0, 1)$로 수렴한다 — $X_i$의 분포가 무엇이든.

마지막 구절이 전부다. 개별 기여의 분포는 아무래도 좋다. 균등이든, 두 값만 갖는 베르누이든, 한쪽으로 기운 지수든, 많이 더하면 정규가 된다.

그림 1.11-4. 균등 분포 n개의 합을 표준화한 밀도. n = 1은 직사각형, n = 2는 삼각형(균등끼리의 합성곱)이고, n = 4에서 이미 종 모양이며 n = 12면 점선의 표준정규와 겹친다. 시작이 정규와 전혀 닮지 않았는데도 그렇다.직접 작도

직관

물리적으로 — 어떤 양이 작고 독립적인 기여를 많이 더한 것이면 그 양은 정규 분포를 따른다. 저항의 열잡음 전압은 무수한 전자의 충돌이 남긴 요동의 합이고, 문턱전압의 산포는 도펀트 하나하나가 퍼텐셜에 남긴 기여의 합이며, 측정 오차는 서로 다른 원인 여럿의 합이다. 그래서 잡음을 “가우시안”이라 가정하고, 소자 파라미터를 정규로 모형화하며, 측정 오차를 정규로 두는 관행이 정당화된다. 가정이 아니라 정리의 결과다.

왜 그런가를 특성함수로 보면 열 줄이다. $X_i$의 표준화 $Y_i = (X_i - \mu)/\sigma$의 특성함수를 $\phi(\omega)$라 하면 $\omega = 0$ 근처에서 $\phi(\omega) = 1 - \omega^2/2 + o(\omega^2)$이다 (1차 항은 평균이 0이라 없고, 2차 항의 계수가 분산 1이다. $o(\omega^2)$는 $\omega^2$보다 빨리 0으로 가는 나머지라는 뜻이고, 분산이 유한하다는 가정만으로 보장된다). $Z_n = \sum Y_i/\sqrt{n}$의 특성함수는 독립이므로 곱이다.

$$\phi_{Z_n}(\omega) = \left[\phi\!\left(\frac{\omega}{\sqrt n}\right)\right]^n = \left[1 - \frac{\omega^2}{2n} + o\!\left(\frac1n\right)\right]^n \;\longrightarrow\; e^{-\omega^2/2}$$

극한은 표준정규의 특성함수다 — 가우스의 푸리에 변환은 가우스(1.10.4푸리에 변환의 성질). 개별 분포의 정보는 $o(1/n)$ 항에 들어 있었고(3차 모멘트가 유한하면 $O(n^{-3/2})$), 그것이 $n$제곱을 견디지 못하고 사라진다. 정규 분포는 분산 하나만 남기고 나머지 정보를 다 잊은 분포다.

밀도의 언어로 같은 것을 말하면, 독립인 두 변수의 합의 밀도는 두 밀도의 합성곱이다 (1.10.5합성곱과 상관, 7절에서 유도). 그림의 $n = 2$ 삼각형이 직사각형과 직사각형의 합성곱이고, 합성곱을 되풀이할수록 모서리가 깎여 나가 종 모양만 남는다.

무작위 행보와 확산

중심극한정리가 반도체에 가장 직접적으로 닿는 자리다. 입자가 시간 $\tau$마다 $\pm\ell$을 무작위로 움직인다. $n$걸음 뒤의 위치는 걸음 $n$개의 합이고, 한 걸음의 평균은 0, 분산은 $\ell^2$이므로

$$\langle x_n \rangle = 0, \qquad \langle x_n^2 \rangle = n\ell^2 = \frac{\ell^2}{\tau}\,t$$

위치의 분포는 정규이고 그 분산이 시간에 비례한다. $\sigma^2 = 2Dt$로 쓰면 $D = \ell^2/(2\tau)$가 확산 계수다. 그런데 확산 방정식(1.7.6열·확산 방정식)의 점원 해가 정확히 분산 $2Dt$인 가우스다. 확산 방정식은 무작위 행보의 중심극한정리를 미분방정식으로 적은 것이다. 불순물 확산 프로파일이 가우스인 이유, 확산 길이가 $\sqrt{Dt}$로 커지는 이유가 모두 “분산은 더하고 표준편차는 제곱근으로 큰다”는 4절의 규칙 하나다.

대수정규분포

더하는 대신 곱하는 과정도 있다. 결정립이 여러 단계에 걸쳐 어떤 비율씩 자라거나, 산화막의 열화가 단계마다 어떤 배율로 진행되면, 최종값은 인수들의 곱이다. 로그를 취하면 곱이 합이 되고 중심극한정리가 걸린다 — $\ln X$가 정규다. 이런 $X$를 대수정규라 한다. 밀도는 오른쪽으로 긴 꼬리를 갖고, 중앙값이 평균보다 작다. 절연막 파괴 수명(TDDB), 결정립 크기, 접촉 저항의 분포가 이쪽이다. 실무 요령은 하나다 — 로그를 취해 정규성을 확인하고 정규의 도구를 그대로 쓴다.

주의

정리는 합에 대한 것이고 꼬리에 대해서는 말을 아낀다. 세 가지를 조심한다.

① 꼬리는 늦게 수렴한다. $n = 12$의 균등 합이 봉우리에서는 정규와 겹쳐도 $\pm 3\sigma$ 밖은 정규가 예측하는 값과 몇 배씩 다르다(균등 12개의 합은 $\pm\sqrt{3 \cdot 12} = \pm 6\sigma$ 밖으로는 절대 나가지 못한다). 불량률 $10^{-6}$을 논하는 “6시그마” 계산에서 정규 꼬리를 믿는 것은 정리가 보증한 범위 밖이다.

② 독립이 아니면 다르다. 기여들이 상관돼 있으면 분산이 $n\sigma^2$이 아니라 $n^2\sigma^2$ 근처까지 커질 수 있고(7절), 하나의 큰 기여가 지배하면 그 기여의 분포가 그대로 남는다.

③ 합이 아닌 것은 정규가 아니다. 부품 $n$개 중 가장 먼저 고장 나는 시간은 최솟값이지 합이 아니다. 최솟값·최댓값의 극한 분포는 와이불·검벨 같은 극단값 분포이고, 신뢰성에서 와이불이 나오는 이유가 이것이다(14.7·19.14).

파라미터 연계

$n$개를 더하면 표준편차가 $\sqrt{n}$배 커지고, 평균 내면 $\sqrt{n}$분의 1로 줄어든다.

$$\operatorname{Var}\!\left(\frac{S_n}{n}\right) = \frac{\sigma^2}{n}, \qquad \sigma_{\bar X} = \frac{\sigma}{\sqrt n}$$

이 $\sigma/\sqrt{n}$이 8절의 표준오차이고, 통계 전체에서 “$n$을 얼마나 키워야 하는가”라는 질문의 답이 여기서 나온다 — 정밀도를 두 배로 올리려면 표본을 네 배 늘려야 한다. 측정 시간을 네 배 들여 잡음을 반으로 줄이는 평균화, 웨이퍼 9점 측정이 1점보다 3배 정밀한 것, 모두 이 한 줄이다.

다변수 분포와 확률 변수의 변환

확률 변수가 둘 이상이면 새로운 질문이 생긴다 — 둘이 함께 어떻게 움직이는가. 그리고 하나의 확률 변수를 함수에 넣어 새 확률 변수를 만들면 그 분포는 어떻게 되는가. 두 질문의 답이 이 절이고, 뒤의 통계 절들이 전부 이 답 위에 선다.

결합 분포·주변 분포·조건부 분포

두 확률 변수 $X, Y$의 결합 분포는 사건 $\{X \le x,\ Y \le y\}$의 확률로 정의한다. 3절의 $F$를 두 변수로 늘린 것이다.

$$F(x, y) = P(X \le x,\ Y \le y)$$

이산이면 값의 쌍마다 확률 $f(x_i, y_j) = P(X = x_i,\ Y = y_j)$를 주면 되고, 그것을 표로 적는다. 웨이퍼의 다이를 위치 $X$(0 = 중앙, 1 = 가장자리)와 판정 $Y$(0 = 양품, 1 = 불량)로 나눈 예를 보자.

	$Y = 0$ (양품)	$Y = 1$ (불량)	행 합 $f_1(x)$
$X = 0$ (중앙)	0.56	0.04	0.60
$X = 1$ (가장자리)	0.34	0.06	0.40
열 합 $f_2(y)$	0.90	0.10	1

한 변수만 보고 싶으면 다른 변수에 대해 다 더한다. 행 합이 $X$만의 분포, 열 합이 $Y$만의 분포다.

$$f_1(x) = \sum_{y} f(x, y), \qquad f_2(y) = \sum_{x} f(x, y)$$

이것이 주변 분포다 — 결합 분포표의 가장자리(margin)에 행 합·열 합을 적은 데서 온 이름이다. 연속이면 합이 적분이 되고, $f(x, y)$가 결합 밀도다 — 평면 위에 발린 질량 1의 두께.

$$F(x, y) = \int_{-\infty}^{x}\!\!\int_{-\infty}^{y} f(u, v)\,dv\,du, \qquad f_1(x) = \int_{-\infty}^{\infty} f(x, y)\,dy, \qquad f_2(y) = \int_{-\infty}^{\infty} f(x, y)\,dx$$

직사각형 $a_1 < X \le b_1$, $a_2 < Y \le b_2$에 들 확률은 $F$의 네 모서리 값으로 $F(b_1, b_2) - F(a_1, b_2) - F(b_1, a_2) + F(a_1, a_2)$다 — 두 번 뺀 왼쪽 아래 조각을 한 번 되돌려 놓는 포함–배제다.

$X = x$로 고정한 채 $Y$를 보면 1절의 조건부 확률이 분포로 옮겨 온다.

$$f(y \mid x) = \frac{f(x, y)}{f_1(x)}$$

분모가 새 전체의 눈금을 1로 맞추는 정규화라는 것도 1절과 같다. 위 표에서 가장자리 다이의 불량률은 $f(1 \mid 1) = 0.06/0.40 = 15\,\%$이고 중앙은 $0.04/0.60 = 6.7\,\%$다. 전체 불량률 10 %가 위치에 따라 두 배 넘게 갈린다.

두 확률 변수의 독립은 3절 끝에 적은 대로 결합 누적분포가 곱으로 갈라지는 것이고, 그것은 확률함수· 밀도가 곱으로 갈라지는 것과 같다.

$$X,\ Y \text{ 독립} \;\Longleftrightarrow\; F(x, y) = F_1(x)\,F_2(y) \;\Longleftrightarrow\; f(x, y) = f_1(x)\,f_2(y)$$

($F_1, F_2$는 주변 누적분포.) 변수가 $n$개면 $F(x_1, \dots, x_n) = F_1(x_1)\cdots F_n(x_n)$이어야 한다. 조건부 분포로 읽으면 $f(y \mid x) = f_2(y)$ — “$X$를 알아도 $Y$에 대해 아무 정보가 없다”는 1절의 뜻 그대로다. 위 표는 $f(1, 1) = 0.06$인데 $f_1(1)f_2(1) = 0.40 \times 0.10 = 0.04$라 독립이 아니다. 이 판정을 표본 데이터로 하는 것이 11절의 분할표 검정이다.

두 변수의 함수 $g(X, Y)$의 기댓값은 결합 분포로 가중해 더한다.

$$E\bigl[g(X, Y)\bigr] = \sum_x\sum_y g(x, y)\,f(x, y) \qquad\text{또는}\qquad \iint g(x, y)\,f(x, y)\,dx\,dy$$

$g = X + Y$로 두면 이중합이 두 주변 분포의 합으로 갈라져 $E(X + Y) = E(X) + E(Y)$가 독립과 무관하게 나온다. $g = XY$이고 독립이면 $f = f_1f_2$라 이중합이 곱으로 갈라져 $E(XY) = E(X)\,E(Y)$다 — 이 곱셈 규칙은 독립일 때만이다.

이 절은 첨자가 유난히 많고, 특히 $f$에 붙는 첨자가 “몇 번째 변수의 주변 분포”를 뜻해서 헷갈린다. 한 번에 적어 둔다.

기호	읽는 법	무엇을 가리키는가
$f(x, y)$	결합 밀도	두 변수를 함께 본 밀도
$f_1(x),\ f_2(y)$	주변 밀도	$X$만, $Y$만 본 밀도. 아래첨자는 변수의 번호
$f(y \mid x)$	조건부 밀도	$X = x$로 고정했을 때 $Y$의 밀도
$F_1(x),\ F_2(y)$	주변 누적분포	독립의 정의에 쓴다
$\mu_X,\ \mu_Y$		각 변수의 평균. Kreyszig는 $\mu_1, \mu_2$
$\sigma_X^2,\ \sigma_Y^2$		각 변수의 분산. Kreyszig는 $\sigma_1^2, \sigma_2^2$
$\sigma_{XY}$	공분산	$E[(X - \mu_X)(Y - \mu_Y)]$. 첨자 둘. Arfken은 $\operatorname{cov}(X, Y)$
$\rho$	상관계수	$\sigma_{XY}/(\sigma_X\sigma_Y)$. $-1 \le \rho \le 1$
$\mathbf{C}$	공분산 행렬	$C_{ij} = \sigma_{X_i X_j}$. 합 기호 $\Sigma$와 겹치지 않게 $\mathbf{C}$로 쓴다
$J$	야코비안	변수 변환의 부피 비

공분산과 상관계수

두 변수가 함께 움직이는 정도를 재는 양이다.

$$\sigma_{XY} = E\bigl[(X - \mu_X)(Y - \mu_Y)\bigr] = E(XY) - \mu_X\mu_Y$$

$X$가 평균보다 클 때 $Y$도 평균보다 크면 곱이 양수라 공분산이 양이다. 단위가 두 변수의 곱이라 크기를 읽기 어려우므로 각각의 표준편차로 나눈 것이 상관계수다.

$$\rho = \frac{\sigma_{XY}}{\sigma_X\,\sigma_Y}, \qquad -1 \le \rho \le 1$$

범위는 코시–슈바르츠 부등식이다 — $[E(UV)]^2 \le E(U^2)\,E(V^2)$는 내적공간의 부등식 (1.2.5벡터공간과 내적공간)을 기댓값이라는 내적에 적용한 것이고, 그래서 $\rho$는 두 확률 변수 사이의 각도의 코사인이다. $\rho = 0$이면 “직교”다. 양 끝은 직접 확인할 수 있다. 표준화한 편차의 합과 차의 제곱을 평균 내면

$$E\!\left[\left(\frac{X - \mu_X}{\sigma_X} \mp \frac{Y - \mu_Y}{\sigma_Y}\right)^{\!2}\,\right] = 2(1 \mp \rho) \ge 0$$

이므로 $-1 \le \rho \le 1$이고, $\rho = \pm 1$이면 괄호 안의 확률 변수가 평균도 분산도 0 — 즉 거의 확실히 0이라 $Y$가 $X$의 일차함수다. 역도 성립한다. 상관계수 $\pm 1$과 완전한 직선 관계는 같은 말이다.

주의

독립이면 $\rho = 0$이지만, 역은 성립하지 않는다. 독립이면 $E(XY) = E(X)E(Y)$라 공분산이 0이다. 그러나 $X$가 $-1, 0, 1$을 같은 확률로 취하고 $Y = X^2$이면 $E(XY) = E(X^3) = 0$이라 $\rho = 0$인데, $Y$는 $X$로 완전히 결정된다. 상관계수는 직선 관계만 잰다. $\rho = 0$은 “직선으로는 예측할 게 없다”이지 “관계가 없다”가 아니다. 두 변수가 결합해서 정규이면 둘이 같아진다(아래 이변량 정규). 각자의 주변 분포가 정규라는 것만으로는 모자란다 — 결합 분포가 정규가 아니면 무상관이어도 종속일 수 있다.

합의 평균과 분산 — 상관 항

$$E(X + Y) = \mu_X + \mu_Y \qquad(\text{언제나}), \qquad \operatorname{Var}(X + Y) = \sigma_X^2 + \sigma_Y^2 + 2\sigma_{XY}$$

평균은 독립과 무관하게 더해진다 — 기댓값이 선형이므로. 분산은 $\operatorname{Var}(Z) = E(Z^2) - [E(Z)]^2$에 $Z = X + Y$를 넣고 전개해 짝지으면 곧바로 나온다.

$$\begin{aligned} \operatorname{Var}(X + Y) &= E(X^2) + 2E(XY) + E(Y^2) - \bigl[\mu_X^2 + 2\mu_X\mu_Y + \mu_Y^2\bigr] \\ &= \underbrace{E(X^2) - \mu_X^2}_{\sigma_X^2} + \underbrace{E(Y^2) - \mu_Y^2}_{\sigma_Y^2} + 2\,\underbrace{\bigl[E(XY) - \mu_X\mu_Y\bigr]}_{\sigma_{XY}} \end{aligned}$$

교차항이 공분산이고, 독립이면 $E(XY) = \mu_X\mu_Y$라 그것이 사라져 “분산은 더한다”가 된다. 일반 선형 결합으로 넓히면

$$\operatorname{Var}\!\left(\sum_i a_i X_i\right) = \sum_i a_i^2\sigma_i^2 + 2\sum_{i<j} a_i a_j\,\sigma_{ij} = \mathbf{a}^{\mathsf T}\mathbf{C}\,\mathbf{a}$$

마지막이 공분산 행렬 $\mathbf{C}$의 이차 형식이다. 분산은 음이 될 수 없으므로 $\mathbf{C}$는 양의 준정부호이고, 대칭이므로 정규직교 고유벡터를 갖는다(1.3.7이차 형식과 주축 변환). 그 고유벡터 방향은 변수들의 선형 결합 가운데 서로 상관이 없는 것들이고, 고유값이 그 방향의 분산이다. 이 주축 변환이 다변량 공정 데이터의 주성분 분석(19.12)이다 — 1.3의 이차 형식 대각화가 통계에서 얻은 이름이다.

파라미터 연계

교차항의 부호가 실무의 요점이다. 양의 상관이면 합의 분산이 독립일 때보다 크다 — 같은 공정 변동에 함께 끌려가는 두 소자의 오차는 더하면 커진다. 음의 상관이면 작아진다 — 차동 회로가 두 소자의 차를 쓰는 이유는 공통으로 움직이는 부분이 차에서 $\sigma_X^2 + \sigma_Y^2 - 2\sigma_{XY}$로 빠지기 때문이다. 같은 웨이퍼 위의 이웃한 소자는 상관이 크고, 그래서 정합(matching)은 이웃에 두고 같은 방향으로 놓는 것으로 얻는다. 21.11의 변동 해석이 이 식을 소자 배치에 적용한 것이다.

오차 전파

측정값 $X, Y$로부터 어떤 양 $g(X, Y)$를 계산할 때 그 양의 산포는? $g$를 평균 둘레에서 1차까지 전개하면 $g \approx g(\mu_X, \mu_Y) + g_x (X - \mu_X) + g_y (Y - \mu_Y)$이고, 이것은 선형 결합이므로 위 공식이 그대로 적용된다.

$$\sigma_g^2 \approx g_x^2\,\sigma_X^2 + g_y^2\,\sigma_Y^2 + 2 g_x g_y\,\sigma_{XY}$$

여기서 $g_x = \partial g/\partial x$를 평균에서 계산한다. 독립이고 $g$가 곱이나 나눗셈이면 상대 오차로 쓰는 편이 간단하다. $R = V/I$이면

$$\left(\frac{\sigma_R}{R}\right)^2 = \left(\frac{\sigma_V}{V}\right)^2 + \left(\frac{\sigma_I}{I}\right)^2$$

상대 오차는 제곱으로 더해지므로 큰 쪽이 지배한다 — 전압 오차 1 %, 전류 오차 0.1 %면 저항 오차는 1.005 %다. 작은 쪽을 개선해 봐야 소용이 없고, 큰 쪽을 잡아야 한다. 소자 파라미터 추출에서 어느 측정을 정밀하게 해야 하는가를 정하는 규칙이 이 식이다. $g$가 일차식이면 전개가 정확하다 — $g = 4 - 2X + 3Y$(독립)이면 $\sigma_g^2 = 4\sigma_X^2 + 9\sigma_Y^2$이고, 상수 4는 분산에 아무 기여를 하지 않는다.

실제 측정에서는 $X$, $Y$ 자리에 여러 번 잰 평균이 들어가는 일이 많다. 그때 전파할 것은 한 번 잰 값의 $\sigma$가 아니라 평균의 표준편차, 즉 8절의 표준오차 $\sigma/\sqrt n$이다. 전압을 10번, 전류를 10번 재어 평균으로 저항을 계산했으면, 위 식의 $\sigma_V$, $\sigma_I$ 자리에 각 평균의 표준오차를 넣는다(Boas는 이것을 $\sigma_m$으로 적는다).

1차 전개에는 한계가 둘 있다. 하나는 극값 근처다. $g$의 기울기가 0인 곳에서는 1차 항이 사라져 식이 $\sigma_g = 0$이라는 엉터리 답을 낸다. 다른 하나는 평균의 이동이다. 2차까지 전개해 기댓값을 취하면 1차 항은 평균이 0이라 사라지고 2차 항이 남는다(한 변수의 경우).

$$E\bigl[g(X)\bigr] \approx g(\mu) + \tfrac12\,g''(\mu)\,\sigma^2$$

$g$가 아래로 볼록($g'' > 0$)이면 $g$의 평균이 평균의 $g$보다 크다. $1/X$의 평균은 $1/\mu$보다 $\sigma^2/\mu^3$만큼 크고, $e^X$의 평균은 $e^{\mu}$보다 크다 — $X$가 정규이면 정확히 $e^{\mu + \sigma^2/2}$로, 6절 대수정규의 평균이 중앙값 $e^{\mu}$보다 큰 이유가 이것이다. 반대로 $\sqrt{\cdot}$나 $\ln$처럼 위로 볼록하면 평균이 아래로 끌린다 — 8절에서 $S$가 $\sigma$를 작게 추정하는 이유, 12절에서 $\ln\tau$로 변환한 적합이 치우치는 이유다. 선형화가 나쁠 만큼 산포가 크거나 $g$가 심하게 휘면 아래 변수 변환으로 정확한 분포를 구하거나 몬테카를로로 뽑아 본다.

확률 변수의 변환 — 한 변수

$X$의 밀도 $f_X$를 알 때 $Y = g(X)$의 밀도는? $g$가 단조 증가면 사건 $\{Y \le y\}$와 $\{X \le g^{-1}(y)\}$가 같으므로 $F_Y(y) = F_X(g^{-1}(y))$이고, 미분하면

$$f_Y(y) = f_X\bigl(g^{-1}(y)\bigr)\left|\frac{dx}{dy}\right|$$

절댓값을 붙이면 단조 감소에도 같은 식이다. $g$가 단조가 아니면 단조인 조각으로 나눠 각 조각의 기여를 더한다.

그림 1.11-5. 변수 변환은 확률(넓이)을 보존하고 밀도를 다시 배분한다. 균등 분포 X를 Y = X²으로 보내면 x 근처의 폭 dx가 y 근처의 폭 dy = 2x dx로 늘어나므로 밀도는 그만큼 낮아지고, x가 작은 곳은 폭이 줄어 밀도가 1/(2√y)로 치솟는다. 강조한 두 띠의 넓이가 같다.직접 작도

직관

식의 뜻은 넓이 보존이다. $x$ 근처 폭 $dx$의 확률 $f_X(x)\,dx$는 $y$ 근처 폭 $dy$로 고스란히 옮겨 가야 하므로 $f_Y(y)\,dy = f_X(x)\,dx$. 폭이 늘어난 곳은 밀도가 얇아지고 줄어든 곳은 두꺼워진다. $|dx/dy|$가 그 폭의 비다. 3절의 위치·척도 공식 $f_Y(y) = f(\,(y - b)/a\,)/a$가 $g(x) = ax + b$인 특수한 경우다.

물리에서 이 식은 분포를 다른 변수로 갈아 끼울 때 늘 나온다. 속도의 분포에서 에너지의 분포로 ($E = mv^2/2$, $dE = mv\,dv$), 파수의 상태밀도에서 에너지의 상태밀도로($g(E) = g(k)\,dk/dE$). 반도체의 상태밀도 $g(E) \propto \sqrt{E}$가 3차원 $k$ 공간의 균일한 상태를 $E = \hbar^2 k^2/2m$으로 옮긴 결과인데, 그것이 바로 이 식의 3차원판이다.

단조가 아닌 경우를 둘 해 둔다. 둘 다 뒤에서 다시 쓴다.

① 표준정규의 제곱. $Z \sim N(0, 1)$일 때 $Y = Z^2$. 한 $y > 0$에 $z = +\sqrt y$와 $-\sqrt y$ 두 조각이 대응하고, 각 조각에서 $\lvert dz/dy\rvert = 1/(2\sqrt y)$이므로 두 기여를 더한다.

$$f_Y(y) = \frac{\varphi(\sqrt y) + \varphi(-\sqrt y)}{2\sqrt y} = \frac{1}{\sqrt{2\pi}}\,y^{-1/2}e^{-y/2}, \qquad y > 0$$

$y \to 0$에서 발산하는데도 넓이는 1이다 — 정규 변수는 0 근처에 몰려 있고 제곱이 그 근처를 더 좁은 구간으로 짓누르기 때문이다. 이것이 9절 $\chi^2$ 분포의 자유도 1짜리다.

② 고전 진동자는 어디에 있는가. 진폭 $a$로 진동하는 입자 $x = a\cos\theta$를 아무 순간에나 찍으면 위상 $\theta$는 $[0, 2\pi)$에서 균등이다. 한 $x$에 위상 두 개($\pm\theta$)가 대응하고 $\lvert dx/d\theta\rvert = a\lvert\sin\theta\rvert = \sqrt{a^2 - x^2}$이므로

$$f(x) = 2 \cdot \frac{1}{2\pi}\cdot\frac{1}{\sqrt{a^2 - x^2}} = \frac{1}{\pi\sqrt{a^2 - x^2}}, \qquad \lvert x\rvert < a$$

같은 결과를 물리로 읽으면 입자를 찾을 확률은 그 자리에 머문 시간에 비례하고, 머문 시간은 속력에 반비례한다 — $f(x)\,dx \propto dt = dx/\lvert v(x)\rvert$. 입자는 돌아서는 끝점($x = \pm a$)에서 가장 느리므로 거기서 가장 자주 발견되고, 밀도가 끝점에서 무한대로 솟는데도 넓이는 1이다. 평균 0, 표준편차 $a/\sqrt2$. 양자역학의 바닥 상태는 정반대로 가운데가 가장 높은 가우스이고, 들뜬 상태로 올라갈수록 $\lvert\psi\rvert^2$의 평균적인 모양이 이 고전 분포에 다가간다 — 대응 원리의 한 얼굴이다.

균등 분포에서 임의의 분포로 — 몬테카를로의 첫 줄

변환 공식을 거꾸로 쓰면 원하는 분포를 만들 수 있다. $U$가 $[0, 1)$의 균등 분포이고 $F$가 목표 누적분포함수이면

$$X = F^{-1}(U) \quad\text{는 누적분포함수 } F \text{를 갖는다}$$

$P(X \le x) = P(F^{-1}(U) \le x) = P(U \le F(x)) = F(x)$이기 때문이다. 지수 분포면 $F^{-1}(u) = -\ln(1 - u)/\lambda$이고, $1 - U$도 균등이므로 $X = -\ln U/\lambda$로 충분하다. 몬테카를로 수송 시뮬레이션에서 전자가 다음 산란까지 자유롭게 나는 시간을 뽑는 줄이 정확히 이것이다 — 산란 비율 $\lambda$의 푸아송 과정에서 간격이 지수이므로.

정규 분포는 $\Phi^{-1}$이 닫힌 꼴이 아니라 이 방법이 불편하다. 대신 두 변수를 한꺼번에 만든다. 독립 균등 $U_1, U_2$에 대해

$$Z_1 = \sqrt{-2\ln U_1}\,\cos(2\pi U_2), \qquad Z_2 = \sqrt{-2\ln U_1}\,\sin(2\pi U_2)$$

는 독립인 표준정규 둘이다(박스–뮬러). 이유는 다변수 변환에서 나온다.

다변수 변환 — 야코비안

변수가 여럿이면 $|dx/dy|$의 자리에 야코비안이 들어간다. $(X_1, X_2) \mapsto (Y_1, Y_2)$가 가역이면

$$f_Y(y_1, y_2) = f_X(x_1, x_2)\,\bigl|J\bigr|, \qquad J = \det\frac{\partial(x_1, x_2)}{\partial(y_1, y_2)}$$

이중적분의 변수 변환(1.1.5이중·삼중 적분)과 같은 식이다 — 넓이 보존이 부피 보존이 됐을 뿐이다. 박스–뮬러를 확인하자. 독립 표준정규 $(Z_1, Z_2)$의 결합 밀도는 $e^{-(z_1^2 + z_2^2)/2}/(2\pi)$이고, 극좌표로 가면 $r\,dr\,d\theta$의 야코비안이 붙어 $\theta$는 $[0, 2\pi)$에서 균등, $r^2/2$는 지수 분포다. 지수는 $-\ln U_1$로, 각도는 $2\pi U_2$로 만들면 된다. 가우스 적분을 극좌표로 푸는 그 요령이 난수 생성기로 다시 나온 것이다.

합의 분포 — 합성곱

두 변수의 함수 $Z = g(X, Y)$의 분포는 원리적으로 한 줄이다. 이산이면 $g(x, y) = z$가 되는 쌍의 확률을 모두 더하고, 연속이면 $g(x, y) \le z$인 영역에서 결합 밀도를 적분해 $F_Z(z)$를 얻는다. 가장 자주 쓰는 $S = X + Y$를 야코비안으로 해 보자. $(x, y) \mapsto (x, s = x + y)$로 바꾸면 $J = 1$이므로 $(X, S)$의 결합 밀도는 $f(x, s - x)$이고, $x$를 적분해 없애면

$$f_S(s) = \int_{-\infty}^{\infty} f(x,\ s - x)\,dx$$

— 이것은 종속이어도 성립한다. 독립이면 결합 밀도가 곱으로 갈라져

$$f_S(s) = \int_{-\infty}^{\infty} f_X(x)\,f_Y(s - x)\,dx = (f_X * f_Y)(s)$$

$S = s$가 되려면 $X = x$이고 $Y = s - x$여야 하며, 독립이라 곱하고, 모든 $x$에 대해 더한 것이다. 이것이 합성곱이고(1.10.5합성곱과 상관), 특성함수가 곱이 되는 이유가 합성곱 정리다. 6절의 중심극한정리 그림이 이 적분을 되풀이한 것이다. 정수 값의 변수면 적분이 합이 된다 — $P(S = s) = \sum_x f_X(x)\,f_Y(s - x)$.

두 가지 재생성이 요긴하다. 합성곱을 직접 계산할 필요 없이 4절의 모멘트 생성함수를 곱하면 된다.

$$\begin{aligned} &\text{정규:} && e^{\mu_1 t + \sigma_1^2 t^2/2}\,e^{\mu_2 t + \sigma_2^2 t^2/2} = e^{(\mu_1 + \mu_2)t + (\sigma_1^2 + \sigma_2^2)t^2/2} \\[2pt] &\text{푸아송:} && e^{\mu_1(e^t - 1)}\,e^{\mu_2(e^t - 1)} = e^{(\mu_1 + \mu_2)(e^t - 1)} \end{aligned}$$

우변이 다시 같은 꼴이므로(모멘트 생성함수가 분포를 결정한다) 정규 + 정규 = $N(\mu_1 + \mu_2,\ \sigma_1^2 + \sigma_2^2)$, 푸아송 + 푸아송 = 평균이 더해진 푸아송이다. 그래서 정규 잡음이 여러 단을 거쳐도 정규이고, 결함 원인이 여럿이어도 총 결함 수는 푸아송이다. 이항은 $p$가 같을 때만 $(q + pe^t)^{n_1}(q + pe^t)^{n_2}$로 재생적이다.

곱과 비의 분포

합 말고도 곱과 비가 자주 나온다 — 저항 $R = V/I$, 전력 $P = VI$, 그리고 9절의 $t$ 통계량. 같은 방법으로 $(x, y) \mapsto (x, z = xy)$나 $(y, z = x/y)$로 바꾸면 야코비안이 각각 $1/\lvert x\rvert$, $\lvert y\rvert$이고, 독립이면

$$Z = XY:\;\; f_Z(z) = \int f_X(x)\,f_Y\!\left(\frac{z}{x}\right)\frac{dx}{\lvert x\rvert}, \qquad Z = \frac{X}{Y}:\;\; f_Z(z) = \int f_X(yz)\,f_Y(y)\,\lvert y\rvert\,dy$$

비의 분포는 분모가 0 근처에 갈 수 있으면 꼬리가 두꺼워진다. 두 독립 표준정규의 비는 코시 분포 $1/[\pi(1 + z^2)]$이고, 4절에서 말한 “분산이 발산하는” 분포가 바로 이것이다. 전류 측정값이 0에 가까운 영역에서 $V/I$로 저항을 계산하면 1차 오차 전파가 말해 주는 것보다 훨씬 거친 값이 나오는 이유다. 9절의 $t$ 통계량은 분모를 정규 대신 $\chi^2$의 제곱근으로 바꾼 비이고, 그 밀도가 이 식에서 나온다.

이변량 정규분포

두 변수가 함께 정규인 가장 중요한 경우다. 밀도는

$$f(x, y) = \frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1 - \rho^2}} \exp\!\left[-\frac{1}{2(1 - \rho^2)}\left(\frac{u^2}{\sigma_X^2} - \frac{2\rho\,uv}{\sigma_X\sigma_Y} + \frac{v^2}{\sigma_Y^2}\right)\right]$$

여기서 $u = x - \mu_X$, $v = y - \mu_Y$다. 지수 안이 $(u, v)$의 이차 형식이므로 등고선은 타원이고, 타원의 주축이 공분산 행렬의 고유벡터, 반지름이 고유값의 제곱근이다(1.3의 주축 변환 그대로). $\rho = 0$이면 타원이 축에 나란하고 밀도가 $f_1 f_2$로 갈라져 독립이 된다 — 결합 정규이면 무상관이 곧 독립이라는 앞의 말이 이것이다. $\rho \to \pm 1$이면 타원이 직선으로 찌그러진다.

조건부 분포도 정규이고, 그 평균이 $x$의 일차함수다.

$$E(Y \mid X = x) = \mu_Y + \rho\,\frac{\sigma_Y}{\sigma_X}\,(x - \mu_X), \qquad \operatorname{Var}(Y \mid X = x) = \sigma_Y^2(1 - \rho^2)$$

이 직선이 12절 회귀 직선의 모집단판이고, 조건부 분산의 $(1 - \rho^2)$이 “$X$를 알면 $Y$의 분산이 얼마나 줄어드는가”다 — $\rho^2$이 설명된 분산의 비율이라는 12절의 해석이 여기서 나온다.

거꾸로, 상관된 정규 쌍은 독립인 표준정규 둘로 만들 수 있다. $Z_1, Z_2$가 독립 $N(0, 1)$이면

$$X = \mu_X + \sigma_X Z_1, \qquad Y = \mu_Y + \sigma_Y\bigl(\rho\,Z_1 + \sqrt{1 - \rho^2}\,Z_2\bigr)$$

가 상관계수 $\rho$인 이변량 정규다. $Y$의 괄호 안은 분산이 $\rho^2 + (1 - \rho^2) = 1$이고, $X$와 공유하는 몫이 $\rho Z_1$뿐이라 공분산이 $\rho\sigma_X\sigma_Y$가 된다. 이웃한 두 트랜지스터의 문턱전압처럼 함께 흔들리는 파라미터를 몬테카를로로 뽑을 때 쓰는 줄이 이것이다 — 공통 성분 $Z_1$이 웨이퍼 전체의 공정 변동, 고유 성분 $Z_2$가 소자 하나의 랜덤 변동이다. 변수가 여럿이면 공분산 행렬을 $\mathbf{C} = \mathbf{L}\mathbf{L}^{\mathsf T}$로 콜레스키 분해해(1.12.5가우스 소거와 LU 분해) $\mathbf{X} = \boldsymbol{\mu} + \mathbf{L}\mathbf{Z}$로 쓰는 것이 같은 일이다.

무작위 표본과 점추정

여기서 방향이 뒤집힌다. 지금까지는 분포를 알고 데이터를 예측했다. 이제부터는 데이터를 보고 분포를 되짚는다. 분포에 미지의 파라미터 $\theta$가 있고(정규의 $\mu$·$\sigma$, 푸아송의 $\mu$, 이항의 $p$), 유한한 관측으로 $\theta$를 알아내려 한다. 완전히 알아낼 수는 없다 — 관측이 무작위이므로 답도 무작위다. 그래서 통계의 모든 답은 “값”이 아니라 “값과 그 불확실성”이다.

모집단·표본·통계량

관심 있는 대상 전체가 모집단이고, 그 분포가 $f(x; \theta)$다. 웨이퍼 한 장의 소자 전부, 어떤 공정으로 만들 모든 다이, 어떤 저항을 무한히 되풀이 잰 값 전부. 모집단에서 뽑은 $n$개의 관측이 표본이고, 서로 독립이며 같은 분포를 따르면 무작위 표본이다.

$$X_1, X_2, \dots, X_n \;\overset{\text{iid}}{\sim}\; f(x; \theta)$$

독립이라는 조건은 공짜가 아니다. 1절의 나사 예처럼 작은 모집단에서 되돌려 놓지 않고 뽑으면 앞의 관측이 뒤의 확률을 바꾼다. 무작위 표본의 가정이 성립하는 것은 복원 추출이거나, 모집단 크기 $N$이 표본 크기 $n$보다 훨씬 커서 몇 개를 빼도 분포가 거의 변하지 않을 때다. 물리 측정처럼 “같은 저항을 되풀이해 잰 값”은 모집단이 무한하다고 보는 경우다.

표본의 함수 $T(X_1, \dots, X_n)$를 통계량이라 한다. 표본평균 $\bar X$, 표본분산 $S^2$, 최댓값, 중앙값이 모두 통계량이다. 파라미터를 겨냥한 통계량을 추정량, 그것이 실제 데이터에서 취한 값을 추정값이라 한다.

주의

1절 기호표의 ①과 ④가 여기서 실제로 작동한다. $\bar X$는 확률 변수다 — 표본을 뽑기 전에는 어떤 값이 나올지 모르며, 다시 뽑으면 다른 값이 나온다. $\bar x$는 수다 — 이번에 뽑은 표본으로 계산한 결과. 추정량은 $\bar X$, 추정값은 $\bar x$. 그리고 $\mu$는 둘 다 아닌 참값이다. 추정량이 확률 변수이므로 추정량 자체의 분포를 논할 수 있고, 그것이 이 절과 다음 절의 내용이다.

표본평균의 분포

$\bar X = (X_1 + \cdots + X_n)/n$의 평균과 분산은 7절의 합 공식에서 바로 나온다.

$$E(\bar X) = \mu, \qquad \operatorname{Var}(\bar X) = \frac{\sigma^2}{n}, \qquad \sigma_{\bar X} = \frac{\sigma}{\sqrt n}$$

$\sigma_{\bar X}$를 표준오차라 한다. 표본평균은 참값 둘레에서 $\sigma/\sqrt n$의 폭으로 흔들린다. 모집단이 정규면 $\bar X$도 정확히 정규이고(7절의 재생성), 정규가 아니어도 $n$이 크면 중심극한정리로 정규다. 6절 끝의 파라미터 연계가 그대로다 — 정밀도 두 배에 표본 네 배.

실제로는 $\sigma$를 모르므로 데이터의 $s$로 표준오차를 추정한다.

$$\hat\sigma_{\bar X} = \frac{s}{\sqrt n} = \sqrt{\frac{\sum_j (x_j - \bar x)^2}{n(n - 1)}}$$

물리 실험 보고서의 "$\bar x \pm \cdots$"에서 $\pm$ 뒤에 오는 것이 대개 이 값이다(Boas는 이것을 평균의 표준편차 $\sigma_m$이라 부르고, 한 번 잰 값의 $\sigma$와 구분한다). 7절의 오차 전파에 넣을 것도 이것이다.

박막 두께를 한 점에서 재면 장비 반복성이 $\sigma = 0.6\,\mathrm{nm}$인데, 아홉 점을 재어 평균하면 $0.2\,\mathrm{nm}$다. 다만 이것은 아홉 번의 오차가 독립일 때다. 같은 점을 연달아 재면 드리프트가 공통으로 들어가 7절의 교차항이 살아나고, $1/\sqrt n$은 성립하지 않는다.

모집단이 유한하고 비복원으로 뽑았으면 5절 초기하 분포와 같은 보정이 붙는다.

$$\operatorname{Var}(\bar X) = \frac{\sigma^2}{n}\cdot\frac{N - n}{N - 1}$$

로트 1000개에서 100개를 뽑으면 보정이 0.90이라 표준오차가 5 % 줄고, 전수 검사($n = N$)면 0이 된다 — 모집단을 다 봤으니 평균에 불확실성이 없다. 표본이 모집단의 몇 % 안쪽이면 보정을 잊어도 된다.

표본분산과 n − 1

$$S^2 = \frac{1}{n - 1}\sum_{j=1}^{n}(X_j - \bar X)^2$$

분모가 $n - 1$인 이유를 이제 증명할 수 있다. 편차를 $\mu$에서 재는 것과 $\bar X$에서 재는 것을 이어 주는 항등식이 있다.

$$\sum_j (X_j - \bar X)^2 = \sum_j (X_j - \mu)^2 - n(\bar X - \mu)^2$$

($X_j - \mu = (X_j - \bar X) + (\bar X - \mu)$로 쪼개 제곱하면 교차항이 $\sum(X_j - \bar X) = 0$ 때문에 사라진다.) 양변의 기댓값을 취하면 우변 첫 항은 $n\sigma^2$, 둘째 항은 $n \cdot \sigma^2/n = \sigma^2$ 이므로

$$E\!\left[\sum_j (X_j - \bar X)^2\right] = (n - 1)\sigma^2 \qquad\Longrightarrow\qquad E(S^2) = \sigma^2$$

$n$으로 나누면 평균적으로 $\sigma^2$보다 작게 나온다. $\bar X$는 데이터에 가장 가까운 중심이라 $\mu$에서 잰 것보다 편차의 제곱합이 늘 작기 때문이고, 그 부족분이 정확히 $\sigma^2$ 하나다.

직관

자유도로 읽는 편이 오래 남는다. 편차 $X_j - \bar X$는 $n$개지만 합이 0이라는 제약 하나에 묶여 있어 자유롭게 움직이는 것은 $n - 1$개다. 제약 하나가 자유도 하나를 먹는다. $n = 1$이면 자유도 0이고 $S^2$이 정의되지 않는다 — 측정 하나로는 산포를 말할 수 없다는 당연한 사실이 식에서 $0/0$으로 나타난다. 이 셈법은 9절의 $t$ 분포($\nu = n - 1$), 11절의 $\chi^2$ 검정($\nu = K - 1 - r$), 12절의 회귀($\nu = n - 2$)에서 되풀이된다 — 데이터에서 추정한 양 하나마다 자유도 하나를 뺀다.

$S^2$이 $\sigma^2$을 불편 추정하지만 $S$는 $\sigma$를 불편 추정하지 않는다(제곱근이 선형이 아니므로). 그리고 $S^2$ 자체의 흔들림이 크다. 정규 모집단에서

$$\operatorname{Var}(S^2) = \frac{2\sigma^4}{n - 1} \qquad\Longrightarrow\qquad \frac{\sigma_{S}}{\sigma} \approx \frac{1}{\sqrt{2(n - 1)}}$$

$n = 25$면 표준편차의 추정값은 14 % 흔들린다. 평균을 재는 것보다 산포를 재는 것이 훨씬 어렵다 — 평균의 상대 오차가 $\sigma/(\mu\sqrt n)$인 데 비해 산포의 상대 오차는 $1/\sqrt{2n}$으로 $\sigma/\mu$의 이득이 없다. 소자 변동을 $\sigma_{V_T}$로 규정하는 21.11에서 표본 수가 수백 단위로 올라가는 이유다.

좋은 추정량의 조건

같은 파라미터를 겨냥한 추정량이 여럿일 수 있다. 정규의 $\mu$는 표본평균으로도 표본 중앙값으로도 추정할 수 있다. 무엇이 더 나은가를 판정하는 기준이 셋이다.

• 불편성. $E(\hat\theta) = \theta$. 평균적으로 맞춘다. $\bar X$와 $S^2$이 그렇다.
• 일치성. $n \to \infty$에서 $\hat\theta \to \theta$. 체비셰프 부등식으로 확인한다 — 불편이고 분산이 0으로 가면 일치한다. $\bar X$의 분산이 $\sigma^2/n \to 0$이므로 표본평균은 일치 추정량이다. 이것이 큰 수의 법칙이다.
• 효율성. 불편 추정량끼리는 분산이 작은 쪽이 좋다. 정규 모집단에서 표본 중앙값의 분산은 $\pi\sigma^2/(2n)$으로 표본평균의 1.57배다 — 중앙값으로 같은 정밀도를 얻으려면 표본이 57 % 더 필요하다. 대신 중앙값은 이상값 하나에 끌려가지 않는다. 효율과 강건성이 맞바꿈이다.

적률법 — 모멘트를 맞춘다

추정량을 만드는 가장 오래된 방법은 표본의 모멘트를 분포의 모멘트와 같다고 놓는 것이다. 표본의 $k$차 모멘트 $m_k = \frac1n\sum_j x_j^k$를 4절의 $E(X^k)$와 같게 놓고 파라미터에 대해 푼다. 파라미터가 하나면 식 하나($m_1 = \mu$), 둘이면 식 둘이다. 평균을 $\bar x$로, 분산을 표본의 2차 중심 모멘트로 추정하는 것이 가장 흔한 적률 추정이다. 지수 분포면 $m_1 = 1/\lambda$에서 $\hat\lambda = 1/\bar x$, 균등 $[0, \theta]$면 $m_1 = \theta/2$에서 $\hat\theta = 2\bar x$. 계산이 쉬워 첫 어림이나 아래 최대가능도의 수치 최적화 시작점으로 쓴다. 다만 균등의 $2\bar x$가 관측된 최댓값보다 작게 나올 수도 있듯이 — 그러면 데이터와 모순이다 — 효율이 늘 좋지는 않다.

최대가능도 추정

추정량을 만드는 일반적 방법이다. 관측 $x_1, \dots, x_n$이 주어졌을 때, 파라미터가 $\theta$라면 이 관측이 나올 확률(밀도)은 독립이므로 곱이다.

$$L(\theta) = \prod_{j=1}^{n} f(x_j; \theta)$$

이것을 가능도라 한다(Kreyszig는 가능도를 $l$, 그 로그를 $\ln l$로 쓴다 — 아래의 $\ell$은 로그 가능도이니 모양이 비슷해도 뜻이 다르다). 관측은 고정하고 $\theta$를 움직여 보는 함수다. 가능도를 가장 크게 만드는 $\theta$ — “이 데이터가 나올 법한 정도가 가장 높은 파라미터” — 가 최대가능도 추정량이다. 곱은 다루기 어려우므로 로그를 취해 합으로 만들고 미분한다.

$$\ell(\theta) = \ln L(\theta) = \sum_j \ln f(x_j; \theta), \qquad \frac{\partial \ell}{\partial \theta} = 0$$

직관

가능도는 확률의 방향을 뒤집어 읽은 것이다. $f(x; \theta)$를 $x$의 함수로 보면 확률이고, $\theta$의 함수로 보면 가능도다. 같은 식이지만 무엇을 고정하느냐가 다르다. 1절의 베이즈 정리가 $P(\text{관측} \mid \text{원인})$을 $P(\text{원인} \mid \text{관측})$으로 뒤집었던 것과 같은 동작인데, 사전 확률을 두지 않고 “관측을 가장 잘 설명하는 원인”만 고르는 것이 최대가능도다.

로그를 취하는 이유는 2절의 스털링과 같다. 곱은 미분하기 어렵고 수치적으로는 언더플로가 나지만(작은 확률 백 개의 곱은 $10^{-100}$ 아래로 간다), 합은 둘 다 문제가 없다. 로그는 단조 증가라 최대점의 위치를 바꾸지 않는다.

정규 분포. $\ell = -\tfrac{n}{2}\ln(2\pi\sigma^2) - \tfrac{1}{2\sigma^2}\sum(x_j - \mu)^2$. $\mu$로 미분해 0을 놓으면 $\sum(x_j - \mu) = 0$, 즉 $\hat\mu = \bar x$. $\sigma^2$으로 미분하면

$$\tilde\sigma^2 = \frac{1}{n}\sum_j (x_j - \bar x)^2$$

분모가 **$n$**이다(Kreyszig를 따라 최대가능도 추정은 물결 $\tilde{\ }$로, $s^2$ 같은 불편 추정은 모자 $\hat{\ }$로 구분한다). 최대가능도는 편향된 답을 준다 — $(n-1)/n$배만큼 작다. $n$이 크면 무시되지만, 소프트웨어가 어느 쪽을 쓰는지 확인하지 않고 산포를 비교하면 그만큼 어긋난다. 4절에서 본 Boas의 $s^2$(분모 $n$)이 바로 이 $\tilde\sigma^2$이다.

푸아송. $\ell = \sum_j (x_j \ln\mu - \mu - \ln x_j!)$. 미분하면 $\sum x_j/\mu - n = 0$, $\hat\mu = \bar x$. 다이당 평균 결함 수는 관측한 결함 수의 평균이다.

이항. $n$번 중 $x$번 성공했으면 $\ell = x\ln p + (n - x)\ln(1 - p) + \text{const}$, $\hat p = x/n$. 수율의 추정값은 양품 비율이다.

지수. 고장 시간 $t_1, \dots, t_n$에서 $\ell = n\ln\lambda - \lambda\sum t_j$, $\hat\lambda = 1/\bar t$ — 고장률의 추정은 평균 수명의 역수다.

정밀도가 다른 측정의 결합. 같은 양 $\theta$를 장비 여럿으로 재어 $x_j$를 얻었고, 장비마다 오차의 표준편차 $\sigma_j$가 다르다고 하자. $x_j \sim N(\theta, \sigma_j^2)$이므로 $\ell = -\sum_j (x_j - \theta)^2/(2\sigma_j^2) + \text{const}$이고, $\theta$로 미분해 0을 놓으면

$$\hat\theta = \frac{\sum_j x_j/\sigma_j^2}{\sum_j 1/\sigma_j^2}, \qquad \sigma_{\hat\theta} = \left(\sum_j \frac{1}{\sigma_j^2}\right)^{-1/2}$$

가중 평균이고 가중은 분산의 역수 $w_j = 1/\sigma_j^2$이다. 표준편차는 7절의 오차 전파를 $\hat\theta$에 적용하면 나온다. 두께를 한 장비로 $50.2 \pm 0.3\,\mathrm{nm}$, 다른 장비로 $50.8 \pm 0.6\,\mathrm{nm}$ 얻었으면 가중이 $11.1 : 2.8$이라 결합값은 $50.32 \pm 0.27\,\mathrm{nm}$다. 정밀한 쪽으로 끌려가고, 결합한 오차는 어느 하나보다 작다. 정밀도가 두 배 나쁜 측정은 무게가 4분의 1이다 — 거친 측정 네 번이 정밀한 측정 한 번과 같다. $\sigma_j$가 모두 같으면 보통 평균으로 돌아가고, 11절의 가중 최소제곱은 이 가중을 곡선 적합으로 넓힌 것이다.

다섯 다 “당연한” 답이 나왔는데, 최대가능도의 값어치는 당연하지 않은 경우에 있다. 파라미터가 여럿 얽힌 분포(와이불의 두 파라미터), 관측이 중간에 끊긴 데이터(시험을 끝낼 때까지 고장 나지 않은 소자 — 중도절단), 비선형 모형의 파라미터 추출. 그런 경우 $\ell$의 최대점을 닫힌 꼴로 못 구하고 1.12의 최적화로 넘긴다. 그리고 $\partial\ell/\partial\theta = 0$은 최대점이 파라미터 범위의 안쪽에 있을 때만 쓸 수 있다. 균등 $[0, \theta]$에서 가능도는 $\theta \ge \max_j x_j$일 때 $\theta^{-n}$이고 그 아래에서는 0이라, 미분이 0이 되는 곳 없이 경계 $\hat\theta = \max_j x_j$에서 최대다. 최대가능도 추정량은 위의 $\tilde\sigma^2$처럼 유한한 $n$에서는 편향될 수 있지만, $n \to \infty$에서 일치하고 정규에 가까워지며 점근적으로 불편이 되고 그 분산이 불편 추정량이 도달할 수 있는 하한(크라메르–라오 하한)에 닿는다 — 표본이 크면 이보다 나은 추정량이 없다. 쓸 수 있으면 이것을 쓴다.

신뢰구간

점추정은 값 하나를 준다. 그 값이 얼마나 믿을 만한지는 말하지 않는다. $\bar x = 50.2\,\mathrm{nm}$라는 답은 $\pm 0.1$인지 $\pm 5$인지에 따라 전혀 다른 정보다. 신뢰구간은 추정값에 폭을 붙인다.

정의와 해석

표본에서 계산한 두 통계량 $\Theta_1 \le \Theta_2$가

$$P(\Theta_1 \le \theta \le \Theta_2) = 1 - \alpha$$

를 만족하면 구간 $[\Theta_1, \Theta_2]$를 신뢰수준 $1 - \alpha$의 신뢰구간이라 한다. 관례적으로 $\alpha = 0.05$(95 %)를 쓰고, 더 조심스러우면 0.01(99 %)이다.

그림 1.11-6. 같은 모집단에서 표본 스무 개를 뽑아 각각 95 % 신뢰구간을 만든 결과. 참값 μ는 한 자리에 고정돼 있고, 움직이는 것은 구간이다. 스무 개 중 하나가 μ를 놓쳤다 — 5 %의 기대와 같다. 어느 구간이 놓칠지는 뽑기 전에 알 수 없다.직접 작도

주의

위 식에서 무작위인 것은 $\Theta_1, \Theta_2$이지 $\theta$가 아니다. 참값은 우리가 모를 뿐 고정된 수다. 그래서 “$\mu$가 이 구간 안에 있을 확률이 95 %“는 엄밀히는 틀린 말이다 — $\mu$는 안에 있거나 밖에 있거나 둘 중 하나이고 확률은 0 아니면 1이다. 맞는 말은 이 절차로 구간을 만들면 백 번 중 95번은 참값을 덮는다이다. 그림의 스무 구간이 그 뜻이다. 실무에서는 앞의 말을 그냥 쓰지만, 어느 쪽이 무작위인지는 알고 써야 10절의 $p$값을 잘못 읽지 않는다.

분위수 표기

앞으로 “꼬리 넓이가 $\alpha$가 되는 점”을 자주 쓴다. 표기를 정해 둔다.

기호	정의	뜻
$z_\alpha$	$\Phi(z_\alpha) = 1 - \alpha$	표준정규의 위쪽 꼬리 넓이가 $\alpha$인 점. $z_{0.025} = 1.96$
$t_{\nu,\alpha}$	같은 뜻, $t$ 분포	자유도 $\nu$
$\chi^2_{\nu,\alpha}$	같은 뜻, $\chi^2$ 분포	자유도 $\nu$. 비대칭이라 양쪽을 따로 찾는다

양쪽 구간에는 $\alpha/2$를 각 꼬리에 나눠 준다 — 95 % 구간이면 $z_{0.025}$. Kreyszig는 신뢰수준을 $\gamma$로 쓰고 임계값 $c$를 아래쪽 누적확률로 정한다 — 양쪽 구간이면 $F(c) = \tfrac12(1 + \gamma)$. $\gamma = 1 - \alpha$를 넣으면 $F(c) = 1 - \alpha/2$이니 같은 점이다. Arfken의 $t$ 표도 아래쪽 누적 기준이고 $\chi^2$ 표는 위쪽 꼬리 기준이다. 책마다 기준 꼬리가 다르므로 표를 볼 때 어느 꼬리인지 먼저 확인한다.

평균의 신뢰구간 — σ를 알 때

정규 모집단에서 $\bar X \sim N(\mu, \sigma^2/n)$이므로 표준화한 $(\bar X - \mu)/(\sigma/\sqrt n)$은 $N(0, 1)$이다. 따라서

$$P\!\left(-z_{\alpha/2} \le \frac{\bar X - \mu}{\sigma/\sqrt n} \le z_{\alpha/2}\right) = 1 - \alpha$$

괄호 안의 부등식을 $\mu$에 대해 풀면

$$\boxed{\;\bar X - z_{\alpha/2}\frac{\sigma}{\sqrt n} \;\le\; \mu \;\le\; \bar X + z_{\alpha/2}\frac{\sigma}{\sqrt n}\;}$$

이것이 $\sigma$를 알 때 $\mu$의 $1 - \alpha$ 신뢰구간이다. 95 %면 $\bar x \pm 1.96\,\sigma/\sqrt n$. (Kreyszig는 이것을 $\mathrm{CONF}_{0.95}\{\bar x - k \le \mu \le \bar x + k\}$로 적고, $\pm$ 표기는 “$\mu$가 그 폭 안에서 흔들린다”는 오해를 부른다며 피한다. 이 장은 짧게 $\pm$를 쓰되 뜻은 아래 경고의 것으로 읽는다.) 모집단이 정규가 아니어도 $n$이 크면 중심극한정리로 같은 식을 쓴다. Kreyszig의 경험칙은 분포가 심하게 비대칭이 아니면 $n \ge 20$이다.

파라미터 연계

구간의 반폭 $z_{\alpha/2}\,\sigma/\sqrt n$에 손잡이가 셋이다.

• 신뢰수준을 올리면 $z$가 커져 구간이 넓어진다. 90 % → 95 % → 99 %에서 1.645 → 1.96 → 2.576. 더 확신하려면 더 넓게 말해야 한다 — 공짜가 없다.
• **$\sigma$**는 모집단의 성질이라 손댈 수 없다. 측정 장비의 반복성이면 장비를 바꿔야 줄어든다.
• **$n$**은 제곱근으로 든다. 반폭을 절반으로 줄이려면 $n$을 네 배로.

셋째를 거꾸로 쓰면 표본 크기를 설계할 수 있다. 반폭을 $E$ 이하로 하고 싶으면

$$n \ge \left(\frac{z_{\alpha/2}\,\sigma}{E}\right)^2$$

두께의 평균을 $\pm 0.2\,\mathrm{nm}$(95 %)로 알고 싶고 $\sigma = 0.6\,\mathrm{nm}$이면 $n \ge (1.96 \times 0.6 / 0.2)^2 = 34.6$, 즉 35점. 실험을 하기 전에 계산하는 것이 요점이다.

σ를 모를 때 — t 분포

거의 언제나 $\sigma$는 모른다. $\sigma$ 자리에 $S$를 넣으면 통계량이 달라진다.

$$T = \frac{\bar X - \mu}{S/\sqrt n}$$

분모에도 무작위성이 들어왔으므로 $T$는 더 이상 정규가 아니다. 정규 모집단에서 이것은 자유도 $\nu = n - 1$의 $t$ 분포를 따른다(스튜던트, 고셋). 이유는 분자와 분모를 나눠 보면 보인다.

$$T = \frac{(\bar X - \mu)/(\sigma/\sqrt n)}{\sqrt{\dfrac{(n - 1)S^2/\sigma^2}{n - 1}}} = \frac{Z}{\sqrt{V/\nu}}$$

분자 $Z$는 표준정규, 분모 속 $V = (n-1)S^2/\sigma^2$은 아래에서 보듯 자유도 $\nu = n - 1$의 $\chi^2$이다. 모르는 $\sigma$가 위아래에서 약분되어 사라진다 — 이것이 $T$를 쓸 수 있는 이유다. 그리고 정규 표본에서는 $\bar X$와 $S^2$이 서로 독립이라는 정리가 있어(증명은 생략한다 — 편차 $X_j - \bar X$가 $\bar X$와 무상관이고 정규라 7절의 “결합 정규면 무상관이 곧 독립”이 걸린다) $Z$와 $V$가 독립이다. 독립인 $Z$와 $\sqrt{V/\nu}$의 비이므로 7절의 비 공식으로 밀도를 계산할 수 있고, 결과는

$$f_\nu(t) = \frac{\Gamma\!\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\;\Gamma\!\left(\frac{\nu}{2}\right)} \left(1 + \frac{t^2}{\nu}\right)^{-(\nu + 1)/2}$$

이다($\Gamma$는 감마함수, 1.5.9감마·베타 함수와 스털링 근사). 모양을 읽어 두자. 원점 대칭이고 종 모양이지만 꼬리가 $e^{-t^2/2}$가 아니라 $\lvert t\rvert^{-(\nu + 1)}$로 거듭제곱으로 느리게 줄어든다. $\nu = 1$이면 $1/[\pi(1 + t^2)]$, 7절의 코시 분포다. $\nu \to \infty$이면 $(1 + t^2/\nu)^{-\nu/2} \to e^{-t^2/2}$이라 표준정규로 수렴한다. 분산은 $\nu > 2$일 때 $\nu/(\nu - 2)$로 1보다 크다. 신뢰구간은 $z$를 $t$로 바꾸기만 하면 된다.

$$\bar X \pm t_{n-1,\,\alpha/2}\,\frac{S}{\sqrt n}$$

$\nu$	$t_{\nu,\,0.025}$	$z_{0.025}$ 대비
2	4.303	2.2배
4	2.776	1.42배
9	2.262	1.15배
24	2.064	1.05배
99	1.984	1.01배
$\infty$	1.960	1

직관

꼬리가 두꺼운 이유는 $S$가 $\sigma$를 과소평가하는 표본이 있기 때문이다. 우연히 값들이 몰려 나온 표본은 $S$가 작고, 그러면 $T$의 분모가 작아 $T$가 크게 튄다. 표본이 작을수록 그런 일이 잦다. $t$ 분포의 두꺼운 꼬리는 그 위험을 구간의 폭에 얹은 것이다 — 모르는 것 하나($\sigma$)에 대한 벌금이고, $n$이 늘어 $S$가 믿을 만해지면 벌금이 사라진다. 표에서 $n = 25$면 이미 5 %다.

$n$이 3이나 5인 계측 데이터에서 $z = 1.96$을 쓰는 것이 흔한 실수다. 그때의 올바른 계수는 4.3이나 2.8이다.

그림 1.11-7. 자유도 ν = 1, 3, 10인 t 분포와 표준정규. 왼쪽은 밀도 자체로, 봉우리 근처에서는 넷이 비슷해 보인다. 오른쪽은 위쪽 꼬리 넓이 P(T > t)를 로그 눈금으로 그린 것으로, 차이는 여기서 드러난다. 정규의 꼬리는 t = 4에서 3 × 10⁻⁵이지만 ν = 3이면 1.4 × 10⁻², 백 배가 넘게 두껍다. 꼬리가 거듭제곱으로 줄기 때문이고, ν가 커질수록 정규 쪽으로 다가간다.직접 작도

박막 두께 9점: $\bar x = 50.2\,\mathrm{nm}$, $s = 0.6\,\mathrm{nm}$. $t_{8,\,0.025} = 2.306$이므로 95 % 구간은 $50.2 \pm 2.306 \times 0.6/3 = 50.2 \pm 0.46\,\mathrm{nm}$. $z$를 썼으면 $\pm 0.39$로, 실제보다 좁게 말한 셈이 된다.

분산의 신뢰구간 — χ² 분포

정규 모집단에서

$$\frac{(n - 1)S^2}{\sigma^2} \;\sim\; \chi^2_{n-1}$$

$\chi^2$ 분포는 독립 표준정규 $Z_1, \dots, Z_\nu$의 제곱합

$$\chi^2 = Z_1^2 + Z_2^2 + \cdots + Z_\nu^2$$

의 분포이고, $\nu$가 자유도다. $\sum_{j=1}^{n}(X_j - \mu)^2/\sigma^2$이 $\chi^2_n$이고, $\mu$ 대신 $\bar X$를 쓰면 자유도 하나가 줄어 $\chi^2_{n-1}$이다(8절의 셈법 그대로). 밀도는

$$f(x) = \frac{1}{2^{\nu/2}\,\Gamma(\nu/2)}\,x^{\nu/2 - 1}e^{-x/2}, \qquad x > 0$$

이고, 7절의 도구로 두 줄에 유도된다. 7절 ①에서 $Z^2$ 하나의 밀도가 $y^{-1/2}e^{-y/2}/\sqrt{2\pi}$ — 위 식의 $\nu = 1$ — 임을 보았다. 그 모멘트 생성함수는 $E(e^{tZ^2}) = \int e^{tz^2}\varphi(z)\,dz = (1 - 2t)^{-1/2}$이고($t < 1/2$), 독립인 $\nu$개를 더하면 곱이 되어 $(1 - 2t)^{-\nu/2}$다. 위 밀도의 모멘트 생성함수를 계산해 보면 정확히 이것이다 — 모멘트 생성함수가 분포를 정하므로 밀도가 확정된다. 같은 식에서 $M'(0) = \nu$, $M''(0) = \nu(\nu + 2)$라 **평균 $\nu$, 분산 $2\nu$**가 나오고, 독립인 $\chi^2$끼리 더하면 지수가 더해지므로 자유도가 더해진다. (이 밀도는 $x^{a-1}e^{-x/b}$ 꼴의 감마 분포 가운데 $a = \nu/2$, $b = 2$인 것이다.)

그림 1.11-8. 자유도 ν에 따른 χ² 밀도. ν = 1은 0에서 발산하고(표준정규 하나의 제곱은 0 근처에 몰린다), ν = 2는 지수 분포 그 자체이며, ν가 커질수록 봉우리가 ν − 2 근처로 옮겨 가고 대칭에 가까워져 N(ν, 2ν)로 간다 — 제곱 ν개의 합이니 중심극한정리다.직접 작도

직관

공간적으로 — $\nu$차원 공간에서 원점으로부터의 거리의 제곱이다. 각 축이 표준정규이면 점은 원점 근처에 구름처럼 모이고, $\chi^2$은 그 구름 속 한 점이 원점에서 얼마나 떨어져 있는가다. 밀도의 모양도 이 그림에서 곧장 나온다. 결합 밀도 $e^{-r^2/2}$는 반지름 $r$에만 달려 있으므로, 반지름 $r$과 $r + dr$ 사이 껍질의 확률은 $e^{-r^2/2}$에 껍질의 부피 $\propto r^{\nu - 1}dr$을 곱한 것이다. $x = r^2$으로 바꾸면($dr \propto x^{-1/2}dx$) $x^{(\nu-1)/2}\,x^{-1/2}\,e^{-x/2} = x^{\nu/2 - 1}e^{-x/2}$ — 위의 밀도 그대로다. 앞의 $x^{\nu/2 - 1}$은 차원이 높을수록 바깥 껍질이 넓다는 기하이고, 그것이 $e^{-x/2}$와 겨루어 봉우리를 밖으로 밀어낸다 — 평균 $\nu$. 11절의 적합도 검정은 이 그림을 그대로 쓴다.

여기서는 양쪽 꼬리를 $\alpha/2$씩 잘라 $\sigma^2$에 대해 풀기만 한다.

$$\frac{(n - 1)s^2}{\chi^2_{n-1,\,\alpha/2}} \;\le\; \sigma^2 \;\le\; \frac{(n - 1)s^2}{\chi^2_{n-1,\,1 - \alpha/2}}$$

분모의 큰 분위수가 왼쪽 끝을, 작은 분위수가 오른쪽 끝을 준다 — 역수를 취하면서 순서가 뒤집혔다. $\chi^2$이 비대칭이라 구간도 $s^2$을 중심으로 대칭이 아니고 오른쪽이 길다. 위의 두께 데이터 ($n = 9$, $s^2 = 0.36$)에서 $\chi^2_{8,\,0.025} = 17.53$, $\chi^2_{8,\,0.975} = 2.18$이므로 $0.164 \le \sigma^2 \le 1.32$, 즉 $0.41 \le \sigma \le 1.15\,\mathrm{nm}$. 점추정 0.6에 비해 위로 두 배 가까이 열려 있다 — 8절에서 말한 “산포는 재기 어렵다”의 구간판이다.

주의

분산의 구간은 정규성에 민감하다. 평균의 구간은 모집단이 정규가 아니어도 중심극한정리가 $\bar X$를 정규로 만들어 주지만, $(n - 1)S^2/\sigma^2 \sim \chi^2_{n-1}$은 정규 모집단에서만 성립하고 $n$이 커져도 그 가정이 풀리지 않는다 — $S^2$의 분산이 모집단의 첨도에 달려 있기 때문이다. 꼬리가 정규보다 두꺼운 데이터면 위 구간은 실제보다 좁다. Kreyszig는 평균에 $n \ge 20$, 분산에 $n \ge 50$을 경험칙으로 두는데, 분산 쪽은 표본을 늘리는 것보다 정규성을 먼저 확인하는 편이 낫다(11절).

비율의 신뢰구간

$n$개 중 $x$개가 양품이면 $\hat p = x/n$이고, $n$이 크면 이항의 정규 근사로

$$\hat p \pm z_{\alpha/2}\sqrt{\frac{\hat p(1 - \hat p)}{n}}$$

다이 200개 중 180개 양품: $\hat p = 0.90$, 반폭 $1.96\sqrt{0.9 \times 0.1/200} = 0.042$. 수율은 **86 ~ 94 %**다. 200개를 보고도 4 %포인트를 못 좁힌다. 반폭이 $\sqrt{p(1-p)}$에 비례해 $p = 0.5$에서 최대이고 $p \to 1$에서 줄어들지만, 수율 99 %를 $\pm 0.5$ %로 말하려면 $n = (1.96^2 \times 0.99 \times 0.01)/0.005^2 \approx 1{,}500$개가 필요하다. 근사가 성립하려면 $n\hat p$와 $n(1 - \hat p)$가 모두 5보다 커야 하며, 그 아래(불량이 한두 개)에서는 이항 분포로 직접 구간을 구한다.

가설검정

추정이 “값이 얼마인가”라면 검정은 “이 주장이 데이터와 맞는가”다. 새 레시피가 문턱전압을 바꿨는가, 이 로트의 산포가 사양 안인가, 두 장비가 같은 결과를 내는가. 답은 예·아니오지만, 무작위 데이터로 내리는 답이라 틀릴 확률이 따라붙고, 그 확률을 관리하는 것이 검정의 전부다.

구조 — 두 가설과 두 오류

기호	읽는 법	무엇을 가리키는가
$H_0$	귀무가설	검정하려는 주장. “달라진 것이 없다” 쪽. 예: $\mu = \mu_0$
$H_1$	대립가설	$H_0$가 기각될 때 받아들이는 쪽. 예: $\mu \ne \mu_0$, $\mu > \mu_0$
$T$	검정통계량	표본에서 계산하는 수. $H_0$ 아래서 분포를 안다
$c$	임계값	$T$가 이를 넘으면 기각. 기각역의 경계
$\alpha$	유의수준	$H_0$가 참인데 기각할 확률 — 제1종 오류
$\beta$		$H_1$이 참인데 기각하지 못할 확률 — 제2종 오류
$1 - \beta$	검정력	$H_1$이 참일 때 올바르게 기각할 확률. Kreyszig는 $\eta$
$p$값		관측된 $T$보다 극단적인 값이 $H_0$ 아래서 나올 확률

(Kreyszig는 가설을 $H_0$, $H_1$ 대신 ”$\theta = \theta_0$ 대 $\theta = \theta_1$“처럼 파라미터의 값으로 적는다.)

두 가설 중 하나가 참이고 결정은 기각·채택 둘이므로 경우가 넷이다.

	$H_0$ 참	$H_1$ 참
$H_0$ 채택	옳음 ($1 - \alpha$)	제2종 오류 ($\beta$)
$H_0$ 기각	제1종 오류 ($\alpha$)	옳음 — 검정력 ($1 - \beta$)

그림 1.11-9. 한쪽 검정의 두 오류. 실선은 H₀(μ = μ₀)가 참일 때 검정통계량의 분포, 점선은 H₁(μ = μ₁)이 참일 때의 분포다. 임계값 c 오른쪽의 실선 아래 넓이가 α, c 왼쪽의 점선 아래 넓이가 β. c 하나가 둘을 동시에 정하므로 α를 줄이면 β가 는다. 두 분포를 떼어 놓는 것(n 증가, 또는 큰 차이)만이 둘을 함께 줄인다.직접 작도

직관

검정은 귀류법의 확률판이다. “$H_0$가 참이라 치자. 그러면 이런 데이터는 $\alpha$보다 드물게만 나온다. 그런데 나왔다. 그러니 $H_0$를 의심한다.” 여기서 $\alpha$는 얼마나 드물어야 의심할 것인가의 문턱이고, 관례가 5 %다. 검정이 비대칭인 것도 귀류법과 같다 — 모순을 못 찾았다고 가정이 증명되지는 않는다. 기각 실패는 $H_0$가 참이라는 증거가 아니라, 반박할 증거가 부족하다는 뜻이다. 표본이 작으면 어떤 $H_0$도 기각되지 않는다.

그림에서 두 오류의 맞바꿈이 보인다. 임계값 $c$를 오른쪽으로 옮기면 $\alpha$(실선 꼬리)는 줄고 $\beta$(점선 꼬리)는 는다. 둘을 함께 줄이는 길은 두 봉우리를 떼어 놓는 것뿐이고, 봉우리의 폭이 $\sigma/\sqrt n$이므로 그것은 $n$을 늘리는 일이다.

평균에 대한 검정

$\sigma$를 알 때. $H_0 : \mu = \mu_0$. 검정통계량은 $H_0$ 아래서 표준정규인

$$Z = \frac{\bar X - \mu_0}{\sigma/\sqrt n}$$

대립가설에 따라 기각역이 갈린다.

$H_1$	기각역 (유의수준 $\alpha$)	이름
$\mu > \mu_0$	$Z > z_\alpha$	오른쪽 한쪽 검정
$\mu < \mu_0$	$Z < -z_\alpha$	왼쪽 한쪽 검정
$\mu \ne \mu_0$	$\lvert Z\rvert > z_{\alpha/2}$	양쪽 검정

어느 쪽을 쓸지는 데이터를 보기 전에 질문이 정한다. “달라졌는가”는 양쪽, “나빠졌는가”는 한쪽. 데이터를 보고 나서 유리한 쪽을 고르면 실제 $\alpha$가 두 배가 된다. 그래서 검정은 순서가 정해진 절차다 — ① 가설과 대립가설을 적는다 ② $\alpha$를 정한다 ③ $H_0$ 아래서 분포를 아는 통계량을 고른다 ④ 기각역(임계값 $c$)을 정한다 ⑤ 그다음에야 데이터로 통계량을 계산한다 ⑥ 기각역에 들었는지 본다. ①~④가 데이터를 보기 전의 일이라는 것이 요점이다.

$\sigma$를 모를 때. $\sigma$를 $S$로 바꾸면 9절과 똑같이 $t_{n-1}$이다.

$$T = \frac{\bar X - \mu_0}{S/\sqrt n}, \qquad \text{양쪽: } \lvert T\rvert > t_{n-1,\,\alpha/2} \text{면 기각}$$

새 레시피 뒤 문턱전압 16개: $\bar x = 0.412\,\mathrm{V}$, $s = 0.020\,\mathrm{V}$. 목표 $\mu_0 = 0.400\,\mathrm{V}$에서 벗어났는가(양쪽, $\alpha = 0.05$)?

$$T = \frac{0.412 - 0.400}{0.020/\sqrt{16}} = \frac{0.012}{0.005} = 2.4, \qquad t_{15,\,0.025} = 2.131$$

$2.4 > 2.131$이므로 기각 — 평균이 목표에서 벗어났다고 5 % 수준에서 말할 수 있다. 같은 결론을 $p$값으로 말하면, $\lvert T\rvert \ge 2.4$가 $H_0$ 아래서 나올 확률은 $t_{15}$ 표에서 약 0.03이다. $p$값이 $\alpha$보다 작으면 기각이다. $p$값은 “얼마나 아슬아슬하게 기각됐는가”까지 알려 주므로 결론만 적는 것보다 낫다.

주의

$p$값은 “$H_0$가 참일 확률”이 아니다. 9절의 경고와 같은 구조다 — 무작위인 것은 데이터이지 가설이 아니다. $p = 0.03$은 “$H_0$가 참이라면 이만큼 극단적인 데이터가 3 %만 나온다”이지 “$H_0$가 참일 확률이 3 %“가 아니다. 후자를 말하려면 1절의 베이즈 정리와 사전 확률이 필요하다.

그리고 유의하다는 것과 중요하다는 것은 다르다. $n$이 크면 $\sigma/\sqrt n$이 작아져 아무리 사소한 차이도 기각을 낳는다. 위 예에서 $n = 10{,}000$이면 $0.4\,\mathrm{mV}$의 차이도 유의하다. 공정에서 그 차이가 문제인지는 통계가 아니라 사양이 정한다. 검정 결과 옆에 차이의 신뢰구간을 같이 적는 것이 그래서 좋다 — 위 예는 $0.012 \pm 0.011\,\mathrm{V}$.

검정력과 표본 크기

$\alpha$만 정하고 검정을 설계하면 $\beta$가 얼마인지 모른 채 끝난다. 참값이 $\mu$일 때 $H_0$을 기각할 확률을 $\mu$의 함수로 적은 것이 검정력 함수 $\eta(\mu)$다. $\sigma$를 아는 오른쪽 한쪽 검정이면 기각 조건 $\bar X > \mu_0 + z_\alpha\sigma/\sqrt n$에서 $\bar X \sim N(\mu, \sigma^2/n)$으로 계산해

$$\eta(\mu) = 1 - \Phi\!\left(z_\alpha - \frac{(\mu - \mu_0)\sqrt n}{\sigma}\right)$$

$\mu = \mu_0$에서 $\eta = \alpha$이고, $\mu$가 커지면 1로 간다. 그 여함수, 즉 채택할 확률 $1 - \eta(\mu)$를 $\mu$에 대해 그린 것이 OC 곡선(작동 특성 곡선)이다. $H_1$ 쪽의 $\mu$에서 OC의 값이 바로 그 $\mu$에서의 $\beta$다. 양쪽 검정이면 채택역이 $\mu_0 \pm z_{\alpha/2}\sigma/\sqrt n$이라

$$\beta(\mu) = \Phi\!\left(z_{\alpha/2} - \frac{(\mu - \mu_0)\sqrt n}{\sigma}\right) - \Phi\!\left(-z_{\alpha/2} - \frac{(\mu - \mu_0)\sqrt n}{\sigma}\right)$$

$\sigma = 3$, $\mu_0 = 24$, $\alpha = 5\,\%$인 양쪽 검정에서 $n = 10$이면 채택역이 $[22.14,\ 25.86]$, $n = 100$이면 $[23.41,\ 24.59]$로 좁아진다 — 표본이 늘면 OC 곡선이 $\mu_0$ 둘레에서 가파른 골짜기가 되어 작은 차이도 잡는다. $\sigma$를 모르는 $t$ 검정의 검정력은 $H_1$ 아래서 $T$가 중심이 어긋난 비중심 $t$ 분포를 따르므로 따로 표가 필요하지만, $n$이 크면 위 식으로 충분하다.

검출하고 싶은 차이 $\delta = \mu_1 - \mu_0$를 정하고 그것을 검정력 $1 - \beta$로 잡으려면 표본이 얼마나 필요한가. 한쪽 검정의 $\eta(\mu_1) = 1 - \beta$에서 $\Phi$의 인수가 $-z_\beta$여야 하므로 $z_\alpha - \delta\sqrt n/\sigma = -z_\beta$이고, $n$에 대해 풀면 — 그림의 두 분포가 $\sigma/\sqrt n$의 폭으로 $\delta$만큼 떨어져 있어야 한다는 조건이다.

$$n \approx \left(\frac{(z_\alpha + z_\beta)\,\sigma}{\delta}\right)^2$$

$\alpha = 0.05$, $\beta = 0.10$이면 $z_\alpha + z_\beta = 1.645 + 1.282 = 2.93$이고, $\delta = \sigma/2$의 차이를 잡으려면 $n \approx 34$, $\delta = \sigma/5$면 $n \approx 215$다. 차이가 반으로 줄면 표본은 네 배다. 이 계산 없이 $n = 5$로 “차이 없음”을 결론짓는 것이 공정 실험의 흔한 실수이고, 19.12의 실험 계획은 이 계산에서 시작한다. OC 곡선은 이 모든 것 — $\alpha$, 여러 $\delta$에서의 $\beta$, 표본 크기의 효과 — 을 한 장에 담아 검정 하나의 성능을 한눈에 보여 준다.

분산에 대한 검정과 두 표본의 비교

분산. $H_0 : \sigma^2 = \sigma_0^2$. 9절의 $(n - 1)S^2/\sigma_0^2 \sim \chi^2_{n-1}$을 그대로 쓴다. “산포가 사양 $\sigma_0$ 안인가”는 오른쪽 한쪽 검정 — $(n - 1)s^2/\sigma_0^2 > \chi^2_{n-1,\,\alpha}$면 기각.

두 평균 — 먼저 짝이 있는지 본다. 두 조건의 평균이 같은지 보는 경우는 둘로 갈린다. 같은 대상을 두 방법으로 재거나 같은 웨이퍼를 처리 전후로 재는 것처럼 관측이 짝을 이루면, 차 $D_j = X_j - Y_j$를 만들어 “차의 평균이 0인가”를 한 표본 $t$ 검정으로 본다. 이것이 짝 비교이고, Kreyszig는 고를 수 있으면 이쪽을 쓰라고 한다. 이유는 7절의 교차항이다 — 같은 대상의 두 값은 양의 상관이 커서 차의 분산 $\sigma_X^2 + \sigma_Y^2 - 2\sigma_{XY}$가 짝을 무시할 때의 $\sigma_X^2 + \sigma_Y^2$보다 훨씬 작다. 대상 사이의 변동을 빼고 처리의 효과만 남기는 것이다.

두 평균 — 짝이 없을 때. 장비 A와 B에서 서로 무관하게 $n_1$, $n_2$개를 재었으면, 두 모집단의 분산이 같다고 가정하고 두 표본분산을 자유도로 가중 평균한 합동 분산을 쓴다.

$$S_p^2 = \frac{(n_1 - 1)S_1^2 + (n_2 - 1)S_2^2}{n_1 + n_2 - 2}, \qquad T = \frac{\bar X_1 - \bar X_2}{S_p\sqrt{1/n_1 + 1/n_2}} \;\sim\; t_{n_1 + n_2 - 2}$$

자유도가 $n_1 + n_2 - 2$인 것은 평균을 둘 추정했기 때문이다. 표본 크기가 같으면($n_1 = n_2 = n$) $T = \sqrt n\,(\bar X_1 - \bar X_2)/\sqrt{S_1^2 + S_2^2}$로 줄어든다.

짝의 값어치를 Kreyszig의 데이터로 보자. 같은 대상 여덟을 두 조건에서 잰 값이 $x$ = 105, 108, 86, 103, 103, 107, 124, 105와 $y$ = 89, 92, 84, 97, 103, 107, 111, 97이다. 짝을 무시하고 합동 $t$ 검정을 하면 $\bar x - \bar y = 7.63$, $t = 1.56$으로 $t_{14,\,0.025} = 2.14$보다 작아 차이가 없다는 결론이 난다. 짝을 살려 차 16, 16, 2, 6, 0, 0, 13, 8로 한 표본 검정을 하면 $\bar d = 7.63$, $s_d^2 = 45.7$, $t = 7.63/\sqrt{45.7/8} = 3.19$로 $t_{7,\,0.025} = 2.36$을 넘어 차이가 있다. 같은 데이터, 같은 평균 차이인데 결론이 뒤집힌 이유는 두 열의 상관이 0.76이라 차의 분산(45.7)이 두 분산의 합(190)의 4분의 1로 줄었기 때문이다. 실험을 짝지어 설계할 수 있으면 언제나 그렇게 한다.

두 분산 — $F$ 검정. 합동 $t$ 검정의 전제인 “두 분산이 같다”를 검정하려면 비 $S_1^2/S_2^2$을 본다. 정규 모집단이고 분산이 같으면 이 비는 자유도로 나눈 독립 $\chi^2$ 둘의 비

$$F = \frac{V_1/\nu_1}{V_2/\nu_2}, \qquad V_i \sim \chi^2_{\nu_i}, \quad \nu_i = n_i - 1$$

이고, 이것이 자유도 $(\nu_1, \nu_2)$의 $F$ 분포다. 밀도는 7절의 비 공식으로 나오며 $z^{\nu_1/2 - 1}(\nu_2 + \nu_1 z)^{-(\nu_1 + \nu_2)/2}$에 비례한다. 관례상 큰 표본분산을 분자에 두고 $s_1^2/s_2^2$이 위쪽 임계값 $F_{\nu_1,\nu_2;\,\alpha}$를 넘으면 기각한다. 아래쪽 임계값이 필요하면 $F_{\nu_1,\nu_2;\,1-\alpha} = 1/F_{\nu_2,\nu_1;\,\alpha}$로 위쪽 표에서 얻는다 — 분자와 분모를 바꾸면 비가 역수가 되기 때문이다. 위 데이터에서 $s_x^2 = 106.1$, $s_y^2 = 84.0$이라 비가 1.26이고, $F_{7,7;\,0.05} = 3.79$보다 한참 작으니 분산이 같다는 가정은 기각되지 않는다. 분산이 다르다고 판정되면 Kreyszig는 두 표본을 같은 크기(30 이상)로 잡고 위의 $T$를 근사적으로 표준정규로 쓰라고 한다 (분산이 다를 때의 일반적인 처리는 웰치의 방법이다). 세 분포 $t$, $\chi^2$, $F$가 모두 정규에서 파생된 한 가족이고, 표는 19.9에 있다.

신뢰구간과 검정은 같은 것

$\mu_0$가 $\mu$의 $1 - \alpha$ 신뢰구간 밖에 있다 $\iff$ $H_0 : \mu = \mu_0$가 유의수준 $\alpha$에서 기각된다. 9절의 구간 식과 이 절의 기각역이 같은 부등식을 $\mu$에 대해 풀었느냐 $\bar x$에 대해 풀었느냐의 차이이기 때문이다. 앞의 문턱전압 예에서 95 % 구간은 $0.412 \pm 2.131 \times 0.005 = [0.401, 0.423]$이고 $0.400$이 밖에 있다 — 기각과 같은 결론이다. 구간을 계산했으면 검정은 눈으로 읽으면 된다.

관리도 — 되풀이되는 검정

공정에서 표본을 주기적으로 뽑아 평균을 찍고, 목표 $\mu_0$ 둘레에 한계선을 그은 것이 관리도다. 한계선을 $\mu_0 \pm 3\sigma/\sqrt n$에 두면 매 점이 유의수준 $\alpha = 0.0027$의 양쪽 검정이고, 공정이 정상일 때 370점에 한 번꼴로 헛경보가 난다. 3을 고른 이유가 이것이다 — 2면 22점마다 한 번 멈추게 되고, 4면 실제 이상을 놓친다. (Kreyszig는 $\alpha = 1\,\%$, 즉 $\mu_0 \pm 2.58\sigma/\sqrt n$을 기본으로 두고 3σ를 연습문제로 돌린다. 업계 관행은 3σ다.) 표본 크기는 보통 310이고, $\sigma$를 모르면 처음 2030개 표본의 $s$를 평균해 대신 쓴다.

평균만 볼 것은 아니다. 산포가 커지는 것도, 불량률이 오르는 것도 공정 이상이다. 같은 틀로 찍는 관리도가 몇 가지 있다.

관리도	찍는 것	한계선의 뿌리
$\bar x$ 관리도	표본평균	정규 · $\mu_0 \pm 3\sigma/\sqrt n$
$s$ 관리도 (또는 $s^2$)	표본 표준편차	9절 $\chi^2_{n-1}$ — 위쪽 한계 $\sigma\sqrt{\chi^2_{n-1,\,\alpha}/(n-1)}$
$R$ 관리도	범위(최댓값 − 최솟값)	작은 $n$에서 $s$ 대신. $n > 10$이면 $s$가 낫다
$p$ 관리도	불량률	5절 이항 · $p_0 \pm 3\sqrt{p_0(1 - p_0)/n}$
$c$ 관리도	다이·웨이퍼당 결함 수	5절 푸아송 · $\bar c \pm 3\sqrt{\bar c}$

$c$ 관리도의 $\sqrt{\bar c}$가 푸아송의 “분산 = 평균”이다. 한계선 밖의 점 말고도 중심선 한쪽에 7점 이상 연속 같은 규칙이 있는데, 정상이면 한쪽에 올 확률이 1/2이라 7점 연속은 $2 \times (1/2)^7 = 1.6\,\%$ — 드문 일이라는 계산이다. 관리도의 규칙은 전부 “정상이면 이 패턴은 얼마나 드문가”라는 이 절의 계산이고, 19.11에서 다룬다.

합격 판정 검사 — 로트를 통째로 받을지 정한다

공급자가 $N$개들이 로트를 보내고, 받는 쪽이 $n$개를 뽑아 불량이 $c$개 이하면 로트를 받고 넘으면 돌려보낸다. 표본 크기 $n$과 합격 판정 개수 $c$가 이 계획의 전부다. 로트의 불량률이 $\theta$일 때 로트를 받을 확률은, 비복원 추출이므로 5절의 초기하 분포로

$$P(A;\theta) = \sum_{x=0}^{c}\frac{\dbinom{N\theta}{x}\dbinom{N - N\theta}{n - x}}{\dbinom{N}{n}} \;\approx\; \sum_{x=0}^{c} e^{-n\theta}\,\frac{(n\theta)^x}{x!}$$

이고, 로트가 크고 $\theta$가 작으면 오른쪽의 푸아송 근사를 쓴다. 이것을 $\theta$의 함수로 그린 것이 이 계획의 OC 곡선이다. $n = 20$, $c = 1$이면 $P(A;\theta) = e^{-20\theta}(1 + 20\theta)$다.

두 당사자가 원하는 것이 다르다. 공급자는 좋은 로트(불량률이 합의한 합격 품질 수준 AQL $\theta_0$ 이하)가 돌려보내지는 일을 줄이고 싶다 — 그 확률 $\alpha = 1 - P(A;\theta_0)$가 생산자 위험이다. 받는 쪽은 나쁜 로트(불량률이 로트 허용 불량률 LTPD 또는 RQL $\theta_1$ 이상)를 받는 일을 줄이고 싶다 — 그 확률 $\beta = P(A;\theta_1)$이 소비자 위험이다. 10절 앞부분과 한 줄씩 대응한다.

합격 판정 검사	가설검정
AQL $\theta_0$	귀무가설 $\theta = \theta_0$
LTPD(RQL) $\theta_1$	대립가설 $\theta = \theta_1$
합격 판정 개수 $c$	임계값 $c$
생산자 위험 $\alpha$	제1종 오류
소비자 위험 $\beta$	제2종 오류

그림 1.11-10. 합격 판정 계획의 OC 곡선 — 로트 불량률 θ에 대해 로트를 받을 확률. 강조한 곡선은 n = 20, c = 1로, AQL 1 %에서 98 %를 받아 생산자 위험 α가 2 %이고, 불량률 20 %짜리 나쁜 로트도 9 %는 받아 버린다(소비자 위험 β). 점선은 불량 허용 비율을 같게(c/n = 5 %) 두고 표본을 네 배로 늘린 n = 80, c = 4다. 곡선이 가팔라져 좋은 로트와 나쁜 로트를 훨씬 잘 가른다 — 두 위험을 함께 줄이는 길은 표본을 늘리는 것뿐이라는 10절의 결론 그대로다.직접 작도

돌려보낸 로트를 전수 검사해 불량을 모두 양품으로 바꿔 넣는다면(선별), 출하되는 물건의 평균 불량률은 받은 로트의 불량만 남아 $\mathrm{AOQ}(\theta) = \theta\,P(A;\theta)$가 된다(평균 출검 품질). $\theta$가 작으면 불량 자체가 적고, $\theta$가 크면 대부분 돌려보내져 선별되므로 양 끝에서 0이고 가운데에 최댓값이 있다 — 그것이 평균 출검 품질 한계 AOQL, 이 계획으로 받아들일 수 있는 최악의 평균 품질이다. $n = 20$, $c = 1$이면 $\theta \approx 8\,\%$에서 AOQL이 약 4.2 %다.

주의

다중 검정. 파라미터 100개를 각각 5 % 수준에서 검정하면, 아무 변화가 없어도 평균 다섯 개가 “유의”하게 나온다. 웨이퍼 맵에서 이상 구역을 찾을 때, 수백 개 공정 변수 중 수율과 상관된 것을 찾을 때, 늘 이 문제가 있다. 검정 수 $m$에 대해 $\alpha/m$을 쓰는 것(본페로니)이 가장 단순한 보정이다. 발견을 보고하기 전에 “몇 개를 시도해서 이것을 찾았는가”를 함께 적어야 한다.

적합도 검정(χ²)

지금까지의 검정은 파라미터 하나를 겨냥했다. 이 절은 분포 전체를 겨냥한다 — 이 데이터가 푸아송을 따르는가, 정규를 따르는가, 두 분류가 독립인가. 도구는 하나, $\chi^2$ 통계량이다.

χ² 분포 — 9절에서 가져온다

9절에서 만든 $\chi^2_\nu$ — 독립 표준정규 $\nu$개의 제곱합 — 가 이 절의 유일한 도구다. 그 분포의 공간적 그림을 검정의 언어로 옮기면 이렇다. 관측과 기대의 차이를 각각 표준화한 것들을 좌표로 놓으면, 모형이 맞을 때 그 점은 원점 근처의 구름 안에 있어야 한다 — 거리의 제곱이 대략 자유도만큼. 구름 밖으로 멀리 나갔으면(거리의 제곱이 $\chi^2_{\nu,\alpha}$를 넘으면) 모형을 의심한다.

적합도 검정

관측값을 $K$개의 구간(칸)으로 나누고, 칸 $j$의 관측 도수를 $b_j$, 가설 분포가 예측하는 기대 도수를 $e_j = n p_j$라 한다(Kreyszig의 글자를 따랐다 — 관측 $b_j$, 기대 $e_j$). 통계량은

$$\chi_0^2 = \sum_{j=1}^{K}\frac{(b_j - e_j)^2}{e_j}$$

아래첨자 0은 “데이터로 계산한 관측값”이라는 표시다. $H_0$(데이터가 그 분포를 따른다) 아래서 이것은 근사적으로 $\chi^2_\nu$를 따르고,

$$\nu = K - 1 - r$$

$r$은 데이터에서 추정한 파라미터의 개수다. 이 자유도는 파라미터를 최대가능도로(8절) 추정했을 때의 것이다. $\chi_0^2$이 $\chi^2_{\nu,\,\alpha}$를 넘으면 기각한다. 언제나 오른쪽 한쪽 검정이다 — 작은 $\chi^2$은 잘 맞는다는 뜻이니 기각할 이유가 없다.

직관

왜 이 통계량이 $\chi^2$ 분포를 따르는가. 칸 $j$의 도수 $B_j$는 $n$번 중 확률 $p_j$로 그 칸에 떨어진 횟수이니 이항 $B(n, p_j)$이고, 평균 $e_j$, 분산 $np_j(1 - p_j) \approx e_j$($p_j$가 작을 때)다. $n$이 크면 정규이므로 $(B_j - e_j)/\sqrt{e_j}$는 근사적으로 표준정규이고, 그 제곱을 $K$개 더한 것이 위 식이다. 다만 칸의 도수들은 5절의 다항 분포를 따라 $\sum B_j = n$으로 묶여 있고 서로 음의 공분산($-np_ip_j$)을 갖는다. 그 제약 하나가 자유도 하나를 먹는다 — 8절의 셈법. 파라미터를 데이터에서 추정하면 기대 도수가 데이터에 맞춰지면서 하나씩 더 준다.

근사가 성립하려면 각 칸의 정규 근사가 성립해야 하고, 그 조건이 관례적으로 **$e_j \ge 5$**다(Kreyszig는 각 칸에 관측값이 5개 이상 들도록 칸을 잡으라고 한다). 도수가 작은 꼬리 칸은 이웃과 합친다. 관측값이 칸의 경계에 정확히 걸리면 양쪽 칸에 0.5씩 나눠 준다.

예 — 결함 수가 푸아송인가. 다이 200개의 결함 수를 세었다.

결함 수 $x$	0	1	2	3 이상	계
관측 $b_j$	110	60	20	10	200

평균은 (3 이상을 3으로 치면) $\bar x = (60 + 40 + 30)/200 = 0.65$이고 이것이 푸아송 $\mu$의 최대가능도 추정값이다($r = 1$). $\mu = 0.65$의 푸아송 확률은 $p_0 = e^{-0.65} = 0.522$, $p_1 = 0.339$, $p_2 = 0.110$, $p_{3+} = 1 - p_0 - p_1 - p_2 = 0.028$이므로 기대 도수는 $104.4,\ 67.9,\ 22.1,\ 5.7$.

$$\begin{aligned} \chi_0^2 &= \frac{(110 - 104.4)^2}{104.4} + \frac{(60 - 67.9)^2}{67.9} + \frac{(20 - 22.1)^2}{22.1} + \frac{(10 - 5.7)^2}{5.7} \\[4pt] &= 0.30 + 0.91 + 0.19 + 3.31 = 4.71 \end{aligned}$$

(각 항은 반올림 전의 기대 도수로 계산했다.) $\nu = 4 - 1 - 1 = 2$, $\chi^2_{2,\,0.05} = 5.99$. 기각하지 못한다 — 푸아송이 아니라고 말할 수 없다($p \approx 0.09$). 그런데 네 항 중 마지막이 전체의 70 %다. 결함이 3개 이상인 다이가 기대의 두 배 가까이 있다. 이것은 결함이 뭉쳐 다닌다는 신호이고 — 실제로 표본분산이 $s^2 = 0.73$으로 평균 0.65보다 크다 — 표본을 늘리면 유의해질 것이다. 19.10의 군집 모형이 이 꼬리를 설명하러 나온다. 검정의 결론(기각 못 함)보다 어느 칸이 어긋나는가가 더 많은 것을 말할 때가 많다.

정규성. 데이터를 구간으로 나누고 추정한 정규 분포의 기대 도수와 비교한다. $r = 2$. 자유도 $K - 3$이 맞으려면 $\sigma^2$도 최대가능도 추정 $\tilde\sigma^2 = \frac1n\sum(x_j - \bar x)^2$으로 추정해야 한다(Kreyszig의 예가 그렇게 한다) — $s^2$을 쓰면 $n$이 작을 때 조금 어긋난다. 정규성 확인은 앞의 $t$·$F$ 검정과 분산의 구간이 전제하는 것이라 자주 필요한데, 히스토그램의 칸 나누기에 결과가 좌우되는 약점이 있다. 누적분포를 정규 눈금에 찍어 직선인지 보는 확률지가 더 민감하고, 19.9에서 다룬다.

독립성 검정 — 분할표

두 분류 — 웨이퍼 위치(중앙·가장자리)와 판정(양품·불량) — 가 독립인가. 관측 도수를 행 $I$개, 열 $J$개의 표로 놓고, 독립이라면 칸 $(i, j)$의 기대 도수는 행 합과 열 합의 곱을 $n$으로 나눈 것이다 ($e_{ij} = n \cdot p_{i\cdot}\,p_{\cdot j}$ — 7절의 “독립이면 곱으로 갈라진다”).

$$\chi_0^2 = \sum_{i,j}\frac{(b_{ij} - e_{ij})^2}{e_{ij}}, \qquad \nu = (I - 1)(J - 1)$$

자유도는 행 합과 열 합이 고정된 채 자유롭게 정할 수 있는 칸의 수다. $2 \times 2$면 $\nu = 1$ — 칸 하나를 정하면 나머지 셋이 따라온다. 7절 표의 비율로 다이 200개를 셌다고 하자 — 중앙 120개 중 불량 8개, 가장자리 80개 중 불량 12개. 전체 불량률이 10 %이므로 기대 불량은 중앙 12개, 가장자리 8개이고,

$$\chi_0^2 = \frac{(112 - 108)^2}{108} + \frac{(8 - 12)^2}{12} + \frac{(68 - 72)^2}{72} + \frac{(12 - 8)^2}{8} = 3.70$$

$\chi^2_{1,\,0.05} = 3.84$에 조금 못 미쳐 기각되지 않는다($p = 0.054$). 불량률이 6.7 %와 15 %로 두 배 넘게 다른데도 다이 200개로는 5 % 수준에서 말하지 못한다. 같은 비율로 400개를 세면 $\chi_0^2$이 두 배인 7.41로 기각된다 — 10절의 검정력 계산이 여기서도 그대로다. 기각되면 방사 방향의 공정 불균일을 의심한다.

곡선 적합의 χ²

물리 실험에서 $\chi^2$은 도수표보다 모형을 데이터에 맞추는 자리에서 더 자주 나온다. 측정값 $y_j$가 각각 표준편차 $\sigma_j$의 정규 오차를 갖고, 모형이 $y = g(x; \theta_1, \dots, \theta_m)$이면

$$\chi^2(\theta) = \sum_{j=1}^{n}\frac{\bigl(y_j - g(x_j; \theta)\bigr)^2}{\sigma_j^2}$$

이것을 최소로 하는 $\theta$가 가중 최소제곱 추정이고, 오차가 정규일 때 8절의 최대가능도와 정확히 같다 — 가능도의 로그가 $-\chi^2/2 + \text{const}$이기 때문이다. 최소점에서의 값 $\chi^2_{\min}$은 모형이 맞으면 자유도 $n - m$의 $\chi^2$ 분포를 따르므로, 환산 $\chi^2$ $\chi^2_{\min}/(n - m)$이 1 근처여야 한다.

모형이 파라미터에 대해 선형이면 최소점이 닫힌 꼴로 나온다. 가장 단순한 원점을 지나는 직선 $y = ax$에서 $\partial\chi^2/\partial a = 0$을 풀면

$$a = \frac{\sum_j x_j y_j/\sigma_j^2}{\sum_j x_j^2/\sigma_j^2}, \qquad \sigma_a^2 = \sum_j \left(\frac{\partial a}{\partial y_j}\right)^{\!2}\sigma_j^2 = \frac{1}{\sum_j x_j^2/\sigma_j^2}$$

둘째 식은 7절의 오차 전파를 적합 결과에 적용한 것이다 — $a$가 $y_j$의 선형 결합이므로 정확하다. 8절의 가중 평균은 $x_j = 1$로 둔 특수한 경우다. Arfken의 예로 확인하자. 세 점 $(1,\ 0.8 \pm 0.1)$, $(2,\ 1.5 \pm 0.05)$, $(3,\ 2.7 \pm 0.2)$에 가중 없이 맞추면 $a = 0.850 \pm 0.048$이지만, 가중을 두면 $a = 0.770 \pm 0.023$ — 가장 정밀한 가운데 점($a = 1.5/2 = 0.75$)으로 끌려가고 오차는 반으로 준다. 이때 $\chi^2_{\min} = 4.53$, 자유도 $3 - 1 = 2$라 환산 $\chi^2$이 2.3이고 이만큼 크거나 더 클 확률은 0.10이다 — 주어진 오차 막대가 조금 낙관적일 수 있다는 신호다.

일반적인 선형 모형 $\mathbf{y} \approx A\mathbf{k}$에서는 가중 행렬 $W = \operatorname{diag}(1/\sigma_j^2)$를 끼운 정규방정식 $A^{\mathsf T}WA\,\mathbf{k} = A^{\mathsf T}W\mathbf{y}$가 되고, 파라미터의 공분산 행렬이 $(A^{\mathsf T}WA)^{-1}$이다. 그 대각 성분이 각 파라미터의 분산, 비대각 성분이 파라미터끼리의 공분산이다 — 절편과 기울기는 대개 음의 상관을 갖는다. 12절의 보통 최소제곱은 $W$가 단위 행렬의 상수배인 경우다.

파라미터 연계

환산 $\chi^2$이 말해 주는 것이 셋이다.

• $\approx 1$ — 잔차가 측정 오차와 같은 크기다. 모형과 오차 추정이 서로 정합한다.
• $\gg 1$ — 잔차가 오차보다 훨씬 크다. 모형이 데이터를 못 담거나(항이 부족), $\sigma_j$를 너무 작게 잡았다.
• $\ll 1$ — 잔차가 오차보다 훨씬 작다. $\sigma_j$를 과대평가했거나 파라미터가 너무 많아 잡음까지 맞추고 있다(과적합).

$\sigma_j$를 모르고 전부 같다고 두면 $\chi^2_{\min}$의 절대값은 뜻이 없어지고 최소점만 남는다 — 그것이 12절의 보통 최소제곱이다. 그러니 오차 막대가 있는 데이터는 가중을 두어야 하고, 그 가중이 $1/\sigma_j^2$이다. 정밀한 점이 무겁게, 거친 점이 가볍게. 소자 파라미터 추출에서 저전류 영역의 측정이 잡음이 크면 그 점들의 가중을 낮춰야 나머지가 왜곡되지 않는다.

분포 가정이 없는 검정

지금까지의 검정은 거의 전부 정규를 전제했다. 전제가 의심스럽고 $n$이 작아 중심극한정리에 기댈 수도 없으면 비모수 검정을 쓴다. 가장 단순한 것이 부호 검정이다 — 중앙값이 $m_0$라는 가설 아래서 $m_0$보다 큰 관측의 개수는 $B(n, 1/2)$을 따르므로, 이항 분포로 직접 $p$값을 구한다. 정확히 $m_0$와 같은 관측은 어느 쪽 편도 들지 않으니 버리고 $n$을 그만큼 줄인다. 짝 비교에도 그대로 쓴다 — 새 레시피로 처리한 웨이퍼 여섯 장이 모두 짝보다 좋아졌다면, 차이가 없을 때 그럴 확률은 $(1/2)^6 = 1.6\,\%$라 한쪽 5 % 수준에서 기각이다. 분포에 대해 “연속”이라는 것 말고는 아무것도 가정하지 않는다. 대신 정보를 부호 하나로 줄이므로 검정력이 낮다 — 8절의 효율성과 강건성의 맞바꿈이 여기서도 나온다.

같은 발상으로 추세도 검정할 수 있다. 시간 순서로 잰 값 $x_1, \dots, x_n$에 추세가 없다면 $n!$가지 순서가 모두 같은 확률이다(2절의 셈). 앞의 값이 뒤의 값보다 큰 쌍의 수 — 전위의 수 $T$ — 가 너무 적으면 증가 추세, 너무 많으면 감소 추세다. 29, 31, 28, 30, 32를 순서대로 쟀으면 (29, 28), (31, 28), (31, 30)으로 $T = 3$이고, 5개의 순열 120가지 중 전위가 3개 이하인 것이 29가지라 $P(T \le 3) = 24\,\%$ — 증가 추세라고 말할 수 없다. 같은 값이 섞이면 그 쌍마다 반 개로 센다. 장비 드리프트를 의심할 때 정규 가정 없이 쓰는 첫 검정이다. 순위를 쓰는 검정들(윌콕슨 등)이 부호와 원래 값 사이의 절충이고, 19.9에서 다룬다.

회귀와 상관 (공정 데이터로의 적용은 19.9·19.12)

두 변수가 어떻게 함께 움직이는가를 식으로 적는 절이다. 7절의 공분산과 상관계수가 “얼마나”였다면, 회귀는 “$x$를 알 때 $y$가 얼마인가”라는 예측식이다. 두 변수의 역할이 다르다는 것이 요점이다.

모형 — x는 통제하고 Y는 무작위

회귀에서는 $x$가 실험자가 정하는 값이고(온도, 노광량, 게이트 길이), $Y$가 그 $x$에서 측정한 무작위 변수다. 가장 단순한 모형은 직선에 정규 오차를 얹은 것이다.

$$Y = \kappa_0 + \kappa_1 x + \varepsilon, \qquad \varepsilon \sim N(0, \sigma^2)$$

오차 $\varepsilon$은 $x$마다 독립이고 분산이 같다(등분산). $\kappa_0$은 절편, $\kappa_1$은 기울기이고 둘 다 모집단의 미지 파라미터다. 표본 $(x_1, y_1), \dots, (x_n, y_n)$에서 계산한 추정값을 $k_0, k_1$로 쓴다 — 8절의 그리스·로마자 규칙 그대로다. Kreyszig는 $\varepsilon$을 쓰지 않고 같은 내용을 가정 셋으로 적는다. (A1) $x_j$가 모두 같지는 않다. (A2) 각 $x$에서 $Y$는 정규 $N(\kappa_0 + \kappa_1 x,\ \sigma^2)$를 따른다. (A3) 관측들은 서로 독립이다.

순서도 짚어 둔다. 아래의 최소제곱 자체는 분포 가정이 필요 없는 기하학적 원리다 — (A1)만 있으면 어떤 점들에도 직선이 하나 정해진다. (A2)(A3)은 그 직선의 불확실성을 말할 때, 즉 신뢰구간과 검정에서만 쓰인다.

주의

대부분의 책은 회귀 계수를 $\beta_0, \beta_1$로 쓴다. 이 백과는 10절의 제2종 오류 $\beta$와 겹치지 않도록 Kreyszig의 $\kappa$를 따른다. 다른 책의 $\beta_1$, $b_1$, $\hat\beta_1$은 여기의 $\kappa_1$, $k_1$이다.

그리고 $x$에는 오차가 없다고 가정한다. $x$도 측정값이라 오차가 있으면(두 파라미터를 둘 다 잰 경우) 세로 잔차만 줄이는 보통 최소제곱은 기울기를 0 쪽으로(절댓값이 작아지게) 편향시킨다. 그때는 두 축의 오차를 함께 다뤄야 한다. 가장 단순한 것은 두 축의 오차가 같은 크기일 때(단위를 맞춰 둔 뒤) 점에서 직선까지의 수직 거리의 제곱합을 최소로 하는 것이고, 직선의 기울기 각 $\alpha$가

$$\tan 2\alpha = \frac{2s_{xy}}{s_x^2 - s_y^2}$$

로 나온다. 이것은 $2 \times 2$ 표본 공분산 행렬의 주축 방향 — 7절의 주성분 분석 — 과 같은 계산이다. “어느 쪽을 통제했는가”를 먼저 따지는 습관이 필요하다.

이 절의 기호를 모아 둔다.

기호	무엇을 가리키는가
$\kappa_0,\ \kappa_1$	모집단의 절편·기울기
$k_0,\ k_1$	그 추정값 (표본에서 계산)
$\hat y_j = k_0 + k_1 x_j$	적합값 — 직선이 $x_j$에서 주는 값
$\hat\varepsilon_j = y_j - \hat y_j$	잔차 — 오차 $\varepsilon$의 추정. 11절의 기대 도수 $e_j$와 다른 글자
$s_x^2,\ s_y^2$	$x$, $y$의 표본분산
$s_{xy}$	표본공분산 $\frac{1}{n-1}\sum(x_j - \bar x)(y_j - \bar y)$
$q_0 = \sum \hat\varepsilon_j^2$	잔차 제곱합 (Kreyszig의 글자)
$r$	표본상관계수
$\rho$	모집단 상관계수

최소제곱 — 세로 잔차의 제곱합을 최소로

직선을 데이터에 맞추는 기준은 잔차 제곱합이다.

$$q(k_0, k_1) = \sum_{j=1}^{n}\bigl(y_j - k_0 - k_1 x_j\bigr)^2 \;\to\; \min$$

$k_0$, $k_1$로 편미분해 0을 놓으면 정규방정식 둘이 나온다.

$$\sum_j (y_j - k_0 - k_1 x_j) = 0, \qquad \sum_j x_j(y_j - k_0 - k_1 x_j) = 0$$

첫째는 잔차의 합이 0, 둘째는 잔차와 $x$의 내적이 0이라는 뜻이다. 풀면

$$\boxed{\;k_1 = \frac{s_{xy}}{s_x^2}, \qquad k_0 = \bar y - k_1\bar x\;}$$

정규방정식의 계수 행렬식은 $n\sum_j x_j^2 - (\sum_j x_j)^2 = n(n - 1)s_x^2$이다. 이것이 0이 아니어야 해가 하나로 정해지고, 그 조건이 곧 (A1) — $x$가 모두 같으면 $s_x^2 = 0$이라 기울기를 정할 수 없다. 손으로 계산할 때는 평균을 먼저 빼지 않는 꼴이 편하다.

$$k_1 = \frac{n\sum_j x_j y_j - \sum_j x_j \sum_j y_j}{n(n - 1)s_x^2}, \qquad q_0 = (n - 1)\bigl(s_y^2 - k_1^2 s_x^2\bigr)$$

(다만 4절의 경고대로, 큰 수끼리 빼는 이 꼴은 컴퓨터에서는 평균을 먼저 빼는 꼴보다 자릿수를 잃는다.) (A2)(A3) 아래서는 가능도의 로그가 $-q/(2\sigma^2) + \text{const}$이므로 최소제곱 해가 곧 최대가능도 추정이다 — 11절에서 본 “정규 오차면 최소제곱 = 최대가능도”의 직선판이다.

주의

외삽 금지. 직선은 데이터가 있는 $x$ 범위에서만 믿을 수 있다. Kreyszig의 예에서 가죽의 하중과 늘어남에 맞춘 직선은 하중 0에서 늘어남이 음수가 된다 — 물리적으로 뜻이 없는 값이다. 게이트 길이 50~200 nm에서 맞춘 직선으로 20 nm의 문턱전압을 예측하는 것도 같은 잘못이다. 범위 밖에서는 모형이 직선이라는 보장이 없고, 뒤에서 볼 신뢰구간도 $\bar x$에서 멀어질수록 급히 넓어진다.

그림 1.11-11. 최소제곱 직선. 각 점에서 직선까지 세로로 내린 점선이 잔차이고, 그 제곱합을 최소로 하는 직선이다. 직선은 반드시 표본 평균점 (x̄, ȳ)를 지나고, 기울기는 x와 y의 공분산을 x의 분산으로 나눈 것이다. 잔차의 합은 0이고 잔차는 x와 무상관이다.직접 작도

직관

셋을 읽어 둔다.

① 직선은 무게중심 $(\bar x, \bar y)$를 지난다. 첫째 정규방정식이 그 말이다. 그래서 직선을 $y - \bar y = k_1(x - \bar x)$로 적으면 절편이 사라지고 기울기만 남는다.

② 기울기 = 공분산 / $x$의 분산. 7절 이변량 정규의 조건부 평균 $E(Y \mid x) = \mu_Y + \rho(\sigma_Y/\sigma_X)(x - \mu_X)$에서 $\rho\sigma_Y/\sigma_X = \sigma_{XY}/\sigma_X^2$이니 같은 식의 표본판이다. 단위를 보면 $s_{xy}$는 $x \cdot y$, $s_x^2$은 $x^2$이므로 $k_1$은 $y/x$ — 기울기의 단위가 맞다.

③ 기하 — 정사영. 열이 $(1, 1, \dots, 1)$과 $(x_1, \dots, x_n)$인 $n \times 2$ 행렬 $A$를 두면 정규방정식은 $A^{\mathsf T}A\,\mathbf{k} = A^{\mathsf T}\mathbf{y}$이고, 이것은 $\mathbf{y}$를 $A$의 열공간에 정사영하는 1.2.4역행렬의 최소제곱 그대로다. 잔차 벡터가 두 열 모두와 수직이라는 것이 정규방정식 둘이다. 다항 회귀·다중 회귀는 열을 더 붙이는 것뿐이고, 풀이는 같은 정규방정식이다.

기울기의 불확실성

$k_1$의 식에서 데이터 $y_j$ 자리에 확률 변수 $Y_j$를 넣으면 — 추정량으로 보면 — $Y_j$의 선형 결합이므로 확률 변수다. 모형 아래서 불편이며 분산은

$$\operatorname{Var}(k_1) = \frac{\sigma^2}{(n - 1)s_x^2} = \frac{\sigma^2}{\sum_j (x_j - \bar x)^2}$$

$\sigma^2$은 잔차 제곱합으로 추정한다 — 파라미터 둘을 추정했으므로 자유도 $n - 2$.

$$\hat\sigma^2 = \frac{q_0}{n - 2}$$

그러면 $\kappa_1$의 $1 - \alpha$ 신뢰구간과 “기울기가 0인가”의 검정이 9·10절 그대로 따라온다.

$$k_1 \pm t_{n-2,\,\alpha/2}\sqrt{\frac{q_0}{(n - 2)\sum_j (x_j - \bar x)^2}}$$

파라미터 연계

분모의 $\sum (x_j - \bar x)^2$이 실험 설계의 첫 원칙을 준다. 기울기를 정밀하게 알려면 $x$를 넓게 벌려야 한다. 같은 $n$이라도 $x$를 좁은 구간에 몰아 놓으면 직선이 그 안에서 마음대로 기울 수 있고, 양끝으로 벌려 놓으면 기울기가 단단히 고정된다. 극단적으로는 $n$개를 두 끝에 절반씩 놓는 것이 기울기의 분산을 최소로 한다 — 다만 그러면 직선인지 곡선인지는 알 수 없게 되므로, 가운데에도 몇 점을 둔다. 19.12의 요인 배치가 이 맞바꿈을 체계화한 것이다.

$\sigma^2$은 잔차에서 나오므로 모형이 틀리면 $\sigma^2$이 부풀고 신뢰구간이 넓어진다. 잔차를 $x$에 대해 그려 굽은 패턴이 보이면 직선 모형이 틀린 것이고, 부채꼴로 벌어지면 등분산 가정이 깨진 것이다. 잔차 그림이 회귀의 진단 도구다.

상관계수와 r²

7절의 $\rho$를 표본에서 계산한 것이 표본상관계수다.

$$r = \frac{s_{xy}}{s_x\,s_y}, \qquad -1 \le r \le 1$$

$k_1 = s_{xy}/s_x^2 = r\,s_y/s_x$이므로 기울기와 상관계수는 척도만 다르다. 7절의 $\rho$처럼 $\lvert r\rvert = 1$은 점들이 모두 한 직선 위에 있다는 것과 같은 말이다 — 그때 잔차가 전부 0이다. $r$의 제곱에는 따로 뜻이 있다. $y$의 총 변동 $\sum(y_j - \bar y)^2$은 직선이 설명하는 부분 $\sum(\hat y_j - \bar y)^2$과 잔차 $q_0$으로 정확히 나뉘고(교차항이 정규방정식 때문에 사라진다),

$$r^2 = \frac{\sum_j (\hat y_j - \bar y)^2}{\sum_j (y_j - \bar y)^2} = 1 - \frac{q_0}{\sum_j (y_j - \bar y)^2}$$

$y$의 변동 가운데 $x$가 설명하는 비율이다. $r = 0.9$면 81 %를 설명하고 19 %는 남는다. 7절 이변량 정규의 조건부 분산 $\sigma_Y^2(1 - \rho^2)$이 이 “남는 19 %“의 모집단판이다.

$x, y$가 둘 다 무작위인 상황(이변량 정규)에서 “상관이 있는가”($H_0 : \rho = 0$)를 검정하려면

$$T = r\sqrt{\frac{n - 2}{1 - r^2}} \;\sim\; t_{n-2}$$

를 쓴다. 양쪽 검정($\rho \ne 0$)이면 $n = 10$에서 $r = 0.63$이어야 5 %에서 유의하지만, $n = 100$이면 $r = 0.20$이면 된다 — 표본이 크면 약한 상관도 검출된다. 10절의 “유의와 중요”가 여기서도 그대로다. Kreyszig는 이것을 한쪽 검정($\rho > 0$)으로 두는데, 그러면 $n = 10$의 문턱이 $r = 0.55$로 낮아진다. 그의 예 $r = 0.6$, $n = 10$은 $T = 2.12$로 한쪽 문턱 $t_{8,\,0.05} = 1.86$은 넘지만 양쪽 문턱 2.31은 넘지 못한다 — 대립가설을 먼저 정해야 하는 이유(10절)가 숫자로 보인다.

주의

상관계수에 대한 오독이 넷이다.

① 상관은 인과가 아니다. 온도가 오르면 누설 전류도 오르고 이동도는 내린다. 누설 전류와 이동도는 강한 음의 상관을 보이지만 서로가 원인이 아니라 온도가 둘을 움직인 것이다. 공정 데이터의 상관 대부분이 이런 공통 원인(교락)이고, 인과를 말하려면 $x$를 통제한 실험(19.12)이 필요하다.

② $r = 0$은 관계 없음이 아니다. 7절의 예 그대로 — 포물선 관계는 $r = 0$이다. 직선이 아닌 관계는 $r$이 못 본다. 산점도를 먼저 그린다.

③ 이상값 하나가 $r$을 만든다. 아홉 점이 뭉쳐 있고 한 점이 멀리 있으면 $r$은 그 한 점이 정한다. 회귀에서도 같다 — 지렛대 효과.

④ 회귀 직선은 둘이다. $y$를 $x$로 회귀한 직선과 $x$를 $y$로 회귀한 직선은 $r = \pm 1$이 아닌 한 다르다. 세로 잔차와 가로 잔차를 최소로 하는 직선이 다르기 때문이다. 어느 것을 통제했는가가 어느 직선을 쓸지 정한다.

선형화 — 아레니우스 그림

직선이 아닌 관계도 변수를 바꾸면 직선이 된다. 열 활성화 과정의 수명 $\tau = \tau_0\exp(E_a/k_BT)$에 로그를 취하면

$$\ln\tau = \ln\tau_0 + E_a\cdot\frac{1}{k_BT}$$

$y = \ln\tau$, $x = 1/(k_BT)$로 놓으면 직선이고 기울기가 활성화 에너지 $E_a$다($E_a$는 에너지, $k_B$는 볼츠만 상수 — 기댓값 $E$나 회귀 추정값 $k_0, k_1$과 다른 글자다). 온도 서너 개에서 잰 수명으로 $E_a$를 뽑는 아레니우스 그림이 이것이고, 신뢰성 시험의 가속 계수(14.7·19.14)가 이 기울기로 계산된다. 절편은 $\ln\tau_0$이다.

한 가지가 따라온다. $\tau$의 오차가 $\sigma_\tau$이면 $\ln\tau$의 오차는 7절의 오차 전파로 $\sigma_\tau/\tau$다 — 상대 오차가 된다. 수명이 긴 점(저온)은 대개 절대 오차가 크지만 상대 오차는 비슷하고, 그 반대일 수도 있다. 변환 뒤의 오차가 점마다 다르면 11절의 가중 $1/\sigma_j^2$을 두어야 하며, 그것이 아레니우스 적합에서 고온 점과 저온 점의 무게가 달라지는 이유다.

같은 요령이 거듭제곱 법칙 $y = ax^b$(로그–로그: 기울기 $b$), 지수 감쇠 $y = ae^{-bt}$(반로그: 기울기 $-b$), 그리고 문턱전압 추출의 $\sqrt{I_D}$ 대 $V_G$에 쓰인다. 어느 경우든 어느 변수를 변환했고 오차가 어떻게 따라갔는가를 적어 두는 것이 결과의 신뢰구간을 맞게 만든다.

여러 변수로

$y$가 변수 여럿에 달려 있으면($y = \kappa_0 + \kappa_1 x_1 + \kappa_2 x_2 + \cdots$) 열을 더 붙인 행렬 $A$로 같은 정규방정식 $A^{\mathsf T}A\,\mathbf{k} = A^{\mathsf T}\mathbf{y}$를 푼다. 다항식 $y = \kappa_0 + \kappa_1 x + \kappa_2 x^2$도 $x$와 $x^2$을 두 변수로 보면 같은 꼴이다 — 선형이라는 말은 파라미터에 대해 선형이라는 뜻이지 $x$에 대해서가 아니다. 변수가 서로 상관되면(공선성) $A^{\mathsf T}A$가 특이에 가까워지고 1.2의 조건수 문제가 그대로 온다. 그 처리와 공정 모델링으로의 확장은 19.12.8이고, 파라미터에 대해 비선형인 모형(예: 소자 컴팩트 모델의 피팅)은 1.12의 최적화로 넘어간다.

이 장이 반도체에서 다시 나오는 곳

• 통계역학(6부). 2절의 상태 세기와 스털링 근사에서 페르미–디랙·보스–아인슈타인 분포가 나오고, 묽은 극한에서 셋이 볼츠만 근사로 모인다. 페르미 함수는 “한 상태가 점유될 확률”이라는 3절의 베르누이 변수다.
• 잡음(13.9·22.6). 산탄 잡음은 5절의 푸아송(분산 = 평균), 열잡음은 6절의 중심극한정리(무수한 충돌의 합)다. 잡음의 스펙트럼 밀도는 7절의 공분산을 시간 지연 $\tau$의 함수로 본 자기상관 $E[X(t)X(t + \tau)]$의 푸리에 변환이다(위너–킨친, 1.10.5합성곱과 상관).
• 소자 변동성(14.4). 랜덤 도펀트의 개수는 푸아송, 그 기여의 합은 정규, 그래서 $\sigma_{V_T} \propto 1/\sqrt{WL}$. 이웃 소자의 정합은 7절의 공분산 항이다.
• 신뢰성(14.7·19.14). 3절의 위험률과 지수 분포, 6절의 대수정규와 극단값(와이불), 12절의 아레니우스 적합과 8절의 중도절단 데이터의 최대가능도.
• 수율(19.10). 5절의 $Y = e^{-AD_0}$에서 시작해 11절의 적합도 검정이 군집을 드러내고, 2절의 음이항 계수가 군집 모형의 이름이 된다. 로트를 받을지는 10절의 합격 판정 검사가 정한다.
• 계측(19부). 8절의 표준오차와 정밀도가 다른 측정의 가중 평균, 7절의 오차 전파, 11절의 가중 최소제곱.
• 통계 기초·SPC·실험 계획(19.9·19.11·19.12). 8~12절 전부. 관리도는 되풀이되는 10절의 검정, 실험 계획은 10절의 검정력 계산과 12절의 $\sum(x_j - \bar x)^2$을 크게 만드는 설계, 주성분 분석은 7절의 공분산 행렬 대각화다.
• 회로의 통계적 설계(21.11). 파라미터의 정규 모형, 7절의 선형 결합의 분산, 6절 꼬리의 한계 (“6시그마”를 정규 꼬리로 믿지 말 것).

전부 같은 몇 줄 — 넓이로서의 확률, 분산은 더한다, 많이 더하면 정규, 데이터에서 추정한 양마다 자유도 하나 — 이고, 달라지는 것은 무엇을 세느냐뿐이다.

이 장이 쓰이는 곳

• 1.12 수치해석
• 4.7 분자간 상호작용과 고분자
• 6.1 통계역학의 기초
• 6.4 화학퍼텐셜과 깁스 분포
• 6.5 이상 기체와 양자 기체
• 8.2 미세조직 관찰
• 8.3 확산
• 8.4 열역학과 상평형
• 8.9 세라믹과 유리
• 9.3 진공과 표면 청정도