계량경제학 강의_한치록_단순회귀 4장

👀 계량경제학 개인 공부용 포스트 글입니다. 

 

 

•  표본추출을 반복하여 시행하고 표본추출시마다 추정값을 계산 

 

 

 

4. 추정값과 참값의 관계 

---

 

①  표본을 반복 추출 

 

•  우리의 관심사는 모집단의 속성을 나타내는 모수 (파라미터) 이다. 그러나 모집단을 관측할 수 없으며, 일부인 표본만을 관측한다. 

 

•  OLS 같은 하나의 추정 방법으로 표본에 대해 추정값을 계산하면, 데이터마다 상이한 추정값을 얻게 되고, 이들을 모두 모으면 하나의 분포가 형성될 것이다. 한 추정량에 대해 무한히 반복하며 얻는 추정값들의 분포를 Sampling distribution 이라고 한다. 

 

 

 

②  표본추출 반복시행 시 추정값들의 분포 

 

•  모집단과 반복적인 표본추출 방식에 대해 아래와 같은 가정들을 세운다. 

 

1️⃣ 설명변수 값들에 대한 가정 

•  설명변수 표본값 고정 : 설명변수의 관측값들은 표본추출을 반복할 때 값이 변하지 않는다. x1,x2,...,xn 은 확률적이지 않다. (nonrandom)
•  비특이성 : 설명변수들의 관측값들이 모두 동일하지는 않다. 

2️⃣ 오차항에 대한 가정 

•  오차평균0 : 모든 i 에서 E(ui) = 0 이다. 설명변수 표본값 고정의 가정 하에서 모집단에서 E(u|X) = 0 이면 성립한다. 
•  동일분산 : 오차분산 var(ui) 는 모든 i 에 대해 동일하다. var(u|X) 가 X값에 의존하지 않고 상수이면 성립
•  독립추출 : 오차들은 서로 독립적으로 추출된다. 
•  정규분포 : 오차들은 각각 정규분포를 갖는 모집단으로부터 추출된다. 

 

 

•  설명변수 표본값 고정 : 화학약품 실험, 설문조사 나이 모집단 예제 참고하기! 그러나 사회과학의 많은 연구에서 설명변수 표본값들은 고정된 것이 아니라 확률적이다.

 

•  오차평균0의 가정 : ui 값이 평균이 0인 모집단으로부터 추출된다고 가정한다. ui 의 값들은 표본을 추출할 때마다 변한다. 모든 i 에 대해 E(ui) = 0 즉, E(u1) = 0, E(u2) = 0, ... , E(un) = 0 이다. 이는 모집단에서 E(u|X) = 0 이 성립함을 의미한다. 오차평균0 가정은 한 개체의 설명변수 값이 무엇이든, 해당 오차값에 대해서는 어떠한 체계적인 기대도 할 수 없다는 것을 의미한다. 즉, 설명변수 값이 크니까 오차값도 클 것이다라는 이야기는 불가능한 것이다. 

 

•  동일분산 가정 : var(ui) = var(u | X=xi) 모든 i 에 대해 오차항의 분산이 동일하다는 뜻이다. 

 

•  독립추출 가정 : u1,u2,...,un 이 서로 간에 독립적으로 각각의 모집단 구획으로부터 추출된다 가정한다. 

 

 

 

③  최소제곱 추정량의 평균 

 

•  설명변수 표본값 고정, 비특이성, 오차평균0의 가정이 만족된다면, 추정값들의 분포의 평균값은 참값과 동일하다는 결론을 얻는다. 이때 해당 추정량은 unbiased 한다고 말한다.  E(β1_hat) = β1

•  참고로, unbiased 를 위해서 동일분산이 요구되지는 않는다. 

•  독립적인 반복시행 횟수를 증가시키면 그 평균은 아마도 참값에 더욱 가까워질 것이며, 무한히 반복하면 궁극적인 평균은 참값과 동일하다는 것이 비편향성의 의미이다. 

 

 

 

④  최소제곱법의 효율성 

 

•  분산이 더 작은 추정방법이 분산이 큰 추정방법보다 더 낫다 : efficient 

 

•  표본 설명변수 값 고정, 오차평균0, 동일분산, 독립추출의 가정 하에서 표본추출이 반복시행 될 때, 어떠한 선형 비편향 추정량도 OLS 추정량보다 더 작은 분산을 가질 수 없다. 즉, OLS 추정량이 BLUE (가장좋은 선향 비편향 추정량) 이라는 정리다. 언급한 가정들을 가우스 마코프 가정이라하고, BLUE 라는 결과를 Gauss-Markov Theorem 이라고 한다. 

 

 

 

⑤  오차분산의 추정 

 

•  σ^2 은 E(ui^2) , 즉 표본추출 반복시행 시 오차항의 제곱의 평균이다. 

•  자유도 : 오차항 가정 중, Σui = 0 , Σxi•ui = 0 이라는 항등식을 만족시켜야 하므로, n-2 개만 자유롭고, 나머지 2개는 두 직교방정식을 만족시키도록 속박되어있다.