거의 뻘소리에 가까운 글입니다.

대단한 이야기를 하려는 것이 아니기에, 서두는 치우고, 바로 본론으로 들어가겠습니다.

"이상의 연구에 따르면, 양 집단 간에는 통계적으로 유의미한 차이가 있다고 볼 수 있습니다"

라는 말을 받아들을 때에는 상당히 조심해야 합니다. 왜냐하면 저 말이 "현실적으로 유의미한 차이가 있다" 라는 뜻이 아니기 때문이죠.

어떤 동전을 100,000 번 던졌더니 앞면이 50,100 번 나왔다고 칩시다. 이 동전은 앞뒤가 나올 확률이 50-50 인 동전일까요 아닐까요?

이런 질문에 대한 답변을 하기 위해서 만든 개념이 p-value 입니다. 앞뒤가 나올 확률이 50-50 인 동전을 100,000 번 던졌을 때, 앞면이 50,100 번 이상 나올 확률을 계산해보면 대충 2.3% 정도가 됩니다. 이 2.3% 를 우리는 p-value 라고 부릅니다. 즉 p-value 란,

"테스트 대상 집단에 아무런 바이어스가 없을 경우에, 우연에 의해 해당 바이어스가 일어날 확률"

을 뜻합니다. 보통 사회과학자들이 통계를 해석할 때 p-value 가 5% 아래라면 해당 테스트 대상 집단에 바이어스가 있다고 결론을 내린다고 합니다. 즉, 위에서 예로 든 동전은 50-50 의 동전이 아닐 확률이 훨씬 더 높다는 거지요. 주어진 자료만 가지고 결론을 내려야 한다면 해당 동전은 50.1% - 49.9% 정도로 기울어진 동전일 겁니다. 즉, 50,100 와 49,900 사이에는 통계적으로 유의미한 차이가 있습니다.

근데 그런 동전이라고 해서 우리가 점심 내기용으로 사용하기에는 아무런 부족함이 없지요. 즉, 해당 동전의 바이어스는 "통계적으로는 유의미" 하지만, "현실적으로는 무의미" 합니다.

해서, 어떤 논문에 사용된 문구가 "양 집단 간에는 통계적으로 유의미한 차이가 있다" 라는 식이라면, 접할 때 어느 정도는 의구심을 가지고 접근해야하는 것 같습니다.

--
본인이 가진 정치 성향에 따라서 사람들이 동일한 삼단논법에 대해서 정/부 판정을 내릴 때 "통계적으로 유의미한 차이가 있다" 라는 논문이 있더라고요. 아니 정말? 이라는 생각이 들어서 읽어봤더니, 71% vs 68% 의 차이가 난 것이고, 그 작은 차이가 모집단의 사이즈를 고려해볼 때 "통계적으로 유의미한 차이가 있다" 라는 소리더군요. 해서 급분노한 김에 글을 써봅니다.

--
화를 달래기 위해서 유튜브에서 본 영상을 부록으로 드립니다.

솔직히 이 이상 실감나고 아드레날린 넘치는 원맨아미 씬이 영화사상 또 있을까 싶습니다.