|
:: 게시판
:: 이전 게시판
|
- PGR21 관련된 질문 및 건의는 [건의 게시판]을 이용바랍니다.
- (2013년 3월 이전) 오래된 질문글은 [이전 질문 게시판]에 있습니다. 통합 규정을 준수해 주십시오. (2015.12.25.)
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
19/04/04 10:16
https://en.wikipedia.org/wiki/Multiple_comparisons_problem
참고해보세요~ 다중비교로 인한 문제로 생각됩니다. P-value 5%는 참 무의미하다는 생각이 듭니다.
19/04/04 11:03
다중비교 개념은 어렵더라구요... 사후검정시 본페로니 커렉션같은 걸로 p value를 낮춰서 검정해야한다는데..
각 그룹별 처리가 독립적인 거라면 애초에 anova를 해야할 필요가 있는건가 싶기도 하구요.. 제 data도 그룹에 4개 나와서 anova를 돌린건데 유의하지 않아서 그런가보다 하고 실험결과를 정리하다 생각해보니 anova가 각 그룹의 측정값분포를 비교하는 건데.. 원본에서 독립적으로 처리된 대응값이 존재하니까 대응표본 돌리면 되는 것 같은데? 싶어서 돌려보니까 결과가 유의하더라구요. 그리고 처리2,처리3도 꼭 해볼 필요가 없는 것들이라서.. 이걸 p-value를 낮춰서 검정할 이유가 있나 싶기도 하고..
19/04/08 01:25
이건 처리1, 처리2 하면 원본에서 뭔가 유의한 변화를 만들어내기는 하는데, 각 처리의 효과 사이에는 유의한 차이가 없다는 것이죠.
뭘 믿느냐의 문제가 아니라, 실험 설계 시 어떠한 가설을 세웠느냐에 따라서 선택하면 됩니다. 그리고 그룹이 4개가 아니고 3개입니다. 원본은 baseline이고, 처리1 vs 처리2 vs 처리3을 비교하는 것이니까요. 각 그룹간 baseline 차이가 없다면 그냥 처리 후 측정값을 비교하면 되겠고, baseline 차이가 있다면 보정하거나 나중 - 기저치 = difference를 구해서 3군을 비교하고요.
19/04/08 09:21
처리1,2,3은 특별한 효과가 있는 건 아니구요. 각 처리 간에도 별 관계는 없습니다.
실제로 이 factor를 측정하는 방법은 원본,처리1,처리2,처리3이 동일합니다. 다만 처리 1,2,3은 흔히 발생하는 오류 3가지를 인위적으로 시행했을 때 원본과 얼마나 차이가 나느냐.를 테스트해본거에요.. 가설은 이 측정방법은 오류가 발생해도 보정이 가능한 방법이다.라는 거죠.. 그래서 원본,처리1,2,3의 4개 그룹을 비교해야하는건지.. 각각 대응표본 검정을 원본-처리1,원본-처리2,원본-처리3 이렇게 해야하는 건지 애매해서요..
19/04/08 13:25
대응표본이면 그냥 ANOVA하시면 안됩니다.
예를 들어 1-10번 개체에 4가지 조작(원본, 처리1,2,3)을 차례로 가할 경우 한 개체에 대한 처리효과는 서로 연관(nested)되어 있습니다. 이런 데이터는 검정하시려면 혼합모형(처리 = 고정효과(원본이 reference, 개체 = 랜덤효과) 쓰셔야 합니다. 아니면 원본과 각 처리를 하나씩 대응 t-test해도 되는데, 비교가 3번이므로 p-value <0.05 대신 p-value < 0.05 /3 = 0.016 쓰셔야 합니다.
19/04/08 14:06
다중비교에서 p 값을 낮추는 게 결국 전체 실험에서 쓰이는 조합 개수만큼 p value를 낮춰주는 거지요?
예를들어 제가 아무효과없는 알약 20개를 가지고 실험하면 5%확률상 하나는 효과가 있게 나오는 걸 보정하기 위해서요. 그러면 알약 20개로 실험한 다음에 19개 데이터를 버리거 유효한 한 개만 사용한다면 5%로 써도 되는건가요? 아니면 효과없는 알약 20개를 가지고 각각 페이퍼 20개를 내면 그건 5%씩 써도 괜찮은 건가요? 근데 애초에 유의하다는 기준이 왜 5%인 걸까요?
19/04/09 22:11
쪽지 드릴까 하다가 댓글로 남겨서 다른 분들도 볼 수 있게 하는 게 좋겠다 싶어 그냥 댓글 달아봅니다.
어차피 알림 뜨니까 보실 수 있겠죠? 1. 실험을 20개 하고 연구 가설을 지지하지 않는 데이터를 버리면 연구부정입니다. 데이터를 버리거나(조작), 데이터를 쪼개면(살라미출판) 연구윤리 위반으로 처벌을 받고, 학계에서 추방됩니다. 나중에 어떠한 중요한 연구를 해도 아무도 믿어주지 않죠. 황우석씨가 예전에 그랬습니다. 이건 연구윤리 동영상 강의 같은 데 보시면 잘 나옵니다. 정상적인 전향적 연구라면 미리 몇 번 실험할지(연구대상자를 몇 명 모집할지), 그러면 실험 결과가 내 가설이 참일 경우 진짜 참으로 나올 확률이 얼마인지 계산해 놓고 합니다. 2. 유의수준 0.05는 원래 고전적 통계의 대가인 Fisher라는 분이 그렇게 하자고 해서 다들 그렇게 쓰는 겁니다. 그렇다고 0.05가 아무 의미 없는 관습은 아닙니다. 유의수준 0.01, 0.001 등 훨씬 엄격하게 실험을 설계할 수도 있지만, 그러면 필요한 실험 회수나 연구대상자 수가 너무 커져서 연구 결과로 얻게 되는 지식의 가치보다 연구에 들어가는 비용이 훨씬 크게 될 겁니다. 유의수준(거짓 결과를 참이라고 믿을 확률) 0.05는 그런 의미도 있습니다. 물론, 모든 전향적 연구들의 결과 p-value 0.04999999....라면 결과가 참으로 나온 모든 연구의 5%는 거짓일 겁니다. 하지만 결과가 확연하게(p < 0.001 같이) 참을 지지하는 연구들도 많죠. 3. 설명을 쫙 쓰다 보니... 저는 통계 전공이 아니라서 쉽게 설명드리기가 어려워 지웁니다. 일단, 알약 20개로 실험하고 데이터 19개를 버리면 신뢰구간이 제대로 안나옵니다. 40개를 실험하고 20개를 버릴 수는 있겠죠. 또, 다중비교에 의한 유의확률의 보정은 20개짜리 대조군 vs 20개짜리 실험군1 vs 20개짜리 실험군2 vs ... 이럴 때 고려하는 것입니다. 위약 20개 실험한 것 중에 하나가 호전을 보였다(=위약의 치료효과는 5%이다)와는 다른 문젭니다. 통계, 특히 표본과 표본평균, 1종 오류, 2종 오류에 대한 기초 개념을 확실하게 잡으셔야 겠습니다.
19/04/10 11:34
상세한 답변 고맙습니다. 통계에 대해 이 정도 답변받은 건 처음인 것 같아요. (아니면 답변받아도 제가 이해를 못했을 수도..)
통계책을 봐도 이럴 때 이런 걸 쓴다고만 나와있지.. 그 상황에 맞지 않을때 어떤 걸 어떻게 생각해야하는지가 어렵더라구요. 기초개념도 막연하게 거짓인데 참으로 나오는 오류, 참인데 거짓으로 나오는 오류라는 건 알겠는데.. 그래서 이게 복잡한 상황에서 어떻게 적용해야하는건지 어려워요 --.. 다른 사람한테 물어봐도 독립변인 설정과 그 관계부터 애매한 부분도 있고.. 여하간 고맙습니다.
|
||||||||||