사회과학 새로운 동료평가 모델

2013.12.18 19:06

가을의 곰을... 조회 수:3282

새로운 동료평가 모델

http://mirian.kisti.re.kr/futuremonitor/view.jsp?cn=GTB2013120357&service_code=03
KISTI 미리안 『글로벌동향브리핑』 2013-12-11

 

 

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

동료평가자의 의견을 좀 더 개진할 수 있는 형태의 새로운 모델을 둘러싸고 논쟁이 벌어지고 있다. 마커스 무나포 (Marcus Munafo)는 학술지에서 그가 본 것들의 일부를 믿지 못하고 있다. 특히 그 분야에서 연구한 것에 대한 재현을 통한 증명의 압력이 높은 심리과학은 더욱 그러하다. 영국 브리스톨 대학 (University of Bristol)의 실험심리학자인 무나포는 “너무 자주 이것은 옳지 않다라는 본능적인 생각이 든다”고 말했다.

그러나 무나포가 발표되기 전에 이러한 논문들에 대한 동료평가를 수행할 때 그는 개인적인 의견을 피력하지 말 것을 권고받았다 ? 이것은 그에게는 큰 불만이었다. 대신 동료평가자들은 이 논문의 방법론이 적절한지를 객관적으로 평가할 것을 주문받았다. 그리고 무나포는 이것이 문제가 될 수 있다고 생각했다: 즉, 논쟁이 있는 분야에서 한 가지 결론을 지지하는 설명에 대한 방법론적으로 적절한 결과는 자기가 만들어낸 환상에 젖어서 결국 정확하게 과학적인 진실을 평가할 수 없게 될 것이라고 생각했다.

학술지 <네이처>에 발표한 논문에서 무나포의 연구팀은 냉정한 수학적 논리를 이용하여 동료평가에 대한 우려를 뒷받침할 수 있다고 주장했다(Park, I.-U., Peacey, M. & Munafo, M. R. 2013). 과학지식이 동료평가와 출판을 통해서 어떻게 확산되는가에 대한 모델을 통해 이들은 평가과정에 자신들의 판단을 사용하는 과학자들은 한 분야에서 일방적인 연구의 연쇄에 대한 합의로 너무 빠르게 도달하는 것을 막거나 늦출 수 있다고 주장했다. 하지만 다른 연구자들은 이 저자들의 모델은 너무 비현실적이어서 실제적인 동료평가에 도움을 줄 수 없다고 주장했다.

이론 미시경제학자인 마이크 피시 (Mike Peacey)와 산업조직연구자인 박 인억 (In-Uck Park)과 함께 무나포가 제시한 모델은 개별 과학자들이 선호하는 두 개 중 한 가지 가설에 대한 개인적인 생각을 갖고 있는 과학자들을 상정했다. 이들은 단계적인 과정을 통해서 정보를 밝힌다. 첫째, 한 과학자는 한 논문에 자신이 선호하는 가설을 제기한다. 이 논문은 두 번째 과학자에 의해 동료평가되고, 이 평가에 근거해서 받아들여지거나 거부된다. 이 두 번째 과학자는 이 공개된 기록에 근거한 개인적인 믿음을 업데이트하게 되고 자신의 논문초고를 쓰게 되고 새로운 생각을 제기하게 된다. 이것은 세 번째 과학자에 의해서 동료평가되며 이러한 과정은 반복된다.

과학자들이 자신의 동료평가역사에 근거한 믿음을 업데이트하면서 이들은 당시에 받아들여진 증거의 무게에 의해 설득된다면 이들은 처음 갖고 있었던 인상을 변경하게 된다. 이러한 과정은 구집(herding)이라고 불린다. 이 과정은 군집을 이루는 특성에 대한 자기강화이기 때문이다. 이러한 개념은 경제학적인 모델에서 기원한 것이며 여기에서 사람들은 그들의 믿음에 영향을 주는 일련의 정보흐름을 이용해서 판단하게 된다고 피시는 말했다.

대부분의 경우에 이 구집은 긍정적이다: 만일 과학자들이 자신의 주장에 대해서 강한 믿음을 갖고 있고 논문이 강력하다면 다른 참고문헌을 따르지 않는가? 하지만 문제는 증거가 결론을 내리기에 충분하지 않은 분야에서 일어난다. 이 모델에 의하면, 구집을 통해서 과학자들은 잘못된 합의에 이르게 될 수 있다. 그 이유는 초기 논문들이 사람들이 실제로 생각하는 것에 대해서 잘못된 인상을 주기 때문이다. 만일 이상적인 과학자들이 모두 모여서 자신들의 생각을 공유하게 된다면, 이 모델에 참여하는 모든 사람들은 정확한 관점을 갖게 될 것이라고 피시는 말했다. 논문과 논문이 쓰여지는 과정에서 구집을 통해서 형성된 잘못된 생각에 정보가 흘러들어갈 것이기 때문이다.

하지만 얼마나 빠르게 구집이 이루어지는가는 동료평가가 이루어지는 방법에 따라 달라질 수 있다고 무나포는 주장했다. 이 저자들은 동료평가자들의 개인적인 생각에 대한 평가에 제기하는 ‘주관적인’ 동료평가와 연구자들이 개인적인 정보를 다른 사람들에게 영향을 주지 않는 ‘객관적인’ 동료평가를 비교했다. 이 비교를 통해서 부가적으로 공유하는 정보는 논란이 되고 있는 구집을 늦추거나 되돌릴 수 있다.

미국 노스웨스턴 대학 (Northwestern University)의 복잡계 연구자인 물리학자 루이스 아마랄 (Luis Amaral)은 “이번 연구는 사람들이 다른 사람들에게 영향을 주려고 하는 불필요한 행동을 한다는 문제에 대한 중요한 논의를 하고 있다”고 말했다. 객관적인 동료평가자는 부상하고 있는 잘못된 합의를 도울 수도 있다. 아마랄은 “이것은 모델에서 보여주고 있는 흥미로운 부분이다. 즉, 의도하지 않은 결과에 대해서 논의하고 있다”고 말했다. 또한 가설적인 연구자들은 이상적인 상황에서 일하고 있다: 예를 들어 자신들의 경력을 발전시키기 위해서 출판하기 보다는 과학적 진리를 찾는다고 보는 것이다.

하지만 컬럼비아 대학 (Columbia University)의 통계학자인 앤드류 겔맨 (Andrew Gelman)은 이 모델은 실제세계에 큰 영향을 주지 못한다고 말했다. 과학은 일련의 반대되는 가설에서 논문에 따른 진보가 이루어지지 않기 때문이다. 그는 “물론 구집행위가 존재할 것이다. 하지만 이 수학적 모델이 과학논문의 발달에 대한 특성을 찾는데 유용하지는 않다”고 말했다. 영국 에든버러 대학 (University of Edinburgh)에서 연구조작이나 편견에 대해 연구하고 있는 다니엘 파넬리 (Daniel Fanelli)는 이러한 가정들은 유용한 예측을 가져오기에는 비현실적이라고 지적했다. 이 연구팀의 모델에서 각 논문은 한 평가자의 평가를 받으며 각 과학자들은 한 번만 논문을 출판한다. 그리고 모든 사람들이 실제사회에서는 공표되지 않는 논문출판거부에 대해 모여든다.

하지만 이러한 비판으로 무나포가 주장을 굽히지 않고 있다. 그의 연구팀은 동료평가에 대한 역동성에 대한 새로운 관점을 제시함으로써 동료평가에 대한 논쟁에 기여하고 있다고 그는 주장했다. 그는 동료평가는 ‘어느 정도까지 이 논문의 결과를 믿는가?’와 같은 주관적인 질문이 이루어져야 한다고 말했다. 그러나 많은 사람들은 정반대의 주장을 한다: 개인적인 편견에 근거한 주관적인 동료평가를 피하는 것이 좋으며 출판 뒤에 이루어지는 동료평가와 과학자들 사이의 논의가 최악에서 최선을 찾게 될 것이라고 주장한다.

무나포의 연구는 출판 후 동료평가가 논란이 되고 있는 분야에서 잘못된 합의를 막는데 도움을 줄 수 있는지 여부에 대해서는 논의하지 않고 있다. 그 이유는 그 과정을 포함하지 않기 때문이다. 하지만 무나포는 이 주제에 대해서 강력한 의견을 갖고 있다: “사람들은 모든 것을 논문에 담아내고 그 뒤에 논의가 이루어질 것이라고 생각한다. 하지만 그 많은 양의 정보를 통해서 사람들을 생각하지 않는다. 여기에 실제 신호 대 잡음 (signal-to-nose)의 문제가 있다. 그리고 흐름을 체크하는 강력한 문지기가 더 도움이 될 것”이라고 말했다.

출처: <네이처> 2013년 12월 6일 (Nature doi:10.1038/nature.2013.14302)
원문참조:

Park, I.-U., Peacey, M. & Munafo, M. R. Nature http://dx.doi.org/10.1038/nature12786 (2013).

자료를 가져가실 때에는 출처 KISTI 미리안 『글로벌동향브리핑』을 밝혀 주시기 바랍니다.

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
, 이 게시물을
목록
목록
쓰기
태그
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED