1 동료 평가와 편향

○ 동료 평가(peer review)는 지금도 논문 출판, 연구비 지급 등을 결정하는 주된 평가 방식으로서 널리 활용되고 있음.
   - 학술 생태계가 디지털 시스템으로 급격히 전환되고 있지만 대다수 연구자들은 여전히 동료 평가를 가장 신뢰하고 있는 것으로

     보이며1), 한 설문조사에 따르면 연구비 배분을 결정하는 데에도 동료 평가를 가장 적절한 방법으로 꼽는 응답이 많았음.2)

○ 그럼에도 동료 평가는 성별(gender), 인종(ethnicity), 지역(country) 등과 관련하여 평가자가 무의식적으로 갖는 편향

    (unconscious bias) 때문에 늘 효용성 논란에 휩싸여 왔음.3)
   - 무의식적 편향은 잘 드러나지 않기에 해결도 쉽지 않음. 일례로 평가자들이 연구 보조금 신청자의 성별을 모르더라도 제안서에

     드러난 남녀의 서로 다른 언어 사용 방식에 영향을 받아 성별 편향이 작용할 수 있음.4)

○ 무엇보다 권위(prestige), 평판(reputation) 등에 따른 편향은 여러 연구를 통해 문제점이 드러났으며, 지금까지도 해결에 큰

    난항을 겪고 있음.
   - 노벨상 수상자와 무명의 연구자가 공동으로 집필한 원고에서 노벨상 수상자가 교신저자로 표시되면 그렇지 않은 경우에 비해

     평가자로부터 게재 거부 권고를 훨씬 더 적게 받았고, 평가도 훨씬 더 호의적이었음.5)
   - 평가자들은 권위 있는 저자의 이름과 기관이 공개되면 그렇지 않은 경우보다 게재 승인을 권장할 가능성이 더 높았음.6)

○ 위와 같은 편향 문제로 인하여 신진 연구자의 참신한 연구가 학술 출판뿐만 아니라 연구보조금 수혜에서도 불이익을 입고 있다는

    우려가 설득력을 얻고 있음.
   - 스위스의 공공 연구비 지원 프로그램에서 신진 과학자는 중견 과학자보다 연구비를 신청할 가능성이 더 높음에도 평가자로부터

     평균적으로 더 낮게 평가받고 수혜 가능성도 그만큼 더 낮다는 사실이 발견됨.7)
   - 연구자 4,700명을 대상으로 실시한 설문조사에서 약 절반 정도가 신진 연구자의 연구 제안이 중견 연구자의 연구 제안만큼

     객관적으로 평가받지 못한다고 응답하였음.8)
   - 참고로 직접적인 증거는 아니지만, 어떤 분야에서 저명한 연구자가 예기치 않게 사망하면 그와 자주 협력한 동료 또는 후배의

     출판물은 갑자기 감소한 반면, 새로 입문한 연구자의 출판물은 눈에 띄게 증가하였음.9)

-----------------------------------------------------------------------------------------------------------------------------------------------------