말 많던 피인용 지수, 철회 움직임 가시화…美 미생물학회, 임팩트 팩터 사용 중단 발표
“피인용 지수(IF)로 연구자 평가, 불공정”
동아사이언스｜2016. 7. 11.
과학자들의 연구 성과를 평가할 때 주로 사용되는 ‘임팩트 팩터(Impact Factor·피인용 지수)’가 사실상 큰 의미가 없다는 지적이 나왔다. 임팩트 팩터는 국내에서도 정량 평가 척도로 오랫동안 사용돼 온 만큼 파장이 예상된다.
‘네이처’ ‘사이언스’ 등 소위 임팩트 팩터가 높은 학술지 편집자 9명은 ‘네이처’ ‘사이언스’ ‘플로스원(PLOS ONE)’ 등 11개 국제 학술지에 대해 이들 학술지에 실린 논문의 실제 인용횟수와 저널의 임팩트 팩터를 비교한 결과 둘 사이에 괴리가 크다는 사실을 발견했다고 최근 밝혔다. 이 같은 내용은 5일 논문 초고 온라인 등록 사이트인 ‘바이오아카이브(BioRxiv)’에 처음 공개됐다.
편집자들은 이 연구결과를 근거로 임팩트 팩터가 실제 논문의 수준이나 중요도를 올바르게 반영하지 못하고 있다고 지적했다. 2013~2014년 11개 학술지에 실린 논문의 실제 인용횟수를 모두 분석한 결과 임팩트 팩터가 높은 것으로 나타난 논문의 인용횟수가 실제로는 높지 않은 것으로 확인됐다.
예를 들어 ‘네이처’의 임팩트 팩터는 38.1(2015년 기준)이지만, 실제 인용횟수가 38회를 넘는 논문은 25.2%에 불과했다. ‘사이언스’나 ‘플로스원(PLOS ONE)’ 등도 마찬가지였다.
이 같은 괴리가 생긴 이유는 극히 일부 논문이 수백 건씩 인용되면서 평균값을 크게 높였기 때문이다. 임팩트 팩터 최상위 저널에 논문을 게재했다고 해서 논문 자체의 인용횟수가 반드시 높은 것은 아니라는 뜻이다.
편집자들은 “연구자를 평가할 땐 학술지가 아닌 논문 자체를 봐야 한다”며 “논문을 내려받은 횟수나 임팩트 팩터로 논문의 질을 알 수 없다”고 주장했다.
이와 더불어 19개 학술지를 발행하는 대형 학회인 미국 미생물학회는 11일 임팩트 팩터 사용을 철회하겠다고 발표했다. 학회 측은 향후 학술지와 웹사이트에서 임팩트 팩터를 삭제할 계획이다.
이런 분위기는 국내 과학계의 연구 성과 평가 시스템에도 적잖은 영향을 미칠 것으로 전망된다. 현재 미래창조과학부는 연구개발(R&D) 평가 시스템을 정량적인 기준에서 정성적인 기준으로 전환하고 있다.
2010~2015년 국제미생물계통및진화지(IJSEM) 편집자를 맡았던 조장천 인하대 교수는 “학술지에 실린 개별 논문들의 질은 천차만별”이라며 예전부터 “임팩트 팩터로 연구자의 성과를 일차적으로 판단하는 방식에 대해 국내외에서 오랫동안 꾸준히 문제가 제기됐다”고 말했다.
국제학술지 편집자들이 학술지에 실린 논문들의 실제 인용횟수를 조사한 결과, 대부분 피인용지수보다 낮게 나타났다. - 네이처 제공
변지민 기자
