국가

글로벌아이 2011. 12. 28. 01:00

초점기획

[1] 인용분석과 과학적 연구업적 평가의 이론적 고찰

목차  

李 佳 鍾

국민대학교, 행적학과 교수

Ⅰ. 머리말

과학자들의 "연구과정"은 끊임없는 평가과정이다. 연구의 논제, 목표의 선택에서부터 연구의 방법, 연구자의 선택, 이론 및 정보의 검색(탐색) 등에 이르기까지의 거의 모든 과정은 평가와 선택의 과정이다. 그러나 이러한 과학자 개인들의 평가와 선택에 관한 의사결정과정은 학문적으로 알려진 것이 별로 없다. 지금까지 과학적 연구의 평가는 주로 개인의 의사결정영역을 떠나 그 연구결과가 외부에 발표될 때 제3자에 의하여 평가되고 있다. 이러한 평가 방법은 다양하지만, 대체로 학위논문의 심사, 학술지 등의 심사, 인용분석(citation analysis), 평가논문(review article), 그리고 마지막으로 역사에 의한 평가 등이 대표적인 것들이다. 인용분석은 개인에 대한 인용분석과 학술지에 대한 인용분석으로 다시 나누어 볼 수 있다. 특히 과학자들은 평가받기 위하여 연구하고, 연구를 위하여 다른 가치를 투입(희생)한다. 때로는 탁월한 과학자가 되기 위하여 과학자들은 생명과 재산을 거는 투쟁을 하는 경우도 있다. 이런 의미에서 볼 때 과학자들의 연구업적의 평가는 과학적 발전에 무엇보다 더 큰 기여를 할 수 있으며 따라서 과학정책에 있어서 무엇보다 더 중요한 의미를 가지게 된다.


 

Ⅱ. 연구업적평가를 위한 인용분석(Citation analysis)과 SCI의 활용

ISI(Institute for Scientific Information)는 국제학술지에 실린 논문 등의 인용 및 참고 문헌을 분석하여 SCI(Science Citation Index)와 JCR(Journal Citation Report)을 주기적으로 발표한다. SCI는 자연과학을 중심으로 한 인용분석이며, 이를 사회과학에 확대 적용하여 SSCI(Social Science Citation Index), 그리고 인문예술분야에 적용한 A&HCI(Arts & Humanities Citation Index)를 발간한다(이하 이 모두를 합쳐 SCI라 한다). JCR은 자연과학분야와 사회과학분야의 국제학술지의 각종인용지수에 의한 영향력을 분석한 것인데 인문예술분야의 JCR은 아직 발간되지 않고 있다.

SCI는 분석에 포함된 국제학술지(1994년 분석된 국제학술지는 자연과학분야 4,460종, 사회과학분야 1,300여 종임)에 나타난 인용 및 참고문헌을 분석하여 일차적으로 과학자 개인의 피인용(cited)빈도를 수록하고 있다. 여기서 주의 할 것은 피인용(cited)빈도를 분석한 것이므로, 국제학술지가 포착한 피인용은 분석대상의 국제학술지 뿐만 아니라 기타 학술지, 단행본, 학위논문, proceedings(학술대회논문집), 자료 및 통계집, 개인의 대화에 이르기까지 다양하고 폭 넓은 인용의 근원(source)에서 인용빈도를 포착하고 있다는 점이다.

이 SCI는 년 3회 발행되는데 그 자료가 방대하여 서울시 전화번호책 만큼의 단행본으로 1회 약 20∼25본이 발간된다.

JCR은 분석에 포함된 국제학술지의 인용 및 피인용 빈도를 여러 가지의 지료(index)로 환산하여 국제학술지의 질 혹은 성격을 평가한다(여기의 Index는 색인으로서의 성격보다 지표 혹은 지수의 성격을 띄고 있으므로 이 글에서는 지표라는 단어를 사용코자 한다). 1994년 분석에 포함된 국제학술지는 자연과학분야 4,460종, 사회과학분야 약 1,300여 종이다.

이 SCI의 중요성은 단순히 인용빈도 및 인용지표를 분석한 것이 아니라, 이 지표를 기초로 하여 과학적 연구업적을 평가하는데 이용하고 있다는 점이다. 이 과학적 연구업적의 평가는 과학자 개인에서부터 시작하여 단위 논문, 기관(주로 대학, 연구소 등), 지역, 국가 등의 과학적 연구업적의 평가까지 포함한다. JCR 역시 여러 가지의 인용지표를 개발하여 이를 기초로 하여 학술지의 성격, 질 등을 평가하고 순위(ranking)를 매긴다.

ISI는 SCI 기초자료를 활용하여 과학자 개인, 대학, 연구기관의 연구업적을 분석 평가하여 Science Watch를 통하여 발표한다. ISI의 SCI자료는 무엇보다도 학술자료도 많이 활용되고 있다. 과학정책 전문학술지 Scientmetrics, Research Policy 등은 ISI의 자료를 이용하여 세계 각국의 기초과학수준을 분석 평가하며, 또 각종 연구에 활용한다.

과학자 개인의 입장 역시 이러한 연구업적평가에 민감하지 않을 수 없게 되었다. 이미 선진국의 많은 대학, 연구소는 교수, 연구원의 채용, 승진, Tenure 등의 결정에 SCI자료를 활용하기 시작했다. 연구비를 지원하는 기관에서도 연구비 지원에 연구업적의 평가를 활용하려는 노력은 서서히 확산되어 가고 있다. SCI의 연구업적평가에 민감한 반응을 보이는 기관은 학술지의 편집인들이다. 자기들의 학술지가 SCI-JCR에 수록되느냐 그리고 여기에서 어떤 평점을 얻느냐는 학술지 편집인에게는 결정적인 영향을 주지 않을 수 없다.

원래 SCI는 도서관의 도서관리 혹은 정보탐색을 위하여 고안된 것이었으나 최근에는 과학사회학, 과학정책학에서 이론(패러다임)의 형성, 발전을 분석하는데 매우 유용하게 사용되고 있으며 또한 과학의 현황을 분석하고 과학의 미래를 예측하는데 귀중한 자료가 된다.

현재까지 과학적 연구업적을 합리적 혹은 객관적으로 평가 할 수 있는 동구는 아직 개발되지 못하고 있는 실정이다. 이런 상황에서 SCI의 등장은 주목을 받을 만하다. 그것은 완벽한 것은 아니지만 어느 정도 객관적이며 지금까지의 다른 어느 측정도구나 방법보다 훨씬 큰 장점들을 가지고 있음에 틀림없다. 그러므로 이 SCI의 의미, 성격, 분석기법, 그리고 그 한계를 좀 더 명확히 이해하고 활용하는 것이 무엇보다 중요하다고 할 수 있다.

Ⅲ. SCI의 인용분석기법

SCI(Science Citation Index)는 문헌탐색의 기법이다. 과학적 연구의 정보탐색을 돕기 위한 문헌탐색기법은 여러 가지가 있다. 각종 SI(Science Index), EI(Engineering Index) 등도 과학적 연구를 위한 정보탐색의 도구이다. 일반 과학자, 혹은 학회 등이 회원들의 연구의 편의를 위하여 관련된 연구업적의 문헌을 주제별, 저자별 등의 연구업적을 목록으로 작성하여 배부함으로써 연구의 효율성을 높일 수 있기 때문이다. 그러나 이러한 문헌목록 혹은 색인은 인용(citation)분석이 빠져 있으므로, 인용분석을 주로 하는 SCI와는 근본적으로 다르다. SI 혹은 EI 등은 문헌의 목록을 체계화하여 제공할 뿐이므로 과학문헌색인 혹은 공학문헌색인정도로 이해할 수 있지만, SCI는 단순한 색인만을 제공하는 것이 아니라 인용(citation)을 분석하여 각종 지표(index 혹은 indicator)를 제공하고 있기 때문에 여러 가지의 과학적 활동에 관한 다양한 분석이 가능하다. 한국에서 가끔 이 양자의 개념과 기능을 혼동하고 있는 듯 하다. 이러한 혼동은 주로 과학적 연구업적 평가에서 논문 편수만을 단순 계산하고 비교하는 관행때문인 듯 하다.

인용분석은 오래전부터 과학적 활동을 분석하는데 유용하게 사용되어 왔다. 인용분석의 가장 단순하고 기본적인 방법은 학술지에 나타난 참고문헌(인용)을 단순 계산하는 것이다. 이 단순계산을 기초로 하여 여러 가지의 지표를 작성하는데, ISI가 제공하는 주요 지표들은 영향력지표(impact factor), 상대적 영향력(relative impact), 즉시성 지표(immediacy index), 반감기(half-life) 등이다. 이러한 지표들은 다양한 분석단위(unit of analysis)에 적용되어 분석될 수 있다.

단순계산방법은 일정기간동안 피인용 문헌(cited documents)이 인용하는 문헌(citing documents)이 인용하는 문헌(citing documents)에 의하여 얼마나 많은 인용을 받았는가를 단순 계산하여 총계(total citations)를 계산하는 방법이다. 인용되는 문헌(citied documents)은 제한이 없다. 여기에는 학술지의 논문은 물론, 단행본, 연구보고서, 학술회의 논문집(proceedings), 학위논문, 뉴스, 통계집, 심지어는 개인 노트, 개인과의 대화 등도 포함된다. 인용하는 문헌(citing documents)은 ISI가 선정한 학술지로 제한되어 있다. 학술지로써 이를 선택한 이유는 학술지가 과학자 사회에서 과학적 정보교환(communication)의 수단, 통로로서 가장 보편적이며 가장 많이 활용되고 있으며 학술지는 다른 학술적 정보교환 수단(예컨대 단행본, 학위논문 등)보다 정기적인 간행물로서 분석의 확실성, 계속성, 비교 가능성 등의 면에서 훨씬 탁월한 이점이 있기 때문이다. 그러므로 여기에 선정되지 않은 다른 학술지, 단행본, 보고서, 학위논문 등이 인용한 것은 포착되지 않는다. 인용 빈도를 계산하는 기간은 1년이다. 일정기간(대체로 1년)동안 분석된 인용빈도를 년도별로 누계(cummu-lative)를 계산하면 총 인용수(total citations)가 집계될 수 있다.

단순 계산에 의한 총 인용수(total citatios)에 따라 연구활동업적을 평가하는 것은 불공평한 평가가 될 수 있다. 발표된 지 오래된 글은 인용을 받을 기회가 많고 최근에 발표된 글은 인용을 받을 기회가 적다고 생각하는 것은 당연하다. 또 논문을 많이 발표한 경우와 적게 발표한 경우를 단순 비교하는 것은 불공평하다. 그래서 ISI는 영향력 지표(impact factor)라는 개념을 도입하였다. 영향력 지표란 일정기간(ISI는 출관된 년도부터 최근 2년을 기준)동안 한편의 논문이 받은 평균인용수를 말한다. 이는 마치 총 인용수는 경제에서의 총 GNP의 개념과 비교될 수 있고, 영향력 지표는 1인당 GNP의 개념과 비슷하다.

<표 1>에서 1986년 1년 동안 발행된 국제학술지 (citing documents)에 의하여 학술지 Science(cited documents)는 총 91,449번의 인용을 받았다. Science 학술지가 1984∼1985 2년 동안 발표한 논문(source items)은 1,729

<표 1> SCI의 인용분석의 예(1)


편이며 이 논문들이 인용 받은 인용빈도는 21,504번이므로 영향력지표는 12.437이 된다. 즉 1984∼85년 2년 동안 발표된 Science 학술지의 논문 한편이 1986년 한해 동안 받은 인용수는 평균 12.437 이다.

영향력지표를 논문이 발표된 지 1∼2년 후에 받은 인용수로 측정하는 이유는 대체로 이 기간동안 인용을 많이 받는 것이 통계분석에서 발견되었기 때문이다.

총 인용수는 학술지의 총체적인 영향력을 측정할 때 사용하는 것이 적합하며, 영향력 지표는 학술지의 질을 평가할 때 사용하는 것이 적합하다. 그러므로 과학정책 전문가들은 학술지 혹은 과학자 개인의 업적을 평가할 때 주로 영향력 지표를 많이 사용한다. ISI 역시 학술지의 순위를 매길 때 이 영향력 지표를 기준으로 한다.

즉시 인용지표(immediacy index)는 학술지 발행년도와 인용 받은 년도가 같은 것을 말한다. <표1>에서 학술지 Science 는 1986년 803편의 논문을 발표했는데, 그 해 1986년에 받은 인용수는 2,412번이므로 논문 한편이 받은 평균 인용수는 3.004번이다. 이 즉시 인용지표는 학술지의 질을 평가하는데 매우 유용한 지표이다. 그것은 인용하는(citing)과학자들이 인용되는(cited) 학술지에 대하여 얼마나 예민하게 반응하며 또 높이 평가하고 있다는 것을 말해주고 있기 때문이다. 또 이 지표는 과학적 지식이 얼마나 빠른 속도로 이전되고 확산되는가를 측정하는데 유용한 지표이다. 그러나 이 즉시 인용지표는 1년 중 어느 시기에 발행되느냐에 따라 많은 차이를 보이게 된다. 예컨대 1∼2월에 발표된 논문은 비교적 인용될 시간적 여유를 가질 수 있지만, 10∼12월에 발표된 논문은 그 해에 인용 받을 시간적 여유가 없을 것이다. 이러한 한계 때문에 즉시 인용지표는 그 사용에 한계가 있다.

과학적 지식의 이전속도를 측정하는 기법은 즉시 인용지표, 인용절정기(peak time), 반감기(half-life) 등이 있다. 인용절정기는 가장 많이 인용하는 혹은 인용되는 시기를 말한다. 半減期(half-life)는 문헌의 수명을 측정하는 것인데, 총인용수(total citations)의 백분율의 누적이 50%에 이르는 시기를 말한다. <표 2>에서 우수과학자(top scientists)의 논문이 0차년도(논문이 발표된 년도)에 받은 즉시 인용지표는

<표 2> 인용의 절정기 및 반감기


0.3이며 일반과학자(average scientist)의 논문의 즉시 인용지표는 0.28이다. 우수과학자들은 2차 년도에서 인용절정기를 기록한 반면, 일반과학자들은 3차 년도에 인용절정기를 맞는다. ISI가 학술지의 영향력 지표(impact factor)를 1∼2차년도를 기준으로 하여 측정하는 이유를 여기에서도 볼 수 있다.

반감기는 우수과학자의 경우 2차년도 인용률 누계 36.5%와 3차년도의 54.8%의 2.7년이며, 일반 과학자의 경우 2.85년이다. 반감기를 逆으로 계산하는 방법이 있는데, 그것은 이른바 Price Index(물가지수가 아니라 최초의 주장자 D.Price의 이름을 딴 지표임)이다. 이 Price 지표는 5차년도에 이르러 인용률 누계가 몇 %에 이르느냐를 보는 것이다. <표 2>에서 Price 지표는 우수과학자의 경우 5차년도의 인용률 누계 84.4%이고, 일반과학자의 경우 5차년도의 85.6%이다. Price 지표가 5년을 기준으로 한 이유는 일반적으로 5년차에 이르러 도서의 반감기가 50%에 이른다는 경험적 조사에서 나온 것이다.

반감기나 Price 지표는 도서관의 장서관리에 많이 활용되고 있다. 도서관 운영자들은 도서의 수명을 고려하여 적당한 시기에 장서들을 가려내서 새로운 정보를 진열할 장소를 마련한다. 대체로 5년을 기준으로 하여 도서관 장서정리를 하는 이유가 바로 여기에 있다. 절정기와 반감기를 분석함으로써 古典(classics)을 찾아내는데 유용하게 활용할 수 있을 것이다. 오래도록 읽히는 명작, 고전은 인용률이 서서히 증가하므로 절정기에 이르기까지는 오랜 시간이 걸리며 반감기 역시 매우 길 것이다.

그러므로 우리는 절정기 및 반감기의 해석에서 세심한 주의를 하지 않으면 안된다. ISI의 JCR은 학술지의 반감기를 발표한다. 그러나 학술지의 연령이 긴 것과 짧은 것과의 비교는 사실을 왜곡시킬 가능성이 많다. 몇 백년을 넘는 학술지와 겨우 10년 내외의 학술지의 반감기의 비교는 불공평하다. 그러나 ISI가 반감기에 관한 지표를 발표한 이유는 이런 한계에도 불구하고 학술지의 성격(특성)을 파악하는데 도움이 될 뿐만 아니라 도서관리의 편의를 위하여 유용한 자료가 되기 때문이라고 생각된다.

Ⅳ. 인용분석에 의한 연구업적의 평가

ISI의 JCR은 영향력 지표, 총인용수, 즉시 인용지표, 논문편수를 학술지별로 발표하고 그 중 영향력 지표를 기준으로 하여 학술지의 순위(rankings)를 평가한다. <표 3>는 1993년도의 일반 Chemistry 분야의 국제학술지들의 연구실적을 평가하여 순위를 매긴 것이다.

이 표에는 우리 한국에서 발행되는 두 개의 국제 학술지가 포함되어 있다. 그것은 대한 화학회에서 발행하는 Bulletine of Korean Chemical Society와 대한 화학 공학회에서 발행하는 Korean Journal of Chemical Engineering이다.

1993년 현재 한국에서 발행하는 국제학술지는 3종인데 위의 2종 이외의 한국 물리학회에서 발행하는 Journal of the Korean Physical Society 이 포함된다. 한국물리학회가 발행하는 학술지는 뒤늦게 ISI의 인용분석에 포함되었기 때문에 1994년의 JCR에는 그 인용분석이 수록되지 않았다. 여기서 우리는 ISI가 학술지의 업적을 어떻게 평가하고 있는지를 볼 수 있다. 발표 된 논문의 편수와 총인용수에서 Journal of Amercian Chemical Society 는 단연 선두를 달리고 있지만, 영향력 지표와 즉시인용지표에서는 상위의 다른 학술지보다 뒤져 있다. 평가논문을 주로 게재하는 Chemical Review나 Chemical Society Review가 상위 순위에 올라 있는 것도 주목할 일이다. 그러나 이 분야의 과학자들이나 다른 사람들은 다른 기준에 의하여 다른 평가를 할 수도 있을 것이다. 전체적인 과학적 영향력을 평가한다면 발표된 다양한 논문이나 총인용지표에서 가장 앞서 있는 Journal of American Chemical Society가 단연 꼽히게 될지도 모른다. 그러므로 ISI는 여러 가지 지표를 동시에 발표하고 평가자들의 평가 목적에 따라 다른 지표를 사용할 수 있도록 하고 있다. 한국의 학술지들이 기록하고 있는 업적과 순위의 경우 발표 논문편수에 비해 영향력 지표나 즉시인용지표에서 다른 상위 학술지와의 격차는 너무 크게 떨어져 있다는 사실에 주목해야 한다. 다행히 대한화학회가 발행하는 학술지는 전년도(1992)에는 영향력 지표 0.445를 기록하여 68위에 그쳤으나 1993년도에는 0.542를 기록하여 상당히 빠른 속도로 향상되고 있다는 점이 고무적이다.

연구업적을 기관(대학, 연구소 등)별로 평가하여 순위를 정하는 것은 분석단위가 개인 혹은 논문일 경우 보다 약간 복잡한 분석방법을 필요로 한다. 그것은 개인이 쓴 논문을 소속 기관별로 분류하여야 하며 그 분류된 논문들을 집계하는 과정이 필요하다. 공동연구인 경우 어느 연구자를 기준으로 하여 소속기관을 정하느냐가 문제된다. ISI는 대표연구자(first author)를 기준으로 하여 소속기관을 정한다. 경우에 따라서는 좀 복잡한 문제가 있겠으나, 이는 기술적으로 부득이 한 조치일 것이다. 또한 실제 지금까지의 경험으로 볼 때 이 방법이 크게 문제되지 않은 것으로 알려지고 있다.

분석의 단위가 국가로 확대될 경우 인용분석의 기법은 좀 더 다양하고 복잡한 가공(processing)단계를 거쳐서 지표가 만들어 진다. 인용분석의 국가별 비교 및 국가별 업적평가는 주로 과학정책전문가들에 의하여 분석된

<표 3> SCI-JCR의 학술지 순위평가의 예(Chemistry 분야, 1993)

<표 4> 인용분석에 의한 국가별 연구업적 평가(1985∼89)

다. 국가별 연구업적평가는 과학정책학 전문학술지 Scientometrics에서 주기적으로(일반적으로 1년마다) 발표된다. 최근의 국가별 연구업적 평가는 Braun의(1994)의 논문이 발표한 1980년대 10년간의 분석평가이다. 여기서는 1980년대말(1985∼1989) 5년간의 주요국가의 연구업적 평가를 예시하고자 한다(<표4>참조).

<표4>에서 기대 인용수(expected citations), 실제 인용수(observed citations), 그리고 세계 평균의 %라는 지표가 등장한다. 이 개념들은 ISI가 개발한 지표들이며 그 기본적인 통계자료들은 ISI의 데이터 베이스가 제공한 것들이다. 앞에서도 검토된 바와 같이 인용률은 논문의 발행년도(논문의 나이), 논문의 형태, 그리고 학문 분야별로 많은 차이가 난다. 예컨대, 120년 된 논문과 1년 밖에 되지 않은 논문의 인용수를 비교하는 것은 형평에 맞지 않으며 사실을 왜곡시킨다. 마찬가지로 인용률이 높은 분야(예컨대 생명과학분야의 인용률은 다른 분야의 인용률은 대단히 높다)와 인용률이 낮은 분야의 비교 역시 정당한 방법이 아니다.

인용영향력(citation impact)이란 논문 한편이 평균적으로 받은 인용률이다. 그러므로 예컨대 1981년 발표된 한국과학자 논문 한편이 1994년 현재까지 평균적으로 받은 인용은 7.84번이며, 반면 1993년도 발표된 논문 한편이 평균적으로 받은 인용수는 0.15번이다.

ISI의 데이터 베이스는 다양한 인용률들을 보유하고 있으므로 이를 세계적인 평균으로 계산하는 것도 가능하다. 그리고 기대인용률(expected citations)이란 이러한 다양한 논문의 특성에 따라 받는 인용률을 세계 평균치로 계산한 것이다. 반면에 실제인용수(observed citations)란 실제로 받은 인용수를 말한다. 그러므로 세계 평균의 %(% of world average)는 기대 인용률과 실제 인용률의 비율을 말한

<표5> 한국 과학자논문의 나이별 인용률

다. 이러한 측정방법은 각국의 연구업적의 질을 좀 더 공평하고 정확하게 측정할 수 있을 것이라는 기대에서이다. 이런 방법에 의한 평가에서 스위스가 미국을 젖히고 1위로 등장했으며, 스웨덴, 네덜란드가 각각 3, 4위를 차지하였다. 논문 편수에서 세계 3위를 차지한 일본도 질적 평가에서는 15위로 밀렸다. 한국보다 작은 나라들(스위스, 스웨덴, 네덜란드, 덴마크, 르완다, 벨지움, 노르웨이, 핀란드, 이스라엘 등)이 상위 랭킹에 자리를 차지하고 있는 점에 유의할 필요가 있다. 특히 이스라엘은 한국과 경제발전의 면에서 비슷한 수준의 나라라는 점에서 특히 눈여겨볼 필요가 있다<표4참조>.

Ⅴ. 인용분석에 대한 비판과 한계

SCI가 분석하고 있는 학술지는 1994년을 기준으로 하여 자연과학분야 약 4,500종, 사회과학분야 약 1,300종이다. 세계적으로 학술지가 몇 종이나 발간되고 있는지 정확한 통계가 없고 학술지의 정의에 따라 다르겠지만 아마 수 십만 종은 넘을 것이다. 이 수 십만종이 넘는 학술지 중에서 몇 천 종에 불과한 학술지를 분석하여 세계적인 과학의 동향을 측정하고 과학자의 연구업적을 평가하는 것은 타당하며 대표성이 있는가의 문제가 제기된다.

이에 대비하여 ISI는 설득력 있는 설명을 준비해 놓고 있다. 학술지에 발표된 논문(정확히 말해서 정규논문 이 외 서신 등 다른 글들도 포함되지만 여기서는 편의상 이들 모두를 포함하여 논문이라 함)이 인용한 학술정보원(information source) 중에서 학술지를 인용하는 비중은 평균 80%를 웃돈다. 예컨대 우리의 분석에 의하면, 한국 물리학회가 발행하는 영문 학술지(SCI-JCR에서 분석하는 한국국적 국제 학술지 3종 중의 하나임)는 학술지 인용률이 85% 수준이다. SCI-JCR의 물리학 분야의 순위 1위를 차지한 Reviews of Modern Physics(July 1993)의 학술지 인용률은 90%에 이른다. 단행본의 인용률은 대체로 10% 내외이다. 인문, 사회과학의 경우 학술지 인용률은 다소 다르지만, 일반적으로 학술지 인용률이 높을수록 학술지의 질(대체로 impact factor에 의하여 측정됨)은 높은 것으로 나타난다는 것이다.

이러한 분석의 정당성은 세계적인 수준에서 과학적 활동과 업적을 평가하는데는 별 문제가 없을지 모르지만, 동양권의 국가와 개발도상국가의 과학적 활동과 연구업적을 평가하는데는 몇 가지의 문제점을 안고 있다. 첫째, ISI는 컴퓨터 분석의 기술적인 문제로 로마자 표기(영어, 불어, 독어, 스페인어, 이탤리어, 포르투갈어 등)가 가능한 학술지만을 분석의 대상으로 한다. 그러므로 동양어(중국어, 일본어, 한국어 등), 소련어 등으로 표기되는 학술지는 분석에서 제외되고 있다.

둘째, 언어의 문제를 극복하고 저명한 국제 학술지에 논문을 발표하는 것이 학술수준의 향상을 위하여 바람직스러운 일임에 틀림 없다. 그러나 동양권 특히 한국과 일본의 경우 언어의 구조상 언어의 문제를 극복하는 것은 그렇게 쉬운 일이 아니다. 그리고 학술지의 논문 게재가 기계적인 합리성에 의하여 판단되는 것은 아니다. 언어적 문제 뿐만 아니라 문화적, 사회적 이질성이라는 보이지 않은 장애적 요인이 존재한다는 것이다.

셋째, 위의 이유 말고도 다른 여러 가지 이유 때문에, 한국의 과학적 수준을 국제적 수준에서 평가한다는 것은 어려움이 많다. 그러므로 한국내의 과학적 활동을 자체적으로 평가 할 수 있는 방법과 제도를 생각하지 않으면 안될 것이다. 이러한 의미에서 볼 때, 중국과 대만이 ISI의 평가에만 의존하지 않고 자체적으로 그들의 국내 학술지의 인용분석을 시도하고 있는 것을 우리는 이해할 수 있을 것이다. 여기에는 국내 과학적 활동의 분석평가, 국내 과학자의 과학적 활동의 평가, 국내 과학자의 훈련 등 여러가지의 정책적 의미가 포함 될 수 있다.

마지막으로 ISI가 사용하고 있는 이름 표기(同名異人 homograph)의 문제이다. ISI는 연구자(필자)의 이름을 성(姓)만을 완전표기하고 이름은 약자(initial)만으로 표기한다. 예컨대 J.Cohen은 1974 SCI 인용목록에서 137번의 인용을 받았는데, 같은 이름을 가진 과학자는 여러 다른 분야에서 8명이나 되는 것으로 확인되었다. 우리는 국내 학술지의 인용분석과정에서 화학 및 전기·전자분야에서 김자홍, 김재희, 김진형, 김재호 등 과학자의 이름을 SCI 1994(July∼August)목록에서 찾았는데 이들의 영문표기 Kim JH란에는 65번의 인용을 받았다고 기록되어 있었다.

따라서 현재까지 과학적 연구업적을 비교적 객관적 합리적으로 측정할 수 있는 도구로 평가받고 있는 SCI의 한계를 인식하고 이를 보완할 수 있는 평가방법을 개발·첨가한다면 보다 나은 과학적 연구업적의 평가가 가능할 것이다. 특히, 한국의 경우는 우리의 실정을 반영할 수 있도록 SCI의 장점을 활용하고 단점을 보완할 수 있는 기법의 개발이 요청된다.

【참고문헌】

·<3>「한국기초과학육성정책으로서의 학술지 분석평가정책 방향」<참고문헌>참조