研究成果を内容と質で適切に評価するDORAの理念
研究成果を最終的に発表するための媒体である学術雑誌には、それぞれインパクトファクター(IF)という数値が算出されており、その雑誌あるいは個々の論文の反響を示す指標として昔から盛んに用いられてきました。しかし、近年ではかつてのようなIFに依存した研究評価に対する異論が多く挙がるようになりました。研究成果を適切に評価するための理念について考えたいと思います。
研究成果の内容と質を的確に評価するDORAの理念
IFという数値は、その学術雑誌(あるいは論文)がどの位沢山の引用をされたかを元に算出される数値であり、くだけた言い方で表すと、その雑誌や論文が世間にどの位の反響、すなわちインパクトを与えたのかを表す概念となるのです。そのため、その研究成果そのものの質(クオリティー)が高いと言えるかどうかに関しては、別問題になってしまいます。
他方で、昔から世界的にIFばかりに依存した研究成果の評価が幅を利かせ、あたかもIF値の高い雑誌に論文を掲載した研究者は優れた研究者であろう、などという短絡的な評価の仕方が目立つようになっていたのも否めません。そういった問題を受けて、2012年から2013年にかけて、研究評価に関するサンフランシスコ宣言(DORA: San Francisco Declaration on Research Assessment)が提唱され、現在では多くの学術雑誌出版社や研究機関などから賛同・署名を得ています。このDORAの理念では、研究成果そのものの質の高さを的確に評価する際には、その研究成果の内容をよく理解してから判断することが重要であり、従来のようなIF値の高低に依存した評価の仕方をするべきでは無いことを強調しています。
研究評価方法の実際問題
DORAにおける研究成果評価の理念は、一見すると当然の理のように思えるのですが、実際には研究評価というものにIF値を取り入れるやり方がまだ根強く残っているのが現状です。IFの高い雑誌に論文を掲載した経歴の多い研究者が優先的に研究資金を多く獲得する、あるいはその他様々な社会的優遇を受けることも多いです。
また、例えば大学などといった研究機関全体としてはDORAに対して賛同し、署名まで行っているのに、その連絡が各研究室にきちんと伝わっていなかったために、その研究室のメンバーがその理念を知らないままでいるというパターンもよく見られます。DORAが提唱されてからすでに7~8年の年月が経過しているにも関わらず、このような前時代的な研究評価方法が払拭されていないのは、当然のことながら好ましいことではありません。
研究者個人レベルの意識改革が必要
研究成果のクオリティーそのものが高いかどうかについては、あくまでもその研究成果の掲載されている論文などを読んで内容を見てから判断すべきであるという当然のモラルを、研究者全体に一刻も早く浸透させることがまずは必要なのではないでしょうか?その際、沢山の論文を読むのを決して面倒臭がったりしてはなりません。確かに「数値(指標)」だけを見て研究成果の質を的確に判定することができるならば、それ以上ない位便利なことだとは思います。しかしながら、少なくとも現時点では研究成果の全てを的確に評価できるような指標などといったものは存在せず、少なくとも一度は原著論文をよく読んで評価するという工程が必要になります。
このような理念に関しては、研究資金の提供者が資金提供先研究機関を選抜する際、あるいは大学などにおける研究者の公募などで非常に重要になります。有能で優秀な研究者を選出する際、間違っても旧来のようなIFにばかり依存した評価方法を取ってはいけません。選出する際の審査員らのセンスというものが重要となってくるはずです。また、研究者らもインパクトが高いと報道されている最近の研究論文などには、日ごろからよく目を通し、「その研究は果たして本当に質の高い研究といえるのだろうか?」という自分独自の目で評価するような、個性的な評価を行う力を身に付けることも、研究者としての良い修行の一つだと思います。