平成13年度地球環境研究総合推進費
中間・事後評価(研究評価)について


1.評価の経過

 評価は「地球環境研究総合推進費研究評価実施要領」に従って実施されている(総合科学技術会議における研究評価の国の大綱的指針の改訂作業や自民党科学技術創造立国調査会の提言等を踏まえ、本年7月所要の改正を行った)。
 中間評価の実施時期については、従来、研究開始2年目及び3年目の計2回としていたが、今年度より、研究開始2年目の1回を基本とすることに変更した。この理由は、①研究評価に関する十分な質の確保及び一層の質の向上、②評価者及び被評価者双方の評価に係る過度の負担の軽減のためである。

 今回の中間・事後評価の対象課題は26課題(昨年度40課題)。

第1分科会: 中間評価 8課題、事後評価 5課題
第2分科会: 中間評価 2課題、事後評価 1課題
第3分科会: 中間評価 2課題、事後評価 2課題
第4分科会: 中間評価 4課題、事後評価 2課題

中間評価16課題、事後評価10課題(計26課題)

 評価は、①研究成果報告書による書面評価(分科会委員全員)と②ヒアリング評価(分科会出席委員全員、行政部局担当者)の双方により実施した。
 評価に当たってあらかじめ留意すべき事項については事前に整理し(参考1)、評価の透明性の確保の観点から、評価者及び被評価者へ配布した。また、書面評価シート様式についても参考として、事前に被評価者へ配布した。
 書面評価及びヒアリング評価とも、別紙の評価項目・評価区分に関する段階的評価のほか、評価に関するコメントを、評価者が評価シートに記述する形で行った。なお、段階的評価の結果については、ヒアリング終了時点にその場で集計を行い、評価者(分科会委員)へ提示し、評価結果の総合討論を行った。

2.評価の集計方法と集計結果の概要

 評価結果の集計方法は次のとおり。

序数尺度(a,b,c等)を距離尺度化し(e.g. a→10,b→5,c→0)、平均点を算出後、再度序数表示に戻す(e.g. av.>6.66…→A,6.66≧av.>3.33…→B,av.≦3.33…→C)。
上記①を、α.委員による書面評価、β.委員によるヒアリング後の評価、γ.行政部局担当者によるヒアリング後の評価、のそれぞれにおいて実施。
上記α,β,γの結果(e.g. A,A,B)をそれぞれ、距離尺度化し、その平均により、再度、序数化(i.e. 評価の重みは、委員2に対し行政1)。
最終的な表示は、A,A-,B+,B,B-,C+,Cのような、感覚的に多様な評価のあったことがわかりやすいような表現(A-という評価の場合、Aという評価で一致したわけではないということが、感覚的に理解しやすい)を用いた。
総合評価についてはA,A-,B+,…,D-,E+,Eの13段階、その他の項目についてはA,A-,…,C+,Cの7段階に表示した。

 課題毎の総合評価は、結果的に下図のとおりとなった。

3.評価結果の活用

 評価結果については、昨年度と同様に、総合評価結果に応じた予算額の増減など、平成14年度の各研究課題の予算額へ反映させる予定。
 (A→30%増, A-→20%増, B+→10%増, B→±0, B-→10%減, C+→20%減, C→30%減など、ただし、研究計画上の諸事情も勘案し、柔軟に対応する)

また、2年間の研究期間延長の検討対象とする研究課題は、今回の中間評価でA又はA-の評価を受けた、2課題(B-54、C-3)とする。この場合、研究課題代表者が希望しない場合を除き、来年度、再度中間評価を実施し期間延長の可否を判断した上で、2年間の期間延長を認めることとなる(全研究期間5年間)。


【参考1】

平成13年度中間・事後評価の実施について

  1. 地球環境研究総合推進費による研究実施課題の中間・事後評価については、一昨年度から、地球環境研究総合推進費研究評価実施要領(以下、要領。)に則り、地球環境研究等企画委員会研究分科会(以下、分科会。)において実施されているところ。

  2. 要領によれば、「原則として書面及びヒアリングによる評価を実施する。」とあることから、評価に必要な研究成果報告書等の書類をあらかじめ分科会委員へ送付した上で、書面による評価を行うものとする。さらに、ヒアリングについては、本年度第1回の各分科会において実施し、書面による評価にヒアリングの結果を加味するほか、評価者と被評価者が意見を交換する機会を設ける。

  3. 要領にあるとおり、「評価結果については、研究費の配分、研究目標及び研究計画の見直し等に適切に反映する」ことが必要であることから、本年度の中間・事後評価結果については早期に取りまとめ、平成14年度の予算積算作業及び平成14年度新規課題の選定作業へ反映する。具体的には、第1回の各分科会終了後、結果を直ちに取りまとめ、評価報告書案を作成し、本年度第1回の地球環境研究等企画委員会に報告することを目処とする。

  4. また、国の研究開発全般に共通する評価の実施方法の在り方についての大綱的指針(以下、大綱的指針。平成9年8月7日内閣総理大臣決定)には、「評価者にあっては、厳正な評価を行うべきことを常に認識するとともに、また、優れている研究開発はさらに伸ばし、より良いものになるよう、研究者を励まし、適切な助言を与えるということも忘れてはならない。」とある。評価の目的の1つは、地球環境研究総合推進費全体の研究レベル向上と個々の研究目標の達成を促すことであることから、評価コメントの作成に当たっては、研究をより優れたものにするためのアドバイスという視点も重視する

  5. 大綱的指針に、「評価者には、評価対象の研究開発分野及びそれに関連する分野の専門家のほか、必要に応じてこれら専門家以外の有識者等を含めることが重要である。」とあるように、課題に対する評価者の専門性をもって、評価を棄権することは望ましいことではない。ただし、評価者の判断に基づき、高度な専門性やその他の時間的な制約等を鑑みた上で、評価の一部を棄権することはやむを得ない

  6. 評価者が評価対象の研究課題に関し、何らかの利害関係がある場合は、評価者は当該研究課題に対する評価を棄権するものとする。何らかの利害関係がある場合とは、評価者が当該研究課題に参画する研究者の所属する機関の役職にある場合や評価者自らが研究課題に参画している場合などとする

  7. 評価者の氏名や評価結果については、要領及び大綱的指針を踏まえ、被評価者及び一般に対して開示する。ただし、被評価者及び評価者の個人情報の保護には十分留意し、評価コメントについても評価者が特定されないよう配慮する。