地球環境研究総合推進費
平成15年度中間・事後評価方法と結果の集計について

1.評価方法
(1)評価時期
 地球環境研究総合推進費における評価の基本的な方法を定めた「地球環境研究総合推進費研究開発評価実施要領」(以下、評価要領という)により、現在、地球環境問題対応型研究領域(研究期間は3年間を基本)における中間・事後評価時期は次のとおり。

  • 中間評価:研究開始後2年目 
  • 事後評価:研究終了の翌年度(4年目)
  • ただし、総合科学技術会議における議論(「優れた研究は継続して研究を行うことが可能な仕組みを工夫する」)を踏まえ、2年目の中間評価で高い評価を受け、かつ代表者が望む場合は、2年間の延長の可否について3年度目に2回目の中間評価を実施。
    (参考)戦略的研究開発領域(研究期間は5年間を基本)では、評価時期を次のように定めているが、本領域は平成14年度に開始されたものであるため、第1回目の中間評価実施時期は平成16年度となる。
    • 中間評価:研究開始後3年目
    • 事後評価:研究終了の翌年度(6年目)

(2)評価方法
 評価要領において、本評価に関する評価実施主体は環境省地球環境局とし、評価者は地球環境研究企画委員会とされている。また、「評価に当たり、評価実施主体は、必要に応じて行政的観点等からの意見を評価委員会に対し提示できるものとし、評価委員会では、この意見を含めて総合的な評価が実施されるように努める」とされていることから、ヒアリング評価には環境省の行政担当部局も同席し、行政的観点からの評価を行い、その結果を評価者による評価結果に加え、最終的な評価結果を集計することとした。
 今年度の評価方法は、昨年度と同様、次のとおり。

  書面評価
(委員)
ヒア評価
(委員)
ヒア評価
(行政担当者)
中間評価(2年目) 実施 実施 実施
中間評価(延長の可否) なし 実施 実施
事後評価 実施 なし なし

 本年度の中間・事後評価の対象課題は、以下のとおり、地球環境問題対応型研究領域の研究課題の計34課題(昨年度33課題)。

  中間評価
(1回目)
中間評価
(延長の可否)
事後評価
第1分科会 7課題 1課題 7課題
第2分科会 5課題 1課題 1課題
第3分科会 3課題 2課題
第4分科会 3課題 4課題
計33課題 18課題 2課題 14課題

 評価手順と評価基準(資料2)は、評価の際に評価者へ通知するとともに、評価の透明性の確保の観点から、被評価者に対しても事前に開示した。書面評価、ヒアリング評価とも、評価シートに総合評価及び特定の項目に対する評価ランクとコメントを記述する形で行った。なお、ヒアリング評価時の評価ランクの集計結果については、ヒアリング終了時にその場で集計を行い、評価者へ提示して結果に関する議論を行った。
 評価シートの段階では、総合評価、その他の評価項目とも5段階でランク付けを行った。
 なお、ここで総合評価ランクとは、各評価項目の評価ランクを基に特定の算定式を用いて算出されたものではなく、各評価者が評価項目の観点を踏まえた上で、課題全体としての総合評価を、他の評価項目とは独立の項目として評価し、その評価者全員の平均を取ったものである。これは、各評価観点毎の重み付けを一律に決めることは非常に難しいこと、また、すべての加味すべき評価の観点をカバーすることが現実的に難しいこと、評価観点毎の評価の合計点と課題全体としての評価点は必ずしも一致せず、総合評価を決める際の評価観点間の重み付けは評価者に任せてはどうかとの意見が過去の中間・事後評価の際に複数の評価者から寄せられ、複数の研究分科会でも議論されたことによるものである。

 最終的な評価ランクの集計方法は次の手順により行った。

評価シートに記載された序数尺度を距離尺度化して平均点を算出し、その序数表示化(評価ランク付け)を行った。

上記①を、委員による書面評価、ヒアリング時の委員による評価、ヒアリング時の行政部局担当者による評価のそれぞれにおいて実施。
それぞれで得られた評価ランクを、再度、距離尺度化して平均点を算出し、総合評価ランクとして序数化
事後評価ではヒアリングを実施しないため、委員による書面評価結果を、直接最終ランクとした。
中間評価(延長の可否)では書面評価を実施しないため、委員によるヒアリング評価結果を2倍して、委員と行政の比率を中間評価(2年度目)の場合と同じになるよう重み付けを行った。

2.評価結果 

 評価者(地球環境研究企画委員会)の名簿を資料3に示す。
 評価対象課題の評価結果ランクを一覧表にしたものを資料4に、評価対象課題毎に評価ランクと評価コメントを併せて表示したものを資料5に示す。


(1)総合評価
中間評価(延長の可否)課題
   昨年度の中間評価において高い評価を得て、今回2年間の延長の可否に関し中間評価を行った2課題については、A評価及びB評価となったため、A評価については研究課題代表者の要望どおり2年間の延長を認めるものの、B評価については提案された研究計画について一部修正のうえ2年間の延長を認める。
   
中間評価(2年度目)課題
   中間評価(2年度目)課題については、概ね高い評価の課題が多くなった。
 研究を中断すべき非常に低い評価となった研究課題はないため、全ての研究課題について3年度目も研究を継続することとする。ただし、評価結果に応じ研究費の増減を行うほか、評価コメントに記された研究計画の見直し等の指摘のうち、有益なものについては迅速に対応を図るものとする(評価コメントの活用の仕方については後述)。
 また、来年度、2年間の研究期間延長の検討対象とすることができる研究課題は、今回の中間評価でA評価となった4課題(A-1、B-4、B-60、E-4)とする。
   
事後評価課題
   事後評価課題についても、概ね高い評価の課題が多かった。
 今回の事後評価対象課題のうちの幾つかについては、既に15年度新規課題として新たな研究をスタートしている場合がある。代表者及び研究内容等から判断して、後継課題(今回の事後評価対象課題との継続性が大きい課題)とみられる場合は、今回の事後評価結果を、後継課題の15年度研究費に弱く反映させるほか、評価コメントに記された研究計画の見直し等の指摘のうち、有益なものについては迅速に対応を図るものとする(評価コメントの活用の仕方については後述)。

(2)「高い又は低い評価となるサブテーマ番号」の項目について
 評価の際に、「高く評価できるサブ(サブ)テーマ番号」と「低い評価となるサブ(サブ)テーマ番号」を、各評価者毎にそれぞれ3つ以内づつ挙げてもらい、それを集計したもの。なお、この際、例えば、あるサブテーマが「高く評価できるサブ(サブ)テーマ番号」としてα名の評価者から評価され、一方で、「低い評価となるサブ(サブ)テーマ番号」としてβ名の評価者から評価された場合は、α-βが3名以上となる場合のみ、「高く評価できるサブ(サブ)テーマ番号」の候補とし、その数の上位3位までのサブ(サブ)テーマ番号を、多いものから順に表示した

(3)評価コメント
 評価コメントの集計については、①多様な評価コメントの中に、被評価者が今後研究を進めていく上で有益な情報が含まれているであろうこと、②今後研究成果を科学や社会へ積極的に還元していく上で、研究に対する外からの見方や受け止め方の多様性についての被評価者の理解を進めることの有用性等を勘案し、各評価者からの多様なコメントを可能な範囲で列挙して示すこととした。
 よって、評価コメントをみれば、当該研究課題に対する各評価者の評価が比較的同質であったのか、様々な意見に分かれていたのかなどについてわかる形となっている一方で、評価ランクの高低と整合的でないコメントが含まれている場合もある。このため、研究課題代表者においては、評価ランクを評価者全体の評価結果として捉えた上で、評価コメントについては、その全てに対し対応や反映を図るということではなく、今後活かすべき重要な指摘や示唆が何かについて自ら及び研究グループ内で十分吟味を行い、適宜有益なものを研究計画の見直し等へ反映していくという姿勢が求められる。なお、その際は、研究課題代表者が希望する場合を含め必要に応じ、環境省において必要な助言・協力を行うものとする。