戦略的研究開発領域、地球環境問題対応型研究領域における中間・事後評価時期は次のとおり。
戦略的研究開発領域(研究期間はⅠ期3年、Ⅱ期2年)
- 中間評価:Ⅰ期研究開始後3年目
- 事後評価:Ⅱ期研究終了の翌年度
地球環境問題対応型研究領域(研究期間は3年間を基本)
- 中間評価:研究開始後2年目
- 事後評価:研究終了の翌年度
- ただし、総合科学技術会議における議論(「優れた研究は継続して研究を行うことが可能な仕組みを工夫する」)を踏まえ、2年目の中間評価で高い評価を受け、かつ代表者が望む場合は、2年間の延長の可否について3年度目に2回目の中間評価を実施。
今年度の評価の方法と評価者は次のとおり。
|
書面評価(委員) |
ヒア評価(委員) |
ヒア評価(行政担当者) |
中間評価
(2年目) |
実施 |
実施 |
実施 |
中間評価
(延長の可否) |
なし |
実施 |
実施 |
事後評価 |
実施 |
なし |
なし |
本年度の中間・事後評価の対象課題は、以下のとおり、地球環境問題対応型研究領域の研究課題の計27課題+戦略的研究開発領域1プロジェクト(昨年度34課題)。なお、戦略的研究開発領域については構成テーマ単位にも評価を実施した。
|
中間評価
(1回目) |
中間評価
(延長の可否) |
事後評価 |
第1分科会 |
5課題+戦略1 |
3課題 |
4課題 |
第2分科会 |
2課題 |
- |
- |
第3分科会 |
3課題 |
1課題 |
4課題 |
第4分科会 |
3課題 |
- |
2課題 |
計33課題 |
13課題+戦略1 |
4課題 |
10課題 |
評価手順と評価基準(資料2)は、評価の際に評価者へ通知するとともに、評価の透明性の確保の観点から、被評価者に対しても事前に開示した。
書面評価、ヒアリング評価とも、評価シートに特定の項目に対する段階的評価とコメントを記述する形で行った。なお、ヒアリング評価時の段階的評価の結果については、ヒアリング終了時にその場で集計し評価者(分科会委員)へ提示して結果に関する議論を行った。
評価シートの段階では、総合評価、その他の評価項目とも5段階でランク付けを行った。
なお、ここで総合評価ランクとは、各評価項目の評価ランクを基に特定の算定式を用いて算出されたものではなく、各評価者が評価項目の観点を踏まえた上で、課題全体としての総合評価を、他の評価項目とは独立の項目として評価し、その評価者全員の平均を取ったものである。これは、各評価観点毎の重み付けを一律に決めることは非常に難しいこと、また、すべての加味すべき評価の観点をカバーすることが現実的に難しいこと、評価観点毎の評価の合計点と課題全体としての評価点は必ずしも一致せず、総合評価を決める際の評価観点間の重み付けは評価者に任せてはどうかとの意見が過去の中間・事後評価の際に複数の評価者から寄せられ、複数の研究分科会でも議論されたことによるものである。
最終的な評価ランクの集計方法は次の手順により行った。
①評価シートに記載された序数尺度を距離尺度化して平均点を算出し、その序数表示化(評価ランク付け)を行った。
②上記①を、委員による書面評価、ヒアリング時の委員による評価、ヒアリング時の行政部局担当者による評価のそれぞれにおいて実施。
③それぞれで得られた評価ランクを、再度、距離尺度化して平均点を算出し、総合評価ランクとして序数化
※事後評価ではヒアリングを実施しないため、委員による書面評価結果を、直接最終ランクとした。
※中間評価(延長の可否)では書面評価を実施しないため、委員によるヒアリング評価結果を2倍して、委員と行政の比率を中間評価(2年度目)の場合と同じになるよう重み付けを行った。
評価に関連する資料を以下に示す。
地球環境研究企画委員会及び各研究分科会名簿 - 資料3
地球環境研究総合推進費平成16年度中間・事後評価結果総括表 - 資料4
平成16年度中間事後評価結果詳細表 - 資料5
(1)総合評価結果について
①中間評価(延長の可否)課題
昨年度の中間評価において高い評価を得て、今回2年間の延長の可否に関し中間評価を行った4課題については、A評価及びB評価となったため、A評価については研究課題代表者の要望どおり2年間の延長を認めるものの、B以下の評価については17年度予算額について所要の調整を行った上で2年間の延長を認めるものとしたい。
②中間評価(2年度目)課題
中間評価(2年度目)課題については、概ね高い評価の課題が多くなった。
研究を中断すべき非常に低い評価を受けた研究課題はなかったため、基本的に全ての研究課題について3年度目も研究を継続することとしたい。ただし、評価結果に応じ研究費の増減を行うほか、評価コメントに記された研究計画の見直し等の指摘に対する対応を徹底したい。
また、来年度、2年間の研究期間延長の検討対象とする研究課題は、今回の中間評価でAの評価を受けた、3課題(B-15、B-62、C-7)としたい。
③事後評価課題
事後評価課題については、昨年度に比べB以下の課題の割合は減少した。
今回の事後評価対象課題について、全体の9割が評点上昇ないし横ばいとなったことから、中間評価の指摘により研究計画の改善が概ね適切に行われているものと思料される。
なお、17年度予算については推進費専任のプロフラムオフィサーの確保を要求しているところであり、プログラムオフィサーが確保できた場合には、その活用による評価委員指摘事項の研究計画への反映について徹底して参りたい。
(2)「高い又は低い評価となるサブテーマ番号」の項目について
評価の際に、「高く評価できるサブ(サブ)テーマ番号」と「低い評価となるサブ(サブ)テーマ番号」を、各評価者毎にそれぞれ3つ以内づつ挙げてもらい、それを集計したもの。なお、この際、例えば、あるサブテーマが「高く評価できるサブ(サブ)テーマ番号」としてa名の評価者から評価され、一方で、「低い評価となるサブ(サブ)テーマ番号」としてb名の評価者から評価された場合は、aとbの差が過半数以上となる場合のみ、サブ(サブ)テーマ番号を表示した
(3)評価コメント
評価コメントの集計については、①多様な評価コメントの中に、被評価者が今後研究を進めていく上で有益な情報が含まれているであろうこと、②今後研究成果を科学や社会へ積極的に還元していく上で、研究に対する外からの見方や受け止め方の多様性についての被評価者の理解を進めることの有用性等を勘案し、各評価者からの多様なコメントを可能な範囲で列挙して示すこととした。
よって、評価コメントをみれば、当該研究課題に対する各評価者の評価が比較的同質であったのか、様々な意見に分かれていたのかなどについてわかる形となっている一方で、評価ランクの高低と整合的でないコメントが含まれている場合もある。このため、研究課題代表者においては、評価ランクを評価者全体の評価結果として捉えた上で、評価コメントについては、その全てに対し対応や反映を図るということではなく、今後活かすべき重要な指摘や示唆が何かについて自ら及び研究グループ内で十分吟味を行い、適宜有益なものを研究計画の見直し等へ 反映していくという姿勢が求められる。なお、その際は、研究課題代表者が希望する場合を含め必要に応じ、環境省において必要な助言・協力を行うものとする。