1.評価方法
(1)評価時期
地球環境研究総合推進費における評価の基本的な方法を定めた「地球環境研究総合推進費研究開発評価実施要領」(以下、評価要領という)により、現在、地球環境問題対応型研究領域(研究期間は3年間を基本)における中間・事後評価時期は次のとおり。
- 中間評価:研究開始後2年目
- 事後評価:研究終了の翌年度(4年目)
- ただし、総合科学技術会議における議論(「優れた研究は継続して研究を行うことが可能な仕組みを工夫する」)を踏まえ、2年目の中間評価で高い評価を受け、かつ代表者が望む場合は、2年間の延長の可否について3年度目に2回目の中間評価を実施。
(参考)戦略的研究開発領域(研究期間は5年間を基本)では、評価時期を次のように定めているが、本領域は平成14年度に開始されたものであるため、第1回目の中間評価実施時期は平成16年度となる。
- 中間評価:研究開始後3年目
- 事後評価:研究終了の翌年度(6年目)
(2)評価方法
評価要領において、本評価に関する評価実施主体は環境省地球環境局とし、評価者は地球環境研究企画委員会とされている。また、「評価に当たり、評価実施主体は、必要に応じて行政的観点等からの意見を評価委員会に対し提示できるものとし、評価委員会では、この意見を含めて総合的な評価が実施されるように努める」とされていることから、ヒアリング評価には環境省の行政担当部局も同席し、行政的観点からの評価を行い、その結果を評価者による評価結果に加え、最終的な評価結果を集計することとした。
今年度の評価方法は、昨年度と同様、次のとおり。
|
書面評価
(委員) |
ヒア評価
(委員) |
ヒア評価
(行政担当者) |
中間評価(2年目) |
実施 |
実施 |
実施 |
中間評価(延長の可否) |
なし |
実施 |
実施 |
事後評価 |
実施 |
なし |
なし |
本年度の中間・事後評価の対象課題は、以下のとおり、地球環境問題対応型研究領域の研究課題の計34課題(昨年度33課題)。
|
中間評価
(1回目) |
中間評価
(延長の可否) |
事後評価 |
第1分科会 |
7課題 |
1課題 |
7課題 |
第2分科会 |
5課題 |
1課題 |
1課題 |
第3分科会 |
3課題 |
- |
2課題 |
第4分科会 |
3課題 |
- |
4課題 |
計33課題 |
18課題 |
2課題 |
14課題 |
評価手順と評価基準(資料2)は、評価の際に評価者へ通知するとともに、評価の透明性の確保の観点から、被評価者に対しても事前に開示した。書面評価、ヒアリング評価とも、評価シートに総合評価及び特定の項目に対する評価ランクとコメントを記述する形で行った。なお、ヒアリング評価時の評価ランクの集計結果については、ヒアリング終了時にその場で集計を行い、評価者へ提示して結果に関する議論を行った。
評価シートの段階では、総合評価、その他の評価項目とも5段階でランク付けを行った。
なお、ここで総合評価ランクとは、各評価項目の評価ランクを基に特定の算定式を用いて算出されたものではなく、各評価者が評価項目の観点を踏まえた上で、課題全体としての総合評価を、他の評価項目とは独立の項目として評価し、その評価者全員の平均を取ったものである。これは、各評価観点毎の重み付けを一律に決めることは非常に難しいこと、また、すべての加味すべき評価の観点をカバーすることが現実的に難しいこと、評価観点毎の評価の合計点と課題全体としての評価点は必ずしも一致せず、総合評価を決める際の評価観点間の重み付けは評価者に任せてはどうかとの意見が過去の中間・事後評価の際に複数の評価者から寄せられ、複数の研究分科会でも議論されたことによるものである。
最終的な評価ランクの集計方法は次の手順により行った。
① |
評価シートに記載された序数尺度を距離尺度化して平均点を算出し、その序数表示化(評価ランク付け)を行った。
|
② |
上記①を、委員による書面評価、ヒアリング時の委員による評価、ヒアリング時の行政部局担当者による評価のそれぞれにおいて実施。 |
③ |
それぞれで得られた評価ランクを、再度、距離尺度化して平均点を算出し、総合評価ランクとして序数化
※ |
事後評価ではヒアリングを実施しないため、委員による書面評価結果を、直接最終ランクとした。 |
※ |
中間評価(延長の可否)では書面評価を実施しないため、委員によるヒアリング評価結果を2倍して、委員と行政の比率を中間評価(2年度目)の場合と同じになるよう重み付けを行った。 |
|
|