地球環境研究総合推進費
平成17年度中間・事後評価結果について

1.評価方法

 現在、地球環境問題対応型研究領域(研究期間は3年間を基本)における中間・事後評価時期は次のとおり。

・中間評価:研究開始後2年目 
 (戦略的研究開発領域は5年の研究期間であるため中間年の3年目に実施)
・事後評価:研究終了の翌年度(4年目)
・ただし、総合科学技術会議における議論(「優れた研究は継続して研究を行うことが可能な仕組みを工夫する」)を踏まえ、2年目の中間評価で高い評価を受け、かつ代表者が望む場合は、2年間の延長の可否について3年度目に2回目の中間評価を実施。

今年度の評価の方法と評価者は次のとおり。

  書面評価
(委員)
ヒア評価
(委員)
ヒア評価
(行政担当者)
中間評価(2年目) 実施 実施 実施
中間評価(延長の可否) なし 実施 実施
事後評価 実施 なし なし

 本年度の中間・事後評価の対象課題は、以下のとおり、地球環境問題対応型研究領域の研究課題の計27課題+戦略1プロジェクト(昨年度27課題)。

  中間評価
(1回目)
中間評価
(延長の可否)
事後評価
第1分科会 3課題+戦略1 2課題 5課題
第2分科会 1課題 1課題 6課題
第3分科会 2課題 2課題
第4分科会 2課題 3課題
計33課題 8課題+戦略1 3課題 16課題

 評価手順と評価基準は、評価の際に評価者へ通知するとともに、評価の透明性の確保の観点から、被評価者に対しても事前に開示した。
 書面評価、ヒアリング評価とも、評価シートに特定の項目に対する段階的評価とコメントを記述する形で行った。なお、ヒアリング評価時の段階的評価の結果については、ヒアリング終了時にその場で集計し評価者(分科会委員)へ提示して結果に関する議論を行った。
 評価シートの段階では、総合評価、その他の評価項目とも5段階でランク付けを行った。

2.評価結果の算定方法

 総合科学技術会議等の指導を受け、評価指標、算定方法については大幅な見直し

(1)評価指標の見直し
  主観的で無難にBがつきやすい評価指標を見直し。
例)中間評価(2年目)の総合評価の指標
A:

極めて優れている。

  → 配分された研究費規模に照らして、当初計画以上の研究成果が期待できる。
B: やや優れている。
  → 配分された研究費規模に照らして、計画通りの研究成果が期待できる。
C: どちらでもない。
  → 配分された研究費規模に照らして、概ね許容できる(国民に説明できる)研究成果が見込まれる。
D: やや劣っている。
  → 配分された研究費規模に照らして、更なる努力が必要である。
E: 極めて劣っている
  → 配分された研究費規模に照らして、継続の意義は低い。

  また、以降の研究計画の改善に資することを目的に、本年度より全ての課題についてサブテーマレベルの評価も実施した。一方、「ヒアリングの仕方(プレゼンの巧拙)」の評価指標は、今後の研究計画の改善に直接結びつくものではないため、廃止。

(2)算定方法の見直し
①従来の算定方法
 書面評価・ヒアリング評価のそれぞれの評点ランクを距離尺度化し、平均点算出後再度序数尺度に戻す(○○課題のヒアリング評価はBランク) →左記の書面・ヒアリング評価のランクを再度を点数化し、その平均点をランク表示にする。
 数値評点の丸め操作が2度繰り返され、個々の委員の実際の評点に比べ、算定後に良い点がつきやすいシステム(最も丸め操作が効いた場合、10人中A評価2人、B評価8人でも最終評価がA評価となりうる。)。
 真に高い評価の課題と丸め操作の結果評点が高い課題の評点が近接する傾向がある。

②本年度からの算定方法
 評点ランクを点数化し、平均点を算出。書面評価、ヒアリング評価ごとの丸め操作は行わず、平均点の生データを単純集計

3.総合評価結果について 

(1)中間評価(延長の可否)課題
 昨年度の中間評価において高い評価を得て、今回2年間の延長の可否に関し中間評価を行った3課題については、新規課題を抑制しても延長の意義ある課題として評価された1課題のみ延長を認めることとする。2課題は改善して18年度新規公募への提案を期待。

(2)中間評価(2年度目)課題
 中間評価(2年度目)課題については、16年度以前に比べより厳格な指標であるにもかかわらず、例年発生するCランク評価が無く、実質的に例年に比べ高い評価の課題が多いと評価された。
 研究を中断すべき非常に低い評価(D以下)を受けた研究課題はなかったため、基本的に全ての研究課題について3年度目も研究を継続することとする。但し、評価結果に応じ研究費の増減を行うほか、評価コメントに記された研究計画の見直し等の指摘に対する対応を徹底する。
 また、来年度、2年間の研究期間延長の検討対象とする研究課題は、今回の中間評価でAの評価を受けた1課題とする。 

  表-1.中間評価(2年目)の評点分布

ランク  平成17年度 平成16年度 平成15年度 平成14年度
1課題 3課題+戦略1 4課題 2課題
7課題+戦略1 7課題 12課題 8課題
3課題 2課題 3課題
注:17年度評価と16年度以前の評価ランクは連続しない

(3)事後評価課題
 一方、事後評価課題については、「配分された研究費規模に照らして、概ね許容(国民に説明)できる研究成果をあげた」評価としたCランクが増加。一方、評価担当委員の半数がA評価を与えないとAに達しない算定方式により、A評価は該当無し(表-2)。

  表-2.事後評価の評点分布

ランク  平成17年度 平成16年度 平成15年度 平成14年度
3課題 2課題 1課題
11課題 6課題 9課題 14課題
5課題 1課題 3課題 3課題
注:17年度評価と16年度以前の評価ランクは連続しない