研究評価

※	本資料は、評価を開始するに当たり評価者に提示するとともに、被評価者にも評価の透明性等の観点からあらかじめ通知したもの。

地球環境研究総合推進費

平成15年度中間・事後評価の手順と評価基準について

※	本資料は、評価の実施に先立ち、評価者・被評価者へ共通に配布する資料です。

平成15年8月　環境省地球環境局研究調査室

１．評価対象課題と目的

評価対象課題と評価の目的は次のとおりです。
○	事後評価
	14年度をもって研究期間が終了した研究課題に対して、次の目的で実施します。
	・	評価結果を、新規課題の事前評価や研究制度全体の見直しに活用するため。
	・	評価対象課題の後継的な研究課題^*が既に平成15年度から開始されている場合、評結果を、当該研究課題の2年度目の研究費への反映と研究計画の見直しに活用するため。
		*「後継的な研究課題」とは、研究課題代表者、参画研究者及び研究テーマのいずれについても、同一性が高い研究課題とする。
○	中間評価（1回目）
	14年度に開始した研究課題（開始2年度目）に対して、次の目的で実施します。
	・	評価結果を、3年度目の研究実施の可否の判断、3年度目の研究費への反映と研究計画の見直しに活用するため。
○	中間評価（2回目）
	昨年度に実施した中間評価（1 回目）で既に高い評価を得た研究課題（昨年度中間評価課題課題中で2 課題のみ該当）で、かつ研究代表者が2年間の延長を希望する研究課題に対して、次の目的で実施します。
	・	評価結果を、研究期間を2年間延長することの可否判断と延長期間の研究費や研究計画の見直しに活用するため。

２．評価者（利害関係者の排除、守秘義務等）

（1）		評価者の選定
	○	地球環境研究総合推進費による研究実施課題の中間・事後評価は、地球環境研究総合推進費研究評価実施要領（以下「要領」という）に則り、外部専門家・有識者で構成される地球環境研究企画委員会第1～第4研究分科会（以下「研究分科会」という）を評価者として実施します。
	○	評価を担当する研究分科会は、対象研究課題の主たる研究分野により、次のとおりとします。
		・		オゾン層の破壊、地球の温暖化が主たる分野の場合：第１研究分科会
		・		酸性雨等越境大気汚染、海洋汚染（地球規模の化学物質汚染を含む）が主たる分野の場合：第２研究分科会
		・		自然資源の劣化が主たる分野の場合：第３研究分科会
		・		地球環境保全のための社会・政策研究が主たる分野の場合：第４研究分科会
	○	書面評価（メールレビュー形式）における評価者は次のとおりとします。
		・	第1研究分科会（オゾン層の破壊、地球の温暖化）　対象課題数が中間評価（1回目）7課題、事後評価7課題の計14課題にのぼるため、評価者の負担軽減等の観点から、研究課題当たりの評価者数を7名とします。評価者は、研究内容、分野のバランス、評価者当たりの評価課題数等を総合的に勘案の上、事務局にて選定します。
		・	第2～第4研究分科会の場合　対象課題数が各研究分科会毎に５～７課題のため、研究分科会の委員全員が評価者となります。すなわち、各研究分科会の担当分野の対象研究課題を、当該研究分科会の委員全員が評価します。
	○	ヒアリング評価（パネル形式）の評価者は次のとおりとします。
		・		各研究分科会当日の出席委員全員と、環境省行政部局担当者数名を評価者とします。なお、研究分科会委員による評価結果と行政部局担当者による評価結果は、最終的な評価結果を検討する際に区別して議論することを可能にするため、別々に集計します。
	○	地球環境研究総合推進費は、研究の科学的な面における価値やインパクトだけでなく、政策的・社会的・経済的な面における価値や寄与・貢献についても重視していますので、評価対象研究課題に対する科学的専門性を重視した評価だけではなく、幅広い有識者的な観点からの評価も重要と考えています。このため、研究課題に対する科学的専門性が高くないという理由で、評価を棄権していただく必要はありません。ただし、評価者が自ら、専門家的又は有識者的観点からの適正な評価が困難であると判断する場合は、この限りではありません。
（2）		利害関係者の排除
	○	評価者が評価対象の研究課題に関し、何らかの利害関係がある場合は、評価者は当該研究課題に対する評価を棄権するものとします（当該利害関係課題の評価を棄権していただきますが、その他の研究課題の評価には参加いただくことになります）。何らかの利害関係がある場合とは次の場合とします。
		①		評価者が当該研究課題の研究参画者（代表者か否かを問わず研究課題に参加している全ての研究者）と直接の上司・部下の関係にある場合
		②		評価者が当該研究課題の研究代表者の所属する機関において、役職に付いている場合（直接の上司・部下の関係がなくても管理職的な立場にあれば該当）
		③		評価者自らが研究課題に参画している場合
				※	研究代表者、研究参画者の氏名は、研究成果報告書に記載されています。ここで「研究代表者」、「研究参画者」とは、当該研究課題の研究費の配分を受け研究を行った研究者を指します。
				※	同じく、研究成果報告書には、「研究協力者」として研究者の氏名が記載されている場合があります。ここで「研究協力者」とは、当該研究課題の研究費の配分を受けていないものの、研究成果の取りまとめに関し重要な協力を行った研究者を意味します。「研究協力者」については、利害関係の有無を考慮していただく必要はないものとします。
	○	評価者が、各研究課題の検討会委員やアドバイザリーボードなどの委員を引き受けている場合については、必ずしも中立的・外部的な立場になく、利害関係者とみなすことも選択肢としてあり得ますが、当該評価者は研究進捗状況や問題点等について特に熟知している場合が多く、評価にとって多大な貢献が期待できることから、書面評価、ヒアリング評価のいずれにおいても、ご参加いただくこととします。ただし、評価者の判断に基づき、公平な評価が困難とお考えの場合は、評価を棄権していただいて構いません。
（3）		評価に関する守秘義務
	○	評価者におかれましては、評価内容及び評価結果について守秘を徹底していただきますようお願いいたします。

３．評価の方法と結果の開示・反映

（1）		評価の方法
	○	要領によれば、「書面による評価を実施し、必要に応じてヒアリングによる評価を実施する」とあることから、事後評価、中間評価のいずれにおいても書面評価を行います。
	○	事後評価研究課題に関しては、
		研究期間全体を通しての研究成果が網羅された“終了研究成果報告書”が作成済みであることから、この報告書を用いた書面評価をメールレビュー形式で実施します。評価に係る事務（評価者・被評価者・事務局）の軽減の観点から、昨年度同様、ヒアリング評価は実施しません。
	○	中間評価研究課題（1回目）に関しては、
		初年度を中心とした研究成果を取りまとめた“中間成果報告書”が作成済みであり、これに対する評価は可能な状態となっています。しかし、中間評価では、初年度の成果のみならず残された2年間の研究計画についても検討し、最終的な評価結果を取りまとめる必要があることから、中間成果報告書を用いた書面評価をメールレビュー形式で実施した後、さらにヒアリング評価を、本年度第1回の研究分科会においてパネル形式で実施します。よって、最終的な評価結果は、書面評価結果とヒアリング評価結果の両者を総合したものとなります。　なお、評価結果のうち、評価点数（ランク）に関する部分については、パネル形式で行うヒアリング評価の場で、全課題のヒアリングが終了した時点ですぐに集計を行います。集計したヒアリング評価結果と事前に集計した書面評価結果は、その際に各評価者へ提示し、パネル形式で各研究課題の最終的な評価点数（ランク）に関する検討を行います。
	○	中間評価研究課題（2回目）に関しては、
		既に昨年度、中間研究成果に対する評価を実施し、非常に高い評価を得ていることから、今後2 年間の延長の可否及び延長期間中の研究計画の良し悪しにポイントを絞って評価するものとします。このため、中間成果報告書を用いた書面評価は実施せず、今後の研究計画等に関するヒアリング評価を、本年度第1回の研究分科会においてパネル形式で実施します。　なお、評価結果のうち、評価点数（ランク）に関する部分については、ヒアリング評価の際、全ヒアリングが終了した時点ですぐに集計を行います。集計したヒアリング評価結果は、その場で各評価者へ提示し、研究期間の延長の可否等に関する検討をパネル形式で行います。
（2）		評価結果の取りまとめと開示
	○	要領にあるとおり、「評価結果については、研究費の配分、研究目標及び研究計画の見直し等に適切に反映する」ため、中間・事後評価結果については早期の取りまとめに努め、平成16年度の研究計画の作成作業、研究費の積算作業及び平成16年度の新規課題の選定作業への反映に努めます。具体的なスケジュールとしては、第１回の各研究分科会終了後、評価結果を直ちに取りまとめ、本年度第１回の地球環境研究企画委員会にて報告・審議する予定とします。
	○	評価結果については、地球環境研究企画委員会での報告・審議の後、被評価者に通知し、評価コメント等において事実誤認がないか確認を行った上で、地球環境研究総合推進費ホームページにて一般に公開します。なお、その際は、被評価者及び評価者の個人情報の保護には十分留意し、評価コメントについても評価者が特定されないよう配慮します。

４．評価にあたっての重要事項

（１）中間評価を実施する趣旨
	○	中間評価を実施する趣旨には、次の２つが含まれていると考えます。
		①	個々の研究課題の進捗と成果の良し悪し、今後の目標達成可能性を把握するという趣旨
		②	十分な研究成果や効果が得られるように促し、研究レベルの向上を図るという趣旨
	○	このため、評価者が行う評価のうち、評価点数（ランク）の部分は、主として上記①の趣旨を踏まえた結果となるものと考えています。
	○	一方で、評価コメントの部分は、上記②の趣旨を踏まえた記載、すなわち、研究をより優れたものにするためのアドバイスという視点からのコメント、研究活動をエンカレッジするという視点からのコメントを、可能な範囲で記載していただくことをご検討下さい。
		※	その他、評価コメントには、評価点数（ランク）付けの根拠を明示・補足いただく役割もあります。
（2）		地球環境研究総合推進費の目的
	○	地球環境研究総合推進費の目的は、地球環境^保全のための政策^を科学的側面から支援^**することです。
	○	このため、この目的に照らして貢献・寄与の大きい、又は今後大きな貢献・寄与の可能性の高い研究課題には、高い評価を与えていただくことが基本となります。また、科学的側面からの政策貢献・反映を図るためには、当然のことながら、科学的なレベルの高さも不可欠であるものと考えられます。
		*	ここで地球環境の範囲は、オゾン層の破壊、地球の温暖化、生物多様性の保全など、地球規模又は人類共通の問題である、いわゆる地球環境問題にかかわるものを指しており、特定の土壌汚染問題、公害問題など、いわゆるローカルな環境問題全般を意図するものではありません。
		**	ここで政策とは、政府の施策のみならず、様々団体を含めた幅広い層の取組みなどを含め広く考えて良いこととします。
		***	ここで支援とは、研究成果に基づいた施策展開などの直接的なものだけでなく、委員会への参画や情報提供等による間接的なものまでを含めて考えることとします。
（3）地球環境研究総合推進費の基本的な仕組み
	○	今回、評価していただく研究課題は、全て「地球環境問題対応型領域」という研究区分で実施されている研究課題です。この場合の基本的な仕組みは次のとおりです。
		・	いずれかの地球環境問題又は複数の地球環境問題の解決に関する研究課題
		・	研究者又は研究者グループからの応募課題を事前評価し、競争的に選定された研究課題
		・	研究期間は3年間（中間評価で高い評価の場合1年間延長可）
		・	研究課題当たりの予算規模は1千万円～約1億円／年程度
		・	研究課題の一部サブテーマでは、国際交流の推進、国際的な研究の円滑な推進、キャパシティビルディングといった側面から、海外の研究者（主に若手研究者）を招へいして研究を実施している場合があります。この場合は、報告書に“国際交流研究”、又は“ＥＦＦ（エコ・フロンティア・フェローシップ）”と記載されています。この場合は、報告書に記載された研究費の予算額以外に、別途日本での生活費・滞在費が支給されています。
	○	なお、今回の事後評価対象課題（平成12年度開始課題）の開始当時は、研究代表者の要件として国立試験研究機関に所属することが要件となっていましたが、一方、今回中間評価を行う課題（平成14年度開始課題）の場合は、研究代表者の要件が大学・民間等にも緩和されたため、大学や民間等に所属する研究者が代表を務める課題が含まれています。
	○	同様に、今回の事後評価対象課題（平成12年度開始課題）の開始当時は、研究代表者の権限と責任が明確に規定されていない面がありましたが、一方、今回中間評価を行う課題（平成14年度開始課題）の開始当時には、研究者参画者を代表して進行管理を行う責任と研究分担を含め研究計画の見直しを行う権限を研究代表者が有することが、既に明確化されていました。
	○	また、地球環境研究総合推進費では、平成15年度開始課題より、複数の研究者による共同研究という要件も緩和していますが、今回の事後・中間評価対象課題の開始時点では、複数の研究機関に所属する研究者による共同研究ということが要件となっていました。

（4）地球環境研究総合推進費の担うべき役割
	○	地球環境研究総合推進費は、その目的と仕組みに鑑みた場合、競争的研究資金の中でも、特に「地球環境保全」という分野の「政策支援」に焦点をあて、「学際性・省際性・国際性・産学官連携」、「総合性」を有する研究を主な対象とし、他府省の研究費や研究制度との関係も踏まえた上で、地球環境保全に関する政府全体の「調整費」という役割が期待されています。
	○	このため、他府省の研究費や研究制度で既に十分な対応がなされている研究については、地球環境研究総合推進費において実施する意義は小さいことになりますが、一方で、本来的には他府省の研究費や研究制度で実施することが望まれる研究であっても、現状として、重要性に反し十分な対応がとられていない研究に関しては、地球環境研究総合推進費において実施する意義はあることになります。
		*	「学際性・省際性・国際性・産学官連携」、「総合性」は、いずれも重要な観点ですが、満たさねばならない条件、すなわち必須条件ではありません。
		*	なお、公募の際に、"省際性"について「研究者（大学・民間の研究者を除く）の所属機関構成や研究内容等に関して、複数の府省の所管にまたがる度合いを意味する」と定義し、"国際性"については「研究のフィールドの拡がり、国際的な研究活動との関連の大きさ、研究の実施や成果の国際的な波及の度合い、条約など国際的な取組に対する貢献の度合いなどを意味する」と定義しています。

５．評価の基準と評価結果の集計方法

（１）評価の観点と基準
	○	評価の観点と基準は、「平成15年度中間・事後評価における評価項目と評価区分」に示すとおりです。
	○	各評価者は、別添の評価シートに結果を記入していただき、事務局へ提出していただきます。
	○	評価シートには、評価項目毎に、評価ランクを記入する部分と、評価コメントを記入する部分があります。
	○	評価項目毎のランクについては、ａランクの数をx個以内に収めるとか、課題全体のy％がｂランクになるようにランク付けするなどの調整を行っていただく必要はありません。
	○	評価項目のうち「総合評価」は、他の評価項目の線形和などで算出するのではなく、独立して記入いただく必要がありますので、必ず記入下さい。なお、総合評価を記入される場合の各評価項目間の重み付け（重視するポイント）は、評価者にお任せすることになります。ただし、「４．評価にあたっての重要事項」に記載した事項（本制度の趣旨、目的、役割等）を、十分勘案した上で、総合評点を記入いただきますようお願いいたします（12年度の評価では、各評価項目の点数を合計して総合評点を算定していましたが、評価者からの複数の意見を踏まえ、13年度から、総合評価は他の項目と独立して記入する形にしています）。
	○	評価コメント欄については、評価結果を補足するコメント、研究計画の見直し内容に関するコメントなど、自由に記入下さい。なお、前記のとおり、研究をより優れたものにするためのアドバイスという視点からのコメント、研究活動をエンカレッジするという視点からのコメントについても、可能な範囲で記入下さい。
	○	なお、事務局では、各研究課題毎、更にはサブテーマ毎の成果発表状況を、研究成果報告書をもとにして集計しています。その結果を「評価対象研究課題の成果発表状況調べ」として添付します。これは、本来、地球環境研究総合推進費での研究成果公表状況を、事務局として定量的に把握する目的で作成したものであり、「評価対象研究課題の成果発表状況調べ」に示した数字を、直接的に、評価結果に反映していただきたい、という意図ではありません。いうまでもなく、地球環境分野の研究成果は、論文発表件数や掲載誌のインパクトファクター等の数字だけで評価できるものではありません。ただし、地球環境研究総合推進費では、一部の補助金や助成金とは異なり、研究成果を積極的に公表することが研究者の責務の一つでもあります。研究成果の公表に関する取り組みが相対的に見て著しく不活発な研究課題やサブテーマ、又は著しく活発な研究課題やサブテーマを明確化する意味で、本資料の利用価値はあると考え、参考資料として添付する次第です。
（2）		評価結果の集計方法
	○	各評価者が記入した評価ランク（a,b等の段階評価）は、単純に数字に換算した上で、各課題毎に評価者全体の平均をとり、再度段階表示（A,B等）に変換して、評価結果ランクとして開示します。
	○	第１研究分科会の担当課題の書面評価では、研究課題により評価者が異なるため、評価者による評価結果の偏差が著しい場合のみ、評価者間の結果の補正を行います。
	○	事後評価の場合は、①委員による書面評価時の評価結果ランクを、最終的な評価結果ランクとします。
	○	中間評価（1回目）の場合の最終的な評価結果ランクは、①委員による書面評価時の評価結果ランク、②委員によるヒアリング評価時の評価結果ランク、③行政部局担当者によるヒアリング評価時の評価結果ランクを、重み付けせず合計したものから算出します（この場合、結果的に、委員と行政部局との間の重み付けは2：1となる）。
	○	中間評価（2回目）の場合の最終的な評価結果ランクは、①委員によるヒアリング評価時の評価結果ランク、②行政部局担当者によるヒアリング評価時の評価結果ランクを、2：1で重み付けし合計したものから算出します。