摘要：当前，我国科技评价正处于“破四唯”改革的关键时期，如何探索新的评价方法是科技界关注的焦点。本文选择意大利科研评价作为案例，通过对意大利科研评价机构和评价实践的全面解析与深入研究，包括专家选择、评价流程、结果应用等，提炼总结了意大利科研评价的理念、方法、制度等方面的特点，特别是与中国的不同之处，发现意大利的科研评价体现出了政府主导、代表作制度、按学科分类评价、评价结果的作用强等特点。意大利的科研与第三使命评价对我国科技评价改革具有一定的启示意义，尤其体现在以下四个方面：1)重视同行评议与量化方法的互补性，避免过度依赖量化指标；2)强化和规范科技评价结果的公开与使用，引导和激励改进；3)重视大学与科研机构的第三使命与社会影响评价，促进科技成果转化；4)逐步引导周期式评价向常态化监测转变，形成实时反馈机制。
科技评价一直是我国科技体制改革的热点问题，自2017年习近平总书记在“科技三会”上提出“要改革科技评价制度，建立以科技创新质量、贡献、绩效为导向的分类评价体系”以来，科技评价成为了社会各界关注的焦点。2018年中共中央办公厅、国务院办公厅对“三评”改革提出了明确的要求，科技部、教育部等五部委积极开展清理“四唯”的专项行动；2020年科技部、教育部相继发布了破除“唯论文”的相关文件，引起了科技界的广泛关注和强烈反响。但究竟如何改革，如何实现“破”与“立”，至今尚未形成统一的认识。一方面，“破四唯”后，如何设计新的指标、采用何种评价方法、利用怎样的标准来评价等系列问题，是科技评价接下来要关注的首要问题；另一方面，未来科技评价的导向如何应对“四个面向”，尤其是作为知识生产和传播主战场的大学，如何面向国民经济主战场、回馈社会，也是公众关注的难题。
欧洲作为全球高等教育与创新中心的发源地，在科技评价制度方面的改革走在了世界前沿，其中意大利为适应大学拨款制度的改革，同时为回应公众对研究质量、大学第三使命（Third Mission，TM）的期待，于21世纪初开始了全国范围内的变革。本文对意大利改革后的科研评价体系、方法及实践经验进行描述与分析，以期为我国当下科技评价制度的改革提供借鉴参考。
1 意大利科研评价体系的由来与建立
1.1 意大利科研评价的由来
意大利的科研评价是大学资助机制改革的结果。20世纪90年代之前，意大利还未设立专门的科技评价机构，也没有开展定期评估的工作，更没有形成规范化的科研评价体系，科研评价工作仅限于常规的科技统计和分析。20世纪90年代，为了平衡大学的自主权与外部评价，意大利对大学资助机制进行改革，建立了基于科研评估的经费分配制度，具体而言是根据经验和绩效评价结果来确定经费拨款额度。为适应改革，意大利高等教育部于2003年成立了意大利研究评价委员会，并于同年开始了一场试验性质的科研评价（Valutazione Triennale della Ricerca，VTR）。该项评估工作自2003年开始，于2005年完成，对意大利的国立大学（占意大利所有大学的95%）及政府资助的研究机构2001—2003年的研究成果进行了评价。为了应对形势变化，并进一步对科研评价进行规范化与制度化，意大利政府以意大利研究评价委员会为前身，于2006年成立了国家大学及科研机构评估署（Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerc，ANVUR），并于2007年首次进行了试评价。直到2011年，ANVUR才开始正式开展全国性的研究质量评价（Valutazione della Qualità della Ricerca，VQR）。
1.2 意大利的科研评价机构
ANVUR是一个独立的、专门的国立评估机构，由理事会、咨询委员会、审计委员会、独立绩效评估机构及理事会领导下的各领域评估单元构成（图1）。其中，理事会决定ANVUR的战略和管理活动；咨询委员会向理事会提出关于评价计划和评价标准与方法选择方面的意见和建议；审计委员会行政业绩和会计规则的核查；独立绩效评估机构负责监测ANVUR的全面运作、内部管理的透明度和完整性，并编制年度报告，提出建议。如图1所示，理事会领导下的评估单元包括财务管理部门、大学和艺术、音乐和舞蹈专业高等教育机构（Alta Formazione Artistica, Musicale e Coreutica，AFAM）评估部门、研究评估部门、管理绩效评估部门及统计部门。其中，研究质量评价由研究评估部门负责，大学的第三使命评价由大学和AFAM机构评估部门负责。
在科研评价中，VQR是ANVUR最重要的职能之一，根据2016年第232号法令的要求，VQR每五年开展一次。VQR的目的是通过提供大学和科研机构不同学科领域的最新评估结果，一方面促进被评机构提升研究质量，另一方面为意大利大学系统的普通融资基金（Fondo di Finanziamento Ordinario，FFO）分配经费额度提供参考。同时，随着2013年国家质量保证（Quality Assurance，QA）体系的建立，第三使命正式与教学、研究一起被纳入学术机构的评估活动中。此后，在历次的VQR中，均将第三使命评价纳入进来。
2 VQR
VQR主要是对意大利公立大学和研究机构的研究成果进行评价，同时也对私立研究机构自愿提交的研究成果进行评价。据ANVUR的官方网站显示，截至2021年3月，ANVUR已经完成了两次全国性的研究评价任务，第一次于2011—2013年开展的VQR，以2004到2010年的数据为基础开展评估，结果已于2013年夏天公布；第二次于2015—2017年开展的VQR，针对2011年至2014年数据开展评估，结果已于2017年2月公布。第三次2019—2021年开展的VQR，数据涵盖了2015—2019年，结果将在2021年10月公布。本文以已经完成的第二次研究评价，即VQR 2011—2014评价为例，介绍意大利科研评价的实践做法，分析意大利科研评价的特点。
2.1 评价范围及对象
VQR 2011—2014的评价对象是全国的大学、研究机构及其所属部门的研究成果，不针对个人，涉及96所大学、30家研究中心、9个大学研究联盟，共有118036项代表性研究成果，包括论文、书及书的章节、专利及其他。评估共分为16个学科领域，其中科学、技术、工程和数学领域（Science，Technology，Engineering and Mathematics，STEM）共10个学科，人文与社会科学领域（Humanities and Social Sciences，HSS）共5个学科，另外还有一个经济学领域（表1）。
2.2 评价专家
评价专家包括小组专家和外部评审专家。本次评估共有小组专家436位，分属于16个评价小组（GEV），每个学科领域成为一个评价小组。外部同行评审专家共有12731位，其中21%隶属于外国机构；根据学科领域的不同，外国专家所占比重也有所区别，最低的法律专业占3%，最高的工程专业占68%。并且，同行评审专家名单在评估结束后按照字母顺序公布，但不公布每项成果的评估结果及与同行评审专家的关系。
2.3 评价标准
VQR 2011—2014主要有三个评价标准，即原创性、方法的严谨性，以及经证实的或潜在的影响。据此对每项研究成果进行评价，并将结果分为六档，即优秀、良好、一般、可接受、水平有限和无评估资格（表2）。
2.4 评价方法
VQR采取的评价方法主要为知情同行评议（Informed Peer Review）和文献计量两种方法。根据学科领域不同，采取的方法有所侧重。所有评价小组利用外部评审专家、评价指标等所有可用信息，通过知情同行评议决定分数，最终得分均由小组负责。如果专家选择修改文献计量结果，必须给出充足的理由。
2.4.1 知情同行评议
知情同行评议即在引文信息和其他定量指标的基础上开展的同行评议。VQR在HSS领域和STEM领域均用到知情同行评议方法，每个成果至少由两个外部同行评审专家给出评估报告，再根据报告得出评价结果。专家们根据原创性、严谨性、影响力三个标准从1~10进行打分，并撰写一个综合评论。VQR在HSS领域和STEM领域的知情同行评议的流程有所不同。
在HSS领域，所有评审小组都采用知情同行评议方法，没有评审标准。在外部专家评审前，先由GEV成员对成果进行初审，再由外部专家评审。两位外部专家的评审意见一致，则由GEV主席批准通过形成最终的评价结果；如果两位外部专家的评审意见不一致，则交由一致性小组审查，当评审意见的差异大于2个分档级别，则需要第3位专家的评审意见，再由GEV主席批准形成最终的评价结果（图2）。
在STEM领域以及经济学领域，采用知情同行评议和文献计量相结合的方法。首先由两位GEV成员初审，决定是否需要同行评审，如果需要，则和HSS领域的流程一样；如果不需要，则采用文献计量法，文献计量结果应支持评价小组的专家评价，由一致性小组审查评价结果的一致性，再由GEV主席批准形成最终的评价结果（图3）。
2.4.2 文献计量法
文献计量法主要通过文章被引次数和期刊影响力进行衡量，其中，期刊的影响力基于WoS的IF 5Y（即五年影响因子）或文章影响评分，以及Scopus的IPP或Scimago期刊排名。被评大学或科研机构可以为每篇文章选择WoS或Scopus作为参考数据库，也可以选择用于评估的期刊指标，指标需要按照文章类型和年份以及科学领域（主题类别/主题领域）进行标准化。
VQR评价实践中，根据期刊影响因子（Impact factor，IF）和文章引用次数（Citation，CIT）构建函数关系，即CIT=JM*A+Bn。其中，常数斜率A根据指标的权重、出版年份以及具体学科的引用惯例来设定。最终呈现出论文在本领域内的排名（图4），共分为5个档，即优秀（前10%）、良好（10%~30%）、一般（排名30~50%）、可接受（排名50%~80%）、水平有限（排名80%~100%）。
2.5 评价结果公开及使用
为保证VQR的公平、公正、公开、透明，ANVUR采取了一系列措施，包括：在官方网站上发布评估指南草案，并征求意见；向公众召集专家后，再选出适合的专家成立专家小组；由评价小组定义评估标准，并在ANVUR网站上公开发布；VQR结果和报告发表在ANVUR网站上，供科学共同体、学生、学者及利益相关方使用。同时，通过电子平台发布、由全体专家做出决定等多种方式来避免利益冲突。VQR的评价结果主要作为教育部分配大学经费的依据。
3 第三使命评价
根据第76/2010号总统令的要求，ANVUR还肩负评价高校和研究机构第三使命的职责。2011年ANVUR第一轮研究质量评价（VQR 2004—2010）的框架中，首次定义了第三使命，即“通过研究的价值化和知识转移，实现大学对社会经济环境的开放”。2013年随着国家质量保证体系的建立，第三使命正式与教学、研究一起被纳入学术机构的评估活动中。为更好地开展第三使命与社会影响的评价，ANVUR于2015年出版了《第三使命评估手册》，对评估方法和评估进程（阶段、标准、指标和相关评估问题）做出了明确的界定，并应用于2015年开始的VQR 2011—2014评估实践中。在2020年1月最新开展的VQR 2015—2019中也在使用，并成立了第三使命评审专家组，对大学和科研机构在评估周期内的活动及所产生的影响进行评估。本文以已经完成的VQR 2011—2014为例，描述第三使命评价的指标体系、实施过程与方法、评价结果，以及第三使命评价面临的挑战。
3.1 评价指标体系
2011年，ANVUR的第一轮VQR中，即已确定了第三使命的评价指标，这些指标不仅与技术转移有关（如第三方研究、专利活动、孵化器、衍生公司、技术转移联盟），还与文化产品的管理有关（如考古遗址发掘次数、博物馆中心等）。2015年出版的《第三使命评估手册》，进一步细化和体系化了评估指标，从大学的第三方活动、知识产权管理、衍生公司等8个方面构建了评价指标体系，并阐述了每个维度的评价问题，以明确评价目的（表3）。
3.2 评价实施及方法
第三使命评价主要使用指标分析和知情同行评议的方法。具体评价过程主要包括成立专家组、数据收集、指标分析、听证会和专家评议5个步骤。
1）成立评审专家组。ANVUR理事会从两份公开名单的300余名候选人中挑选出30名专家组成。其中一份面向研究人员，另一份面向外部专家和利益相关者，以确保来源多样化和利益平衡，具体包括来源于公共行政部门和非营利组织、工业和金融系统、文化机构和区域的高素质学者和专家等。
2）数据收集。ANVUR在《第三使命评估手册》中评价指标体系的基础上，建立了涵盖近90个指标的SUA-TM信息系统，编制了SUA-Terza任务表，作为开展第三使命活动和社会数据收集的统计来源和数据库，并增强对被评机构的监测。该系统已成功应用于VQR 2011—2014的评估活动。
3）指标分析。评审小组根据SUA-Terza任务表收集的所有数据对指标进行分析，包括每项指标的集中趋势（平均值、中位数），以及其它分布趋势（最大值、最小值和众位数）。
4）听证会。评审专家组召集各被评机构的负责人举行听证会，澄清第三使命活动及评价的有关内容。被评机构根据其重点开展活动的领域进行专门报告，没有突出领域的机构要给予解释。
5）专家评议。评审专家组对所收集信息的全部要素进行评价，包括专利、衍生公司、第三方合同与协议、中介机构，以及社会和文化公益类产品的产出情况。被评机构并不需要突出所有这些领域的活动，只需根据其自身特点和学科领域作出回应即可。
3.3 评价结果
评审专家组对每个领域进行定性评价，按成绩划分等级。为了保持一致性，尽量保持与VQR评价结果相同的表达方式，分为优秀、良好、可接受、一般四个等级。但是，为了更好地做出等级内分布，实际上会在分配成绩等级时，考虑让落入每个等级的数目与理想值范围成正比，一般而言，优秀和良好等级约占30％，其中优秀不超过10％；可接受等级约40％，其余的一般等级约30％。第三次使命评价结果同样需要对外公布。
4 意大利科研评价的特点与面临的挑战
从意大利科研评价的历史、ANVUR的成立及VQR的实践等方面来分析，可以归纳出意大利科研评价的主要特点，特别是与我国科技评价体系的不同之处主要有以下三点。
第一，政府主导性强，涉及面广。意大利的科研评价是由国家专门成立的评估机构开展的全国性评估，体现出了很强的政府主导的特征。从评价主体ANVUR的成立，到VQR及第三使命评价的实施，都是在相应的法令法规下生成和开展。同时，评价涉及的范围和内容覆盖面广，涵盖了全国几乎所有大学与科研机构的科研、教学工作，以及第三使命与社会影响。
第二，采用代表作制度，开展分类评价。VQR要求每位科研人员提供2项代表性科研成果用于评价，是典型的代表作评价制度。同时，VQR体现出了明确的分类评价理念，将所有16个学科划分为STEM（科学、技术、工程和数学）、HSS（人文与社会科学）和经济学三个领域，对三个领域分别采用不同的评价方法和指标。例如，针对STEM领域和经济学领域采用知情同行评议和文献计量相结合的方法，针对HSS领域则只采用知情同行评议的方法。
第三，评价发挥的引导作用强。一方面，意大利的科研评价结果与经费拨款分配额度直接挂钩，有利于激发科研人员的积极性，引导研究质量的提升，从而有助于提升整体层面的国家科研竞争力；另一方面，注重对大学和研究机构的第三使命与社会影响进行评价，有助于将大学和研究机构与商界联系起来，引导大学和研究机构向经济社会开放，促进了知识的转移转化。
尽管多年的实践已经为意大利科研评价积累了较为丰富的经验，但仍然面临着一些挑战。在评价方法上，知情同行评议方法面临着机构水平上的不确定性和缺陷，从而导致排行结果失真；同时，学术界对代表作制度还存在争议，集中体现为外显指标凸显、价值偏好、公信力等问题。在数据收集方面，如何集成外部数据源与中央数据采集系统，对于不同来源、存在差异的数据如何进行关联与取舍，是意大利科研评价中亟待解决的问题。在第三使命评价方面，随着科技与经济社会的发展，第三使命的内涵也在不断发生着变化，正在向社会影响转变，当前如何在不降低研究和教学质量的前提下，鼓励第三项使命的参与，在这种考虑下，未来如何开发、编制和实时更新评价手册及指标体系，以适应新的和更广泛的需求，对于科研评价来说是一个较大的挑战。
5 启示与思考
分析意大利科研评价的特点与面临的挑战，对我国当前处于破“四唯”改革过渡期探索新理念与新方法具有一定的参考价值。
第一，重视同行评议与量化方法的互补性。评价方法一直是我国科技评价的关键要素，尤其是破除简单的、机械的量化指标评价后，如何用同行评议等定性评价方法来替代，则是当下科技界关注的重点。意大利VQR根据不同评价对象选用不同的方法，对我国科技评价改革具有一定的启示意义。未来，可根据评价目的、对象、内容、指标等实际情况选择合适的方法，例如，在某些特定领域，如以排名、评奖、择优等为目的的评价活动，为减少成本、提高效率，可以计量方法为主，同行评议为辅；而对研究成果的质量、原创性、竞争力、对经济社会的影响等的评价，则要以同行评议为主，弱化对数量的强调和依赖，探索“基于证据+专家研判”的评价方法体系。
第二，强化和规范科技评价结果的公开与使用。我国自20世纪90年代建立科技评价制度以来，评价结果的应用是最薄弱的环节，十八大以来，中央政府推动第三方评估，旨在通过吸纳第三方的参与，推进评价过程与结果的公开，以公众监督和问责的方式推进评估结果的应用。近年来我国开始实施全面预算绩效管理，如何科学地开展财政科技投入的绩效评价，提高财政资金使用效益，既是绩效管理的重要内容，也是科技评价的大势所趋。通过“挂钩、公开、问责”等方式引导和激励被评对象改进和提高，具体是指将评价结果与经费预算、资源分配、职称评审、简化申报程序等多方面“挂钩”；将评价结果有条件地、按层级地向评价共同体（包括评价委托方、评价机构、被评机构及利益相关方）、科学共同体、社会公众等公开；对评价结果不好的进行问责，责任到人。
第三，注重对第三使命与社会影响的评价。一方面，通过引导大学与科研机构开展第三使命活动，推动大学与科研机构与企业及商业界的合作，促进科技成果转化与产业化，重视科学研究和技术创新对经济发展的影响与贡献；另一方面，重视科学与社会的联系，关注人文社会科学与自然科学领域的融合，以解决跨领域的社会问题，如气候变化、人口老龄化、发展不平衡等，通过对成果的社会影响评价，形成对研究设计、政策制定、实施等过程的反馈思考。
第四，逐步引导周期式评价向常态化监测转变。对于可量化的指标，可通过建立指标信息系统和相应的数据库或利用现有数据库，保障科技评价活动快速顺利开展的同时，提高评价结果的客观性与可靠性，避免人工采集数据过程中可能存在的错误。同时，建立数据收集与实时监测渠道，也有利于形成科研活动的动态跟踪与反馈机制，便于根据实时监测数据及时调整与改进。
作者：程燕林1、宋邱惠1,2、陈佳妮3、肖小溪1
1 中国科学院科技战略咨询研究院
2 中国科学院大学公共政策与管理学院
3 北京经济管理职业学院
本文转载自微信公众号世界科技研究与发展
产业 | 工业化 | 数字化 | 人才 | 创新创业 | 颠覆性技术 | 科技指标 | 科技政策 | 前沿技术 | 知识产权 | 智库 |
获取方法如下：
其他系列将陆续呈现，多多关注哦！
投稿邮箱：nais-research@cnais.org.cn
热门跟贴