《关于科研人员评价的香港宣言:促进科研诚信》
来源:科技部 日期:2019-12-31
背景
科学研究要能够造福于社会,需要根据个人与机构的科研诚信原则与标准确定选题、设计、实施和报告。至少从20世纪60年代开始,人们便意识到遍及科学研究事业中的问题[1]。近40年前,Altman指出滥用统计数据是不道德的[2];在美国最近的一次全国性问卷调查中,将近400名统计咨询员承认,他们应研究人员请求参与了统计方面的不当操作,想必会增加论文发表可能性[3]。2014年,《柳叶刀》杂志“研究中的浪费”系列文章,审视了从选题的优先级到通常以出版物形式报告研究结果的整个研究流程中的问题[4]。这些问题的一个重要影响是出版物撤稿的增加和研究成果的再现性危机[5,6]。最近生物医学领域一个令人震惊的不可再现性的例子,是Bartoldy和他的同事们试图重复在10个膝盖骨关节炎国际实践指南中所建议的133项运动干预[7]。其中没有一项对干预进行了完整描述(描述的中位数 = 提供了33%的基本信息)。这对于患者护理有直接影响。美国国家科学院报告《促进研究诚信》[8]的内容涉及多个学科领域,指出有害的研究做法,如伪造、篡改或剽窃和有问题的研究行为给研究的有效性和科学中的信任带来显著风险。
然而,一些研究人员已经意识到,他们的职业生涯取得进步,部分是由于采取了有害的研究做法。一些学者注意到了这种情况的道德和伦理风险[9,10]。晋升和获得终身教职是因为研究人员能够满足提升自己职业生涯所需要的现行标准。这些标准很窄,可能存在缺陷,并非基于证据,主要涉及出版物和引文数量;期刊影响因子(JIF)和赫氏指数(H指数)被广泛使用。大多数晋升和终身教职委员会主要关注易于收集的定量数据,并武断规定在有特定影响因子的期刊上发表一定数量论文的门槛。人们几乎不关注出版物内容或定性的衡量指标,如社会价值或由公民参与帮助确定研究的优先级。人们越来越意识到当前的激励标准价值有限,不能够促进科研诚信,甚至可能构成一套不合理的激励[11,12]。更加合理的激励标准会有助于提高科学研究和科研人员的影响力,包括其社会价值和增强学术组织内外的科研诚信。科研人员的评价方式反映了我们在科学事业中最看重的东西,并将有效地影响科研人员的行为,包括科研诚信。
有一种新的观点认为,目前是科研评估改革运动的关键时刻。这场运动跨越了学科和国家边界。现在正有一扇机会之窗可以做出以前认为不可能的改变。重要的是我们充分利用这个机会,在有希望的新的评估方法与放弃现有评估工具可能带来的危害之间取得适当平衡。现有工具确实可以部分减少根据个人关系或所谓声望决定晋升的弊端。通过文化变革和全球范围内及所有学科协调一致的努力,这样的变革将有更大的成功机会。我们需要以适用于科研活动本身的同样谨慎与细致的标准进行变革。
我们希望《香港宣言》(HKM)将进一步增进这些努力,确保对科研人员的评估有利于科研诚信。一组研究人员、资助方、学术管理人员和生物医学编辑提出了改进学术评价的六项原则[13]。有些原则侧重于概念性,而另一些原则具有可操作性,包括若干可用于评估职业生涯进步的指标示例。本文作者对这些原则进行了讨论和修改。宣言的草稿在第六届世界科研诚信大会网站上公布,以获得大会参与者的意见。修订后的草案将于大会期间在两次焦点专题会议上讨论,并将在最后全体会议上介绍更新后的版本,供代表们发表最后评论。最终,我们预计形成的这份在下面作出概述的《香港宣言》将得到世界科研诚信大会基金会理事会(GBWCRIF)和减少研究浪费与审查勤勉指导委员会(SCREWARD)的批准。我们设想以后将更新并欢迎关于其他指标的建议,特别是那些有强有力的理论根据和证据支撑的建议。下面是对这些原则、纳入这些原则的证据基础,以及如何将其应用于21世纪对科研人员评估的简要描述。《香港宣言》面向宽泛的行为主体,尤其是机构和资助方。
虽然我们认为这些原则很重要,但其效用将取决于积极的实施策略。除了《香港宣言》,我们还附有一份Word文档,使读者有机会分享关于《香港宣言》的一般性意见以及在其组织中实施与六条原则中任何一条有关的干预措施的具体例证。这些信息将帮助我们为所有对落实与六项原则有关的良好科研诚信实践方式感兴趣的组织开发一个有效的工具箱。
原则1:满足社会需要是学术研究和创造新知识的重要目标。
提出的背景
了解我们自身和我们的文化与满足好奇心一样,是一种社会性需求。要证明某种影响将十分复杂,不一定适合因果推论,如果能证明的话可能需要相当长的时间显现出来,而且很可能在大多数情况下难以证明。评估研究的影响是一个迅速兴起的多学科领域[14]。
证据
开展目标用户并不重视的评估干预措施或相关结果成效的研究,可能价值有限[15,16]。为了更好地反映社会价值,应将公民参与融入研究事业的所有阶段和社会整体,例如要求他们参加确定研究优先级的活动,或帮助开发相关的结果测量方法。在职业生涯进步的指标中,社区参与这一项似乎也不见踪影[13]。透明和真正的开放获取出版物(以及更加宽泛的开放科学)和公共传播是促进社会价值和提高科研诚信的方式。
实施
这一原则可能需要大学进行大量的反思和行动,而大学并不常明确解释他们所说的社会价值或更广泛的知识传播是指什么,例如商业化和学术孵化器。开展几项用以征求教师、公民以及他们所处大学社区观点的参与活动可能是一个有用的起点。同样,现在出现了广泛的推动开放科学的运动,各组织应明确说明如何实现这一目标,以及如何将其与个人职业生涯的进步结合起来。
原则2:评估教职员应基于可广泛反映对科学事业贡献的负责任指标。
提出的背景
用于教职员职称晋升的传统标准是有缺陷的,且并非基于证据。在教师招聘、晋升和确定终身教职时,应使更多反映出侧重证据和科研诚信的负责任指标发挥更加突出的作用。
证据
出版物数量和所获资助总额仍然是大学用以奖励其教职员的占主导地位的指标[13]。在修订后的晋升和终身教职计划中,应降低这些指标连同“简单的”的计算引文数的重要性。这同样适用于期刊影响因子和H指数。这两个标准都是职称晋升的关键激励因素,同样的激励还有世界上许多国家为学者在某些期刊发表文章提供资金奖励(即绩效工资)[17,18]。这些不是负责任的指标,可能没有给大学提供什么关于其教职员的信息。期刊影响因子或H指数几乎没有告知大学特定论文的质量,也无法很好地预测其未来的引用情况。这些指标可以被操控,仅提供某出版物对科学贡献方面很少的信息;引用最多的论文之一(后来被认为不足为信并被撤稿)主张反对儿童接种麻疹、腮腺炎和风疹疫苗[19]。为了使科研事业有意义地发展,需要公民成为这一事业的组成部分。同样,科研人员需要公开地介绍其完整的研究方案,以便检查再现性和检测选择性报告[20]。研究的事先注册与提高出版物质量有关联[21];数据共享与引用量的增加存在关联[22];患者也支持共享其数据[23]。激励和奖励这些以及类似的行为,将确保晋升和终身教职是向健全的科研诚信迈出的一步。
实施
学术机构、资助方和期刊在评估教职员时,应明确宣传淡化期刊影响因子和其他类似指标的做法,并使之为所管理或影响的对象知晓[24,25]。晋升和终身教职委员会在考虑晋升时,应明确说明减少这些指标的权重。在评估科研人员时,增加并奖励负责任的指标将有助于确保科研诚信和证据在职业生涯进步中的首要地位。科研机构需要营造有利于实施奖励负责任做法的环境。例如,为了促进数据共享,可能需要确立FAIR原则(即可发现、可获取、可互操作和可重用)[26]。与此相类似,如果大学(可能通过其图书馆系统)开展关于FAIR原则和其他数据共享问题的教育,那么将促进使数据共享在职业生涯进步方面加分。数据共享并非没有成本,大学可能需要提供资金来帮助研究人员准备数据共享。资助方也可以通过允许项目申请者在预算中将这些成本作为可列支费用来提供帮助。同样,资助者也可以采用政策,将数据共享作为对所有项目申请的要求。
更一般地说,科研人员需要成为这一原则以及其他原则实施过程的一部分。为了评估实施这一原则的效果,大学可以审核(随机)简历中所列出版物的样本,检查其中数据共享声明、研究前注册情况以及其他负责任的指标。
原则3:我们应当奖励完全和透明地发表和(或)报告所有研究内容,无论结果如何。
提出的背景
研究结果报告中的偏差(如发表偏差、报告有异于研究方案的结果而不作说明,以及将无统计学显著性的结果报告为阳性结果)是一个重大问题,会引起人们质疑科学研究的真实性,并损害科研诚信和社会对科学的信任。
证据
谢勒(Scherer)和同事对其以前以摘要形式报告的对期刊发表论文的核查结果进行了更新,其中报告了从425项研究中收集的数据[27]。发表偏差问题在增加:只有37%的研究得到完整发表,而2007年为44%。此外,大约30%的报告偏差的频率高得令人难以接受[28],这降低了知识体系的完整性和可信性[29]。尽管有证据表明关于研究结果报告的指南有助于提高报告的完整性和透明度,但这些指南并未得到充分利用。例如,编辑没有充分向同行评审专家推荐使用这些指南[30]。晋升和终身教职委员会似乎对研究方案与数据分析计划注册,以及发表已完成的研究及其相关数据、代码和材料的重要性保持沉默[31]。
实施
学术机构需要更新有关职业发展方面的规定(并使其透明),以奖励进行临床研究方案注册的教师(例如,在clinicaltrials.org或Open Science Framework上注册)。对教师需要根据其完成的所有研究,包括全面完成并完整报告的已注册研究给予奖励。当教师向晋升和终身教职委员会提交简历时,可以确保每份出版物都包括:注册号和(或)DOI,以及所使用的报告指南(如果有这样的指南,例如[32])。有些学科有不同的机制来确保透明性、完整性、真实性,这是科研诚信的支柱;这些也应被纳入晋升和终身教职指南之中。资助方也可以提及这样的政策,即所列项目负责人在没有将之前受其资助研究的结果公布前,不得申请新的资助。
为了评估这一原则的效果,晋升和终身教职委员会可以使用(或调整)自动化工具来提供有关注册的数据(例如,试验跟踪器 https://trialstracker.ebmdatalab.net/#/)和报告质量(如www.statreviewer.com)。为了增加开放性和透明度,这些检查结果应反馈给教师,并在大学网站上公布隐去姓名的总体结果。在社会科学领域也有学者提出了解决方案[33,34]。
原则4:需要奖励开放研究的文化。
提出的背景
开放性是许多学科提出的一项新的原则,有几项指标,下面将讨论一些指标的例子。
证据
大量的公共预算被用于资助科学研究;研究结果可以产生深远的社会影响。因此,科学研究的设计、实施和结果的开放与透明很重要。透明性的重要性不仅在于检测可能发生偏差的能力[29],还可能阻止偏差的发生和遏制其他有问题的研究行为[35]。这类错误行为的例子包括p值操纵(P-Hacking)或HARKing(在知道结果后才提出假设),并且可以通过研究方案和数据分析计划注册[36,37],包括注册的报告进行有效预防。
开放研究的文化还包括采用开放获取出版物和数据共享[38],最好遵循FAIR指导原则(可发现、可获取、可互操作和可重用)[26]。与开放式同行评审的思路一样,可以倡导鼓励和支持发表预印本和进行发表后同行评审的做法。所有这些对于大多数(但不是全部)学科来说都是很新的或刚出现的现象。要指出哪些是各类学科开放研究的最佳安排和最适合的透明性还为时过早。显而易见的是,教师应当为增加透明性而受到激励和奖励;这也与健全的科研诚信相一致。
实施
重要的是,对科研人员的评估也要包含反映候选人对开放研究文化贡献方式的标准和指标。似乎有可能基于“透明度和开放性促进指南”(TOP)[39]所采用的方法进行这一判断。这些指南旨在反映科学期刊采用或希望采用开放研究文化的程度。通过一些小的调整,TOP指导原则便可能被用于对科研人员简历和出版物清单的分析。
开放科学的某些方面还没有包括在TOP指南中,例如参与开放的同行评审、使用预印本和使用出版后的同行评审。在评估研究人员时可以增加这些指标。此外,在评估采纳开放研究的文化时,重要的是在定量和定性指标之间取得合理的平衡,并考虑相关背景(学科、专题领域、机构、资助氛围等)。
原则5:认可和奖励宽泛的研究活动,例如创新(包括突破定势的思维)、重复实验、研究综合和荟萃研究。
提出的背景
目前的奖励主要侧重于可以被操控的量化指标。奖励内容需要更为宽泛,并有其正当理由和证据基础。
证据
在确定研究的优先领域和研究的社会价值时,并不总是马上就能弄清一个想法或假设是否会产生预期的结果。在一个重视社会进步的学术奖励系统中,应允许并鼓励以偶然发现为基础的所谓的“蓝天研究”,或基于打破定势思维的好奇心驱动的研究[40]。例如,英国曼彻斯特大学发现石墨烯,是周五下午在正常研究活动之外讨论的结果[41]。商业企业,如Google和DeepMind,通过聘用研究人员来投资这类研究,并意识到并非所有研究都会立即产生重要结果。
学术研究评估活动和奖励周期的短期性质,使这类研究对资助方、机构和科研人员不那么具有吸引力。同样,重复研究或研究综合工作在研究活动评估中通常被认为创新性不够,尽管它们分别对于研究的可信度[42]或所有现有证据的归纳介绍都很重要[43,44]。例如在METRICS(美国斯坦福大学)[45]和QUEST(德国柏林)[46]进行的荟萃研究,是一个最近的现象,对于介绍和改进研究实践很重要,因此有助于使研究更可靠和更加相关。
实施
对社会有益的和鼓励值得信赖的、重要的研究的奖励制度,需要考虑不同类型的研究。需要制定与这些不同类型研究相关的不同指标和标准,其中包括对不同类型研究的评估周期。例如,蓝天研究的重要性和相关性可能只有在研究人员有生之年以后才能显现出来。
原则6:在评估和奖励结构中纳入对推进研究工作的各类贡献。
提出的背景
科研人员还从事其他一些尽管从总体上看对研究质量和研究氛围至关重要,但并非严格意义上科学研究的任务,例如资助项目和期刊的同行评审,以及培训指导。
证据
研究评估通常只考虑出版物和资助收入。在现行奖励制度中,研究相关的其他活动被置于次要地位。但举例来说,同行评审仍然是质量评估的基石,对在总体上改进研究基础设施和氛围的贡献,将不是以个人为中心的评估方法所能衡量的。但如何最好地进行同行评议而不是设置更多障碍和在选项上划勾的做法,一直是争论不休的话题[47]。然而,任何关心整个科学事业,营造有利于可信和有益的研究、高度重视诚信氛围的奖励体系,需要找到将这些重要职能纳入其整体评估结构的方法。
实施
对同行评审活动以及对其他作者的研究及时提出建设性意见的做法给予褒扬并制定指标。资助方、机构和期刊可以制定政策,对参与了有利于这些组织的工作,同时有利于科学研究和社会的广泛活动的科研人员给予有实质性的奖励。重要的是应建立一种特别关注科研诚信的有关研究设计、实施与报告方面内容的教育、指导与学习的开放文化。超出个人行为而有利于机构的科研文化与氛围的活动,需要成为奖励系统的一部分。
传播、认可与实施
学术机构是传播和实施《香港宣言》的主体。它们是当前与未来科研人员之家,以及进行晋升和终生教职评估的场所。资助方和期刊也需要加强努力,淡化对出版物数量和引用相关衡量指标的依赖。大学需要认识到,应当重视许多研究行为,包括创新,包括打破定势的思维、重复实验、研究综合和荟萃研究。与此类似,通过研究指导或公众参与来促进良好的研究也有其价值,应当对职业生涯进步有实质性影响。其他活动,例如为期刊和资助方进行同行评审,以及对研究基础设施和(或)管理规定的贡献,也应作为晋升和确定终身教职时考察的一部分。目前,晋升和终身教职委员会对这些活动基本不予考虑[31]。大学需要坚持科研诚信的做法,并修改当前的评价体系,在其中增加负责任的指标[48]。总的来说,这些组织需要成为在评估科研人员和进行大学评级时实施更多基于证据的和质量相关指标的先行者。可能有些学术机构、资助方或期刊已实施了这些或其他的原则。分享这样的经验,不管成功与否,都是很重要的;我们希望我们(征求意见与实际案例的)Word文档成为这样做的平台。
我们提出的原则与其他方提出的原则,如《关于科研评价的宣言》(DORA)[24]有相似之处。例如,实行原则4中的数据共享类似于DORA的第三条建议。由不止一个团体呼吁变革可能会强化相关信息,并传达给不同方面的受众。我们的倡议和其他的努力也有所不同。例如,《香港宣言》聚焦在各方面主体会发现对实施变革很有用的方法。此外,《香港宣言》还有一个加强与奖励科研诚信的特定目标。
要使《香港宣言》取得成功需要强有力的落实。在这里,我们讨论其他组织如何认可和执行宣言。除了期刊出版物,我们还在增加辅助的传播渠道。世界科研诚信大会和REWARD联盟将在其网站上公布《香港宣言》。其中包括宣言、签署方、一些促进传播的信息视图、一个认可宣言的位置、翻译成多种语言(进行中)以及未来实施计划(进行中)。
我们需要个人和组织以积极的方式实施《香港宣言》。我们拟邀请个人和(或)组织在YouTube上提供简短的(2-3分钟)证言,说明他们是如何实施《香港宣言》的(按利益相关者群体分类)。这一方法可以作为一个实用方式使个人和组织传播他们是如何认可和实施《香港宣言》的,并推动其他各方的实施。这些努力构成“自下而上”的实施方法。无论是在地方或国家层面实施,应全面记录并公布在科研人员评估标准方面的变化。对晋升与终身教职标准和教师评估进行改革的机构,应将对此进行的评价作为改革过程的一部分。采用实验方法的评估可能提供最具内部有效性的结果,并可能提供更大的可推广性。
GBWCRIF和SCREWARD除了明确认同可能有多种实施方式(例如,个人写信给晋升与终身教职委员会、机构共享其修订的职业生涯进步指标模板)和范围(如本地、区域),可能很难“驱动”其实施。为有助于《香港宣言》的知识转化,在任何计划中都应包括主要的意见领袖。GBWCRIF和SCREWARD将定期对其收到的传播、认可和实施数据进行审核与反馈。对《香港宣言》的最终评估标准是科学事业是否有所改善。我们会在即将于2020年2月在柏林召开的QUEST/REWARD/EQUATOR大会和2021年的第7届世界科研诚信大会上报告进展。
我们认为,《香港宣言》是独一无二的,因为这些原则在可能的情况下都是由证据驱动的,并反映出在教师职业生涯进步时坚持科研诚信。当前大学的晋升和终身教职计划在几十年前刚制定时可能非常有用。它们今天已显得不合拍,潜在地固化了当前科学事业中的重大问题。我们邀请个人和组织认可《香港宣言》,并协助其实施。
(作者:David Moher等;译者:孙平)
参考文献(略)