首页 > 社科刊物 > 南京社会科学

政府潜绩评估的内容维度 及评估指标的实证筛选研究

发布时间: 2017-08-28 09:15:51   来源:    字体大小:【】【】【】   浏览量:显示稿件总访问量    

 尚虎平  雷于萱

 

 

   我国以GDP为导向的政府绩效评估本质上属于对显绩的评价,这种重视表面、短期、见物不见人的评价模式使得各地走上了粗放发展的路子,环境污染、资源过度消耗、住房难、上学难等问题日渐凸显。针对这种缺陷,习近平主席特别强调,“‘潜’是‘显’的基础,‘显’是‘潜’的结果”。未来我国各级政府必须将潜绩纳入绩效评估的当然范畴,甚至需要推进专门的潜绩评估工作。在政府绩效的完整生成过程中,存在着预潜绩、配置效率型潜绩、X-效率型潜绩、可持续性潜绩、情境性潜绩等几种政府潜绩类型,而每种潜绩之下还存在着若干潜绩维度,维度中存在着若干操作性潜绩指标。在通过对东北、华北、华东等7个地区实践、理论专家调研数据统计分析的基础上,我们筛选出了一个包括64个三级指标的政府潜绩评估指标体系,并以因子分析法特有的因子贡献率对其进行了赋权探索。该指标体系可以用之于未来我国政府潜绩评估的实践工作。

关键词  政府绩效评估;显绩;潜绩;指标筛选

中图分类号  D63    文献标识码  A    文章编号  1001-8263(2017)08-0097-11

DOI:10.15937/j.cnki.issn 1001-8263.2017.08.013

 

作者简介  尚虎平,苏州大学政治与公共管理学院教授、博导,南开大学中国政府与政策联合研究中心研究员  江苏苏州 215123;雷于萱,荷兰Leiden University, Institute of Public Administration博士生,P.O.Box13228,2501EE Den Haag(海牙)

 

 

一、引言

从改革伊始各地推行的“效能建设”“效能监察”“服务承诺制”等不同形式的政府绩效评估算起,我国的政府绩效评估探索已有30多年的历史。在这些年的探索中,各地政府逐渐摸索出了一些行之有效的绩效评估模式,这对推进各地经济、社会、文化的发展起到了不可估量的作用。然而,各地几无例外以GDP为导向的政府绩效评估也酿成了严重的后果,使得各地发展中存在着见物不见人、见物不见环境、见物不见道德水准等问题,使得地方的发展逐渐变成了GDP“数目字”的竞赛,而非人民幸福感的增强,以及老有所养、幼有所教、安居乐业等和谐局面的形成。究其本质而言,这肇源于我们偏颇地将政府管理中形成的显绩当成了所有的绩效,而忽视了潜绩的存在。国家主席习近平同志多次强调:“‘潜’与‘显’是对立统一的一对矛盾”;“‘潜’是‘显’的基础,‘显’是‘潜’的结果,后人的工作总是建立在前人基础之上的,如果大家都不去做铺路石,甘于默默无闻地奉献,‘显绩’就无从谈起,就成了无本之木、无源之水,即使有‘显绩’,充其量也只是急功近利的‘形象工程’”。①实际上,完整、科学的政府绩效评估,应该既能够评估出政府的显绩,也能够评估出政府的潜绩,惟其如此,才能够科学、合理地评价特定地域政府管理工作的全部。②

国外政府绩效评估指标体系虽然不特别强调显绩与潜绩的区别,但一般都采用了“潜绩+显绩”的综合评估体系,由一系列显绩指标加上一些具有潜绩属性的指标所构成一个综合评价体系。美国政府绩效评估委员会依据《政府绩效与结果法案》推出了一个包括质量(quality)、经济(economy)、效率(efficiency)、效果(effectiveness)等内容的指标体系。其中,经济为显绩指标,它用来评估生产力发展水平、经济增长效率等;质量、效果指标属于具有潜绩属性的指标,它们既可以评估行政活动的数量、效率等表面化的绩效,又可以评估社会影响、公共服务质量、民众感受等内隐的、潜含的绩效。在英国的3Eeconomyefficiencyeffectiveness,经济、效率、效果)式政府绩效评价中,economy(经济)与efficiency(效率)评价的是直观可见的资金、资源等的投入,经济增长、公交服务改善、基础设施改进等明显的绩效,而effectiveness(效果)评价的属于潜在的绩效,比如公共服务改善引致人民幸福、人民满意等。澳大利亚的投入-产出(input-output)、结果(outcomes)、质量(quality)与效果(effectiveness)的政府绩效评估体系,既强调了投入产出、结果等直观可见的绩效,也重视了质量与效果等潜在的绩效。新西兰、加拿大、德国、日本、韩国等也采用了类似的显绩+潜绩的综合评价方式。

从我国的实践来看,当前政府绩效评估主要是对显绩的评判,在显绩评估上有着丰富的经验,但对潜绩评价还缺乏深入的探索,最多只是在个别评价体系中设计了一些“主观评议”类的指标。为了解决和突破这种窘境,我们有必要对政府潜绩评估进行专门探讨。从评估的科学规律而言,要洞察政府潜绩评估的真谛,就首先需要厘清潜绩的核心维度,并构建出一套科学的潜绩评估指标体系。

二、政府“潜绩”的主要内容维度及评价的“指标池”

潜绩萌生于政府的综合绩效生产过程之中。我们曾经专门探究过政府绩效的完整生成过程,发现需求、投入、生产、结果和效果五个环节以及特定的管理情境均在塑造着绩效③。后来,我们进一步的研究发现,但并非每个环节都生成潜绩。在整个绩效生成过程中,政府的显绩主要表现在投入/结果两个环节,这部分绩效对应的经济学上所强调的“技术效率”,也就是以投入/产出为标识的,看得见、摸得到的绩效。在其他环节,广泛存在着经济学所强调的“配置效率”“X效率”,还存在着政府管理最终形成的“效果”,以及特定的管理情境下独有的效率,这些共同构成了政府的潜绩。④如图1所示。

 

 

1  政府潜绩的生成过程

 

从内容上来看,政府的潜绩首先表现为绩效“需求”阶段所生成的“期潜绩”。从操作性而言,“期潜绩”的评估需要处理好使命评估、战略评价、五年计划评价、规划测评、文本内容评价等内容维度。其次,政府潜绩还表现为绩效“生产阶段”所形成的“配置效率型潜绩”和“X效率型潜绩”。从评估的维度来说,周全的配置效率型潜绩评价工作,起码应该包含职能优化评价、机构设置评估、人员与岗位匹配度评价、人员专业互补性测评、职能互补性评价、职能流程优化度评价、职能流程互补协同度评价、制度嵌套度评价等;科学的X-效率型潜绩评价维度应该包含人员积极性评价、组织文化进取性评价、主流工作价值观测评、社会主流意识形态测估、政府诚信度测评等。第三,政府潜绩在绩效生产的“效果阶段”形成了可持续性潜绩。从类型学规律而言,中共十八大之后提出的经济、政治、社会、文化、生态“五位一体”发展导向可以看做是一种效果型、可持续性潜绩评价的内容维度,它们可以作为我国各级政府潜绩评估的“当然内容维度”;在它们的基础上,可以展开经济健康度评价、经济创新程度评价、经济可持续强度评价,也可以对当地的政治稳定程度进行测评,对政治和谐程度、政治包容程度、人民参与广度等进行测量与评价;还可以对政府所在地的文化进取度、文化创新度、文化清廉度、文化的服务性、社会和谐度、社会正能量、生态美好度等潜绩的内容维度进行评估。当然,可持续型潜绩也可以用其他的内容维度进行评估,比如“中共中央关于制定国民经济和社会发展第十三个五年规划的建议”提出的“创新、协调、绿色、开放、共享”的五大发展理念,也可以作为可持续性潜绩的评价维度。最后,政府潜绩还有着显著的“在地化属性”,故此形成了与特定地域密切相关的情境性潜绩。从评估学关键维度来看,情境型潜绩需要评价出公共服务、行政管理的长远性和可持续性,要能够把握特定地域国家主流意识形态的普及化程度,评价出意识形态的内隐化程度,同时还要能够较好地测评本地主流文化的“移风易俗”程度、创新程度,评价出本地特有制度优良程度、非物质文化遗产保护程度、民族文化传承和延续程度等。

无论何种评估、评价研究,仅仅廓清理论问题,就还停留在“顶天”的“务虚”阶段,要真正地“立地”,让评估起到推进社会进步的“务实”作用,还需要走出理论构建,进入“指标选择”的阶段。在确定了政府潜绩的内容维度之后,我们进一步将这些维度细化为一个政府潜绩评估的“指标池”。从评估学规律来看,它是一套来源广泛、不严格区分级别与类别的指标集合,甚至是一个小型的数据库。⑤“指标池”包括了各种来源各异,用途不尽相同,但都聚焦于政府潜绩评估主题,是各地政府、不同学者为了研究潜绩问题,为了评估潜绩所用的操作性指标(三级指标)。从统计学、评估学的角度来说,这些操作性指标只是临时放在一个“池子”里面的数据集,还不具备“指标体系”的科学意涵,若要将其应用于未来的政府潜绩评估工作,还需要对其进行进一步的科学筛选。就此而言,“指标池”是指标体系的原始形式,真正可以用之于评估操作的指标系统需要在它的基础上依照统计学规律对其进行筛选。在本研究中,笔者结合自身从事政府绩效评估研究的专业积累,同时参照Moynihan2008)、Yang(杨开锋)(2012)、包国宪(2015)、卓越(2007)、周志忍(2009)、吴建南(2009)等的相关研究成果,一共收集到了97个有关政府潜绩评估的操作性指标,构成了我们进一步研究的指标池。

为了便于依照科学步骤来筛选指标体系,我们对“指标池”做了一定的“面向主题”的处理,将这些指标依照前文厘清的政府潜绩主要内容、维度进行了“主题化”处理。具体处理过程就是将指标池内的操作性指标(三级指标)进行粗放式归类,纳入不同的政府潜绩内容分类范畴(一级指标)、内容维度范畴(二级指标),这种分类主要是为了进一步的统计筛选、检验与赋权,如果类别、维度有错误,进一步的统计分析会自动剔除它们。另外,依照评估学规律,所谓“一级指标”“二级指标”在评估操作中只具有分类属性,主要用于评估结束之后分门别类撰写评估报告(Evaluation Report)之用,真正在实践操作中用来评估,作为“考试题”的仅仅是三级指标(也称操作性指标),就此而言,我们对指标池的处理也是符合科学规律与实践要求的。在具体处理中,我们将政府潜绩内容“期潜绩”“配置效率型潜绩”“X-效率型潜绩”“可持续型潜绩”“情境型潜绩”作为一级指标,将政府潜绩的维度“使命评估”“战略评估”“职能评估”“社会可持续性”“当地文化和意识形态”等作为二级指标。面向主题的指标池处理之后,我们将其记为政府潜绩指标集合{X1}(见表1),后续的统计筛选将会在此基础上展开。

1 有向化处理后的指标池({}

类型

维度

操作性指标(三级指标)

标志

单位

使

和谐政治局面的持续发展

x1

/

健康政治事态的形成

x2

/

美好政治局面的形成

x3

/

可持续发展经济局面的形成

x4

/

经济持续高速增长局面的形成

x5

/

经济中高速增长局面形成

x6

/

社会和谐局面形成

x7

/

社会多元格局形成

x8

/

社会协同局面形成

x9

/

社会主义文化多样化局面形成

x10

/

社会主义文化多元化局面形成

x11

/

社会主义先进文化持续发展

x12

/

生态良好局面基本形成

x13

/

环境美好社会基本建成

x14

/

生态和谐社会基本建成

x15

/

战略评估

政府重大战略决策的远见性

x16

政府重大战略决策的科学性

x17

政府重大战略决策的合理性

x18

政府重大战略决策的嵌套性

x19

政府重大战略决策落实的监督预设和监督规划

x20

五年计划评估

政府未来五年计划方案制定的周全性

x21

x22

政府未来五年计划方案的优化性

x23

政府未来五年计划方案的易理解性

x24

政府未来五年计划方案的具体性

x25

政府未来五年计划方案的实用性

x26

政府未来五年计划方案的可操作性

x27

规划评估

年度性计划及议程编制情况

x28

/

年度性计划及议程细化情况

x29

/

政府各职能部门具体工作计划制定情况

x30

/

重点项目规划情况

x31

/

年度经济发展计划

x32

/

年度社会发展规划

x33

/

年度文化发展规划

x34

/

年度环境建设规划

x35

/

……

……

 

公共服务

公共工程的长远性

x86

/

公共服务的保障性

x87

/

公共服务体系健全度

x88

人均公共服务经费增长率

x89

%

改善型公共服务年增长比率

x90

%

当地文化与意识

国家主流意识形态在当地的普及接受程度

x91

当地民风好转程度

x92

地方志编撰完善程度

x93

地方志编写真实程度

x94

当地非物质文化遗产保护情况

x95

/

当地主流文化的继承创新程度

x96

当地文化传承和延续程度

x97

三、我国政府潜绩评估指标体系的实证筛选

尼古拉斯·亨利曾指出:“由于评估者的偏见,评估标准模糊不清……公共部门绩效评估的可靠性和权威性受到影响。”⑥实际上,“评估者的偏见”首先表现在重视显绩轻视潜绩,重视可观察可触摸的短期显绩,而轻视不易观察、不易接触的长远绩效。评估者的另一个偏见表现在对绩效评估内容的选择上,评估者往往选择自己看重的内容进行绩效评估,而忽视那些自己不重视的方面。这种评估内容的选择偏好,往往通过对政府绩效评估指标的偏好表现出来,就此而言,亨利所强调的“评估标准模糊不清”实际上源于评估者对绩效评估指标的特殊好恶。在这种情况下,要根除“评估标准模糊不清”问题就需要从科学的指标筛选做起。在遵循评估学的基本规律的情况下,在上文厘清的评估维度、指标池的基础上,本研究通过实证问卷调查、统计分析,对我国政府潜绩评估指标体系进行了实证筛选。我们的筛选过程包括筛选指标、赋权所选指标、指标体系确定几个环节。

1.筛选指标

依照统计学、评估学的要求,指标筛选需要经过4个关键步骤,即专家临界值确定、隶属度分析、相关性分析、鉴别力分析。

1)专家临界值确定。在指标筛选中,首要的工作是消除指标选取的主观性。本研究以单轮德尔菲法的方式,尽量以具有代表性、广泛性的专业人员意见来平滑主观性问题。在具体操作中,我们在指标池{X1}上,为每条操作性指标设计了一个考察它是否属于本维度的判断性命题,即“您认为本条操作性指标是否属于评价本维度的指标?0代表完全不属于,6代表完全属于,其他值介于两者之间。请您根据自己的知识与经验选择您认为合适的值。”,我们将其放置在{X1}中“单位”栏目后新增一列,构成了一个{X1}的指标池问卷。然后,我们在东北、华北、华东、华中、华南、西南、西北共选择了理论性专家150名,实践性专家150名,将指标池问卷分别发往他们的电子邮箱。为了提高回收率和指标池问卷填写的规范性,我们还以微信、短信,甚至直接打电话提醒他们。最后,一共回收到了240份填答后的问卷,其中有效问卷216份。

虽然获得了问卷,但还需要检验它们是否已经达到平滑主观性所需要的最低阈值,否则就还需要继续扩大问卷量,直到符合统计要求。我们依照统计经验性做法,采用临界值法来计算专家临界值下线,其计算公式为其中,μ表示希望选择专家的数量;S表示专家对备选指标选择数量的标准差;N代表备选指标被专家选中的频数,它是一个值必然为正的实数;tα是置信度α取特定值的情况下的t检验值,查阅t检验表即可获得它所对应的数值。在计算专家临界值的过程中,我们将期望数量μ设置为30,因为按照统计学原理来说,样本容量超过了30,其要素的分布倾向于上服从正态分布,就可以按照大样本原理来进行计算(MendenhallSincich & Boudreau2016)。⑧置信度α取1%,经过查询t分布表,t0.01=2.368。其他数据将指标池征询意见问卷输入到SPSS19.0的过程中都会自动生成。通过将这些值代入临界专家值计算公式,可以计算出临界专家数量为。由于216>31,故我们回收的问卷数量适合用来筛选指标体系,它们能够较为科学地消解主观判断。

2)隶属度分析。依照模糊数学的观点,政府潜绩评估是一个充满“噪音”的模糊系统,这种模糊程度规模庞大到我们无法精确地定义其内涵,只能采用“隶属度”法来把握它的主体趋势。在操作中,假设指标草集(集合)X1,在第n个指标Xn上,所有专家选中的总次数为Mn,也就是说,共有Mn位专家认为Xn是评价我国政府潜绩中最为理想的指标,该评评估标的隶属度便可以记为Rn的值大于临界值,表明该指标在很大程度上属于模糊集合,证明指标Xn在评估体系中非常重要,可以将其保留到进一步的指标筛选进程中;反之则必须删掉该指标。在本文中,由于调研的专家有效数量为216,故而Rn=Mn÷216;同时,因为临界专家数量为31,临界值便可以精确为R=31/216=0.144。通过对216份有效专家咨询表的统计,我们分别得到97个指标的隶属度,并将隶属度小于0.14412个评估指标(见表2)予以删除。

 

2 被删除的隶属度低于0.14412个评估指标

类型

维度

操作性指标

标志

专家数

隶属度

预潜绩

使命评估

健康政治事态的形成

x2

12

0.056

生态良好局面基本形成

x13

30

0.139

规划评估

政府各职能部门具体工作计划制定情况

x30

28

0.130

重点项目规划情况

x31

25

0.116

配置效率型潜绩

职能评估

职能创新程度

x41

19

0.088

X效率型潜绩

内隐绩效评估

各职能部门间的互助程度

x54

16

0.074

可持续型潜绩

经济可持续性

经济健康度

x57

21

0.097

经济创新度

x58

18

0.083

政治可持续性

政治稳定程度

x66

22

0.102

生态可持续性

生态良好程度

x78

30

0.139

人均公共绿地面积

x80

14

0.065

情境型潜绩

当地文化和意识形态

当地民风好转程度

x93

23

0.106

3)相关性分析。经过了隶属度删减,一共剩下了85个操作性指标(记为{X2}),但这些指标依然可能存在相关性过强的问题。如果相关性太强,就意味着不同的指标在评估着相同的潜绩,故此,还需要对相关性过强的指标做进一步的剔除,这就是相关性分析(Correlation Analysis)。在具体分析过程中,我们对相标维度内的指标进行了两两配对比较。从数学与统计原理来说,相关系数主要有3个级别:|R|<0.4为低度相关,0.4|R|<0.7为显著相关,0.7|R|<1为高度相关⑨,我们将所有两两相关中|R|0.7,同时隶属度较低的指标都进行了删除。为了行文简练,下文以“预潜绩”中“战略评估”维度的各指标相关性为例,展示了特定维度中的相关性分析及其删减指标情况(见表3)。在表3中,x17(政府重大战略决策的科学性)与x18(政府重大战略决策的合理性)相关系数高达0.742,同时两者的隶属度中,x18<x17,故我们删除了x18。其他维度下的指标相关性分析过程与此相同,此处不再赘述。最后,我们一共删除了17个相关度大于0.7、隶属度相对较低的指标(见表4)。共有68个指标的相关性检验合格,可以作为下一步筛选的基础(记为{X3})。

 

3“战略评估维度下的指标相关性

 

指标(标志)

x16

x17

x18

x19

x20

隶属度

政府重大战略决策的远见性x16

1

 

 

 

 

1.000

政府重大战略决策的科学性x17

0.341

1

 

 

 

0.972

政府重大战略决策的合理性x18

0.406*

0.742**

1

 

 

0.917

政府重大战略决策的嵌套性x19

0.286

0.164

0.265

1

 

0.764

政府重大战略决策落实的监督预设和监督规划x20

0.453*

0.418*

0.382*

0.288

1

0.889

说明:**表示显著性水平为0.01*表示显著性水平为0.05;其他均为0.00

 

 

4 相关系数大于临界值0.7的指标体系

维度

保留的指标(Xi)

删除的指标(Xi)

相关系数

使命评估

x1和谐政治局面的持续发展

x3美好政治局面的形成

0.757

x5经济持续高速增长局面的形成

x6经济中高速增长局面形成

0.768

x7社会和谐局面形成

x9社会协同局面形成

0.753

x11社会主义文化多元化局面形成

x10社会主义文化多样化局面形成

0.962

x15生态和谐社会基本建成

x14环境美好社会基本建成

0.977

战略评估

x17政府重大战略决策的科学性

x18政府重大战略决策的合理性

0.742

五年计划评估

x22五年计划方案环节的科学性

x23五年计划方案的优化性

0.946

x24五年计划方案的易理解性

x25五年计划方案的具体性

0.939

x27五年计划方案的可操作性

x26五年计划方案的实用性

0.789

规划评估

x29年度性计划及议程细化情况

x28年度性计划及议程编制情况

0.772

职能评估

x37职能流程互补协同程度

x38职能流程优化程度

0.982

内隐绩效评估

x51政府部门人员工作的主动性

x50政府部门人员工作的积极性

0.928

文化可持续性

x68传统文化的继承情况

x69传统文化的扬弃情况

0.994

生态可持续性

x79自然环境改善程度

x77脆弱生态修复程度

0.718

公共服务

x89公共服务体系健全度

x88公共服务的保障性

0.719

当地文化和意识形态

x94地方志编撰完善程度

x95地方志编写真实程度

0.903

x97当地主流文化的继承创新程度

x98当地文化传承和延续程度

0.845

 

4)鉴别力分析。通过相关检验,基本上解决了指标鉴别能力重复问题,但可能还存在着指标鉴别能力偏态集中问题,也就是部分指标偏态性地呈现同高同低现象本文利用变差系数来消除偏态聚集问题。首先,确定变差计算一般式为其中,是指标的均值;是指标的标准差。一般来说,一个指标的变差系数越大,则该指标的鉴别力越强,反之亦然。就统计学规律来说,只要不同的指标总体在的范围内,就能够形成正态分布,其变异系数也达到了最大。按照这种特性,笔者进一步计算了剩余指标的变差系数,删除了变差系数不在范围内的指标体系。从本文的统计来看是变差系数的下临界线,我们删除冗余指标的参照值。以此为据,我们剔除了经济持续高速增长局面的形成0.106社会和谐局面形成(0.118社会主义文化多元化局面形成0.203建筑能耗年降低率(0.4444变差系数小于0.7的指标,保留了其余64指标,最终形成了第4轮政府潜绩评估指标体系(记为{}),见表5。在该表中,标志仍然沿用指标池的原编号。

 

5政府潜绩评估指标体系{}

类型

维度

指标

标志

单位

变差系数

使命评估

和谐政治局面的持续发展

x1

/

1.161

可持续发展经济局面的形成

x4

/

1.144

社会多元格局形成

x8

/

1.108

社会主义先进文化持续发展

x12

/

1.521

生态和谐社会基本建成

x15

/

1.142

战略评估

政府重大战略决策的远见性

x16

1.173

政府重大战略决策的科学性

x17

1.150

政府重大战略决策的嵌套性

x19

1.131

政府重大战略决策落实的监督预设和监督规划

x20

/

1.135

五年计划评估

政府未来五年计划方案制定的周全性

x21

1.169

政府未来五年计划方案环节的科学性

x22

1.152

政府未来五年计划方案的易理解性

x24

1.130

政府未来五年计划方案的可操作性

x27

1.110

规划评估

年度性计划及议程细化情况

x29

/

1.084

年度经济发展计划

x32

/

1.131

年度社会发展规划

x33

/

1.177

年度文化发展规划

x34

/

1.102

年度环境建设规划

x35

/

1.123

……

……

 

 

公共服务

公共工程的长远性

x87

1.250

公共服务体系健全度

x89

1.428

人均公共服务经费增长率

x90

%

3.202

改善型公共服务年增长比率

x91

%

1.507

当地文化与意识

国家主流意识形态在当地的普及接受程度

x92

1.276

地方志编撰完善程度

x94

1.496

当地非物质文化遗产保护情况

x96

/

0.821

当地主流文化的继承创新程度

x97

1.184

 

2.赋权指标集合{X4}

经过几步筛选之后形成的指标集合{X4}还不能被直接用之于现实中的政府潜绩评估工作,因为还难以确定不同指标之间的重要程度,也就是未区分权重问题,这就需要赋权工作。作为一种具有测量工具性质的指标体系,赋权之前必须厘清它的信度与效度,否则对信度效度不合格的指标集赋权就如同给瞎子戴上眼镜一样,虽然过程严谨,但却缺乏实际意义。本文以克隆巴赫系数(Cronbachs Alpha)α评估了指标集{X4}的信度,发现整体指标体系的α值达到了0.832,预潜绩、配置效率型潜绩、X-效率型潜绩、可持续型潜绩、情境型潜绩的类别的α分别为0.8350.8090.7400.7670.897,均高于0.7的,处于较高信度范围。内容效度比CVR值达到了0.890,也证明{X4}具有较为理想的效度。信度、效度检测结果显示,可以对{X4}进行指标赋权工作。

在政府绩效评估领域,传统的指标赋权方式如层次分析法(AHP)、灰色关联分析、德尔菲法都依赖于对专家多次、多轮的调研,这在操作中往往形成抵触、应付心理,使得来自专家的多轮主观判断往往产生了偏误放大机制,为了解决这种问题,我们以确认性因子分析法(Confirmatory Factor Analysis),采用同一套数据,以因子贡献率的方式来确定不同指标的权重。之所以如此,是由于我们在信度检验的过程中发现{X4}的整体科隆巴赫系数值,各潜绩类型的α值均具有内在一致性,从理论上推断符合进行因子分析。此后,我们对{X4}整体,以及预潜绩、配置效率型潜绩、X-效率型潜绩、可持续型潜绩、情境型潜绩的类别的KMO值进行了测定,发现整体上KMO值达到了0.837,各类型的KMO值中,最低的情境型潜绩也达到了0.746,这证明了之前我们推断的正确性,证明对{X4}的赋权可以采用确认性因子分析方法。11在具体赋权工作分4步进行:第一,在各维度内确定不同指标的相对重要度(因子贡献率);第二,确定各维度在本潜绩类别中的相对重要度;第三,确定各类别在整个体系的相对重要程度;第四,结合第一、第二、第三步的结果,计算出64个操作性指标(三级指标)在整个指标体系中的重要度,计算公式为,其中表示每一个操作指标的权重,表示每个潜绩类别在整个指标体系中的因子贡献率(第一步获得),表示每一个维度在本类别中的因子贡献率(第二步获得),表示每个操作性指标在本维度中的因子贡献率(第三步获得)实际上,如果只是为了简单地获得操作指标的权重,完全可以一步就完成此项工作,也就是将所有64个指标全部投入确认性因子分析过程,直接产生每个指标相对于整体指标体系的权重,而且理论上这种赋权结果与通过上面4个步骤获得的赋权结果是相同的。但这样做在理论逻辑上有跳跃,因为在现实评价中,往往在撰写工作报告中需要向行政相对人、其他公民、利益相关者展示每个潜绩维度的成就,每个潜绩类别的成就,这在逻辑上首先需要确定特定操作性指标相对于本维度其他指标的重要程度(权重),然后判断特定纬度在本类别中相对于其他维度的重要程度,然后判断不同潜绩类别在整个指标体系中相对于其他类指标的重要程度。当然,如果不是进行严谨的科学研究,只是简单地评价操作,只为了获得操作指标的权重,完全不需要通过四步法来完成赋权,一步即可。下文我们只以“预潜绩”类别中“使命评估”维度下操作性指标赋权来展示赋权操作(第一步的操作过程)的具体做法,其他步骤与此类同,论文中不对此进行重复论述。

6 使命评估维度中KMO Bartlett的检验结果

取样足够度的Kaiser-Meyer-Olkin度量。

Bartlett的球形度检验近似卡方

df

Sig

.759

62.629

28

.000

 

虽然在赋权前已经检验了{X4}整体以及各个潜绩类型的KMO值,但我们并未检验每个维度下的操作性指标是否适合确认性因子分析。从理论逻辑推断而言,在各个潜绩类型均适合因子分析的前提下,属于各个潜绩类型的维度及其所包含的三级指标(操作性指标)一般都适宜进行因子分析,但从科学步骤而言,我们要确定各个维度内的三级指标权重,首先依然需要检验所在维度的KMO值,察看其是否适合进行确认性因子分析。表6是我们所检验的“使命评估”维度中KMOBartlett的结果,显示确实适合进行确认性因子分析。在此基础上,我们在SPSS19.0统计软件中,获得了“使命评估”维度中各指标的因子贡献率(见表7)。其他维度内的指标赋权,各个类型的指标赋权过程也都与此相同。在经过了上述4个步骤的操作之后,我们便完成了对我国政府潜绩指标集{X4}的赋权工作,形成了最终的政府潜绩评估指标体系(见表8)。为了显示最终筛选形成的指标体系的完整性,我们对指标标志进行了重新编码,从x1依次编码到了x64;同时,为了展示指标级别的清晰性,我们将潜绩“类型”按照惯例改为了“一级指标”,将潜绩“维度”改为了“二级指标”。

7 “使命评估维度下的因子贡献率(权值)

指标

标志

因子贡献率

积累贡献率

和谐政治局面的持续发展

x1

0.2881

0.2881

可持续发展经济局面的形成

x4

0.2289

0.5170

社会多元格局形成

x8

0.3117

0.8287

社会主义先进文化持续发展

x12

0.1282

0.9569

生态和谐社会基本建成

x15

0.0432

1.0000

 

从我们最终筛选出的指标体系来看,在政府潜绩的类别(一级指标)中,可持续性潜绩的重要性相对最大,其权重达到了0.2918,而预潜绩也非常重要,其权重达到了0.2493。相对而言,X效率型潜绩的重要性要少很多,其权重只有0.0778。实际上,这也符合行政学规律,毕竟政府推进公共服务、公共管理工作,更多需要服务于行政相对人。是否将政府组织内部氛围调整为“一家人”的感觉,相对于对外服务职能来说,重要性自然要低一些。二级指标、三级指标也都彰显了类似的特征。总体来看,我们筛选的指标体系也确实能够反映潜绩评价与显绩评价的区别,它更注重长远性、整体性、协同性,要力争做到“前人栽树后人乘凉”“当代人的付出是子孙后代的福分”。

 

8赋权后的政府潜绩评估指标体系{}

一级指标(权重)

二级指标

(权重)

指      标

标志

单位

权重

(0.2493)

使命评估

(0.0785)

和谐政治局面的持续发展

x1

/

0.0174

可持续发展经济局面的形成

x2

/

0.0154

社会多元格局形成

x3

/

0.0176

社会主义先进文化持续发展

x4

/

0.0167

生态和谐社会基本建成

x5

/

0.0114

战略评估

(0.0626)

政府重大战略决策的远见性

x6

0.0097

政府重大战略决策的科学性

x7

0.0133

政府重大战略决策的嵌套性

x8

0.0283

政府重大战略决策落实的监督预设和监督规划

x9

/

0.0113

五年计划评估

(0.0427)

政府未来五年计划方案制定的周全性

x10

0.0116

政府未来五年计划方案环节的科学性

x11

0.0177

政府未来五年计划方案的易理解性

x12

0.0115

政府未来五年计划方案的可操作性

x13

0.0019

规划评估

(0.0655)

年度性计划及议程细化情况

x14

/

0.0184

年度经济发展计划

x15

/

0.0134

年度社会发展规划

x16

/

0.0092

年度文化发展规划

x17

/

0.0163

年度环境建设规划

x18

/

0.0082

(0.2088)

职能评估

(0.0793)

职能流程互补协同程度

x19

0.0215

职能设置的科学性和前瞻性

x20

0.0139

职能制度设置的嵌套程度

x21

0.0158

各职能部门人员与岗位匹配程度

x22

0.0281

编制评估

(0.0588)

机构职能分解细化为岗位情况

x23

/

0.0107

机构职能分解优化为岗位情况

x24

/

0.0169

不同机构职能互补细化为具体岗位情况

x25

/

0.0312

人员评估

(0.0707)

人员配置与职能的专业匹配度

x26

0.0126

人员配置优化程度

x27

0.0241

人员专业互补程度

x28

0.0212

人员专业能力发展程度

x29

0.0128

X效率型

潜绩

(0.0778)

内隐绩效评估

(0.0778)

政府部门人员工作的主动性

x30

0.0212

组织文化的进取性

x31

0.0041

政府中主流价值观的普及程度

x32

0.0185

上级政府对下级职能部门的诚信度

x33

0.0216

下级职能部门对上级政府的诚信度

x34

0.0124

(0.2918)

经济可持续性

(0.0671)

经济可持续发展程度

x35

0.0097

新经济领域开拓程度

x36

0.0138

新型技术人才储备比例

x37

%

0.0231

技术改造投资比例

x38

%

0.0205

政治可持续性

(0.0518)

政治和谐程度

x39

0.0125

政治包容程度

x40

0.0079

社区民众参选比率

x41

0.0151

群众基本权利保障程度

x42

0.0163

文化可持续性

(0.0533)

传统文化的继承情况

x43

/

0.0092

社会主义文化的内隐化程度

x44

0.0134

亚文化的进取程度

x45

0.0172

政府廉洁文化的培育情况

x46

/

0.0135

社会可持续性

(0.0392)

社会和谐程度

x47

0.0063

社会诚信程度

x48

0.0188

社会良俗普遍程度

x49

0.0095

本地主流家风健康程度

x50

0.0046

生态可持续性

(0.0804)

自然环境改善程度

x51

0.0158

本地绿化覆盖率

x52

%

0.0136

环境污染治理投资增长率

x53

%

0.0098

生态建设投资占财政总支出的比重

x54

%

0.0089

突发环境事件投诉事件降低率

x55

%

0.0125

人均生活能耗降低率

x56

%

0.0198

(0.1720)

公共服务

(0.1092)

公共工程的长远性

x57

0.0293

公共服务体系健全度

x58

0.0281

人均公共服务经费增长率

x59

%

0.0283

改善型公共服务年增长比率

x60

%

0.0235

当地文化与意识

(0.0628)

国家主流意识形态在当地的普及接受程度

x61

0.0250

地方志编撰完善程度

x62

0.0098

当地非物质文化遗产保护情况

x63

/

0.0186

当地主流文化的继承创新程度

x64

0.0094

                       

注:

  ①习近平:《之江新语》,浙江出版社联合集团、浙江人民出版社2016年版,第108页。

  ②④尚虎平、杨娟:《我国政府绩效中的潜绩:生成、类型与主要评估维度》,《南京社会科学》2011年第11期。

  ③尚虎平:《政府绩效评估中“结果导向”的操作性偏误与矫治》,《政治学研究》2015年第3期。

  ⑤尚虎平、陈星宇:《我国城市公共服务提供绩效评价——面向L市的探索性研究》,《武汉大学学报》(哲学社会科学版)2013年第1期。

  ⑥【美】尼古拉斯·亨利:《公共行政与公共事务》,张昕等译,中国人民大学出版社2002年版。

  ⑦⑩为了避免论文过于冗长乏味,此处省略了部分指标内容,查看完整指标池可联系作者,联系方式为:170332307@qq.com438496342@qq.com

  ⑧Mendenhall, W. M., Sincich, T. L., & Boudreau, N. S. Statistics for Engineering and the SciencesBoca Raton: CRC Press, 2016.

  ⑨范柏乃、朱华:《我国地方政府绩效评价体系的构建和实际测度》,《政治学研究》2005年第1期。

  11]郭志刚:《社会统计分析方法——SPSS软件应用》,中国人民大学出版社2006年版,第8794页。

〔责任编辑:若  谷〕

 

 


The Research on Content Dimension and Empirical Selecting

of Evaluation Indicators of Chinese Government Latent

Performance Evaluation

Shang Huping & Lei Yuxuan

 

 

Abstract: GDP-oriented government performance evaluation has made the country embarked on the extensive development path. In the future, our governments at all levels must incorporate the latent performance into the certain category of performance evaluation, and even need to promote the specialized performance assessment. We have found that there are several types of latent performance in the whole process of government performance formation. For instance, expected performance, allocative efficiency, X-efficiency, sustainable performance, situational performance all belong to latent performance. Based on the statistical analysis of survey data from the practice and theory experts in 7 regions of China, we design a government performance evaluation index system which includes 64 tri-grade evaluation indicators.

Key words: government performance evaluation; visible performance; latent performance; indicator selecting