中国政府开放数据平台建设质量评估

摘要

本文回顾了政府开放数据(OGD)在世界和中国范围内的发展历史和相关立法进程,简述了目前通用的几种评估政府开放数据质量的标准模型,并在这几种模型的基础上博采众长,提炼出适合中国文化和社会特点的模型,用以对中国的“北上广深”四个一线城市的数据开放平台进行对比评估。

Abstract

This paper recounted the history of OGD’s (open government data) development and corresponding regulation in China and other countries of the world. After that, I have listed some popular frames that used to evaluate specific government’s OGD quality, raised a brand-new frame based on their excellency and limitation. With this method, I then made a quality-evaluation on 4 municipal-level OGD platforms of China’s first-tier cities (Beijing, Shanghai, Guangzhou, Shenzhen).

关键词

政府开放数据,透明政府,信息公开

Keywords

OGD, Open government data, government transparency, public information

一、政府开放数据(OGD)的起源及其在中国的发展

1.1 政府开放数据活动在美国的起源及发展过程

政府开放数据的倡议最先起源于美国民间,2007年12月,美国国内的倡议者在加尼夫利亚的塞瓦斯托波尔(Sebastopol,California)制定发布了开放数据的8条标准和原则[1](后来一般称其为《塞瓦斯托波尔原则》),呼吁政府将数据开放给公众。

2009年1月,美国总统奥巴马签署了《开放透明政府备忘录》[2],此举成为了美国政府进行数据开放的起点。同年,美国国家级数据门户网站 DATA.GOVhttps://www.data.gov/)上线,政府开放数据正式成为政坛和学界热门话题,在全球广播开来。

图1:美国国家级数据门户网站DATA.GOV

2011年9月,联合国大会期间,美国、英国、巴西、印尼、墨西哥、挪威、菲律宾、南非等八个国家共同签署了《开放政府声明》[3],并正式成立开放政府合作组织(OGP, Open Government Partnership),声明规定了成员国需要提高政府信息公开程度、支持公民参与等多项义务,截至2020年4月20日,该项合作组织已有78个成员国家。

1.2 中国政府开放数据发展进程

我国目前并未加入开放政府合作组织OGP,但在政府信息公开和数据开放上也有与之相关的实际建设成果。

由中国人民共和国国务院公布,并于2008年5月起施行的《中华人民共和国政府信息公开条例》[4](以下简称“条例”),明确规定了政府行政机关公布信息的原则、范围和方式等相关条例。

需要注意的是,信息公开不等同于数据开放,在《条例》的相关规范性表述中,尽管也包括了政府财政预算、决算报告等可能以数据呈现的信息,但更多的定义则是指向行政法规文件、区域规划政策、重大建设项目等电子文档,而不是政府开放数据倡议中所指的初级的、机器可读的原始数据。

《条例》在2019年3月得到了一次新的修订[5],完善了政府信息公开制度本身,但并未涉及政府开放数据相关问题,因此这也成为了一个我国目前立法上的一个亟待填补的空白[6]。

目前,各省市在开办政府公共数据开放平台的过程中,其引用的国家级法规文件,也还是以《条例》为主,而为了填补《条例》在开放数据管理方面的空白,各地政府往往在其基础上,通过地方发展规划文件(如《广东省人民政府办公厅关于印发广东省促进大数据发展行动计划(2016-2020年)的通知》[7])或地方性的管理法规(如《上海市公共数据开放暂行办法》[8])进行补充。

二、与OGD 质量评估方案相关的文献综述

政府开放数据目前还是一个新事物,缺乏一个公认的量化标准来评判开放数据工作的质量,本节将介绍目前为止具有重要意义的一些评判标准,并试析其优缺点,以最终得出一个更适合中国政治、文化和社会特色的评判模型,用以进一步的评估工作。

2.1 塞瓦斯托波尔原则(Sebastopol principles)[1]

《塞瓦斯托波尔原则》是政府开放数据倡议活动最早期,也是最著名的原则,这个原则要求政府开放数据需要符合以下八项特点:

  1. 完整性:所有公共数据都应该被公开;

  2. 原始性:从数据源处被收集,且以可能的最大颗粒度公布;

  3. 时效性:以最快速度公布以保证其实用价值;

  4. 可访问性:以通用网络协议公开在广域网络上,可同时被人和机器读取;

  5. 机器可读性:结构化数据,允许机器读取和操作;

  6. 非歧视性:对所有人可见,不需要特别的注册和许可即可访问;

  7. 非私有性:开放格式,不需要额外的收费软件或工具即可读取;

  8. 免许可证:不受任何版权、专利、贸易秘密等相关法律限制,任何人都可以阅读、处理和二次传播。

《塞瓦斯托波尔原则》限定了政府开放数据的基本行为规范,是政府开放数据运动历程中里程碑式的文件,基于这个框架,我们可以不断地完善并提出更具有可操作性的评估规范,用以改进政府开放数据工作。

但仅仅凭借这8项原则我们无法做出合理有效的评估,因为这8项原则中的大部分规则都没有给出特定的定级或量化标准,只是一个规范性的表述。

2.2 伯纳斯(Berners-Lee)的 “开放数据五星评估” (5-star open data)[9]

2006年,万维网(WWW, World Wide Web)的发明者、麻省理工学院计算机科学及人工智能实验室创办主席伯纳斯-李制定了一项对开放数据进行评估的方案,从技术上的开放程度出发,由低到高,将所有开放数据分类为1~5星:

  • 1星:互联网上可访问,并且没有任何限制性许可(无论任何格式)。

  • 2星:机器可读的结构化数据(如Excel)。

  • 3星:机器可读的结构化数据,但是以非私有的格式保存(如CSV)。

  • 4星:使用固定网址(URL)发布,任何人可以链接到指定的公开数据。

  • 5星:同时包含其他相关数据和信息的链接,提供给访问者更多关联数据。

五星评估方案,更多的集中在数据本身的可访问性和机器可读性上,它的优点在于:相比《塞瓦斯托波尔原则》,五星方案对“可访问性”和“机器可读性”这两条原则进行了明确的特征限定,让这两条原则有了更清晰的评估准则。

但是,五星方案并没有照顾到《塞瓦斯托波尔原则》中的其他部分,因此存在较大的片面性,比如某个政府开放数据平台,公布的所有数据都符合五星标准,但是所有的数据都只涵盖了其众多部门中的某一个微不足道的部门,或者每隔两年才有一次更新,这当然是不符合政府开放数据倡议的初衷的。

同时,五星方案的内部分级也存在一定的冲突和交叉可能,比如,某项开放数据使用了固定网址来发布资料,但是网页上的数据却穿插在自然语言文本之中,且并不提供任何机器可读的结构化数据,这样的开放数据符合了4星的标准,却不符合2~3星的任何标准。

2.3 开放数据协会(ODI)开放数据等级认证(Certificate badge levels)[10]

创办于2012年的开放数据协会(Open Data Institute)[11]是一家非盈利机构,致力于“连接、赋能并激发全世界的人们进行数据创新”,该协会对全世界的开放数据(包括政府开放数据在内)提供独立的、免费的等级认证服务,以便其发布者可以采取正确行动,改进其开放数据的质量。

该等级认证包括如下四个等级(由低到高):

  • 铜牌:数据免许可证开放,没有任何访问限制,可以合法阅读、处理和二次传播;

  • 银牌:同上以及,数据以结构化、机器可读的格式公布,数据发布者通过专用的沟通渠道持续提供服务;

  • 金牌:同上以及,数据格式为开放的、非私有格式,并承诺更新周期,提供包括阅读说明、接口说明等更多支持;

  • 白金:同上以及,提供数据的原始文档(同样机器可读),提供可作为数据标识符的URL固定链接,并且提供客户服务团队。

可以看到,ODI的认证标准,是将开放数据看作一种服务,而不是一种产品[12],这一点甚至对《塞瓦斯托波尔原则》而言也是非常重要的补充,ODI认证标准中的承诺更新周期、提供持续支持等标准,事实上符合政府开放数据倡议活动的初衷:提高政府透明度,提升政治管理的公众参与度。

2.4 其他与改进OGD质量和用户体验相关的文献

前述三种开放数据质量评估,都是从数据发布者的视角出发,考虑发布过程中的问题,或者从技术对接用户的角度出发,考虑数据开放平台对技术性用户的友好程度。

2012年,Anneke Zuiderwijk在文献《Socio-technical Impediments of Open Data》[13] 中,以普通用户的视角出发,通过文献查阅、专家访谈和现场研讨会等多种手段,调查不同类型的用户在使用政府开放数据的过程中的困难,这些用户在使用中的实际困难,对于我们制定良好的政府开放数据评估规则同样有重要的意义。

根据 Zuiderwijk 的调查结果,在三个调查来源中均有所反映的困难包括:

  1. 数据没有被完整发布,政府机构保留了一部分关键数据未予公开;

  2. 数据不是免费可访问的,往往需要付出额外费用;

  3. 原始数据未予提供,尤其是与当前查看数据相关的其他数据没有被关联起来。

基于此,2019年3月,F.Xiao发表于ACM CHIIR的文献《Challenges and Supports for Accessing Open Government Datasets》[14] 则提出了一个名为“数据指南”(Data Guide)的框架,定义了一个开放数据平台应该提供的12种补充信息:

  1. 数据的收集和创造过程的说明;

  2. 关于数据集本身的定义描述;

  3. 关于数据发布者的介绍;

  4. 该数据的使用提示和注意事项等;

  5. 数据发布者对此数据进行收集和发布的原始目的;

  6. 该数据使用场景、案例;

  7. 该数据的其他可能使用场景;

  8. 该数据与同站内其他数据之间的关联;

  9. 该数据在外部站点上的相关数据的交叉连接;

  10. 数据库架构;

  11. 引用该数据的方法;

  12. 该数据格式的管理历史。

Zuiderwijk 的调查结果和 F.Xiao 的数据指南建议,为我们即将制定的评估标准提供了一个新的从用户出发的视角,在下文的调查中我们将会看到,“数据关联” 和 “数据说明” 这两个特性也是中国目前的政府公开数据建设中存在的一个较为显著的局限。

三、本文的评估对象、评估模型介绍及评估结果

综合第二节中各方文献的优缺点,本文将从八个维度来评估北京、上海、广州、深圳四个一线城市的政府开放数据平台建设和维护情况,每个维度权重相同,评估得分在0到1之间,理论最高总分8分。

本文所评估的四个政府开放数据平台基本信息如下:

政府开放数据平台 上线时间 地址
北京市政务数据资源网 2012年10月 https://data.beijing.gov.cn/
上海市公共数据开放平台 2019年11月 https://data.sh.gov.cn/
广州市政府数据统一开放平台 2016年10月 https://data.gz.gov.cn/
深圳市政府数据开放平台 2016年11月 https://opendata.sz.gov.cn

3.1 完整性(Complete)

完整的公布所有应当公之于众的数据是OGD倡议的初衷,本文假设:一个城市的数据体量和该城市的常住人口、辖区面积以及经济活动规模(GDP)等三个要素紧密相关,而中国的四个一线城市拥有相似的政治、文化和社会背景,所以本文也假设这种相关性的比例是相似的。

因此,本文整理了四个一线城市的上述三项指标,并计算其与该城市数据平台实际公布的数据类目数进行对比,然后将三个要素所对应的数据比例进行Z分数标准化(Z-Score Normalization),求和之后将总分投射到 [0,1] 区间,得出本项指标最终得分,计算结果如表1:

表1:完整性评估
基本指标(1) 北京 上海 广州 深圳
- GDP(2019全年,亿元) 35,371 38,155 23,629 26,927
- 常住人口(2019年末,万人) 2,154 2,428 1,531 1,344
- 市区面积(2019年末,平方公里) 16,411 6,341 7,434 1,997
- 数据类目数(2) 1,406 3,603 1,466 1,933
数据量比
- 数据量 / GDP 0.04 0.09 0.06 0.07
- 数据量 / 常住人口 0.65 1.48 0.96 1.44
- 数据量 / 市区面积 0.09 0.57 0.20 0.97
数据量比 (Z-Score)
- 数据量 / GDP (Z - Score) -1.39 1.40 -0.25 0.24
- 数据量 / 常住人口 (Z - Score) -1.39 1.01 -0.51 0.88
- 数据量 / 市区面积 (Z - Score) -1.07 0.33 -0.74 1.48
- 数据量比 (Z- Score) 之和 -3.84 2.74 -1.50 2.61
得分(3)
0.02 0.84 0.31 0.83

注:

(1) 来源:《北京市2019年国民经济和社会发展统计公报》[15]、《2019年上海市国民经济和社会发展统计公报》[16]、《高质量发展稳健 新动能活力释放 ——2019年广州市经济运行情况》[17]、《2019年广州市人口规模及分布情况》[18]、《深圳市2019年国民经济和社会发展统计公报》[19]。

(2) 来源:各政府开放数据平台 - 数据目录;抓取时间:2020年4月18日.

(3) 将各城市经过 Z-Score 标准化后的数据量比求和值,投射到 [0,1] 区间内,得出本项最终 得分,公式: (数据量比 (Z- Score) 之和 + 4) / 8.

3.2 时效性(Timely)


本文抓取了四个一线城市的数据平台中每个数据类目的“更新时间”,并按月汇总统计最新更新时间,鉴于有些数据天然就是每年才能获得一次更新的现实情况,本文将“最近三个月更新的条目数”与“最近一年更新的条目数”两个指标以相同权重纳入考虑,作为衡量数据平台时效性的标准,原始数据及计算结果如表2:

表2:时效性评估
北京 上海 广州 深圳
总条目数 1,406 3,603 1,466 1,933
近三个月更新条目 19 291 226 91
近一年更新条目 945 3,603 1,363 992
得分 0.34 0.54 0.54 0.28

注:得分 = (近三月更新条目占比 + 近一年更新条目占比) / 2

3.3 可访问性(Accessible)

“北上广深”四个一线城市,属于全国性的一线城市,因此其市政府的行政规划、管理举措都将对全国各地的产业以及人民生产生活产生或多或少、直接或间接的影响,其发布的政府公开数据,也当然需要向全国各地所有公民予以公开。所以本文认为,在评估这四个城市的政府公开数据平台的可访问性时,有必要将全国各地的情况纳入评估。

本文中所评估的可访问性与《塞瓦斯托波尔原则》的可访问性定义并不相同(《原则》更关注开放所使用的网络协议),本文主要关注评估对象在全国各地的访问速度**,**借助国内通用的网站测速工具——站长之家(https://tool.chinaz.com/),从位于全国各省的服务器向评估对象发送请求,以模拟在全国各地的访问速度(以访问首页所需时间为准),最终得分为各评估对象的访问速度经过Z分数标准化、取负,最后投射至 [0,1] 区间之后的结果,如图2 与 表3 所示。

图2:四个城市政府数据开放平台测速的结果

表3:可访问性评估
北京 上海 广州 深圳
测速结果(ms,全国均速) 675.2 112.6 1513.5 599.8
速度 Z-Score(取负) 0.09 1.05 -1.36 0.22
得分 0.60 1.00 0.00 0.65
测试时间:2020年4月18日 14:00

3.4 开放性(Openness)

本文所指的开放性对应《塞瓦斯托波尔原则》中的非歧视性原则(Non-discriminatory)但又有所区别。

在《原则》中,对于政府开放数据的要求是所有数据都无需注册均可下载。但出于某些原因,目前我国的政府开放数据平台,除上海站的部分数据以外,其他数据均需要进行登录(注册过程中需要实名认证)后方可下载,还有一些数据即使仅仅满足了登录条件也无法下载,需要提交申请并获得许可之后方可下载。

本文评估的开放性得分,表示评估对象的数据条目中“无条件开放”或“主动开放”(无需额外提交申请,登陆或无需登录即可下载)的部分占整体数据的比例,如表4。

表4:开放性评估
北京 上海 广州 深圳
开放数据条目占比 100% 71.05% 100% 92.65%
评估样本抓取时间:2020年4月18日

3.5 其他指标对比

本文评估的前四个指标均通过一个或多个客观数值进行计算得出,属于量化指标。而剩下的四个指标则难以用绝对数值评估,因此决定采用计分制:在下表每个维度的细分指标中,根据该评估对象在该功能或服务上的“有无”来进行计分,最终结果如表5。

表5:数据平台其他指标评估
维度 细分指标说明(每个维度总计1分) 北京 上海 广州 深圳
机器可读性 Machine-processable 提供可被机器读取的结构化数据
提供API接口查询
提供完整的接口说明文档
得分 1 1 1 1
数据可理解性 Understandability 原数据收集方式和来源说明 - - - -
数据名称的定义和说明
数据收集、发布方介绍
数据的典型使用场景 - - -
得分 0.5 0.75 0.5 0.5
数据可发现性 Findability 提供站内搜索
提供面向非技术用户的使用指南 - - -
站内相关数据链接 -
站外相关数据链接 - - - -
得分 0.25 0.75 0.5 0.5
服务支持 Ongoing support 传统点对点沟通渠道(电话、邮件等) -
在线反馈表单(评价、纠错、数据开放申请等)
用户交流论坛(使用交流、常见Q&A等) - - -
得分 0.6 1 0.3 0.6

3.6 各城市评估最终得分

综上所述,经整理得出各城市在八个维度上的总分,如表6。

表6:“北上广深”政府开放数据平台最终评估得分
北京 上海 广州 深圳
1. 完整性(Complete) 0.02 0.84 0.31 0.83
2. 时效性(Timeliness) 0.34 0.54 0.54 0.28
3. 可访问性(Accessible) 0.60 1.00 0.00 0.65
4. 开放性(Openness) 1.00 0.71 1.00 0.93
5. 机器可读性(Machine-processable) 1.00 1.00 1.00 1.00
6. 数据可理解性(Understandability) 0.50 0.75 0.50 0.50
7. 数据可发现性(Findability) 0.25 0.75 0.50 0.50
8. 服务支持(Ongoing support) 0.60 1.00 0.30 0.60
总分 4.31 6.59 4.15 5.29

四、总结和建议

本文从政府开放数据(OGD)倡议的历史起点出发,简要回溯了国内外该项活动的发展和建设情况,多个业内重要的相关评估标准,并综合其特点制定了新的评估方案,用以评估我国“北上广深”四个一线城市目前的政府开放数据平台。

从整体评估结果来看,各城市的综合排名由高到低依次为:上海,深圳,北京,广州。

从各评估维度的得分来看,北京的数据量级、深圳的数据时效性、广州的网站访问速度以及上海的数据开放程度,都在该评估体系中落后于其他城市,这充分表明即使是目前信息化建设走在前列的四个一线城市,其政府开放数据平台建设还存在较多的改进空间。

我国还有一个国家级政府数据开放平台“国家数据”(data.stats.gov.cn),由国家统计局主办,公布由其收集和整理发布的统计数据,其功能设计与各市级数据平台存在着较大差异,故未纳入本文对比范畴。这也从侧面反映出我国的政府开放数据平台建设工作的碎片化,缺乏一定的统筹性。

综上所述,目前我国的政府数据开放平台建设主要存在两个方面的不足:

  1. 全国范畴内的政府开放数据立法缺失,目前在实际落地中大多依赖省级或市级行政单位的管理办法(见本文 1.2 中国政府开放数据发展进程)。
  2. 缺少统一调度、规划政府开放数据平台建设的部门,目前的建设工作基本汇总在市一级单位,且负责部门不尽相同,因此其承担的责任和工作重点也一定存在较大差异(主要平台主办单位如下表)。
数据平台 主办单位
国家数据(原“中国统计数据库") 国家统计局
北京市政务数据资源网 北京市经济和信息化局
广州市政府数据统一开放平台 广州市工信和信息化委员会
深圳市政府数据开放平台 深圳市政务服务数据管理局
上海市公共数据开放平台 上海市人民政府办公厅、上海市经济和信息化委员会

事实上这两个问题也是导致各一线城市在评估中失分的重要诱因:

  1. 对主办方而言,因为缺少国家级的整体协调与沟通,他们只能在本站内引用和关联数据,无法建立起一个动态更新、覆盖全面、层次丰富的全国政府数据开放网络,因而各孤立数据的可理解性与可发现性大大降低。
  2. 对开放数据的使用者而言,往往难以在一个网站内找到自己所需要的全部数据,而各平台不同的功能设计、页面风格也为这种频繁切换增添了许多不必要的时间成本和操作成本。
  3. 从政府开放数据平台的建设成本,尤其是在服务支持这一方面,国家级的建设协调,也可以将服务支持团队集中培训与管理,以极低的单位成本,提高目前所有政府开放数据平台的客服水平。

因此本文建议:

1. 尽快在国家层面制定《开放政府数据法》;
2. 在国家级统一立法的基础上,由中央部门统筹建设各级政府开放数据平台,充分发挥整体优势,释放政府开放数据在政治、社会、经济上的多重效益。

参考文献

[1] L. Lessig, “The 8 Principles of Open Government Data,” 2007. https://opengovdata.org/.

[2] T. W. House, “Transparency and Open Government MEMORANDUM FOR THE HEADS OF EXECUTIVE DEPARTMENTS AND AGENCIES,” 2009. https://obamawhitehouse.archives.gov/the-press-office/transparency-and-open-government.

[3] Open Government Partnership - OGP, “Open government declaration,” 2011. https://www.opengovpartnership.org/process/joining-ogp/open-government-declaration/.

[4] 中华人民共和国国务院, “中华人民共和国政府信息公开条例(国务院令-第492号),” 2008. http://www.gov.cn/xxgk/pub/govpublic/tiaoli.html.

[5] 中华人民共和国国务院, “中华人民共和国政府信息公开条例(国务院令-第711号),” 2019. http://www.gov.cn/zhengce/content/2019-04/15/content_5382991.htm.

[6] 王万华, “论政府数据开放与政府信息公开的关系,” 财经法学, vol. 01, pp. 13–24, 2020, doi: 10.16823/j.cnki.10-1281/d.2020.01.002.

[7] 广东省人民政府办公厅, “广东省人民政府办公厅关于印发广东省促进大数据发展行动计划(2016-2020年)的通知(粤府办〔2016〕29号).” http://gddata.gd.gov.cn/article/article/toArticleDetails/15.

[8] 中华人民共和国上海市人民政府, “《上海市公共数据开放暂行办法》(沪府令21号),” 2019. http://www.shanghai.gov.cn/nw2/nw2314/nw2319/nw2407/nw45024/u26aw62638.html.

[9] T. Berners-Lee, “5 Star Open Data,” 2006. https://5stardata.info/en/.

[10] O. D. Institute, “ODI Certificate badge levels.” https://certificates.theodi.org/en/about/badgelevels.

[11] O. D. Institute, “About ODI.” https://certificates.theodi.org/en/about.

[12] M. Gurstein, “Should ‘Open Government Data’ be a Product or a Service (and why does it matter?),” Gurstein’s Community Informatics, 2013. https://gurstein.wordpress.com/2013/02/03/is-open-government-data-a-product-or-a-service-and-why-does-it-matter/.

[13] A. Zuiderwijk, M. Janssen, S. Choenni, R. Meijer, and R. S. Alibaks, “Socio-technical Impediments of Open Data,” Electron. J. e-Government, vol.
10, no. 2, pp. 156–172, 2012, doi: 10.1641/b570402?ref=search-gateway:885882d1830675b0f27af0760faeaef8.

[14] F. Xiao, D. He, Y. Chi, W. Jeng, and C. Tomer, “Challenges and supports for accessing open government datasets: Data guide for better open data access and uses,” CHIIR 2019 - Proc. 2019 Conf. Hum. Inf. Interact. Retr., pp. 313–317, 2019, doi: 10.1145/3295750.3298958.

[15] 国家统计局北京调查总队;北京市统计局, “北京市2019年国民经济和社会发展统计公报.” http://tjj.beijing.gov.cn/tjsj_31433/tjgb_31445/ndgb_31446/202003/t20200302_1673343.html.

[16] 上海市统计局, “2019年上海市国民经济和社会发展统计公报,” 2020. http://tjj.sh.gov.cn/tjgb/20200329/05f0f4abb2d448a69e4517f6a6448819.html.

[17] 广州市统计局, “高质量发展稳健 新动能活力释放 ——2019年广州市经济运行情况,” 2020. http://tjj.gz.gov.cn/tjfx/gztjfx/content/post_5642544.html.

[18] 广州市统计局, “2019年广州市人口规模及分布情况,” 2020. http://tjj.gz.gov.cn/gkmlpt/content/5/5727/post_5727607.html#226.

[19] 深圳市统计局, “深圳市2019年国民经济和社会发展统计公报,” 2020. http://tjj.sz.gov.cn/zwgk/zfxxgkml/tjsj/tjgb/202004/t20200415_19168523.htm.

[20] V. Wang and D. Shepherd, “Exploring the extent of openness of open government data – A critique of open government datasets in the UK,” Gov. Inf. Q., vol. 37, no. 1, p. 101405, 2020, doi: 10.1016/j.giq.2019.101405.