大数据时代下的地质资料信息化的建设与应用*

徐进达，葛佩佩

(1.山东省地质测绘院，山东 济南 250002；
2.滨州市自然资源和规划局，山东 滨州 256603)

21世纪以来，随着全球信息化和互联网的推进，人类已经进入大数据时代[1-4]。地质数据具有大数据的基本属性，即体量大而完整(volume)、类型多且关联(variety)、聚集快却杂乱(velocity)和价值大但稀疏(value)[5]，同时又具有自己的特点，具体表现在多元(源)异构与多模态、高度时空性、大容量、高相关、低价值密度、复杂性与模糊不确定性等方面[6-7]。地质资料是国家重要的档案资料，是国民经济建设和进一步开展地质工作、科学研究等的依据和基础，是国家的宝贵财富，基于大数据时代下开展地质资料信息化建设，充分发挥其作用显得尤为重要。中国地质调查局按照“统一规划、统一标准、统一平台、统一窗口”的原则，以消除数字鸿沟，实现互联互通为目标，开展了“地质云”建设工作[8-10]。

本文通过借鉴“地质云”的建设模式，结合山东省60余年来积累的海量地质资料，开发了地质资料管理系统。该系统包括地质资料数据管理系统和地质资料检索及借阅管理系统两个子系统，可实现地质资料的信息化、可视化管理，有效地提升地质资料的利用价值。

1.1 总体技术架构

本地质资料管理系统的建设目标是建立地质档案资料数据库，开发地质资料管理系统(包括地质资料数据管理系统和地质资料检索及借阅管理系统)。实现地质档案资料网络化管理和网络化服务。

系统总体技术架构如图1所示。

图1 地质资料管理系统的总体技术架构Fig.1 Overall technical architecture of geological data management system

1.2 基础设施建设

基础设施层是地质资料管理系统运行的软件和硬件环境。包括系统运行所需的存储资源、计算资源、网络资源和安全防护设备等，提供计算处理服务、网络应用服务、资源业务应用服务和其他服务。本系统共安装服务器设备32台，包括数据库服务器、GIS服务器、应用服务器、备份服务器、基础服务及运维管理系统服务器等；
根据各类应用的不同特点，并结合处理速度、存储容量、可靠性、系统开放性等因素来进行配置不仅满足当前应用需求，也具备高扩展能力，以便将来应用增加、负载增强之需。

1.3 地质资料数据库建设

地质资料数据库是整个系统建设的核心。山东省地矿局自成立以来，在矿产勘查、水文地质、环境地质、农业地质、城市地质、海洋地质、工程勘察、测绘等多个方面积累了海量地质图、地形图、钻孔信息、遥感影像、矿产资源等资料。由于2005年之前的资料绝大部分以纸质图件、报告、数据表、多媒体等形式存放，因此按照数据规范、标准和工作流程，要通过纸质扫描电子化、图件矢量化、数据格式转换、空间参考转换等手段，进行电子化、数字化和空间化加工处理。经过数据提取、数据转换、数据清理、数据装载等过程，已将历史数据和动态数据集成到地质资料数据库，并按照数据库方式进行存贮和管理。

地质资料数据库建库成果以及地图服务动态或者切片服务的空间参考，统一采用2000国家大地坐标系(CGCS2000)，同时兼顾国家及自然资源部相关数据标准以及“一张图”数据浏览的需求。

地质资料数据管理系统基于CS模式开发，是集矿产、水、工、环、大地质服务数据及档案资料于一体的管理信息系统，涉及区调、化探、重砂、航磁、重力数据、矿产成果报告、水工环成果报告等图文资料和文件档案资料，便于查询、检索、统计和管理。使相关人员能快速建立、管理地质资料，方便快捷地查询应用这些资料，切实发挥其作用，更好地为生产服务。

2.1 地质档案资料元数据录入

对已有的地质档案资料，进行元数据录入，包括基本信息及描述信息的录入。其中，基本信息包括地质资料名称、原始档案号、资料编号、序号；
描述信息包括作者、资料类型、完成单位、完成时间、保存形式、坐标范围、比例尺、存放单位、关键词、内容简介等信息。元数据的录入可为后期地质资料的查询检索功能提供支撑。

2.2 地质档案资料属性关联

对于相互关联的地质档案资料，通过关联属性、档案类型、档案编号，进行不同类型档案间的关联。关联关系可以配置，在档案详情里增加链接，进行地质档案资料的属性关联，考虑递归循环查找关联关系，能进行正反两个方向设置关联关系；
如果关联多个，则显示多个链接。如果递归查找过程中，根据属性值没查到档案，那么就终止，并且这个关联关系不显示在档案详情里。

2.3 地质资料文件导入

提供地质档案资料的导入功能，按照数据存在的格式提供多种导入方式。

2.3.1属性数据导入

提供地质信息数据表格的数据维护，包括文档资料导入、图件数据导入、地图库管理、影像库管理、钻探、物探、化探、监测信息、矿产资源数据(矿区基本信息、基本地质信息、矿山基本信息、测量信息编录、分析数据编录、储量计算数据编录)、地质灾害(地面塌陷等)样点数据等属性数据的导入，实现Access、Oracle、SQL Server、Excel格式的属性数据之间的互导。

2.3.2文档资料导入

提供Word、PDF等格式的资料入库，包括有文档号和无文档号资料的导入。

2.3.3图件数据导入转换

1)遥感影像数据转换：将遥感影像输出为常用的影像格式，如jpg和tif等格式。

2)文件格式转换：实现MapGIS矢量文件与ArcInfo、AutoCAD文件之间的转换功能，并可按照条件从Oracle数据库中查询出一部分数据导出到Excel、Access、文本文件中。

3)数据库格式转换：提供数据转换接口和导入工具，可以导入其他数据格式(如理正、华宁、RGMapping等)的数据，并将它们转换成系统所用的Oracle数据格式。

2.3.4资料扫描件入库

支持jpg、tif等多种格式的资料扫描件入库。

2.4 资料档案实体信息管理

用于记录每个分类存放的库房的位置，主要有：档案分类、子类名称、目录、开始案卷、结束案卷、库房号、排架号、库格号等，并能够添加、修改、删除这些信息。

2.5 地质档案资料涉密处理

地质档案资料中会有许多涉密信息，本功能可以针对某些地质档案资料中涉密信息进行屏蔽隐藏处理。对已经录入的地质档案电子资料，可以通过检索查询到涉密的地质档案资料信息，能够查看涉密地质档案资料电子档案，并对其中涉密的某些图文部分进行处理，例如将其删除或者遮盖，并对涉密档案资料的处理进行保存。

2.6 系统数据安全备份

系统支持自动备份和手动备份两种方式：自动备份可以选择备份周期和存储路径(含本地磁盘和远程服务器)等；
手动备份可以提供档案数据逻辑导出功能，将档案条目数据或者部分档案原文数据通过系统提供的功能导出为Excel、Word、PDF等可供用户阅读的文档。

地质资料检索及借阅管理系统以BS模式开发，系统采用Java语言进行开发，利用SpringBoot框架和MyBatis框架进行开发实现，考虑到以后国产化升级的需要，后台数据库采用MySQL开源数据库。整体架构采用多层扁平架构，采用微服务架构进行设计和实现，应用系统只需要布署到服务器，就可以同时满足多用户使用，借阅系统提供在线地质资料借阅和查看功能，方便用户使用。

系统提供多种查询方式，可以按关键字进行查询，也支持按条件进行查询，满足不同的查询需求，如图2所示。

图2 关键字查询Fig.2 Keyword query

地质资料管理系统的建设，通过对地质资料的数字化、标准化处理，建立了地质资料数据库，针对地质资料管理人员和借阅人员开发了不同的应用系统，既能满足对地质资料的信息化管理又能方便地质资料的共享。目前，业务内网已经建设完毕，保障了地质资料数据库和局内部用户的互联互通，业务内网和互联网完全物理隔离，为地质资料共享提供了强有力的安全保障。地质资料管理系统必将为管理人员和专业人员提供信息化、可视化的平台工具。

本文充分借鉴“地质云”建设的先进经验，立足于解决地质资料管理难、共享难、价值体现难等问题，结合山东省现有地质资料积累及利用现状，基于同一套数据库，开发完成了地质资料数据管理系统和地质资料检索及借阅管理系统，既保障了地质数据的存储安全，又最大限度地实现了地质资料的共享和利用。下一步，在大数据时代下，将围绕如何实现从数据到信息、从信息到知识、从知识再到智慧的地质资料大数据转换进行深入研究。

推荐访问:地质 信息化 时代