地理信息大数据
『壹』 想买一台笔记本电脑,主要用于处理地信方面的数据,现在用的电脑处理大数据就卡,尽量推荐一款最新的
机械革命深海幽灵Z2(i7 8750H/8GB/128GB+1TB/GTX1050Ti)
屏幕:15.6英寸
分辨率:1920x1080
CPU主频:2.2GHz
核心数:六核心/十二线程内
显卡类型:性能级独立显卡
显存容容量:4GB
内存容量:8GB
显卡型号:GTX 1050 Ti
硬盘容量:128GB+1TB
『贰』 大数据时代测绘地理信息如何发展
地理信息产业发展趋势向好 “互联网+测绘”将成行业新常态
地理信息产业,是以现代测绘技术、信息技术、计算机技术、通讯技术和网络技术相结合而发展起来的综合性产业。既包括
GIS(地理信息系统)产业、卫星定位与导航产业、航空航天遥感产业,也包括传统测绘产业和地理信息系统的专业应用,还包括LBS(基于位置服务)、地理信息服务和各类相关技术及其应用。
随着网络技术的不断发展,云计算大数据移动互联网的普及,地理信息软件也应推动地理信息获取、处理、管理和网络化分发服务软件产品的集成,重点发展基于下一代互联网、移动互联网等,适应云计算技术、时空技术、三维技术等的地理信息系统软件产品。
地理信息产业总产值
根据前瞻产业研究院发布的《地理信息产业发展前景与投资战略规划分析报告》数据显示,截至2013年底,行业内企业达2万多家,从业人员超过40万人,年产值近2,600亿元。新应用、新服务不断产生,互联网搜索和电子商务提供商、通信服务提供商、汽车厂商等纷纷涉足地理信息应用领域,形成了遥感应用、导航定位和位置服务等产业增长点。
到2020年,政策法规体系基本建立,结构优化、布局合理、特色鲜明、竞争有序的产业发展格局初步形成,互联网搜索和电子商务提供商、通信服务提供商、汽车厂商等纷纷涉足地理信息应用领域,新应用、新服务不断产生,形成遥感应用、导航定位和位置服务等产业增长点。2016
年4360亿人民币,年均复合增长率为20%,到2020年地理信息产业的总产值规模将达到9040.90亿人民币,未来10年,地理信息产业总产值将保持稳定高速的年均增长率,到2021年形成万亿元的年产值。
地理信息服务业服务总值持续快速增长,2020年将达1,736亿元
地理信息服务业是地理信息产业的核心部分,近年来,随着“一带一路”等国家战略的提出,不动产统一登记等一系列国家重大项目和重点工作的启动,国家现代测绘基准体系基础设施建设的推进,基础地理信息数据更新速度的加快,数字城市及智慧城市应用范围的不断扩大,地理信息服务总值持续快速增长。
同时,随着地理信息的不断发展,新应用、新服务不断产生,互联网搜索和电子商务提供商、通信服务提供商、汽车厂商等纷纷涉足地理信息应用领域,形成了遥感应用、导航定位和位置服务等产业增长点。参与主体的多样化结合商业模式的创新,地理信息产业正逐步走向应用多元化、深度化的时代,企业的核心竞争力不断提高。
阿里巴巴、腾讯、网络等大型互联网企业积极进军地理信息产业,给传统的中小地理信息企业带来了不小的竞争压力,导致了企业竞争的加剧,但同时也为加快产业提质增效和地理信息企业转型升级提供了强大外力。今后,产业的发展应是“互联网+
”驱动下的有质量、有效益的创新发展。
地理信息服务业未来发展趋势
产业链将进一步延伸
在大数据时代,基于物联网、云计算、互联网技术发展的大数据技术将对地理信息服务业产业链的各个环节产生全方位的影响,引起地理信息服务业产业链结构的调整。
产业链结构的调整主要表现为产业链变长的趋势。在大数据时代,地理大数据分析与挖掘可以直接创造价值,为用户提供服务。而地理大数据分析与挖掘需要掌握专门的技术,可能还需要一定的行业背景,因此很可能发展成为一个独立增值的产业链环节。此外,地理数据与其他大数据的集成,地理大数据的存储、管理与运营都需要专门的设备和技术,在大数据时代,也很有可能发展成为一个独立的产业链环节。
“互联网+测绘”将成行业新常态
近年来,随着互联网时代的深刻变革,云计算、大数据、物联网等智能化技术的发展对测绘科学不断渗透,地理信息服务业的产业结构、产品内容及服务范围发生了重大变化,“互联网+测绘”将成为地理信息服务业新常态。
行业内企业向综合性和个性化方向发展
在大数据时代,以需求为导向的地理信息服务企业主要向两个方向发展。一是综合性,即地理信息服务企业提供的服务从单一内容的服务向多类型服务发展,从满足单一需求向提供整体解决方案发展,从提供某一种产业活动向提供多种产业活动发展。地理信息服务企业的综合化发展趋势同时也顺应和体现了地理信息技术的发展趋势。
近年来,3S技术趋于融合发展,地理信息服务领域的内外业一体化、软硬件一体化也更加明显,同时,云计算、物联网、大数据等技术的发展,也使地理信息服务企业提供应用整体解决方案服务成为可能。二是个性化,在大数据时代,利用大数据发现需求、挖掘各类信息、解决各类问题的需求将迅速增长,公众用户的个性化产品发展空间广阔。
『叁』 大数据下的地质资料信息存储架构设计
颉贵琴 胡晓琴
(甘肃省国土资源信息中心)
摘要 为推进我国地质资料信息服务集群化产业化工作,更大更好地发挥地质资料信息的价值,本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,基于现有系统的存储架构,设计了一种大数据下的地质资料信息存储架构,以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。
关键词 大数据 地质资料 存储 NoSQL 双数据库
0 引言
新中国成立60多年来,我国形成了海量的地质资料信息,为国民经济和社会发展提供了重要支撑。但在地质资料管理方面长期存在资料信息分散、综合研究不够、数字化信息化程度不高、服务渠道不畅、服务能力不强等问题,使地质资料信息的巨大潜在价值未能得到充分发挥。为进一步提高地质工作服务国民经济和社会发展的能力,充分发挥地质资料信息的服务功能,扩大服务领域,国土资源部根据国内外地质工作的先进经验,做出了全面推进地质资料信息服务集群化产业化工作的部署。
目前,全国各省地质资料馆都在有条不紊地对本省成果、原始和实物地质资料进行清理,并对其中重要地质资料进行数字化和存储工作。然而,由于我国地质资源丰富,经过几十年的积累,已经形成了海量的地质资料,数据量早已经超过了几百太字节(TB)。在进行地质资料信息服务集群化工作中,随着共享数据量的不断增大,传统的数据存储方式和管理系统必然会展现出存储和检索方面的不足以及系统管理方面的缺陷。为了解决该问题,需要设计更加先进的数据存储架构来实现海量地质资料的存储。
而大数据(Big Data)作为近年来在云计算领域中出现的一种新型数据,科技工作者在不断的研究中,设计了适合大数据存储管理的非关系型数据库NoSQL进行大数据的存储和管理。本文将针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,利用大数据存储管理模式的思想,提出一种海量地质资料存储架构,改进现有系统存储架构,以便于我国全面推进地质资料信息服务集群化产业化工作。
1 工作现状
1.1 国内外地质资料信息的存储现状
在美国,主要有两大地质资料公共服务平台,分别是地球科学信息中心(ESIC)、地球资源观测和科学中心(EROS),其目的是通过为社会和政府提供更加便利、快速的地质信息服务。20世纪90年代初,澳大利亚出台了国家地球科学填图协议,采用先进的科学方法和技术进行数据存储,从而形成了第二代澳大利亚陆地地质图。
目前,我国地质资料信息服务集群化产业化工作刚刚起步,虽然国土资源部信息中心已经开发了地质资料信息集群化共享服务平台,并倡导各地方用户使用该系统。但由于各个地方早期的工作背景不一致,因此各地方所使用的存储系统也不尽相同,主要有Access、SQL Server、Oracle、MySQL等系统。本文以国土资源部信息中心开发的地质资料信息集群化共享服务平台的存储系统MySQL为例说明。该系统是基于关系数据库管理系统MySQL的一套分布式存储检索系统。该系统的部署使得我国地质资料信息服务集群化产业化工作取得了重大进展,同时也为我国建立标准统一的地质资料信息共享服务平台和互联互通的网络服务体系奠定了坚实的基础。然而,该系统的研发并没有考虑到地质资料信息进一步集群化以及在未来地质资料信息进入大数据时代的信息共享和存储管理问题,也没有给出明确的解决方案。
1.2 大数据的存储架构介绍
大数据是近年在云计算领域中出现的一种新型数据,具有数据量大、数据结构不固定、类型多样、查询分析复杂等特点。传统关系型数据库管理系统在数据存储规模、检索效率等方面已不再适合大数据存储。NoSQL(Not Only SQL)是与关系数据库相对的一类数据库的总称。这些数据库放弃了对关系数据库的支持,转而采用灵活的、分布式的数据存储方式管理数据,从而可以满足大数据存储和处理的需求。NoSQL基于非关系型数据存储的设计理念,以键值对进行存储,采用的数据字的结构不固定,每一个元组可以有不一样的字段,且每个元组可以根据自己的需要增加一些自己的键值对,可以减少一些检索时间和存储空间。目前,应用广泛的 NoSQL 数据库有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。
2 大数据下的地质资料信息存储架构设计
根据国土资源部做出的全面推进地质资料信息服务集群化产业化工作的部署,国土资源部倡导全国地质资料馆使用国土资源部信息中心开发的地质资料信息集群化共享服务平台,实现地质资料信息的存储和共享。该系统采用了数据库管理系统MySQL作为数据存储系统。
为了与现有系统和现有的工作进行对接,并为将来地质资料进入大数据时代后的存储工作做准备,本文设计了一种能用于海量地质资料信息存储并且兼容MySQL的分布式的数据存储架构(图1)。
整个系统可以根据不同的用户等级分为不同的用户管理层,由于图幅限制,在图1 中仅仅展示了3级:国家级管理层(即共享服务平台用户层)、省级管理层以及市级管理层(可根据实际需要延伸至县级)。
每级管理层的每个用户可以单独管理一个服务器。如国土资源部信息中心可以单独管理一个服务器;甘肃省国土资源信息中心可以单独管理一个服务器,陕西省国土资源信息中心可以单独管理一个服务器;甘肃的若干个市级国土资源局可以根据需要分别管理各自的服务器。
在服务器上分别安装两套数据库管理系统,一套是原有的MySQL数据库管理系统,另一套是为大数据存储而配备的NoSQL型数据库管理系统。在服务器上还专门开发一个数据库管理器中间件,用于进行用户层和数据库的通信以及两套数据库之间的通信。
由于各个管理层都各自维护自己的数据库和数据。当用户需要进行数据存储时,他所影响的数据库仅仅是本地数据库,存储效率较高;当用户需要从多个数据库读取数据时,顶层的共享服务平台会根据用户需求进行任务分解,将任务分发给下层的管理层进行数据库读取,由于各个数据库并行读取,从而提高了数据库读取效率。
图1 大数据下的地质资料信息存储架构框图
2.1 用户管理层
用户管理层根据权限范围,分为多层(本文以3层为例)。
位于顶层的国家级管理层(共享服务平台用户层)负责用户访问权限的分配、与其直接关联的数据库的访问、下级管理层任务的分配等工作。
用户访问权限的分配是指为访问本共享服务平台的个人用户和单位用户分配数据的使用权限、安全性的设计等。
与其直接关联的数据库访问是指直接存储在其本地数据库上的数据的访问。在该数据库中不仅要存储所需要的地质资料,还要存储注册用户信息等数据。
下级管理层任务分配是指如果用户需要访问多个下层数据库,用户只需要输入查询这几个下层数据库的命令,而如何查找下层数据库则由该功能来完成。例如某用户要查找甘肃、陕西、上海、北京的铁矿分布图,则用户只需要输入这几个地方及铁矿等查询条件,系统将自动把各个省的数据库查询任务分派到下级管理层。
同理,位于下层的省级管理层和市级管理层除了没有用户访问权限功能外,其余功能与国家级管理层是相同的。各层之间的数据库通过互联网相互连接成分布式的数据库系统。
2.2 MySQL和NoSQL的融合
MySQL是关系型数据库,它支持SQL查询语言,而NoSQL是非关系型数据库,它不支持SQL查询语言。用户要想透明地访问这两套数据库,必须要设计数据库管理器中间件,作为用户访问数据库的统一入口和两套数据库管理系统的通信平台。本文所设计的数据库管理器简单模型如图2所示。
图2 数据库管理器模型
服务器管理器通过用户程序接口与应用程序进行通讯,通过MySQL数据库接口与MySQL服务器通讯,通过NoSQL数据库接口与NoSQL数据库接口通讯。当应用程序接口接收到一条数据库访问命令之后,交由数据库访问命令解析器进行命令解析,从而形成MySQL访问命令或者NoSQL访问命令,通过相应的数据库接口访问数据库;数据库返回访问结果后经过汇总,由应用程序接口返回给应用程序。
两套数据库可以通过双数据库通信协议进行相互的通信和互访。此通信协议的建立便于地质工作人员将已经存入MySQL数据库的不适合结构化存储的数据转存到NoSQL数据库中,从而便于系统的升级和优化。
2.3 系统的存储和检索模式
在本存储框架设计中,系统采用分布式网络存储模式,即采用可扩展的存储结构,利用分散在全国各地的多台独立的服务器进行数据存储。这种方式不仅分担了服务器的存储压力,提高了系统的可靠性和可用性,还易于进行系统扩展。另外,由于地质资料信息存储的特殊性,各地方用户的数据存储工作基本都是在本地服务器进行,很少通过网络进行远程存储,所以数据存储效率较高。
在一台数据库服务器上安装有MySQL和NoSQL型两套数据库管理系统,分别用于存储地质资料信息中的结构化数据和非结构化数据。其中,NoSQL型数据库作为主数据库,用于存储一部分结构化数据和全部的非结构化数据;而MySQL数据库作为辅助数据库,用于存储一部分结构化的数据,以及旧系统中已经存储的数据。使用两套数据库不仅可以存储结构化数据而且还可以适用于大数据时代地质资料信息的存储,因此系统具有很好的适应性和灵活性。
2.4 安全性设计
地质资料信息是国家的机密,地质工作人员必须要保证它的安全。地质资料信息进入数字化时代之后,地质资料常常在计算机以及网络上进行传输,地质资料信息的安全传输和保存更是地质工作人员必须关注和解决的问题。在本存储架构的设计中设计的安全问题主要有数据库存储安全、数据传输安全、数据访问安全等问题。
数据库设计时采用多边安全模型和多级安全模型阻止数据库中信息和数据的泄露来提高数据库的安全性能,以保障地质信息在数据库中的存储安全;当用户登录系统访问数据库时,必须进行用户甄别和实名认证,这主要是对用户的身份进行有效的识别,防止非法用户访问数据库;在对地质资料进行网络传输时,应该首先将数据进行加密,然后再进行网络传输,以防止地质信息在传输过程中被窃取。
3 结语
提高地质资料数字化信息化水平,是国外地质工作强国的普遍做法。为推进我国地质资料信息服务集群化产业化工作,本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,利用大数据存储管理模式的思想,基于现有系统的存储架构,设计了一种大数据下的地质资料信息存储架构,以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。该存储架构的设计只涉及了简单模型的构建,具体详细复杂的功能设计和软件实现还需要在进一步的研究工作中完成。
参考文献
[1]吴金朋.一种大数据存储模型的研究与应用[D].北京:北京邮电大学计算机学院,2012.
[2]吴广君,王树鹏,陈明,等.海量结构化数据存储检索系统[J].计算机研究与发展,2012,49(Suppl):1~5.
[3]黄
『肆』 分析智慧城市,大数据,物联网与地理信息技术的关系
记住人际研究院院长王相关的文章,你可以去看看。
『伍』 大数据查低保户的存款,在异地的信用社的能查出来吗
低保户就是把存款存在异地也可以查出来的,因为区民政、市民政、省民政、国家民政都查低保户的存款、房产、车辆等信息,所以在哪里存款也可以查到。
『陆』 通信大数据行程卡结果页归属地哈尔滨是什么意思
你把数据形成卡结果也归属哈尔滨非常好。
『柒』 我分期乐逾期十多天,网贷申请很多,说大数据花了,申请生源地信用助学贷款会受影响吗
不会影响,别听他们乱说