地理信息大數據
『壹』 想買一台筆記本電腦,主要用於處理地信方面的數據,現在用的電腦處理大數據就卡,盡量推薦一款最新的
機械革命深海幽靈Z2(i7 8750H/8GB/128GB+1TB/GTX1050Ti)
屏幕:15.6英寸
解析度:1920x1080
CPU主頻:2.2GHz
核心數:六核心/十二線程內
顯卡類型:性能級獨立顯卡
顯存容容量:4GB
內存容量:8GB
顯卡型號:GTX 1050 Ti
硬碟容量:128GB+1TB
『貳』 大數據時代測繪地理信息如何發展
地理信息產業發展趨勢向好 「互聯網+測繪」將成行業新常態
地理信息產業,是以現代測繪技術、信息技術、計算機技術、通訊技術和網路技術相結合而發展起來的綜合性產業。既包括
GIS(地理信息系統)產業、衛星定位與導航產業、航空航天遙感產業,也包括傳統測繪產業和地理信息系統的專業應用,還包括LBS(基於位置服務)、地理信息服務和各類相關技術及其應用。
隨著網路技術的不斷發展,雲計算大數據移動互聯網的普及,地理信息軟體也應推動地理信息獲取、處理、管理和網路化分發服務軟體產品的集成,重點發展基於下一代互聯網、移動互聯網等,適應雲計算技術、時空技術、三維技術等的地理信息系統軟體產品。
地理信息產業總產值
根據前瞻產業研究院發布的《地理信息產業發展前景與投資戰略規劃分析報告》數據顯示,截至2013年底,行業內企業達2萬多家,從業人員超過40萬人,年產值近2,600億元。新應用、新服務不斷產生,互聯網搜索和電子商務提供商、通信服務提供商、汽車廠商等紛紛涉足地理信息應用領域,形成了遙感應用、導航定位和位置服務等產業增長點。
到2020年,政策法規體系基本建立,結構優化、布局合理、特色鮮明、競爭有序的產業發展格局初步形成,互聯網搜索和電子商務提供商、通信服務提供商、汽車廠商等紛紛涉足地理信息應用領域,新應用、新服務不斷產生,形成遙感應用、導航定位和位置服務等產業增長點。2016
年4360億人民幣,年均復合增長率為20%,到2020年地理信息產業的總產值規模將達到9040.90億人民幣,未來10年,地理信息產業總產值將保持穩定高速的年均增長率,到2021年形成萬億元的年產值。
地理信息服務業服務總值持續快速增長,2020年將達1,736億元
地理信息服務業是地理信息產業的核心部分,近年來,隨著「一帶一路」等國家戰略的提出,不動產統一登記等一系列國家重大項目和重點工作的啟動,國家現代測繪基準體系基礎設施建設的推進,基礎地理信息數據更新速度的加快,數字城市及智慧城市應用范圍的不斷擴大,地理信息服務總值持續快速增長。
同時,隨著地理信息的不斷發展,新應用、新服務不斷產生,互聯網搜索和電子商務提供商、通信服務提供商、汽車廠商等紛紛涉足地理信息應用領域,形成了遙感應用、導航定位和位置服務等產業增長點。參與主體的多樣化結合商業模式的創新,地理信息產業正逐步走向應用多元化、深度化的時代,企業的核心競爭力不斷提高。
阿里巴巴、騰訊、網路等大型互聯網企業積極進軍地理信息產業,給傳統的中小地理信息企業帶來了不小的競爭壓力,導致了企業競爭的加劇,但同時也為加快產業提質增效和地理信息企業轉型升級提供了強大外力。今後,產業的發展應是「互聯網+
」驅動下的有質量、有效益的創新發展。
地理信息服務業未來發展趨勢
產業鏈將進一步延伸
在大數據時代,基於物聯網、雲計算、互聯網技術發展的大數據技術將對地理信息服務業產業鏈的各個環節產生全方位的影響,引起地理信息服務業產業鏈結構的調整。
產業鏈結構的調整主要表現為產業鏈變長的趨勢。在大數據時代,地理大數據分析與挖掘可以直接創造價值,為用戶提供服務。而地理大數據分析與挖掘需要掌握專門的技術,可能還需要一定的行業背景,因此很可能發展成為一個獨立增值的產業鏈環節。此外,地理數據與其他大數據的集成,地理大數據的存儲、管理與運營都需要專門的設備和技術,在大數據時代,也很有可能發展成為一個獨立的產業鏈環節。
「互聯網+測繪」將成行業新常態
近年來,隨著互聯網時代的深刻變革,雲計算、大數據、物聯網等智能化技術的發展對測繪科學不斷滲透,地理信息服務業的產業結構、產品內容及服務范圍發生了重大變化,「互聯網+測繪」將成為地理信息服務業新常態。
行業內企業向綜合性和個性化方向發展
在大數據時代,以需求為導向的地理信息服務企業主要向兩個方向發展。一是綜合性,即地理信息服務企業提供的服務從單一內容的服務向多類型服務發展,從滿足單一需求向提供整體解決方案發展,從提供某一種產業活動向提供多種產業活動發展。地理信息服務企業的綜合化發展趨勢同時也順應和體現了地理信息技術的發展趨勢。
近年來,3S技術趨於融合發展,地理信息服務領域的內外業一體化、軟硬體一體化也更加明顯,同時,雲計算、物聯網、大數據等技術的發展,也使地理信息服務企業提供應用整體解決方案服務成為可能。二是個性化,在大數據時代,利用大數據發現需求、挖掘各類信息、解決各類問題的需求將迅速增長,公眾用戶的個性化產品發展空間廣闊。
『叄』 大數據下的地質資料信息存儲架構設計
頡貴琴 胡曉琴
(甘肅省國土資源信息中心)
摘要 為推進我國地質資料信息服務集群化產業化工作,更大更好地發揮地質資料信息的價值,本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,基於現有系統的存儲架構,設計了一種大數據下的地質資料信息存儲架構,以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。
關鍵詞 大數據 地質資料 存儲 NoSQL 雙資料庫
0 引言
新中國成立60多年來,我國形成了海量的地質資料信息,為國民經濟和社會發展提供了重要支撐。但在地質資料管理方面長期存在資料信息分散、綜合研究不夠、數字化信息化程度不高、服務渠道不暢、服務能力不強等問題,使地質資料信息的巨大潛在價值未能得到充分發揮。為進一步提高地質工作服務國民經濟和社會發展的能力,充分發揮地質資料信息的服務功能,擴大服務領域,國土資源部根據國內外地質工作的先進經驗,做出了全面推進地質資料信息服務集群化產業化工作的部署。
目前,全國各省地質資料館都在有條不紊地對本省成果、原始和實物地質資料進行清理,並對其中重要地質資料進行數字化和存儲工作。然而,由於我國地質資源豐富,經過幾十年的積累,已經形成了海量的地質資料,數據量早已經超過了幾百太位元組(TB)。在進行地質資料信息服務集群化工作中,隨著共享數據量的不斷增大,傳統的數據存儲方式和管理系統必然會展現出存儲和檢索方面的不足以及系統管理方面的缺陷。為了解決該問題,需要設計更加先進的數據存儲架構來實現海量地質資料的存儲。
而大數據(Big Data)作為近年來在雲計算領域中出現的一種新型數據,科技工作者在不斷的研究中,設計了適合大數據存儲管理的非關系型資料庫NoSQL進行大數據的存儲和管理。本文將針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,利用大數據存儲管理模式的思想,提出一種海量地質資料存儲架構,改進現有系統存儲架構,以便於我國全面推進地質資料信息服務集群化產業化工作。
1 工作現狀
1.1 國內外地質資料信息的存儲現狀
在美國,主要有兩大地質資料公共服務平台,分別是地球科學信息中心(ESIC)、地球資源觀測和科學中心(EROS),其目的是通過為社會和政府提供更加便利、快速的地質信息服務。20世紀90年代初,澳大利亞出台了國家地球科學填圖協議,採用先進的科學方法和技術進行數據存儲,從而形成了第二代澳大利亞陸地地質圖。
目前,我國地質資料信息服務集群化產業化工作剛剛起步,雖然國土資源部信息中心已經開發了地質資料信息集群化共享服務平台,並倡導各地方用戶使用該系統。但由於各個地方早期的工作背景不一致,因此各地方所使用的存儲系統也不盡相同,主要有Access、SQL Server、Oracle、MySQL等系統。本文以國土資源部信息中心開發的地質資料信息集群化共享服務平台的存儲系統MySQL為例說明。該系統是基於關系資料庫管理系統MySQL的一套分布式存儲檢索系統。該系統的部署使得我國地質資料信息服務集群化產業化工作取得了重大進展,同時也為我國建立標准統一的地質資料信息共享服務平台和互聯互通的網路服務體系奠定了堅實的基礎。然而,該系統的研發並沒有考慮到地質資料信息進一步集群化以及在未來地質資料信息進入大數據時代的信息共享和存儲管理問題,也沒有給出明確的解決方案。
1.2 大數據的存儲架構介紹
大數據是近年在雲計算領域中出現的一種新型數據,具有數據量大、數據結構不固定、類型多樣、查詢分析復雜等特點。傳統關系型資料庫管理系統在數據存儲規模、檢索效率等方面已不再適合大數據存儲。NoSQL(Not Only SQL)是與關系資料庫相對的一類資料庫的總稱。這些資料庫放棄了對關系資料庫的支持,轉而採用靈活的、分布式的數據存儲方式管理數據,從而可以滿足大數據存儲和處理的需求。NoSQL基於非關系型數據存儲的設計理念,以鍵值對進行存儲,採用的數據字的結構不固定,每一個元組可以有不一樣的欄位,且每個元組可以根據自己的需要增加一些自己的鍵值對,可以減少一些檢索時間和存儲空間。目前,應用廣泛的 NoSQL 資料庫有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。
2 大數據下的地質資料信息存儲架構設計
根據國土資源部做出的全面推進地質資料信息服務集群化產業化工作的部署,國土資源部倡導全國地質資料館使用國土資源部信息中心開發的地質資料信息集群化共享服務平台,實現地質資料信息的存儲和共享。該系統採用了資料庫管理系統MySQL作為數據存儲系統。
為了與現有系統和現有的工作進行對接,並為將來地質資料進入大數據時代後的存儲工作做准備,本文設計了一種能用於海量地質資料信息存儲並且兼容MySQL的分布式的數據存儲架構(圖1)。
整個系統可以根據不同的用戶等級分為不同的用戶管理層,由於圖幅限制,在圖1 中僅僅展示了3級:國家級管理層(即共享服務平台用戶層)、省級管理層以及市級管理層(可根據實際需要延伸至縣級)。
每級管理層的每個用戶可以單獨管理一個伺服器。如國土資源部信息中心可以單獨管理一個伺服器;甘肅省國土資源信息中心可以單獨管理一個伺服器,陝西省國土資源信息中心可以單獨管理一個伺服器;甘肅的若干個市級國土資源局可以根據需要分別管理各自的伺服器。
在伺服器上分別安裝兩套資料庫管理系統,一套是原有的MySQL資料庫管理系統,另一套是為大數據存儲而配備的NoSQL型資料庫管理系統。在伺服器上還專門開發一個資料庫管理器中間件,用於進行用戶層和資料庫的通信以及兩套資料庫之間的通信。
由於各個管理層都各自維護自己的資料庫和數據。當用戶需要進行數據存儲時,他所影響的資料庫僅僅是本地資料庫,存儲效率較高;當用戶需要從多個資料庫讀取數據時,頂層的共享服務平台會根據用戶需求進行任務分解,將任務分發給下層的管理層進行資料庫讀取,由於各個資料庫並行讀取,從而提高了資料庫讀取效率。
圖1 大數據下的地質資料信息存儲架構框圖
2.1 用戶管理層
用戶管理層根據許可權范圍,分為多層(本文以3層為例)。
位於頂層的國家級管理層(共享服務平台用戶層)負責用戶訪問許可權的分配、與其直接關聯的資料庫的訪問、下級管理層任務的分配等工作。
用戶訪問許可權的分配是指為訪問本共享服務平台的個人用戶和單位用戶分配數據的使用許可權、安全性的設計等。
與其直接關聯的資料庫訪問是指直接存儲在其本地資料庫上的數據的訪問。在該資料庫中不僅要存儲所需要的地質資料,還要存儲注冊用戶信息等數據。
下級管理層任務分配是指如果用戶需要訪問多個下層資料庫,用戶只需要輸入查詢這幾個下層資料庫的命令,而如何查找下層資料庫則由該功能來完成。例如某用戶要查找甘肅、陝西、上海、北京的鐵礦分布圖,則用戶只需要輸入這幾個地方及鐵礦等查詢條件,系統將自動把各個省的資料庫查詢任務分派到下級管理層。
同理,位於下層的省級管理層和市級管理層除了沒有用戶訪問許可權功能外,其餘功能與國家級管理層是相同的。各層之間的資料庫通過互聯網相互連接成分布式的資料庫系統。
2.2 MySQL和NoSQL的融合
MySQL是關系型資料庫,它支持SQL查詢語言,而NoSQL是非關系型資料庫,它不支持SQL查詢語言。用戶要想透明地訪問這兩套資料庫,必須要設計資料庫管理器中間件,作為用戶訪問資料庫的統一入口和兩套資料庫管理系統的通信平台。本文所設計的資料庫管理器簡單模型如圖2所示。
圖2 資料庫管理器模型
伺服器管理器通過用戶程序介面與應用程序進行通訊,通過MySQL資料庫介面與MySQL伺服器通訊,通過NoSQL資料庫介面與NoSQL資料庫介面通訊。當應用程序介面接收到一條資料庫訪問命令之後,交由資料庫訪問命令解析器進行命令解析,從而形成MySQL訪問命令或者NoSQL訪問命令,通過相應的資料庫介面訪問資料庫;資料庫返回訪問結果後經過匯總,由應用程序介面返回給應用程序。
兩套資料庫可以通過雙資料庫通信協議進行相互的通信和互訪。此通信協議的建立便於地質工作人員將已經存入MySQL資料庫的不適合結構化存儲的數據轉存到NoSQL資料庫中,從而便於系統的升級和優化。
2.3 系統的存儲和檢索模式
在本存儲框架設計中,系統採用分布式網路存儲模式,即採用可擴展的存儲結構,利用分散在全國各地的多台獨立的伺服器進行數據存儲。這種方式不僅分擔了伺服器的存儲壓力,提高了系統的可靠性和可用性,還易於進行系統擴展。另外,由於地質資料信息存儲的特殊性,各地方用戶的數據存儲工作基本都是在本地伺服器進行,很少通過網路進行遠程存儲,所以數據存儲效率較高。
在一台資料庫伺服器上安裝有MySQL和NoSQL型兩套資料庫管理系統,分別用於存儲地質資料信息中的結構化數據和非結構化數據。其中,NoSQL型資料庫作為主資料庫,用於存儲一部分結構化數據和全部的非結構化數據;而MySQL資料庫作為輔助資料庫,用於存儲一部分結構化的數據,以及舊系統中已經存儲的數據。使用兩套資料庫不僅可以存儲結構化數據而且還可以適用於大數據時代地質資料信息的存儲,因此系統具有很好的適應性和靈活性。
2.4 安全性設計
地質資料信息是國家的機密,地質工作人員必須要保證它的安全。地質資料信息進入數字化時代之後,地質資料常常在計算機以及網路上進行傳輸,地質資料信息的安全傳輸和保存更是地質工作人員必須關注和解決的問題。在本存儲架構的設計中設計的安全問題主要有資料庫存儲安全、數據傳輸安全、數據訪問安全等問題。
資料庫設計時採用多邊安全模型和多級安全模型阻止資料庫中信息和數據的泄露來提高資料庫的安全性能,以保障地質信息在資料庫中的存儲安全;當用戶登錄系統訪問資料庫時,必須進行用戶甄別和實名認證,這主要是對用戶的身份進行有效的識別,防止非法用戶訪問資料庫;在對地質資料進行網路傳輸時,應該首先將數據進行加密,然後再進行網路傳輸,以防止地質信息在傳輸過程中被竊取。
3 結語
提高地質資料數字化信息化水平,是國外地質工作強國的普遍做法。為推進我國地質資料信息服務集群化產業化工作,本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,利用大數據存儲管理模式的思想,基於現有系統的存儲架構,設計了一種大數據下的地質資料信息存儲架構,以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。該存儲架構的設計只涉及了簡單模型的構建,具體詳細復雜的功能設計和軟體實現還需要在進一步的研究工作中完成。
參考文獻
[1]吳金朋.一種大數據存儲模型的研究與應用[D].北京:北京郵電大學計算機學院,2012.
[2]吳廣君,王樹鵬,陳明,等.海量結構化數據存儲檢索系統[J].計算機研究與發展,2012,49(Suppl):1~5.
[3]黃
『肆』 分析智慧城市,大數據,物聯網與地理信息技術的關系
記住人際研究院院長王相關的文章,你可以去看看。
『伍』 大數據查低保戶的存款,在異地的信用社的能查出來嗎
低保戶就是把存款存在異地也可以查出來的,因為區民政、市民政、省民政、國家民政都查低保戶的存款、房產、車輛等信息,所以在哪裡存款也可以查到。
『陸』 通信大數據行程卡結果頁歸屬地哈爾濱是什麼意思
你把數據形成卡結果也歸屬哈爾濱非常好。
『柒』 我分期樂逾期十多天,網貸申請很多,說大數據花了,申請生源地信用助學貸款會受影響嗎
不會影響,別聽他們亂說