地理信息系統數據分層存儲
⑴ 簡述何為圖層及圖空間數據如何分層及其意義
搜一下:簡述何為圖層及圖空間數據如何分層及其意義
⑵ 數據分層管理
影像地圖包括柵格數據、矢量數據和名稱注記等,將這些要素分層管理,內以便於以後更新容和修測。分層的原則是:將同一類地理要素放在一層,修編任何一層不會影響其他層的數據。柵格數據包括:TM(ETM),SPOT,SAR,CBERS全波段的原始圖像,數據存儲格式為FAST格式、TIFF格式;經幾何糾正、融合、鑲嵌處理等製作的標准分幅影像地圖,數據存儲格式為*.pix格式;經掃描幾何仿射糾正的1∶5萬—1∶10萬地形圖數據,數據存儲格式為*.img格式;幾何控制點數據,數據存儲格式為*.pts格式。影像地圖數據包括:名稱注記主要為地名、道路、河流山系、經緯和公里網格數據等,數據存儲格式為*.psd格式。
⑶ 數據倉庫分層DWD、DWB、DWS分別是什麼縮寫
DW :data warehouse 翻譯成數據倉庫
DW數據分層,由下到上為 DWD,DWB,DWS
DWD:data warehouse detail 細節數據層,有的也稱為 ODS層,是業務層與數據倉庫的隔離層
DWB:data warehouse base 基礎數據層,存儲的是客觀數據,一般用作中間層,可以認為是大量指標的數據層。
DWS:data warehouse service 服務數據層,基於DWB上的基礎數據,整合匯總成分析某一個主題域的服務數據,一般是寬表。
希望對你有用。
⑷ 分層存儲與虛擬化技術的分層存儲
分層存儲其實已經不是一個新鮮的概念,而是已經在計算機存儲領域應用多年。其與計算機的發明與發展相伴相生。在馮-諾依曼提出計算機的模型「存儲程序」時就已經包含了分層存儲的概念。「存儲程序」原理,是將根據特定問題編寫的程序存放在計算機存儲器中,然後按存儲器中的存儲程序的首地址執行程序的第一條指令,以後就按照該程序的規定順序執行其他指令,直至程序結束執行。在這里的外存儲器與內存儲器,就是一個分層存儲的最初模型。
分層存儲(Tiered Storage),也稱為層級存儲管理(Hierarchical Storage Management),廣義上講,就是將數據存儲在不同層級的介質中,並在不同的介質之間進行自動或者手動的數據遷移,復制等操作。同時,分層存儲也是信息生命周期管理的一個具體應用和實現。
而實際上,將相同成本及效率的存儲介質放在不同層級之間進行數據遷移復制在實用性及成本上並不是有效的數據存儲方式。因此,在不同的層級之間使用有差別的存儲介質,以期在相同成本下,既滿足性能的需要又滿足容量的需要。這種存儲介質上的差別主要是在存取速度上及容量上。存取速度快的介質通常都是存儲單位成本(每單位存儲容量成本,如1元/GB)高,而且容量相對來講比較低。相應的,存取速度慢的介質通常是為了滿足容量與成本方面的要求,既在相同的成本下可以得到更大的容量。所以,從這方面來說,分層存儲其實是一種在高速小容量層級的介質層與低速大容量層級的介質層之間進行一種自動或者手動數據遷移、復制、管理等操作的一種存儲技術及方案。
一般來說,分層存儲中,我們將存取速度最快的那一層的介質層稱為第0層(Tier 0),依次為第1層,第2層等等。理論上說,層級的劃分可以有很多層,但是在實踐中,最多的層級在5層左右。過多的層級會增加數據及介質管理的難道及可用性。因此在層級的設置上有一個拐點,即層級達到一個特定的層數時,會導致成本的上升,而使得可用性、可靠性都會相應下降。通常層級的設定在2-4層之間。如下圖所示: 在計算機系統中,CPU 的運行速度往往要比內存速度快上好幾百倍甚至更多,為了更多地榨取CPU的計算能力,就需要在訪問數據的速度上進行提升,否則內存的速度將成為整個系統的性能短板。因此在這樣的思想下,CPU慢慢發展出來1級或者2級這樣的存儲緩存。實際也表明,緩存的存在確實對於系統性能的提升起到了巨大的推動作用。
相應的,內存的訪問速度又是硬碟訪問速度的幾百倍甚至更多,也是基於CPU類似的指導思想,我們能不能在存儲之間也進行這樣的分層(或者說緩存)以期提高系統的I/O性能,以滿足應用對系統提出的更多高I/O的需求呢?
從某種意義上說,內存其實也就是充當了CPU與外部存儲之間的另一個級別的緩存。作為用戶來講,我們當然希望所有需要用到的數據都最好是存在最高速的存儲當中。但是這樣近乎是烏托邦式的理想至少在當前來說是不現實的。在技術上的難度不說,成本的壓力就會使得用戶喘不過氣來,再一個就是有沒有必要的問題,因為有的數據根本都不需要一直存於這樣的存儲中。在計算機界中有一個很有名的理論,就是說,加上一個中間層,就可以解決計算機中許多的問題。而這個「中間層」也正是我們所尋求的,實際也證明這樣的中間層確實取得了非常好的效果。
據IDC數據預測,到2012年,信息數據的增長將會達到50%的復合年增長率,這個增長主要源於越來越來多數據內容生成並存儲,經濟全球化使用商業各個部門及與商業夥伴之間需要保持連接,使得更多的數據被生成,復制及保存。法規遵從及管理,還有容災與備份都使得數據的增長持續上升。天下沒有一勞永逸的解決方案,我們需要根據不同的數據存儲需求,設計不同的存儲方案。比如歸檔,我們可以將數據存儲在磁帶上,比如需要頻繁訪問的實時數據我們可以放在內存或者SSD(固態硬碟)設備中,對於容災或者備份,我們可以使用大容量低成本的存儲來應對。正所謂好鋼用在刀刃上,用戶也希望把資金投向更能產生效益的存儲上。
除了需要滿足不同的存儲需求,還有出於對於高性能高吞吐量應用的支持。因為有的應用需要這樣存儲系統。特別是現在風頭正勁的虛擬化技術。為了在一台設備上支持更多的虛擬應用,就需要系統支持更大的吞吐量以及更高的性能。全部採用高速介質在成本上現在依然不是可行的,也不是必須的。因為根據數據局部性原理,往往被頻繁訪問的數據是局部而有限的。為了應對部份這樣的數據而全採用高速存儲實在是過於奢侈。如果我們針對這部份數據另開小灶來解決不是更好?所以分層存儲在這里就可以大展拳腳。我們把高頻率訪問的數據放在高速存儲介質上,而其他的數據放在速度較慢一些的介質上,這實際上就是提高了系統的吞吐量。 從計算機系統角度來說,最上層的存儲層應該是CPU內的各類型寄存器,其次是CPU內的緩存,其次再是系統內存。因為從分層存儲的定義上,此類型存儲器是符合定義規則的。因為這些存儲器速度與容量都有差別,越靠近CPU的存儲器成本越高,速度越快,容量越小,並且在CPU的控制下,數據這些不同類型的存儲器中間進行自動的轉存。比如寄存器通常在16、32、64、128位之間,而緩存則在幾十個位元組及到幾兆位元組之間,內存容量當前通常都在幾百兆位元組以上,伺服器級的內存也上幾十個吉位元組。很有意思的是,這類型的分層也非常符合上圖所示的效益成本曲線圖。層級過多時,對於CPU的硬體設計及不同層次之間的數據一致性的保證都是一個挑戰。所以,現代CPU在寄存器與內存之間的緩存基本在1-3級。而我們通常使用的386平台的CPU(Intel 及 AMD)基本上都只有兩級緩存。這類存儲都有一個共同的特點,就是系統掉電後數據不復存在。我們將此類型的分層存儲稱為易失性存儲分層,或者內部存儲器分層存儲。
而另外一種分類,則是非易失性分層存儲,或者叫外部分層存儲。此類型的存儲介質一般包括固態硬碟(SSD)、機械式硬碟、光碟、快閃記憶體檔(包括外置硬碟)、磁帶庫等等。而此類的存儲介質分層正是我們所要關注的,如沒有特殊的說明情況下,在此文檔中所說的分層存儲都是指外部分層存儲。一般來說,作為第0層的存儲介質通常為 RAM 磁碟(隨機訪問存儲磁碟,其速度與內存同速,但是價格昂貴,使用環境基本上是特殊計算環境)以及 SSD,第1層可能有 FC 15K硬碟或者SAS 15K硬碟,或者相應的10K硬碟。第2層可能有其他類型的硬碟及磁碟庫等。第3層,可能是如磁帶庫以及光碟庫這樣的離線介質。當然這樣的分層不是標准,但是一個實踐中常用的分層策略。
如 D2D2T 這樣的存儲方案,其實就是分層存儲的一個實踐方案。數據從本地的磁碟轉存於於另一個遠程的磁碟(D2D)。這個磁碟的形式可以是一個JBOD,或者一個虛擬存儲設備,然後再通過一定的轉存策略將這個磁碟的數據轉存於磁帶庫或者磁帶(D2T)。愛數備份存儲櫃X系列都支持D2D2T這樣的應用。 由上一節可知道,外部分層存儲只不過是內部分層存儲的一個外延。所以,外部分層存儲考慮的問題與內部分層存儲實際上是大同小異的。
1、 首先是數據一致性的問題。這個問題比較好理解。如果不同的數據在不同的存儲層級之間存在時,數據的改寫必然導致數據的不致的問題。在內部分層存儲時,可以採用通寫策略或者回寫策略。而不同的方法也有各自優缺點,這里就不再贅述。但是外部分層存儲與內部分層存儲有一個最大的不同是,內存儲最終數據需要寫到內存中,而外分層存儲中,則不是必須的。當然也可以設計成這樣的實現方案,但是這樣話,分層存儲的性能優勢則必定會受到影響。數據在不同層級之間的連續性可以由一個虛擬層來保證。這個我們在談到虛擬化時會討論這個問題。
2、 第二個問題就是命中率的問題。如何設計一套演算法或者實現策略來提高數據系統的命中率是分層存儲中是否能起到其相應作用的關鍵。這個與CPU的緩存機制是完全一樣的。不過,CPU的緩存機制已經有一套非常成熟的演算法設計。而外部分層存儲與內部分層存儲有其不同的特性,因此,CPU中的緩存機制不能全部照拿過來用。特別是CPU的緩存機制還主要是硬體設計上面的問題。而外部存儲層可能還與一些邏輯設計相關,比如文件系統,文件等。從這點上說,外部分層存儲的軟體設計上比起CPU緩存的設計可能要更復雜一些。
3、 第三個問題就是在分層介質的選擇上。上面也提過,不同層級之間的介質應該是有差別的,否則就失去了分層的意義。一般來說,高速介質應該是小容量、高成本,隨著層級的往下走,其成本容量曲線應該呈現如下的形式:
即容量越大的單位成本越低,速度越慢,因此應該放到更低的層級中,反之亦然。因此,在存儲介質的配置上如何找到一個合適的點,使得成本與效益最優化則是在分層介質選擇及策略制定上需要考慮的問題。下面的圖中給出了一個實際的可能的配置方案:1、 第四個問題就是數據分層的級別。對於數據的描述有位元組級,塊級(包括扇區及簇),文件級及文件系統級。當然不同的級別有不同的應用場合,並不是哪種級別好於哪個級別。對於文件級的分層,對於歸檔,法規遵從則比較適合。對於文件系統級的則多用於容災及備份系統中。對於塊級則可能用在虛擬化中較為合適。因此需要根據不同的需求制定不同的分層級別。
2、 第五個問題就是數據的遷移策略的設計。可以根據數據的重要性、訪問頻度、大小、年齡來制定遷移策略。但是如同第四點所說明的那樣,不同的策略是有不同的應用場合的,沒有孰優孰劣的問題。好的策略應該是不同最優策略的組合,也就是因「需」制宜地選擇合適的遷移演算法或者方法。根據年齡進行遷移的策略可以用在歸檔及容災備份系統中。根據訪問頻度則可以用於虛擬化存儲系統中等等。類似的方法已經用於計算機軟體設計或者硬體設計當中的很多地方,如LRU(最近最少使用)、ARC(自適應交替緩存)都是可以借鑒的。
⑸ 為什麼採用分層存儲數據能有效提高程序的執行效率
計算機系統中存儲層次可分為高速緩沖存儲器、主存儲器、輔助存儲器三專級 高速緩沖存儲器用來改善主存屬儲器與中央處理器的速度匹配問題 輔助存儲器用於擴大存儲空,即硬碟,光碟等,容量大,但存取數據慢,計算機都是先把輔存中要讀的東西放到主存後
⑹ 什麼格式能分層存儲電子地圖地理信息。
目前電子地圖地理信息的存儲都是以矢量數據或者資料庫方式,使用的軟體ArcGIS,MapGIS等
⑺ 簡述為什麼要對空間數據進行分層管理
簡述何為圖層及圖空間數據如何分層及其意義? 答:空間數據可按某種屬性特徵形版成一個數據層,權通常稱為圖層。 分層方法: (1)專題分層:每個圖層對應一個專題,包含某一種或某一類數據。如地貌層、水系層、道路層、 居民層等。 (2) 時間序列分層: 即把即把不同時間或不同時期的數據作為一個數據層。 (3) 地面垂直高度分層: 把不同高度的數據作為一個數據層。 意義:便於空間數據的管理、查詢、顯示、分析等。
⑻ 如何採用分層技術存儲GIS收據
我理解的你所謂的分層大致上有兩個方面,不知道LZ講的是哪個?以下分別列出版:
1. 不同的空間要素權類型進行分層顯示
空間要素的集合類型包括點、線、面,而每一個幾何類型都有各自的存儲和顯示的特點。分圖層就是把不同的幾何對象按照要素集合類型進行分類存儲、顯示和分析處理。在實際中可以建立不同的類(Class)來抽象不同種類的幾何要素(點類,線類,面類等),然後派生出對象來代表不同的地理對象。
2. 多級別地圖數據的分層
通常來說就是按照不同的比例尺進行地理數據的分級別顯示。級別越高,顯示的細節越多;級別越低,顯示的細節越少。在GIS領域,細節層次模型(LOD)來專門處理數據縮放級別和顯示的問題。
⑼ 自動分級存儲和自動分層存儲有什麼差別
自動分層技術能夠在同一陣列的不同類型介質間遷移數據。自動分層技術的系統可專以在子LUN級(在多屬數情況下是子文件級)針對不同數據類型進行自動層級化。有了這種能力,系統能夠壓縮分解不頻繁使用的數據。其還可以根據同樣的能力進行數據遷移,此外,其也能夠比較這些子文件分節段的部分來進行存儲和去重。通過元數據,陣列能夠判斷哪些部分應該去重,那些不應該。所有這一切需要的只是一個重復數據刪除引擎。[1]