重復數(shù)據(jù)刪除(Data deduplication)無疑是存儲行業(yè)近年來最熱鬧的技術(shù)，它消除了傳統(tǒng)備份技術(shù)衍生出的重復存儲數(shù)據(jù)問題，進而為企業(yè)節(jié)省成本。

　　然而，今日的企業(yè)面臨的數(shù)據(jù)保護問題相當復雜，備份數(shù)據(jù)重復儲存的問題僅僅是冰山一角，但在某些重復數(shù)據(jù)刪除廠商的華麗包裝下，這一技術(shù)成了解決所有數(shù)據(jù)保護問題的“萬能藥”，導致用戶對重復數(shù)據(jù)刪除產(chǎn)品過多的期望，在對技術(shù)本身了解不夠、欠缺全盤考慮的情況下便貿(mào)然部署了重復數(shù)據(jù)刪除方案，結(jié)果卻往往不如預期，甚至付出比省下的磁盤還要高的成本，因小失大、得不償失。

　　用戶在選擇具備重復數(shù)據(jù)刪除技術(shù)的產(chǎn)品時，如何針對真正需求理性做出判斷，而不被銷售廣告和專業(yè)術(shù)語所迷惑呢?不妨參考以下五項建議：

　　不要掉入重復刪除比率的迷局

　　幾乎所有重復數(shù)據(jù)刪除產(chǎn)品廠商都會強調(diào)自己可以達到多高的重復數(shù)據(jù)刪除比率，有些甚至宣稱可以達到500：1這樣不可思議的數(shù)據(jù)。事實上，重復數(shù)據(jù)刪除比率完全取決于數(shù)據(jù)的類型和備份策略，跟技術(shù)本身的關(guān)聯(lián)并不大。舉例來說，如果數(shù)據(jù)的類型為Office文件、電子郵件，由于數(shù)據(jù)結(jié)構(gòu)本身的重復性高，能被刪除的部分自然就比較多，如果是已經(jīng)壓縮過的影音、圖片等文件，重復數(shù)據(jù)刪除的效果就相當有限;采用全備份的重復數(shù)據(jù)刪除比率，也遠大于增量或差量備份，因此，比較不同產(chǎn)品之間的重復數(shù)據(jù)刪除比率其實是沒有意義的，更不能借些來判別產(chǎn)品的優(yōu)劣。

　　不能影響服務器性能

　　某些采用資源端重復數(shù)據(jù)刪除技術(shù)的解決方案，必須在生產(chǎn)服務器上安裝代理程序來執(zhí)行重復數(shù)據(jù)刪除，無可避免的給生產(chǎn)服務器造成了相當大的性能負擔。任何改變傳統(tǒng)的數(shù)據(jù)保護方式，都必須建立在不影響系統(tǒng)運行的前提下才能被接受，換句話說，服務器的性能絕不能受到數(shù)據(jù)保護方案的牽制(無論是應用服務器還是，因此在這個前提下，目標端重復數(shù)據(jù)刪除技術(shù)才是最理想的選擇。以飛康最新推出的FDS為例，只對備份到FDS內(nèi)的數(shù)據(jù)進行分析比對，然后再刪除重復數(shù)據(jù)，前端服務器不需要安裝代理程序，所有運行負載也都集中在FDS上，重復數(shù)據(jù)刪除工作對生產(chǎn)服務器的性能毫無影響。

　　在線處理不一定比后處理好

　　重復數(shù)據(jù)刪除技術(shù)依據(jù)數(shù)據(jù)處理方式的不同，分成備份與重復數(shù)據(jù)刪除同時執(zhí)行的在線處理(Inline)，以及備份完成后執(zhí)行重復數(shù)據(jù)刪除的后處理(Post processing)兩種，有些廠商宣稱在線處理才是最先進的技術(shù)，這其實是錯誤的觀念。

　　事實上無論采用哪種數(shù)據(jù)處理方式，絕大多數(shù)重復數(shù)據(jù)刪除技術(shù)都是基于業(yè)界標準的哈希算法(Hash)，僅有少數(shù)采用自主開發(fā)的專利技術(shù)，其運行方式也都大同小異：追蹤核對數(shù)據(jù)區(qū)塊，當新數(shù)據(jù)寫入硬盤前先經(jīng)由系統(tǒng)的掃描與核對，判定硬盤上是否存有相同的副本，如果有的話，這部分數(shù)據(jù)將只存入一個指向該副本地址的指針，不會重復儲存，進而達到節(jié)省磁盤空間的目的。兩者的差異在于，在線處理運用了大量的內(nèi)存作為數(shù)據(jù)寫入硬盤前的緩存空間，后處理則是先將備份數(shù)據(jù)寫入硬盤后，再進行分析比對，然后刪除重復數(shù)據(jù)。

　　乍看之下，在線處理似乎是效率比較高，但是，有兩個問題不可忽視：

　　1. 數(shù)據(jù)處理速度慢：在線處理在備份資料寫入前，必須先暫時存在內(nèi)存中執(zhí)行內(nèi)容比對與刪除演算等工作，這些動作會消耗大量CPU資源，亦會不可避免的拖慢備份速度，某些產(chǎn)品的備份性能甚至比磁帶機還差，這樣很容易導致備份窗口不足，能在要求時限內(nèi)完成備份的數(shù)據(jù)量也相對變少。

　　2. 可靠性令人擔心：在線處理方式由于是在數(shù)據(jù)寫入磁盤的同時進行比對、刪除重復數(shù)據(jù)、保留文件指針，沒有校驗、核對的機制，也就是說，沒有廠商敢保證文件經(jīng)過重復數(shù)據(jù)刪除后，恢復時的數(shù)據(jù)是100%正確無誤的，萬一數(shù)據(jù)處理的某個環(huán)節(jié)出現(xiàn)錯誤，系統(tǒng)內(nèi)儲存的備份數(shù)據(jù)就只是一堆無法識別的代碼，不得不令人擔心其可靠性問題。

　　相比之下，后處理方式的重復數(shù)據(jù)刪除技術(shù)就不用擔心性能和可靠性的問題了。還是以飛康FDS為例，由于備份數(shù)據(jù)傳輸過程不受重復數(shù)據(jù)刪除運行程序的干擾，能充分發(fā)揮高速磁盤的I/O處理能力，如果搭配備份服務器的Hosted backup主機式備份功能，還能運用服務器內(nèi)部的高速鏈路取代速度較慢的以太網(wǎng)，消除備份服務器到存儲系統(tǒng)間的傳輸瓶頸，進一步提升備份的性能。在可靠性方面，F(xiàn)DS即將推出的一致性校驗功能(Self integrity check)，可在備份數(shù)據(jù)寫入磁盤并執(zhí)行重復數(shù)據(jù)刪除后，進行文件指針與單一存儲區(qū)塊比對的工作，如果發(fā)現(xiàn)有任何錯誤便會自動修復，確保所有處理過的備份資料都能正確恢復，系統(tǒng)可靠性與數(shù)據(jù)安全性更有保障。

　　不應局限在單一應用

　　目前市場中具備重復數(shù)據(jù)刪除功能的解決方案，在架構(gòu)和技術(shù)上或有不同，但應用范圍幾乎全都集中在數(shù)據(jù)備份領域，換而言之，這些產(chǎn)品本身不是備份軟件就是必須搭配備份軟件才能使用的硬設備。然而企業(yè)內(nèi)部存在重復冗余數(shù)據(jù)的豈止只在備份?散落在各個部門的文件服務器內(nèi)的非結(jié)構(gòu)性數(shù)據(jù)(其中以Office文件居多)，在經(jīng)年累月不斷增加之下已經(jīng)累積了相當多的重復數(shù)據(jù)，在企業(yè)不具備完善的數(shù)據(jù)分級存儲與歸檔機制的情況下，管理員面對文件服務器數(shù)據(jù)量不斷增長的問題，也只能消極的以擴展硬盤空間的方式應對。換個角度想，如果文件服務器能夠利用重復數(shù)據(jù)刪除技術(shù)，理論上就可以有效的抑制這個問題，可惜的是大多數(shù)的重復數(shù)據(jù)刪除方案受限于技術(shù)和性能，功能 上只能局限在備份應用。

　　飛康FDS則突破了“重復數(shù)據(jù)刪除只能用在備份”的局限，提供了基于管理策略的重復數(shù)據(jù)刪除功能。這個功能允許管理員在設定FDS的網(wǎng)絡共享文件夾時，根據(jù)文件大小、被讀取或修改的頻率來定義是否進行重復數(shù)據(jù)刪除。舉例來說，管理員可以設定30天內(nèi)未曾被用戶存取過的文件，在時間到達后自動執(zhí)行重復數(shù)據(jù)刪除。大多數(shù)的情況下，文件服務器內(nèi)的數(shù)據(jù)被存取的機率會隨著時間而遞減，經(jīng)常被用戶使用的文件由于不會執(zhí)行重復數(shù)據(jù)刪除，可以快速的存取、修改而不受文件重組的程序影響性能;不常使用的文件可以通過重復數(shù)據(jù)刪除，減少占用的磁盤空間，便于存儲更多的文件數(shù)據(jù)，可謂一舉數(shù)得。

　　遠程復制與全局重復數(shù)據(jù)刪除能力不可少

　　除了節(jié)省存儲空間外，重復數(shù)據(jù)刪除技術(shù)與遠程復制相結(jié)合，則可以消除通過網(wǎng)絡執(zhí)行遠程備份時，一再傳送重復數(shù)據(jù)而造成的帶寬浪費的問題，進而達到廣域網(wǎng)優(yōu)化的功效。用戶不需要投資昂貴的專線，就能建立兩地之間的異地備份。對于許多有分公司、遠程辦公室或分支機構(gòu)的企業(yè)來說，還能借此建立多網(wǎng)站遠程集中備份，可兼具節(jié)省帶寬和存儲空間的雙重效果，這也是重復數(shù)據(jù)刪除技術(shù)之所以吸引這么多廠商的重要因素。但是，并不是所有廠商現(xiàn)在都能提供足夠成熟的技術(shù)，因此，大部分重復數(shù)據(jù)刪除+遠程復制方案仍有限制。

　　某些的重復數(shù)據(jù)刪除方案本身并不具備遠程復制技術(shù)，數(shù)據(jù)經(jīng)過處理后必須利用其他軟件或磁盤陣列的復制功能，才能將數(shù)據(jù)傳送到災備中心。這不僅要求用戶必須購買更多的設備才能實現(xiàn)異地備份，如果用戶具備多個遠程站點需要進行集中備份受到的限制則更多，徒增項目實施的復雜程度與成本。

　　飛康FDS采用了只有企業(yè)級VTL才有的全局重復數(shù)據(jù)刪除(Global Deduplication)技術(shù)，是市場上少數(shù)完全整合重復數(shù)據(jù)刪除與遠程復制的方案，不僅支持一對一、多對一遠程集中備份環(huán)境，遠程網(wǎng)站和數(shù)據(jù)中心的FDS通過比對單一存儲區(qū)內(nèi)有無相同數(shù)據(jù)，僅復制和傳送單一數(shù)據(jù)，在20：1的重復數(shù)據(jù)刪除比率下，可以節(jié)省95%的網(wǎng)絡帶寬占用。在數(shù)據(jù)中心，用戶可以采用能夠外接不同廠商磁盤陣列的FDS網(wǎng)關(guān)設備，利用超大容量的單一存儲區(qū)和高速磁盤存取優(yōu)勢，徹底消除遠程網(wǎng)站之間備份的重復數(shù)據(jù)，充分發(fā)揮重復數(shù)據(jù)刪除技術(shù)的同時，節(jié)省成本、提升性能。