在過去的幾年里，人們從知道大數(shù)據的概念，發(fā)展到一些組織能夠真正實施一些大數(shù)據項目。然而，在一些組織的數(shù)據中心團隊負責實施這些業(yè)務驅動的舉措之后，現(xiàn)在才開始認識到實現(xiàn)真正大數(shù)據集成的復雜性和深度。

大數(shù)據通過人們生活，工作平臺，應用程序，以及設備提供了多種格式的大量的數(shù)據。大量的結構化和非結構化的內容往往使用戶非常難以訪問和分析所需的信息。

現(xiàn)代數(shù)據中心往往是一個復雜的系統(tǒng)，相互連接的服務器和設備存儲，處理和分發(fā)各種來源的大量信息。但智能大數(shù)據整合，在改造傳統(tǒng)的信息系統(tǒng)，可以緩解從地理位置分散的網站，甚至其他數(shù)據中心的聚集和分析信息的斗爭。

如果一個數(shù)據中心是一個組織的大腦，那么可以認為其數(shù)據源就是反饋給神經和細胞的信息。智能大數(shù)據集成意味著該組織的“神經系統(tǒng)”，為整個企業(yè)快速傳達信息，為現(xiàn)代商業(yè)生態(tài)系統(tǒng)起著至關重要的作用。但這也意味著數(shù)據中心的管理人員將獲得他們尋求的準確和高效的數(shù)據處理的安全性，質量，控制和管理。

從哪里開始

任何大數(shù)據項目的目的是為了獲得更好的結果，其中包括直接進行實時洞察和基于循環(huán)模式的長期觀點，但首先你必須克服早期的集成挑戰(zhàn)。所以要問你自己：

· 你所有的關鍵數(shù)據來自哪里？

· 你的組織如何聚合并快速移動所有的數(shù)據？

· 如何分析可用的數(shù)據是否有價值？

· 通過在技術和基礎設施方面的投資，你的企業(yè)如何才能最大限度地發(fā)揮價值？

最終，大數(shù)據整合攝入，準備和提供的數(shù)據，不管是什么來源。這包括利用在企業(yè)每一類型的數(shù)據，包括復雜的，往往是非結構化的機器產生的數(shù)據，這通常需要一個更加融合的數(shù)據中心的基礎設施。

因此，第一步驟，可以說是最重要的一步，是整合所有可用的數(shù)據。以下是確定你的大數(shù)據集成項目有效實施的三個關鍵領域。

（1）可靠的數(shù)據流

攝入大數(shù)據到一個平臺，像ApacheHadoop這樣的平臺是不夠智能的，不足以啟動一個Hadoop集群，輸入所有類型的數(shù)據，并得出具有突破性的新見解，展現(xiàn)自己。大數(shù)據行業(yè)廠商似乎每一個星期都在發(fā)布新的工具和升級版本，甚至將某一技術引入到你的堆棧，雖然功能并不強大，但卻可以使你的整個平臺過時。

這是常見的企業(yè)應用程序和集群之間的經驗數(shù)據流和數(shù)據退化問題。因此，大多數(shù)反應涉及手工編碼正在嘗試努力工作，并拋棄一些其他類型的技術。通常情況下，這是一個解決方案。但這不是最終的解決辦法。

采用一個安全的，敏捷的集成平臺，專注于調動實際的數(shù)據流進出數(shù)據中心的管道，確保在越來越復雜的工作場所的生態(tài)系統(tǒng)進行可靠的信息交換。

（2）可擴展性

目前存在一些主要的整合，治理和安全問題，需要針對不同層次的大數(shù)據采取不同的舉措，特別是在數(shù)據中心。我們今天正在經營業(yè)務在其規(guī)模和信息方面日益龐大，這使得數(shù)據成為“大數(shù)據”。而人們需要跨越地域和傳統(tǒng)的數(shù)據中心來管理大數(shù)據，那些過時陳舊的工具已經嚴重低估了現(xiàn)代需求。

隨著企業(yè)的發(fā)展和新的數(shù)據源開始發(fā)揮作用，需要增加不同的技術，你的系統(tǒng)將無一例外地必須適應。如果你將現(xiàn)在的問題通過手工編碼解決，當你試圖擴展之后，會不會在擁有它以后拋棄它？

簡單地增加更多的工作人員或代碼的問題并不是一個可擴展的策略，也不會解決復雜的大數(shù)據傳輸問題。需要有一個堅實的數(shù)據集成和管理平臺下的商業(yè)智能工具，可以輕松地擴展，采用眾多的大數(shù)據工具，并且其來源而不中斷。

（3）數(shù)據質量，分類，治理

而從結構化數(shù)據出來的CRM和ERP應用程序通常很好地進行企業(yè)的分析，但它是非結構化的數(shù)據，更加難以管理。企業(yè)必須以某種方式治理信息混亂，因為即使是最小的數(shù)據質量的問題也會產生巨大的錯誤。成功的公司在元數(shù)據級別上做到這一點。

通過元數(shù)據定義信息是至關重要的，因為它提供了來自大數(shù)據的結構，幫助進行分類和整理這些信息以后可以輕松找到。當信息流動到你的數(shù)據湖，必須進行某種分類，因此你正在做分析的數(shù)據實際上是準確的。

企業(yè)在錯誤的數(shù)據方面浪費了一些技術周期，特別是昂貴的今天。所有這些質量和分類必須在某一點上進行，但它應該在早期的水平，即使在集成周期。企業(yè)認為在數(shù)據質量的早期可以得到更好的，更有價值的分析。

總結：

每一個組織都會成為一個數(shù)據組織，或是被甩在后面。是什么使一個公司可以獨有他們的數(shù)據，并更好地使用數(shù)據。因此，一個成功的大數(shù)據項目最終取決于一個組織的捉捕其數(shù)據的能力。

快速攝入和處理的大數(shù)據，需要一個可靠的集成基礎設施，可以很容易地擴展以容納大量的數(shù)據量，驅動實時訪問，并支持每一個請求分析。利用信息，以獲得競爭優(yōu)勢，這聽起來很偉大，但只有可靠準確地集成了所有的數(shù)據源之后，才能建立一個可用的數(shù)據湖。

當正確的信息傳遞給正確的人，所以可以理解并采取行動最大限度地提高大數(shù)據整合的價值。但是，只有當企業(yè)支持提供了大數(shù)據下的投資和可靠的集成平臺，他們將獲得每個企業(yè)都在尋求大數(shù)據的最佳回報。