成立緣起

由於網路的普及與不斷提升的電腦運算能力,再加上快速變遷的通訊技術等擴張因素的推波助瀾之下,以網路科技及行動資訊為基礎的營運模式,已成為改變公司管理階層視角的重要因素。而當像Facebook的社群網站能擁有五億以上的用戶時,大量資料的處理、虛擬化技術與即時化的雲端運算,已經重新定義了技術成本和應用模式,並為消費者獲取商品和服務創造了全新的方式,同時也為企業家和企業構建了可行的商業模式。

雲端運算掀起了新一代的資訊革命,也帶來了資訊爆炸式的成長,全球資料量正以每年59%的速度快速成長,從GB、TB跳升至ZB的天文數字;從傳統結構性資料轉變為70%到80%左右都是日誌檔案、影像、圖片、公眾及社群的非結構化資料,企業將面臨海量資料的關鍵變革。面對不斷擴張的驚人資料量,海量資料 (Big Data) 的儲存、管理、處理、搜尋、分析與智能應用等處理資料的能力也將面臨新的挑戰,而處理資料的技術將迫切需要動態與彈性等特點,即時與多樣化處理與分析資料的需求,以支援大量資料處理的運算模式。

海量資料在規模(Volume)、增加速度(Velocity),以及複雜程度(Complexity)上正呈現幾何上升,而其資料所表現的多樣性變化(Variety)與資料的有效性(Validation),更容易成為企業的風險源頭。為因應日趨複雜的智慧運算時代,現階段應思考如何透過有效的分析模式來處理海量資料,協助企業或應用服務的需求單位,從大量資料的壓力中解脫,同時提升效率並改善業務流程,以從中獲取資料所帶來策略價值,並進一步藉以透過資料分析協助企業快速成長。

面對排山倒海而來的海量資料,企業需運用海量資料分析,迅速將資料轉化成商業智慧,運用分析資訊,提升市場的洞察能力,做出更準確的營運決策。例如:電信業者可以分析手機在基地台漫遊的特性,提供更好的在地費率;信用卡業者可以每天定期分析各種信用貸款所產生的風險,動態調整信貸利率;便利超商可以分析消費者的購買習慣,動態調整架上存貨數量等;製造業者可透過現場製造系統所記錄的大量線上即時生產資料進行分析,以協助製造業改善製程、提升良率,並減少物料浪費。因此海量資料分析將是企業未來所面臨的關鍵挑戰。

鑒於目前資訊以超乎想像的速度產生、累積、消逝,而企業所面臨的商機亦有相同的循環表現。透過海量資訊的即時性分析與運用,將可對不同資訊的需求者,產生不一樣的價值與意義。若能持續在既有的資料中發掘價值,同時考量動態資訊所帶動的巨大衝擊,並藉此掌握瞬息萬變的市場契機,則海量資料的分析與應用,將有助於各類型企業在相關營運領域中,引領下一階段的企業永續發展。

基於以上的發展潮流與態勢,麥肯錫(Mckinsey)管理顧問公司於2010年已指出未來引領企業發展趨勢的十大科技,其中即包含了海量資料的獲取與分析、雲端運算服務的公共價值,以及企業多層面的參與互動及服務。在這些技術與行動通訊網路的整合應用下,企業未來所產生的資料量將呈現倍數成長,並導致過去傳統的儲存技術即將遇到瓶頸,因此,虛擬化的雲端運算分析技術,以及海量資料的管理,將成為各方面所即將面臨處理的新課題。從目前的技術發展來看,未來各項實體化設施,將可能在未來藉由虛擬化的技術,得以降低各項成本的支出,然而雲端運算與資料的應用,絕非僅為建置一個大型資料中心即可,對於後續所產生大量資料下的數量管控、資料的品質與分析結果,以及這些資料所衍生之相關應用與服務(如圖),才是現階段所應關心的重點。