2014 台灣 Hadoop Big Data 市場五大趨勢預測

一年一度的 Etu Solution Day，今年以「成功在我，企業 Hadoop Big Data 價值發展紀實」為主題，在 10 月 16 日於台北舉辦。透過主題演講、解決方案展示形式，具體提出 Etu 對台灣 Big Data 的趨勢、案例、客戶、夥伴等面向發展的前瞻看法與實踐成果 (精彩的活動照片及簡報瀏覽與下載)。

圖 1. 企業採用新技術產品典型的 3 階段過程

「第一年認識，第二年驗證，第三年導入」，這是企業採用新技術的典型過程，Hadoop 這個 Big Data 主流技術平台的採用脈絡亦然。一些先行的行業，裡面的不同企業，正處在這個過程的不同階段，筆者希望透過 Etu 的市場經驗、對 Hadooper 現狀的調查與理解、以及對企業的 Hadoop 教育訓練課程學員統計分析，歸結出台灣明年 Big Data 市場的趨勢展望，為關心 Big Data 能夠帶來怎樣價值的企業，理出一些線頭，或深或淺協助勾勒發展的路數與藍圖。

以下就是筆者提出的 2014 年台灣 Hadoop Big Data 市場五大趨勢預測：

1. 首先過河的人，要開始挑戰資料價值的海洋，越早期投入者，越用越深，越深越廣；
2. Total Data BI 帶動企業採用多結構化資料倉儲。客戶行為分析、精準行銷、客戶體驗是應用目標；
3. 從新舊系統整合到 End-to-End 解決方案，大部分企業期待廠商能夠完整交付 Big Data 應用與專業技術顧問。「容易」(Ease) 是 Big Data 產品進入企業的關鍵字；
4. 資料探索工具當道，力助 Business User 比 IT 人員更能挖掘 Big Data 的價值。「探索」(Discovery) 是 Big Data 分析的神髓所在 —— 探索關聯、探索意圖、探索缺少什麼；
5. Big Data 教育訓練課程，從以處理技術為主者，快速擴展到資料分析。但均會被含括在「資料科學」大傘下。資料科學家萬中選一，強調專業分工的資料科學團隊，才是實踐資料價值希望之所在。

各項預測說明如下：

1. 首先過河的人，要開始挑戰資料價值的海洋

從 Etu 的市場經驗來看，在 2012 年即導入 Big Data 解決方案的企業客戶，到了 2013 年就有了擴大應用規模的計畫。尤有甚者，是 2013 年 Q1 才導入 Etu Recommender 精準推薦方案的客戶，在 2013 年 Q3 就進行應用規模擴充與應用面向延伸的例子。

這些實際案例，充分說明了首先投入 Hadoop 應用者，隨著資料的持續累積與實證價值，將越用越廣、越用越深。電信、線上/線下零售、數位媒體、高科技製造、政府，確定為率先採用 Hadoop 的行業或組織。

值得注意的是：即使是同一行業，不同的公司，可能會有不同的起始 Big Data 應用類型。

圖 2. 精準推薦越用越深的實例證言

2. Total Data BI 帶動企業採用多結構化資料倉儲

要理解此一預測，必須先清楚三件事：

1. 所謂的「Total Data」，指的是結構化資料、半結構化資料、與非結構化資料或二，或三，綜合運用。
2. 傳統 BI 只取來自 RDB 或 EDW 裡的結構化資料來做分析，Total Data BI，顧名思義，就是匯聚多結構化資料來源後，再加以分析的新時代商業智慧。
3. 縱使資料來源為半結構化或非結構化資料，最終在多結構化資料倉儲的外層，還是必須加以結構化。

要注意的是，雖說接引各種內、外資料的多結構化資料倉儲是建置的標的；但是客戶行為分析、精準行銷、客戶體驗等應用，才是最終的目標。

圖 3. 加入新的資料來源，創新商業智慧的實例證言

3. 從新舊系統整合到 End-to-End 解決方案，大部分企業期待廠商能夠完整交付 Big Data 應用與專業技術顧問

從以 Hadoop Taiwan User Group 為主要受訪對象的《台灣 Hadoop 2013 現狀問卷調查》結果統計，我們發現有超過一半以上的受訪者 (56%) 接觸 Hadoop 的時間短於一年。這樣短的接觸時間，通常代表的是技能尚未熟稔到具有高生產力。

而受訪者也認為所屬組織目前對於 Hadoop 最迫切需求的前 3 名依序是：「最簡單易用的 Hadoop 平台軟體」(48%)、「完整的教育訓練課程」(33%)、「專業的技術顧問服務」(28%) 。

綜合來說，「容易」(Ease) 將是 Big Data 產品進入企業的關鍵字；我們預期 2014 年將會有更多強調容易使用的整合性產品或解決方案出現。

講台語嘛會通的本地 Hadoop Big Data 技術顧問，顯然要比貴蔘蔘飛進來的顧問，更能獲得台灣企業的信賴。

4. 資料探索工具當道，力助 Business User 比 IT 人員更能挖掘 Big Data 的價值

當多結構化巨量資料已經被彙整好，不管是以檔案的形態，還是化做 Hive 資料倉儲的型態被存放在 Hadoop 平台裡，如何能夠讓 Business User 可以有簡單的工具來直接取用，以便做統計、分析、報表、或視覺化呈現，將是企業資料價值從 IT 系統釋放出來的關鍵。

觀察市場上諸多的 BI 或統計分析工具，現在無一不設法要與 Hadoop 平台介接。而建構一個該工具專屬的 Hive Conntector，往往是首先會被完成的資料通道。這一關就是 Total Data BI 的任督二脈，打通了，智慧引擎才有油料可燒，得以運轉。

「探索」(Discovery)，是 Big Data 智慧分析的神髓所在 —— 探索關聯、探索意圖、探索缺少了什麼。將有越來越多 BI 或統計分析產品強調探索 Big Data 的各種價值。而資料視覺化 (Data Visualization)，更是這類資料探索工具討喜的關鍵功能。

5.Big Data 教育訓練課程，從以處理技術為主者，快速擴展到資料分析。但均會被含括在「資料科學」大傘下

再一次強調，企業的 Big Data，其價值主要由非 IT 人員來發揮。這一點，我們可以再度由《台灣 Hadoop 2013 現狀問卷調查》結果來驗證：47% 的受訪者為技術人員、23% 為學術研究人員，包含這 7 成的整體受訪者表示，他們最關心的前 5 大 Big Data 應用 (複選)，依序是線上行為分析 (44%)、精準行銷 (34%)、客戶服務體驗 (34%)、推薦系統 (30%)、多結構化資料倉儲 (29%)。前四者很明顯，都是直接訴之於商務價值提昇的應用，只有第五名，才是跟系統有關的 IT 建設。

從定義問題、資料蒐集、處理、清洗、分析、建模、報表、動態視覺化呈現，到說故事、跨界溝通，這樣 End-to-End 的資料科學 (Data Science) 過程，絕非僅資料科學家 (Data Scientist) 一人之事。資料科學家是萬中選一地少有，強調專業分工的資料科學團隊，才是實踐資料價值希望之所在。

坊間的 Hadoop Big Data 教育訓練課程，目前泰半以技術養成為主，Etu 的「Hadoop 直通學習地圖」，兼及企業全員、行銷者、資料分析者，算是罕見的特例。這個情勢，可望隨著 Open Data 應用的日漸蓬勃，發展過程中養成的資料科學人才，亦可為 Big Data 處理、分析、視覺化所用。

由 SYSTEX/Etu、Code for Tomorrow 共同發起的《台灣生活資料科學團隊養成計畫》(Data Science Program)，目標是要在 3 年內，為台灣培養 300 位資料科學團隊成員。此計畫正在緊鑼密鼓地籌備當中，請隨時關注最新的消息發佈，或為志工、或為講師、或為學員，一起來參與台灣資料科學的發展，共同創造 Big Data、Open Data 的價值。


以上就是筆者對 2014 台灣 Hadoop Big Data 市場的五大趨勢預測說明。如果您有不同的看法，歡迎來信交流：fredchiang [at] gmail.com 。

感謝收看。老話一句：我們明年再來。