2015年5月24日 星期日

企業資料經濟第三講:打造一個具生態觀的資料產品團隊,給 Data Team Lead

我們在《企業資料經濟第一講:打造企業的資料價值平台,給 CxO》的結論中指出:Big Data 是企業管理議題,需要具經營高度的策略來思考與妥善料理。

企業管理議題不能僅用硬的 KPI 數字來表達,更重要的是要靠「生態」來解,而這個生態的建構與運作,我們可以從資料產品團隊 (Data Product Team,或簡稱 Data Team) 談起。

什麼是資料產品團隊?

筆者曾在《一位產品經理對 Open Data 的幾點思考》 中述及,最能夠發揮資料價值的載體,應該就是以資料為原料的應用產品或服務了,所以我們以「資料產品」(Data Product) 來概括這些因資料而生的產品或服務。而打造供企業內部或外部使用的資料產品者,通常不是一個個人,而是一個團隊,是為資料產品團隊。
圖 1. 資料產品團隊 > 資料科學團隊

2015年4月26日 星期日

企業資料經濟第二講:為企業打造一座生態豐富的 Data Lake,給 Data Team

2015 上半年,缺水,在台灣各地成為民生的熱議問題。議論缺水問題,免不得要談到水庫。水庫是一個儲水、養水的容積物,它的建構,可以是天然形成,或是人工打造的湖泊。

湖水的補充來源,可以是來自天上的雨水,或是周邊匯集注入的溪江河。除了水資源本身,一座湖很重要的價值,還來自它所涵養的生態系統:各類大小魚群、浮游生物、悠遊鴨鵝、湖中水草、湖邊林木、湖上翱翔的鳥群……展現豐富的生物多樣性與關聯旺盛的生命力。

在多結構化 Big Data 的環境下,Data Team 需要打造的,即是相同概念的企業資料湖 ── Enterprise Data Lake,它匯集與涵養各種的內外部資料,時間跨度更長,內容更接近原始型態,讓 Data Team 成員可以潛入、探索、實驗各種的資料產品。

圖 1. Enterprise Data Lake,現代企業必備的 Data Infrastructure 
(「賽里木湖日出」by fred chiang)

水是湖的基本組成,資料是資料湖的基本組成;而資料的源頭,可以是來自以下的資料批次轉入,或是資料流即時串接:

2015年3月23日 星期一

Etu 生日快樂 ─ 從少到青

Etu 3 歲了,藍衣人生日快樂。

一年嬰、兩年幼、三年少 、四年青、五年壯」,這是我們對 Etu 從一個品牌蛻變成一家公司的期待與實踐。藍衣人團隊正在一起 Starting Up 一家有顯著價值的 Big Data 公司。

圖 1. Etu 3 歲生日快樂 (@藍衣人為愛而跑公益運動會)

未來的可能很多,但我們堅定相信的有幾個。

2015年2月22日 星期日

企業資料經濟第一講:打造企業的資料價值平台,給 CxO

羊年開春,計畫撰寫一系列的「企業資料經濟」三講,分別是:
  1. 第一講給 CxO,對企業高層全面性地說明資料平台的價值領域與構成支柱,並提醒如何避免失敗、提高成功的機率;可視為策略篇。
  2. 第二講給 Data Team,對處理與分析資料的團隊說明企業資料平台的建構方式,與給出實用的 Use Cases;可視為實務篇。
  3. 第三講給 Data Team Lead,對領導者說明資料產品團隊的建構與其生態發展;可視為團隊篇。
廢話不多說,就讓我們直接進入第一講:《打造企業的資料價值平台》吧。

為何第一講要請 CxO 來聽?

因為如果 CxO 沒有認知到自己是企業資料經濟的 Key Stakeholder (關鍵利益相關人),或是因為不知道而漏掉策略環節重點,那麼企業縱使坐擁資料金礦,還是很有可能無法發揮它們的價值。某些應用場景,甚至必須由 CEO 來協調跨 CxO、跨部門的端到端 (End-to-End) 流程。

根據 Infochimps 這家 Big Data 雲服務公司的《CIOs & Big Data》報告指出:企業的 Big Data 專案失敗率高達 55%,而一般的 IT 專案,失敗率僅為 25%。

圖 1. Big Data 專案的失敗/成功率
圖 2. 一般 IT 專案的失敗/成功率

這 30% 的失敗差異來自哪裡?主要有兩點:

2015年1月26日 星期一

Open Data 與 Big Data 發展的異同

2015.1.16 筆者隨 Open Data 聯盟、g0v 等民間開放資料社群代表,一起拜會行政院張善政副院長,與蔡玉玲政委、工業局、國發會、科技會報等 Open Data 議題相關官員進行了一場主題性的座談交流。相關資料見此:
在座談會後,雖然有媒體抓取非核心議題,如「政府網站被張副院長狂電」、「拉攏婉君」等下標報導,但無疑地,此一活動,又再一次讓台灣民間與官方的 Open Data Stakeholders 在線下與線上集結。

在座談會中,筆者發言主要著墨在 Open Data vs. Big Data 的議題,限於時間,當場來不及充分討論的,藉此部落文,一併彙整如下:

圖 1. Open Data 與 Big Data 發展的異同

Open Data 與 Big Data 發展的異同

張善政副院長當天提到,Open Data 與 Big Data 是兩個圓圈,中間有交集。這個看法不能說錯,但對於這兩項議題發展的異與同,其實我們可以描繪得更立體一點,如上圖 1. 所示。

我們保留交集的部份,成為以 Data 出發的三層同心圓。另外將不同的部份展開為兩個維度,因為在這裡,Open Data 與 Big Data 將分流討論。前者發展的關鍵是使用上的自由 (Openness),而後者則是強調善用新的技術架構來解決「傳統方法無法解決的 3V 問題:Volume、Velocity、Variety。

2014年12月24日 星期三

2015 台灣 Big Data 市場五大趨勢預測

叮叮噹、叮叮噹......,2014 即將步入尾聲,回顧這一年的 Big Data 相關發展,我們可以這樣總結:「在跨行業的水底持續積蓄能量,在特定的洲際大樓上空爆出更多火花」。Big Data,不只是顯學,它現在已經是企業的必要學。在提出 2015 台灣 Big Data 市場五大趨勢預測之前,筆者就先藉投入這個市場的幾點經驗與感想總結,來做為開場。

圖 1.  Big Data 應用的價值亮點,正在不同領域,開出漂亮的火花
(photo credit: Amir Kbah)

資料是 21 世紀的石油?

在 2010~2013 時談論 Big Data,很多人喜歡用「資料是 21 世紀的石油」來做比喻,但這種類比其實只對了一半。從精鍊產生價值,這部份沒有問題;但從資源的耗損與生成來看,卻完全無法比擬:

石油是「用後即逝」的實體資源,但資料是「用後不滅」,越用累積的價值越高;石油生成的速度很慢 (植物殘骸轉化為石油須歷經一百萬年以上),而根據 IDC 的推估,全世界的資料,每二年就會增加一倍

到了 2014,台灣已經走過 Big Data 的通識教育階段,但在本質的思考上,利益相關者,不妨可以再行深思遠。

Big Data 價值主張

Etu 從 2012 年產品上市以來,即鎖定企業市場,在其中提供特定行業End-to-End Big Data Solution。我們一開始就知道,Big Data 不是人人想要、人人需要,企業市場會由特定的行業發動,從高度客製化的 End-to-End 專案開始買單,直到可重複銷售的方案出現,方得跨越鴻溝,邁入保齡球道

圖 2. Etu 的 Big Data 價值主張

所以,我們堅定地走在 Verticals 與 End-to-End Solution 交疊的路上,持續為擁有資料的客戶 (Data Owner) 服務,協助他們實踐 Big Data 的價值。

2015 年台灣 Big Data 市場五大趨勢預測

以下就是筆者提出的 2015 年台灣 Big Data 市場五大趨勢預測:
  1. 客戶洞察成為所有 B2C 商業的顯學,社群媒體分析是 360° 單一顧客樣貌的新增要素; 
  2. In-memory 分散式運算開源軟體日益成熟,企業的近即時巨量資料應用 (Near Real-time Big Data Application) 成本降低,大大增加「快速偵知與快速反應」實現的可能; 
  3. 物聯網 (IoT) 與巨量資料分析 (BDA) 結合,成就應用的區隔化與細緻化; 
  4. 資料產品 (Data Product) 雲服務化,讓中小企業有機會參與巨量資料的價值應用; 
  5. 資料分析人才需求持續增長,但唯有能結合領域知識者,才能成為箇中翹楚。 
各項預測說明如下:

2014年11月25日 星期二

Strata+Hadoop World 2014 New York 觀察

一美東 (New York City)、一美西 (San Jose);一下半年 (通常是 10 月份)、一上半年 (通常是 6 月份);一 Cloudera + O’Reilly主辦、一 Hortonworks + Yahoo!;一 Hadoop World  (現在擴大為 Strata+Hadoop World)、一 Hadoop Summit,這兩個 Hadoop 界最大的盛會,往往從中,我們可以藉由議程的安排,觀察與感受 Big Data 的趨勢發展、關鍵議題、技術走向、新創公司與產品。

筆者連續四年參與 ──  2011 Hadoop World New York 、2012 Hadoop Summit San Jose2013 Hadoop Summit San Jose2014 Strata+Hadoop World New York,從 2011 年的 1,500 人,到 2014 年超過 5,000 人與會,親身見證了不少事情。

圖 1. Strata+Hadoop World 2014 New York 於 Javits Center 舉行,有超過 5,000 位人員參與

以下幾點是筆者對 Hadoop 與 Big Data 演進至今的觀察: