2015年1月26日 星期一

Open Data 與 Big Data 發展的異同

2015.1.16 筆者隨 Open Data 聯盟、g0v 等民間開放資料社群代表,一起拜會行政院張善政副院長,與蔡玉玲政委、工業局、國發會、科技會報等 Open Data 議題相關官員進行了一場主題性的座談交流。相關資料見此:
在座談會後,雖然有媒體抓取非核心議題,如「政府網站被張副院長狂電」、「拉攏婉君」等下標報導,但無疑地,此一活動,又再一次讓台灣民間與官方的 Open Data Stakeholders 在線下與線上集結。

在座談會中,筆者發言主要著墨在 Open Data vs. Big Data 的議題,限於時間,當場來不及充分討論的,藉此部落文,一併彙整如下:

圖 1. Open Data 與 Big Data 發展的異同

Open Data 與 Big Data 發展的異同

張善政副院長當天提到,Open Data 與 Big Data 是兩個圓圈,中間有交集。這個看法不能說錯,但對於這兩項議題發展的異與同,其實我們可以描繪得更立體一點,如上圖 1. 所示。

我們保留交集的部份,成為以 Data 出發的三層同心圓。另外將不同的部份展開為兩個維度,因為在這裡,Open Data 與 Big Data 將分流討論。前者發展的關鍵是使用上的自由 (Openness),而後者則是強調善用新的技術架構來解決「傳統方法無法解決的 3V 問題:Volume、Velocity、Variety。

2014年12月24日 星期三

2015 台灣 Big Data 市場五大趨勢預測

叮叮噹、叮叮噹......,2014 即將步入尾聲,回顧這一年的 Big Data 相關發展,我們可以這樣總結:「在跨行業的水底持續積蓄能量,在特定的洲際大樓上空爆出更多火花」。Big Data,不只是顯學,它現在已經是企業的必要學。在提出 2015 台灣 Big Data 市場五大趨勢預測之前,筆者就先藉投入這個市場的幾點經驗與感想總結,來做為開場。

圖 1.  Big Data 應用的價值亮點,正在不同領域,開出漂亮的火花
(photo credit: Amir Kbah)

資料是 21 世紀的石油?

在 2010~2013 時談論 Big Data,很多人喜歡用「資料是 21 世紀的石油」來做比喻,但這種類比其實只對了一半。從精鍊產生價值,這部份沒有問題;但從資源的耗損與生成來看,卻完全無法比擬:

石油是「用後即逝」的實體資源,但資料是「用後不滅」,越用累積的價值越高;石油生成的速度很慢 (植物殘骸轉化為石油須歷經一百萬年以上),而根據 IDC 的推估,全世界的資料,每二年就會增加一倍

到了 2014,台灣已經走過 Big Data 的通識教育階段,但在本質的思考上,利益相關者,不妨可以再行深思遠。

Big Data 價值主張

Etu 從 2012 年產品上市以來,即鎖定企業市場,在其中提供特定行業End-to-End Big Data Solution。我們一開始就知道,Big Data 不是人人想要、人人需要,企業市場會由特定的行業發動,從高度客製化的 End-to-End 專案開始買單,直到可重複銷售的方案出現,方得跨越鴻溝,邁入保齡球道

圖 2. Etu 的 Big Data 價值主張

所以,我們堅定地走在 Verticals 與 End-to-End Solution 交疊的路上,持續為擁有資料的客戶 (Data Owner) 服務,協助他們實踐 Big Data 的價值。

2015 年台灣 Big Data 市場五大趨勢預測

以下就是筆者提出的 2015 年台灣 Big Data 市場五大趨勢預測:
  1. 客戶洞察成為所有 B2C 商業的顯學,社群媒體分析是 360° 單一顧客樣貌的新增要素; 
  2. In-memory 分散式運算開源軟體日益成熟,企業的近即時巨量資料應用 (Near Real-time Big Data Application) 成本降低,大大增加「快速偵知與快速反應」實現的可能; 
  3. 物聯網 (IoT) 與巨量資料分析 (BDA) 結合,成就應用的區隔化與細緻化; 
  4. 資料產品 (Data Product) 雲服務化,讓中小企業有機會參與巨量資料的價值應用; 
  5. 資料分析人才需求持續增長,但唯有能結合領域知識者,才能成為箇中翹楚。 
各項預測說明如下:

2014年11月25日 星期二

Strata+Hadoop World 2014 New York 觀察

一美東 (New York City)、一美西 (San Jose);一下半年 (通常是 10 月份)、一上半年 (通常是 6 月份);一 Cloudera + O’Reilly主辦、一 Hortonworks + Yahoo!;一 Hadoop World  (現在擴大為 Strata+Hadoop World)、一 Hadoop Summit,這兩個 Hadoop 界最大的盛會,往往從中,我們可以藉由議程的安排,觀察與感受 Big Data 的趨勢發展、關鍵議題、技術走向、新創公司與產品。

筆者連續四年參與 ──  2011 Hadoop World New York 、2012 Hadoop Summit San Jose2013 Hadoop Summit San Jose2014 Strata+Hadoop World New York,從 2011 年的 1,500 人,到 2014 年超過 5,000 人與會,親身見證了不少事情。

圖 1. Strata+Hadoop World 2014 New York 於 Javits Center 舉行,有超過 5,000 位人員參與

以下幾點是筆者對 Hadoop 與 Big Data 演進至今的觀察:

2014年10月25日 星期六

Check in, Data-driven Enterprise

Etu Solution Day 2014 Workshop 報告:A.《從上而下,從商務到 IT ─ 在實踐中培養企業的 Data-driven DNA》

10 月 8 日 14:00~16:30,這是一段令人愉悅的下午時光,在早上與滿堂的 Etu Solution Day 貴賓一起聆聽多個 Big Data 價值實踐的故事之後,十幾位來自科技、金融、市場資料庫、電信、出版、食品、氣象、資訊服務、政府等行業,包含企業策略、行銷、商品企劃、產品管理、政策研究、電子商務等職務的朋友,一起進行我們籌備已久的《從上而下,從商務到 IT ─ 在實踐中培養企業的 Data-driven DNA》Workshop。

其間除了講師的課程教授、問答互動,還讓學員可以彼此跨界認識與相互交流,現場好不活絡。

以下是 Workshop 進行的簡要流程報告:

1. Check-in
  • 請各位學員自我介紹,彼此認識所屬行業、職務、角色;
  • 確認此 Workshop 的目標:幫助學員交付成功的 Big Data Use Case;
  • 強化學員想要展現 Big Data 價值的信念。
2. Big Data 的時代背景
  • 網路先驅所認知的 Cloud Computing,始於 PaaS (Platform as a Service),而非強調虛擬化的 IaaS (Infrastructure as a Service);
  • PaaS 始於 Big Data Computing;
  • Big Data Computing 始於 Software is King 思維;
  • 資料在地運算;
  • Hadoop 與 Hadoop Ecosystem 的興起;
  • Enterprise 的驚覺;
  • Big Data 的意義,你的跟他的不盡相同。
表 1. Big Data 對企業各角色的意義

2014年9月23日 星期二

Big Data 是「披著科技皮的企業管理」

Etu Solution Day 2014 Workshop 本事:A.《從上而下,從商務到 IT ─ 在實踐中培養企業的 Data-driven DNA》

Big Data 的大用,往往表現在洞察客戶需求、提高客戶滿意度、增加營收、培養差異化競爭優勢、提供新服務等積極面向上。而這些任務,往往是企業中的產品企劃、行銷企劃、企業營運、客戶服務部門的當責,這與
企業 IT 往往被賦予「降低成本、提升營運效能」的目標,範疇明顯不同。

Big Data 議題,是「披著科技皮的企業管理

唯有認清「Big Data 是披著科技皮的企業管理」這個本質事實,企業才能在議題的應對上,有效地規劃資源與運作架構、創造信心以持續精進。

圖 1. Big Data 企業管理要素

人、團隊、資料、Domain、知識、技能、心法、工具,這不只是一個一個的清單項目,其間還存在彼此交互的關係。跨部門、跨功能、有些集中、有些分散。

Big Data 是真真切切的企管議題,做得好,是生財工具,做不好,是營運成本。

看清趨勢本質差異,才能主導議題,應用科技來創造價值

在 Gartner 每年的 CIO Technology Priorities (年度 CIO 科技優先順序) 調查中,Analytics and Business Intelligences (分析與商業智慧) 在最近的三年 (2012~2014) 都是高踞第一名的項目。有趣的是,這個項目在 2008~2009 也是第一名,但中間的 2010~2011,卻掉到第五名去了。

這代表什麼?

2014年8月26日 星期二

資料價值還缺一味,資料科學團隊還缺一位


時間:2014.8.16-17 (Sat-Sun)
地點:高雄醫學大學濟世大樓二樓 CS201 教室
活動:Code for Healthcare (CfH) 工作坊

* 活動緣由請見這裡

Code for Healthcare 工作坊團隊簡報時間:《轉診系統初探》

活動名稱雖冠以「工作坊」,但其實這是一場 Hackathon,它與一般滿聚程式高手、間有 UI 設計者駭客松的不同之處,是參與者除了資料科學團隊中常見的資料處理者 (程式設計師)、資料分析者 (統計、資料探勘專家)、視覺與服務體驗設計師外,還有大半是醫傷、醫管、急救領域的專業人士。所以它不只是一場駭客松,它更是一場充滿領域知識專家 (Domain Expert) 的資料科學駭客松。

來瞧瞧其中一隊的陣容:外傷科醫師 X 4、整形外科主治醫師 X 1、外傷登錄師 X 3、資料科學講師 X 1,他們做的主題是「外傷登錄分析」; 另一隊成員則有來自統計、醫管、醫療資訊、資訊工程、後勤中心、服務設計等背景,他們做的主題是「肺炎轉診分析」。

2014年7月26日 星期六

拆解 IoT 與 IoE,其實他們說的是 Internet of Data ── 聯網皆資料

資通訊熱潮一波波,IoT (Internet of Things,物聯網) 在 2009 年~2011 年間隨著 RFID 議題有過一波的 hype,如今又有再來一波之勢;IoE (Internet of Everything;萬物聯網) 則是 Cisco 在 2013 年開始,嘗試延伸 IoT 的新說法:People、Process、Data、Things 透過綜合性的技術,都通通連起來。這真是擴張價值空間到宇宙無敵大的新語。

圖  1. Internet of Data 才是 Internet of XXX 背後的共同主題

我們可以分三大區塊 ── 終端設備、網路、後端系統來說明 IoT 的內涵。