2014年11月25日 星期二

Strata+Hadoop World 2014 New York 觀察

一美東 (New York City)、一美西 (San Jose);一下半年 (通常是 10 月份)、一上半年 (通常是 6 月份);一 Cloudera + O’Reilly主辦、一 Hortonworks + Yahoo!;一 Hadoop World  (現在擴大為 Strata+Hadoop World)、一 Hadoop Summit,這兩個 Hadoop 界最大的盛會,往往從中,我們可以藉由議程的安排,觀察與感受 Big Data 的趨勢發展、關鍵議題、技術走向、新創公司與產品。

筆者連續四年參與 ──  2011 Hadoop World New York 、2012 Hadoop Summit San Jose2013 Hadoop Summit San Jose2014 Strata+Hadoop World New York,從 2011 年的 1,500 人,到 2014 年超過 5,000 人與會,親身見證了不少事情。

圖 1. Strata+Hadoop World 2014 New York 於 Javits Center 舉行,有超過 5,000 位人員參與

以下幾點是筆者對 Hadoop 與 Big Data 演進至今的觀察:

2014年10月25日 星期六

Check in, Data-driven Enterprise

Etu Solution Day 2014 Workshop 報告:A.《從上而下,從商務到 IT ─ 在實踐中培養企業的 Data-driven DNA》

10 月 8 日 14:00~16:30,這是一段令人愉悅的下午時光,在早上與滿堂的 Etu Solution Day 貴賓一起聆聽多個 Big Data 價值實踐的故事之後,十幾位來自科技、金融、市場資料庫、電信、出版、食品、氣象、資訊服務、政府等行業,包含企業策略、行銷、商品企劃、產品管理、政策研究、電子商務等職務的朋友,一起進行我們籌備已久的《從上而下,從商務到 IT ─ 在實踐中培養企業的 Data-driven DNA》Workshop。

其間除了講師的課程教授、問答互動,還讓學員可以彼此跨界認識與相互交流,現場好不活絡。

以下是 Workshop 進行的簡要流程報告:

1. Check-in
  • 請各位學員自我介紹,彼此認識所屬行業、職務、角色;
  • 確認此 Workshop 的目標:幫助學員交付成功的 Big Data Use Case;
  • 強化學員想要展現 Big Data 價值的信念。
2. Big Data 的時代背景
  • 網路先驅所認知的 Cloud Computing,始於 PaaS (Platform as a Service),而非強調虛擬化的 IaaS (Infrastructure as a Service);
  • PaaS 始於 Big Data Computing;
  • Big Data Computing 始於 Software is King 思維;
  • 資料在地運算;
  • Hadoop 與 Hadoop Ecosystem 的興起;
  • Enterprise 的驚覺;
  • Big Data 的意義,你的跟他的不盡相同。
表 1. Big Data 對企業各角色的意義

2014年9月23日 星期二

Big Data 是「披著科技皮的企業管理」

Etu Solution Day 2014 Workshop 本事:A.《從上而下,從商務到 IT ─ 在實踐中培養企業的 Data-driven DNA》

Big Data 的大用,往往表現在洞察客戶需求、提高客戶滿意度、增加營收、培養差異化競爭優勢、提供新服務等積極面向上。而這些任務,往往是企業中的產品企劃、行銷企劃、企業營運、客戶服務部門的當責,這與
企業 IT 往往被賦予「降低成本、提升營運效能」的目標,範疇明顯不同。

Big Data 議題,是「披著科技皮的企業管理

唯有認清「Big Data 是披著科技皮的企業管理」這個本質事實,企業才能在議題的應對上,有效地規劃資源與運作架構、創造信心以持續精進。

圖 1. Big Data 企業管理要素

人、團隊、資料、Domain、知識、技能、心法、工具,這不只是一個一個的清單項目,其間還存在彼此交互的關係。跨部門、跨功能、有些集中、有些分散。

Big Data 是真真切切的企管議題,做得好,是生財工具,做不好,是營運成本。

看清趨勢本質差異,才能主導議題,應用科技來創造價值

在 Gartner 每年的 CIO Technology Priorities (年度 CIO 科技優先順序) 調查中,Analytics and Business Intelligences (分析與商業智慧) 在最近的三年 (2012~2014) 都是高踞第一名的項目。有趣的是,這個項目在 2008~2009 也是第一名,但中間的 2010~2011,卻掉到第五名去了。

這代表什麼?

2014年8月26日 星期二

資料價值還缺一味,資料科學團隊還缺一位


時間:2014.8.16-17 (Sat-Sun)
地點:高雄醫學大學濟世大樓二樓 CS201 教室
活動:Code for Healthcare (CfH) 工作坊

* 活動緣由請見這裡

Code for Healthcare 工作坊團隊簡報時間:《轉診系統初探》

活動名稱雖冠以「工作坊」,但其實這是一場 Hackathon,它與一般滿聚程式高手、間有 UI 設計者駭客松的不同之處,是參與者除了資料科學團隊中常見的資料處理者 (程式設計師)、資料分析者 (統計、資料探勘專家)、視覺與服務體驗設計師外,還有大半是醫傷、醫管、急救領域的專業人士。所以它不只是一場駭客松,它更是一場充滿領域知識專家 (Domain Expert) 的資料科學駭客松。

來瞧瞧其中一隊的陣容:外傷科醫師 X 4、整形外科主治醫師 X 1、外傷登錄師 X 3、資料科學講師 X 1,他們做的主題是「外傷登錄分析」; 另一隊成員則有來自統計、醫管、醫療資訊、資訊工程、後勤中心、服務設計等背景,他們做的主題是「肺炎轉診分析」。

2014年7月26日 星期六

拆解 IoT 與 IoE,其實他們說的是 Internet of Data ── 聯網皆資料

資通訊熱潮一波波,IoT (Internet of Things,物聯網) 在 2009 年~2011 年間隨著 RFID 議題有過一波的 hype,如今又有再來一波之勢;IoE (Internet of Everything;萬物聯網) 則是 Cisco 在 2013 年開始,嘗試延伸 IoT 的新說法:People、Process、Data、Things 透過綜合性的技術,都通通連起來。這真是擴張價值空間到宇宙無敵大的新語。

圖  1. Internet of Data 才是 Internet of XXX 背後的共同主題

我們可以分三大區塊 ── 終端設備、網路、後端系統來說明 IoT 的內涵。

2014年6月25日 星期三

開放資料價值,勿以小侍大

大數據》(Big Data: a revolution that will transform how we live, work, and think) 作者之一,在牛津大學網路研究所任教的維多.麥爾荀伯格 (Viktor Mayer-Schönberger),再帶來一陣議論 Big Data 之風,連馬總統也能順應潮流,應對說出:「台灣巨量資料,投資不足」的話語。

從一個持續在打造行業別 Big Data 解決方案的業者角度,我們當然樂見中華民國總統,可以從社稷發展、社會整體競爭力整備的角度,以國家領導者的高度,表達對此一議題的憂慮與警示,至少這代表此議題可以列為「策略性話題」。

我們想要追問的是:

「總統怎麼看 Open Data 與 Big Data?」
「投資不足,是指公部門,還是私部門?」
「投資不足,我們知道了。然後呢?」

當然,我們也不認為應該期待馬總統來回答這個問題,畢竟,他還有更重要的事情必須費心答覆。

若要探究 Open Data vs. Big Data,兩者並不在同一個維度上,一個重點在「開放的價值」,一個說的是「如何解決量大、及時、多結構的問題」。Apple to Apple 放在一起比較,意義不大,但相同的重點,都環繞在「Data」上。要如何轉兌資料的價值,則是兩者共通的議題。

資料價值,孰大、孰小?


圖 1. 資料價值的 4 個層次

由個體或群體所在的位置,我們可以將資料價值的層次,區分為個人、商業、社會、國家戰略。對應到價值轉兌所需的資料,我們可以大致歸結如圖 2.:

圖 2. 資料 vs. 價值

2014年5月27日 星期二

當代 Big Data 武林的光明頂 ── Big Data Taiwan 2014

由 Etu 連年籌劃主辦的 Big Data Taiwan 盛會,今年已經來到了第三年,我們可以說,這是一個跟 Etu 同年誕生的活動,瞧瞧這三年的主題:「Big Data Taiwan 2012 - 大數據挖掘大商機」、「Big Data Taiwan 2013 - Crossovers 成長之旅」、「Big Data Taiwan 2014 - 聚生態、顯意圖、兌價值」,您可以一一點進去看每年的議程,細看一下其中的內涵,觀察到什麼樣的變遷了嗎?

圖 1. Big Data Taiwan 2014 以 Converge . Discover . Monetize 為主題

2012 年關鍵字:Hadoop、雲端、行動、分析
2013 年關鍵字:技術、價值、Open Data、Hadoop、社群
2014 年關鍵字:Hadoop、應用、工具

從活動企劃者的角度來看,我們可以觀察到三年時間跨度的變與不變: