網協闡述海量數據

紐英崙中華資訊網路協會(NECINA)上週末在全是福市瑞迪森酒店召開「海量數據」會議。主講人方格南(Jeff Fagnan)直指現代社會的資訊爆炸，已在企業界帶起重新洗牌效應，誰能有效的收集、處理、應用海量數據，誰就能成為業界贏家。這一領域面對的另一挑戰是招募、培養足夠數量的數學人才。

出席會議的贊助商代表，諾基亞的鄔濤，EMC綠莓公司戶外技術長George Radford、旅遊顧問公司(Trip Advisor)資深主任Don O'Neill，當天都在會中表示公司正招聘數據領域人才，反證在經濟不景，各界裁員之中，新興科技領域的欣欣向榮。

紐英崙中華資訊網路協會指出，近年來，社會中的數據、信息量大增，每60秒內，谷歌得完成70萬次搜索，Flicker收到6600多幅照片，Youtube收到長達25小時以上的600多個視頻，臉書(Facebook)有70萬用戶更新帳戶，發出50多萬條用戶評論，1億七千萬電子郵件，推特(Twitter)送出9萬8千多條短信，Craigslist出現1200多條新廣告。無論是個人或企業，面對這樣的信息量，這麼多元化的數據形式，都無法不感受到現實挑戰。

網協在十月十五日時，特地以「海量數據技術研討會」，邀來Atlas風險投資專家方格南(Jeff Fagnan)，以及剛被惠普(HP)公司併購的Vertica公司、數據儲存巨頭EMC、在中國稱為「到到網」的Trip Advisor公司，Visible Measure公司等的副總裁，總工程師等，分別介紹各自公司的海量數據領域投資、技術創新，以及他們對整個市場的分析與展望。

有著極豐富風投經驗，以資助極早期創業者為重心的Atlas公司科技組合夥人方格南在會中指出，他本人熱愛數學，踏入海量數據領域是個意外，最近積極投注心力於水平架構(horizontal infrastructure)。

方格南指出，如今的社會，每天都有2.5個五萬億字節(quintillion bytes)的資訊在流通，無論是數量、速度、品種、變異之繁多，對人或企業都造成非常大的挑戰。在數據不視覺化，就有如亂碼，數據不做分析、計算，就沒有意義的基礎上，近年來在零售業、供應鍊、防治犯罪、電力、交通等方面，都有應用海量數據的成功案例。

至於為什麼現在談海量數據，一部份原因是市場上出現了Hadoop MapReduce、NoSQL、MPP、以流量為基礎的處理(Stream-based processing)，以雲端技術為基礎的儲存(Cloud based storage)，也有即時的社交媒體，例如每個月有240億的推特傳送，儲存、處理、頻寬都有了更廉宜的辦法，商業營運的方式開始大不相同等。

方格南表示，在這種社會、科技發展下，人們未來得關注的是隨時隨地都有即時資訊，各種資訊都含計算在內，個人隱私、身份及安全，都必須重新考量。

      方格南表示，Atlas 風投的數據堆是以架構為底，數據為體，市場為導向。他介紹了Atlas公司投資的一些公司，包括使用麻省理工學院航空工程實驗室為處理大量數據來做決定這技術的智慧網上廣告買家DataXu，使用網際網路來獲取不斷更新資訊的，以做暫時及可預測分析的Recorded Future，把來自不同地方的各種抽象、分散的資訊及數據整合起來，分析成為中小公司可據以行動，做投資理論參考資料的Insight Wquared，彌補起旅遊搜索引擎中很多斷裂點的Hopper公司等。

當天的其他講者及講題，還包括惠普公司Vertica的工程副總裁Shilpa Lawande談「海量數據分析的剖析」，旅遊顧問公司(Trip Advisor)資深主任Don O'Neill談該公司的數據倉庫平台，EMC綠莓公司戶外技術長George Radford談數據科學及分析，Visible Measures的首習建築師Christopher Gillet談海量數據堆科技的衍變。

查詢網協詳情，可洽會長沈心焯sean.shen@necina.org，或www.necina.org。

圖片說明：

      紐英崙中華資訊網路協會會長沈心焯(右)和主講者Atlas風險投資公司合夥人方格南(Jeff Fagnan)。(菊子攝)

            紐英崙中華資訊網路協會會長沈心焯(右三)和演講者，以及會內幹部。(圖由網協提供)

            網協的海量數據研討會出席者眾。(圖由網協提供)