2017年2月5日 星期日

10億筆Log分析靠SDACK架構,趨勢3度翻轉資安大數據平臺架構

 
每週 二 出刊.2017.02.07
 
本 期 目 錄 簡介/舊報明細
10億筆Log分析靠SDACK架構,趨勢3度翻轉資安大數據平 ...
數位轉型無所不在,美妝大廠萊雅加入科技創投行列
台北國際電玩展開跑,Google最新AR及VR技術首次展出
蘋果Apple Pay即將登台,首波攜手7家銀行
美國多州擬立法保障消費者電子裝置維俢權利,打 ...

優惠訊息

機器學習助交易下單自動化
行銷!就用中文網址輔助
前進吧!成為更好的自己

新聞 

10億筆Log分析靠SDACK架構,趨勢3度翻轉資安大數據平臺架構

趨勢科技歷經3次架構翻新,才打造出符合資安大數據平臺所需的SDACK架構,具備彈性水平擴充、即時串流分析能力,也能處理大量Log資料。



在2008年時,趨勢科技就已經開始擁抱大數據平臺Hadoop,利用它檢查數十億個網站,檢查其中是否有可疑的惡意程式,他們也發展出自家的Hadoop版本TMH(Trend Micro Hadoop)。但是到了2015年,日益猖狂的APT攻擊,並沒有固定的判斷特徵,趨勢得要從系統每日收集的Log資料中,尋找是否有被滲透的蹤跡。

但若繼續使用Hadoop,儲存分析過程中暴增的的資料量,得讓趨勢付出許多硬體投資成本。單憑人力,更不可能解讀每天數十億的日誌事件,勢必要透過新的大數據平臺,探尋其中的線索。

設計大數據平臺時碰上的4V挑戰

不過,負責設計這個資安大數據平臺時,趨勢科技資深工程師陳煜倫第一個挑戰,就是大數據界俗稱4V的考驗:多樣性(Variety)、資料量(Volume)、資料流(Velocity),以及真實性(Veracity)。

他解釋,此平臺所要分析的Log數據多樣性繁雜,企業內部每個員工的一舉一動,都會在AD伺服器、Proxy代理伺服器中留下Log紀錄。

第2個挑戰則是龐大的資料量,陳煜倫舉例,每日光是單一類型Log資料,就會產生超過10億筆的紀錄。

再者,因應即時串流分析需求,平臺必須具備快速分析、整理資料的能力,否則只會留下堆積如山的未處理數據。最後,資料在流動的過程中,難免因網路傳輸等因素而產生毀損。為了不讓這些異常數據造成分析準確率降低,必須篩選、過濾出具代表性的資料。

大數據平臺得能水平擴充和即時分析

而陳煜倫所設計的平臺,並非一次到位,而是歷經3次架構翻新,才找出目前最合適的SDACK架構。他表示,此大數據平臺除了要具備彈性水平擴充、即時串流分析能力,也要能處理大量Log資料。

第1個版本的大數據平臺,主要由Kafka、Flume以及Spark三大核心元件所組成,利用Kafka及Flume進行資料前置處理,最後則是透過Spark進行資料處理與分析。

陳煜倫解釋,當資料流進入平臺時,第一關會通過Kafka,利用它儲存Log資料,作為緩衝層。他表示,Kafka是一個分散式資料串流平臺,除具備執行即時運算、處理高吞吐量資料的能力,也能根據線上環境需求,水平擴充新的Kafka叢集。此外,Kafka也有提供副本複製(Replica)的功能,增進系統可用性。

下一步,資料則經由Kafka,傳送至Flume,進行ETL處理(Extract-Transform-Load,萃取、轉換及載入)。透過Flume,開發者可以自行設計、實作Log資料的邏輯。而它也提供相容於Kafka的資料傳輸介面,「可以很輕易地從Kafka撈取資料」,在完成資料萃取的處理程序後,Flume則再將資料流導入Kafka,「讓後續分析不需要進行前置處理,藉此增進演算法運算效率。」

而核心演算法則是布建在Spark平臺,「除了具備水平擴充能力,最重要的是,它能同步支援即時串流分析及批次處理。」

另外,Spark也具備方便資料科學家使用的工具,例如,開發者可使用機器學習模組MLib,將演算法實作於Spark之上。而圖像API模組GraphX可用於分析相異類型Log資料間的關係,讓資料科學家判讀各數據的相關性。

最後,系統產生的分析報告,除了儲存在PostgreSQL資料庫中,陳煜倫也透過Node.js搭建的網站入口,提供用戶查詢服務。

 閱讀全文
 
 
數位轉型無所不在,美妝大廠萊雅加入科技創投行列

萊雅進行數位轉型過程,去年5月投資英國新創孵化器Founders Factory,以每年投資5家、成立2家有潛力的美妝科技新創公司為目標,迄今已收到180家新創的申請,完成5家新創投資。



科技快速發展讓不同產業也大手筆強化在科技領域的投資,全球最大化妝品公司萊雅集團(L'Oréal)便決定將觸角伸向科技創投,與創業平台服務商合作成立科技新創孵化器,尋找結合美妝與新科技的下一頭獨角獸。

萊雅集團由三年前從微軟(Microsoft)挖角來曾經負責微軟法國新創投資的Lubomira Rochet擔任該集團數位長(Chief Digital Officer)一職,協助萊雅集團進行數位轉型,並在去年5月投資英國的新創孵化器Founders Factory,目標是每年要投資5家、成立2家有潛力的美妝科技新創公司,該計畫起步至今,萊雅已經收到180家新創的申請,並完成5家新創投資。

萊雅已經選中並投資的標的包括提供個人化、自然護膚線上服務的InsitU、可讓使用者透過手機App設計指甲彩繪後,以特製列印機將設計列印在指甲上的Preemadonna、協助美妝品牌推動社交行銷的Tailify、美妝社群與產品媒合App業者Veleza,以及採用定位資訊來協助零售商推定線上與現下銷售的行銷服務公司Cosmose。

 閱讀全文
 
 
台北國際電玩展開跑,Google最新AR及VR技術首次展出

Google在電玩展中展示了Tango專案中的手機AR技術,並以外星人小遊戲讓民眾體驗,另外,還首次展示搭配Google Pixel手機的Daydream虛擬實境平台,在VR遊戲中過過西部神槍手的癮。



台北國際電玩吸引不少民眾參展、體驗最新電玩作品及技術,不少業者展示了去年就開始發燒的VR(虛擬實境)、AR(擴增實境),Google也首次展示了Tango專案AR技術,以及VR平台Daydream。

此次Google在電玩展設置了大型Google Play攤位,以展示行動程式商店提供的豐富手機遊戲,並提供4款即將推出的遊戲,供參觀民眾現場體驗,此外,Google最新AR擴增實境、VR虛擬實境技術也在現場開放體驗。

在去年相當火紅的精靈寶可夢(Pokémon Go)在國內外掀起了抓寶風潮,不時可見街頭巷尾、公園、商家出現民眾持手機不斷尋找寶可夢的身影,讓一般民眾體驗到AR在遊戲上的應用。

Google同樣展示了AR遊戲體驗,外星人入侵地球,大螢幕畫面上顯示出街頭突然出現外星人的身影。

 閱讀全文
 
 
蘋果Apple Pay即將登台,首波攜手7家銀行

蘋果在台灣官網上預告即將推出Apple Pay,首波將和中信、玉山、台新、渣打、聯邦等國內7家銀行業者合作,未來民眾將能使用iPhone、iPad、Mac、Apple Watch等裝置,透過Apple Pay付款。



蘋果行動支付服務Apple Pay終於即將在國內推出,台灣蘋果官網已預告即將在台灣推出Apple Pay,首波將和中國信託、玉山銀行等7家銀行合作。至於確切的時間點尚未公佈。

首波將和蘋果合作的7家銀行除了中信、玉山外,還有渣打銀行、台新銀行、國泰世華、台北富邦及聯邦銀行。蘋果預告首波僅列出7家銀行,未來還會增加其他合作銀行。用戶可將合作銀行的信用卡,包含聯名信用卡及酬賓卡加入Wallet,購物付款、兌換獎勵。

未來國內民眾可使用iPhone、Apple Watch、iPad及Mac就能以Apple Pay付款,以iPhone 為例,只要將手機靠近感應式讀卡機,手指置於Touch ID就能完成付款,Apple Watch則是輕按兩下側邊的按鈕,將手錶靠近讀卡機即可。

 閱讀全文
 
 
美國多州擬立法保障消費者電子裝置維俢權利,打破業者壟斷維修現況

包括了紐約州、麻薩諸塞州、堪薩斯州、明尼蘇達州及內布拉斯加州等打算修法保障消費者對購買的電子裝置維修權,要求製造商釋出非關商業機密的診斷與維修資訊給第三方。可能迫使蘋果釋出iOS裝置維修資訊。



美國至少有5個州於近日相繼提出新法案,打算保障消費者對於電子裝置的維修權利(Right to Repair),若相關法案通過了,製造商就必須對外提供診斷與維修指南,打破維修服務的壟斷現況。

提出相關法案的州別包括了紐約州、麻薩諸塞州、堪薩斯州、明尼蘇達州及內布拉斯加州等。其中,紐約州在法案中表示 ,此舉將避免消費者被電子裝置製造商壟斷,要求製造商釋出或出售非商業機密的診斷與維修資訊予第三方的維修業者,也必須有明確的合約以闡明消費者對於韌體的所有權。

紐約的參議員認為,目前數位裝置的維修服務都侷限於製造商,由製造商或是所授權的經銷商來提供維修服務,同時要求使用者付費維修,這樣的作法無疑是一種壟斷,可能造成高額的維修費用,若無力負擔維修費用則會帶來大量的電子廢棄物,此一法案將解放數位維修市場的競爭。

 閱讀全文
 
 
微軟聯手劍橋大學與導航廠商Trimble,用HoloLens看建築藍圖

微軟與導航廠商Trimble和劍橋大學合作,推出AR頭戴式裝置HoloLens在建築營造產業的應用,提供建築人員利用HoloLens來自動監控建築進度和自動偵測橋樑損害,以提升建築工程的生產效率。



未來的建築師和工人有望利用擴增實境(AR)頭戴式裝置工作,微軟宣布與導航廠商Trimble和劍橋大學合作,進一步研發AR頭戴式裝置HoloLens在建築營造產業的應用,提供建築工人可以利用HoloLens,來更準確定位建築材料或焊接點,以提升建築工人的生產力。

在這次的合作中,HoloLens提供建築業人員自動監控建築進度工具和自動偵測橋樑損害工具,其中自動監控建築進度工具允許檢查員可以用HoloLens來處理建築實體和數位資訊,解決了建築產業中最耗時、費力,且最容易出錯的工作環節之一。

自動監控建築進度工具提供檢查員能透過HoloLens看到實體建築結構上的視覺化工程資訊,可以直接進行簡易的檢查,以及確認工程進度,並在適當的時候採取修正的行動,不必像過去得要從不同的建築圖和資料庫,來萃取所需的資訊,還得要手寫大量的表格和報告,既費力又費時。

 閱讀全文
CIO面對面 

臺北捷運IT開發力再進化,需求徹底文件化是關鍵第一步

「用對的方法做事才有意義。」這是臺北捷運公司資訊處處長趙孟成最常講的一句話,為了提升北捷自主開發能力,逐步將委外系統收回,改為自辦之外,也徹底落實開發需求文件化,來提高開發團隊的效率

趙孟成 臺北捷運公司資訊處處長


臺北捷運系統,已經是許多人每天的通勤必需品,每天平均運量約200萬人次,比起1996年木柵線通車時的搭乘人次,已經翻了50倍,它更是臺北市大眾運輸發展的最好例證,而掌管著臺北捷運公司內部的資訊處,則是來自毫無資訊背景的趙孟成。

9年多前,趙孟成從車輛處副理的身分轉任資訊處處長,他過去一直以來都屬於線上維修單位,當時的臺北捷運正要逐步將所有業務、系統電腦化。「他們(現場單位)以為,電腦能夠解決任何事情,事實上不然。」憑藉著過去在現場的經驗,再加上深入了解資訊處的難處後,趙孟成特別重視溝通需求。他指出,資訊處的角色,就是一個溝通者、協調者。

尤其資訊處要負責全公司的行政系統開發、個人電腦維護的後勤工作外,還肩負著線上營運電腦,包含號誌電腦、電力電腦以及環控電腦,也因此資訊處是兩者兼備的角色。

在趙孟成的領導之下,資訊處現在擬定了「需求撰寫工作說明書」以及「系統開發工作說明書」,讓各單位可以準確地提出需求,將資源開發在對的地方。而且資訊處更突破自身技術的束縛,打造出總下載量達60萬次的「臺北捷運Go」行動App。

強調契合需求與流程改造,資訊處開發失誤率驟降

趙孟成表示,剛接任時公司正要將現場維修系統電腦化,但是開出需求的單位並沒有意識到這不僅僅只是將表單資料全部放到電腦裡而已,更重要的是,要配合電腦化,想出一套改善現有流程,又可以順暢運作的方式,如此一來將資料電腦化才有意義。

在經過反覆的溝通,最後資訊處採用去蕪存菁的方案,將重要的數據、關乎趨勢分析的資料放入電腦中,剩下龐大的例行表單就採用掃描的方式存入。

「我常在講『Do the right thing.』,用對的方法做事才有意義。一個系統發展最重要的關鍵就是需求要明確。」電腦化這件事,他表示,這是資訊部門要持續溝通的部份,一定要將各部門的開發需求清楚了解,並透過資訊處制定的「需求撰寫工作說明書」,要求公司內部各單位,在需要資訊處的協助時,清楚地描繪出需求。

不管哪個部門都得按照說明書內的範例來寫,列出目前的人工流程與未來開發後的差異會在哪。透過統一的書面表達,不論是新人還是資深的同仁,都可以很快速的進入狀況。之後,資訊處再根據這份書面資料,進行訪談,進一步溝通、確認彼此的需求與狀況,力求契合。這就是趙孟成所強調的,用對的方法做對的事情。

同時,資訊處也要求,各部門提需求時,必須要檢視現有的人工流程以及未來改造後的樣子。「或許有些比較簡單的系統是不需要流程改造,但是像維修管理這樣複雜的系統,要做開發,流程一定要改造。」趙孟成表示,要從最實際的面向去著手,而不是天馬行空的提出需求。

接下來,就是「系統開發工作說明書」上場的時候。一路從系統訪談開始,系統分析、系統設計,到開發完成測試的程序都訂定出來。

「最重要的是,說明書內將開發出來的系統UI做統一的規範。」他表示,公司系統很多,若系統的使用者介面(UI)都長得不一樣,會造成使用上的麻煩。所以,說明書裡清楚規定了Logo擺放的位置、版型、語言、設定功能位置不能差太多。一旦新系統開發出來,同仁都會很熟悉,也能減少在進行新系統訓練時的負擔。

此外,工作說明書內也規定業務部門提出需求後一定要成立工作小組,由業務單位的一級主管親自召開並主持,要將主管需履行的責任也規範進來。

雖然,這樣的方式不見得會讓開發速度加快,但是可以確定的是,準確符合需求的比例提升不少,也就是失誤率大幅驟降。「開發成功後,我再去修改瑕疵的比例,我認為有減少到一半以上。」他說。

 閱讀全文
前期文章 全部歷史文章
出刊日期 出刊主題
2017-01-24 電信業者跨界經營銀行業務,印...
2017-01-17 Fintech雙周報第12期:澳洲新...
2017-01-10 新加坡政府明年起將以虹膜掃瞄...
2017-01-03 HoloLens發明人:AR和VR將成為...
我要訂閱這份報紙 我要取消這份報紙 訂報說明
.本電子報內容由 iThome Online 提供
PChome ePaper 電子報版權所有,關於電子報發送有任何疑問,請聯絡 客服中心
廣告刊登消費者保護兒童網路安全關於PChome徵人
網路家庭版權所有、轉載必究 Copyrightc PChome Online

沒有留言:

張貼留言

您或許對這些文章有興趣: