華碩IT部門與華碩雲端合作，用華碩雲端平臺（Asus Cloud Platform）與開源Solr技術來分析大量Log資料，採用Log蒐集儲存和解析的Logstash、企業級分析引擎Solr、視覺化報表Kibana，且以開源記憶體式資料庫Redis做為緩衝。（圖片提供╱華碩） 華碩IT部門與華碩雲端合作，用華碩雲端平臺（Asus Cloud Platform）與開源Solr技術來分析大量Log資料。華碩在2014年4月，採用Log蒐集儲存和解析的Logstash、企業級分析引擎Solr，以及提供視覺化報表功能的Kibana，還有用開源記憶體式資料庫Redis做為緩衝，來解決大量的Log資料處理與分析。
華碩IT部門專員李健志表示，因為目前僅是測試Logstash、Solr和Kibana，在這樣的架構下執行的效果，所以目前用3臺伺服器，且3臺伺服器同時兼任Logstash和SolrCloud的工作。不過，李健志建議，如果要提升效能和穩定性，最好把Logstash和SolrCloud的服務拆解至不同的伺服器執行。另外，華碩Solr目前1個月的資料大約500GB，平均每分鐘有30萬個事件，而每天約1億筆資料。
大量資料要能即時分析，才能即時搶救問題 李健志表示，在大量Log資料分析的議題中，面臨一個挑戰，分析Log的工具可以協助用戶執行一個簡單的查詢，但經過11分鐘36秒，還沒有執行結束，執行20多分鐘才結束查詢，且他常聽到華碩負責分析Log的工程師說，通常為了看複雜的Log分析，可能還得安裝別的工具或軟體，才能看到結果。
以往工程師知道防火牆出現問題，若是1小時候再處理，問題可能已經發展得非常嚴重，而處理Log的過程中也曾嘗試使用Hadoop，但Hadoop是批次處理，無法即時處理，遇到需要即時的Log分析時，不可能要負責的員工明天再來看分析結果。
另外，通常判斷Log記錄的情況都是電腦或系統出問題的時候，但Log記錄是一行行的文字，難以閱讀，且當資料量越來越大時，坊間處理Log資料的工具開始無法滿足使用者需求，處理Log資料的問題開始慢慢浮現在日常生活中，並且越來越重要。
李健志表示，如果沒有蒐集Log資料，並且解析，就不會發現一些無形的攻擊，尤其是在防火牆和各裝置的Log分析，對華碩而言，Log資料的分析和處理一直都是非常重要的議題。
坊間工具太昂貴，採用開源軟體自行開發Log分析工具 坊間也有一些不錯的工具，如Splunk提供資料監控功能，例如伺服器、Log的監控等，但是這些都不是免費的工具，且非常昂貴，成本是以千萬臺幣為單位的資料分析軟體，對企業而言要投入重大的成本購買，只為了分析以往會被大家忽略的Log資料，這樣真的值得嗎？
而在2014年4月，國外媒體有一則報導關於Splunk殺手（Splunk Killer），由企業搜尋軟體供應商LucidWorks採用開源軟體搭配，包含Logstash、Solr、Kibana等，開發出一套Splunk Killer，光是價格就比Splunk來得便宜。
閱讀全文 
沒有留言:
張貼留言