【杭州網(wǎng)站設(shè)計】MapReduce將會成為服務(wù)器的新朋友
分享 2011.06.28 瀏覽次數(shù)：10763次
在未來，當管理員搭建服務(wù)器的時候，他很可能會給服務(wù)器集群、數(shù)據(jù)庫、中間件軟件裝上MapReduce。
加州大學圣地亞哥分校研究員Dionysios Logothetis在日前舉行的Usenix年度會議上表示，MapReduce可以在服務(wù)器上直接被用來分析日志數(shù)據(jù)，無需在各個集群上單獨分析，也可以大幅縮短分析數(shù)據(jù)的時間。
MapReduce結(jié)構(gòu)
利用該方法，“數(shù)據(jù)分析可以從專業(yè)集群上轉(zhuǎn)移到日志服務(wù)器上，從而避免昂貴的數(shù)據(jù)遷移成本支出”，Logothetis表示。MapReduce首先是由谷歌公司推出來的，它越來越多地被用來分析跨服務(wù)器和節(jié)點的大規(guī)模數(shù)據(jù)。目前，它主要擔當Hadoop數(shù)據(jù)處理平臺的一個組成部分。
雖然MapReduce大部分都使用在專業(yè)集群上，但研究人士表示分析軟件的框架版本也可以成為網(wǎng)絡(luò)服務(wù)器的一部分。當前商業(yè)網(wǎng)頁關(guān)于用戶的詳細日志信息，可以為廣告定位、網(wǎng)站安全監(jiān)控和調(diào)試提供數(shù)據(jù)支持。
根據(jù)統(tǒng)計，為繁忙的電子商務(wù)網(wǎng)站提供服務(wù)的單個服務(wù)器，在每秒鐘時間內(nèi)能生成1MB至10MB有價值的日志數(shù)據(jù)。而在一天之內(nèi)，它可以生成幾十兆兆字節(jié)有價值的數(shù)據(jù)量。平均而言，1000臺這樣的服務(wù)器在一天之內(nèi)能生成86TB容量的數(shù)據(jù)信息。比如著名的社交網(wǎng)站Facebook一天所產(chǎn)生的數(shù)據(jù)量為100TB。
通常來說，大型公司比如Facebook這樣的站點都會收集不同服務(wù)器上的數(shù)據(jù)，然后載入到Hadoop集群并使用 MapReduce分析其結(jié)果。
MapReduce實例
以往“先存儲后查詢”的方法具有諸多弊端。傳輸不同服務(wù)器上的數(shù)據(jù)會耗費大量的帶寬資源，對網(wǎng)絡(luò)構(gòu)成巨大壓力。在進行數(shù)據(jù)分析之前，F(xiàn)acebook會丟棄80％的日志數(shù)據(jù)。通過使用這種新技術(shù)，這些數(shù)據(jù)就無需再進行傳輸了，更不會發(fā)生數(shù)據(jù)丟失的嚴重問題。
MapReduce在未來的服務(wù)器上可能將會成為一種標準配備，它將對數(shù)據(jù)進行分析并將分析后的結(jié)果傳達給中央數(shù)據(jù)采集點。研究人士將這一方法稱之為“in-situ MapReduce (iMR)”。
iMR旨在補充而不是取代傳統(tǒng)的集群架構(gòu)，它是為了完成分布式存儲系統(tǒng)中的日志數(shù)據(jù)和其他數(shù)據(jù)后續(xù)分析。作為一項程序，iMR能復制所有的MapReduce APIs，并執(zhí)行MapReduce相類似的功能、對過濾的數(shù)據(jù)進行命名并匯集分析結(jié)果 。不同之處在于，它能基于最新數(shù)據(jù)的基礎(chǔ)上持續(xù)進行分析。
目前，研究員已經(jīng)創(chuàng)建了一個iMR原型，通過iMR用戶可以指定需要分析處理的數(shù)據(jù)范圍，比如過去60秒鐘收集的所有信息。此外，用戶還可以設(shè)定多久提交一次分析結(jié)果并進行傳送，比如可以指定每15秒鐘分析一次等。
Logothetis表示，網(wǎng)絡(luò)服務(wù)器可能花費絕大多數(shù)資源在他們本應(yīng)進行的工作上，被稱為給用戶提供服務(wù)。但是iMR可以利用剩下的循環(huán)處理日志數(shù)據(jù)。
據(jù)悉，研究員為此專門制定了一個計劃以建立處理速度和結(jié)果完整性之間的平衡，如果需要更快地獲得結(jié)果，那么每個服務(wù)器可以忽略掉一些很耗費時間的數(shù)據(jù)，從何得到一個不那么完全，但仍是有意義的結(jié)果。而如果想得到一個全面的分析，則需要很長的時間和很大的服務(wù)器資源去完成。
當然，一個只運行少量服務(wù)器的組織可能不會從iMR中受益。但是大的運營商，例如搜索引擎，社交網(wǎng)絡(luò)和電子商務(wù)網(wǎng)站將會體驗到iMR的價值。
原文鏈接
杭州網(wǎng)站設(shè)計公司 杭州網(wǎng)站建設(shè)公司 杭州網(wǎng)站制作公司 杭州網(wǎng)站設(shè)計 杭州網(wǎng)站建設(shè) 杭州網(wǎng)站制作 杭州精品網(wǎng)站制作 杭州精典網(wǎng)站制作
-
杭州網(wǎng)站建設(shè)：醫(yī)院網(wǎng)站設(shè)計中的“學習與執(zhí)行”
日期：2025-06-10瀏覽次數(shù)：2134次
-
杭州網(wǎng)站制作公司：大型企業(yè)網(wǎng)站建設(shè)的核心要素與實踐
日期：2025-06-10瀏覽次數(shù)：2060次
-
杭州網(wǎng)站設(shè)計：醫(yī)院網(wǎng)站建設(shè)的主要內(nèi)容與前景展望
日期：2025-06-10瀏覽次數(shù)：2096次
-
杭州網(wǎng)站建設(shè)：傳統(tǒng)企業(yè)網(wǎng)站面臨的挑戰(zhàn)與變革
日期：2025-05-16瀏覽次數(shù)：4839次
-
杭州品牌網(wǎng)站開發(fā)：建設(shè)與后期維護的雙重策略
日期：2025-05-16瀏覽次數(shù)：4849次
相關(guān)新聞
整合同類新聞，相關(guān)新聞一手掌握
-
廣告類APP開發(fā)
日期：2021-03-09瀏覽次數(shù)：5582次
-
廣告類APP開發(fā)
日期：2021-03-08瀏覽次數(shù)：5633次
最新新聞
與互聯(lián)網(wǎng)同行，實時掌握網(wǎng)建行業(yè)最新動態(tài)
-
為什么說政府開發(fā)的軟件Bug最多？
日期：2012-03-16瀏覽次數(shù)：13783次
-
模板網(wǎng)站,套餐網(wǎng)站,定制網(wǎng)站有什么區(qū)別
日期：2016-11-01瀏覽次數(shù)：8784次
-
如何進行營銷型三明網(wǎng)站建設(shè)？
日期：2020-09-30瀏覽次數(shù)：5729次
-
杭州網(wǎng)站建設(shè)如何既實用又漂亮？
日期：2021-12-23瀏覽次數(shù)：7326次
-
杭州集團網(wǎng)站建設(shè)，如何建設(shè)廣大用戶喜愛的高端網(wǎng)站
日期：2023-01-30瀏覽次數(shù)：6364次
隨機新聞
新聞新動態(tài)，您需要的新聞管家
洞悉市場趨勢演變讓傳播回歸社會
免費獲取網(wǎng)站建設(shè)與網(wǎng)絡(luò)推廣方案報價
-
關(guān)于我們
杭州帷拓科技有限公司，是一家新型的全案網(wǎng)絡(luò)開發(fā)公司，作為以互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網(wǎng)絡(luò)技術(shù)服務(wù)供應(yīng)商，帷拓科技致力于全面分析市場環(huán)境、衡量與預(yù)測市場需求、整合區(qū)別于行業(yè)競爭對手的絕對優(yōu)勢，結(jié)合品牌理念深度挖掘項目優(yōu)勢和產(chǎn)品價值，提升客戶品牌認知、認可度。
-
我們的客戶
帷拓科技歷經(jīng)十年沉淀，與國內(nèi)外上千家客戶達成合作關(guān)系，其中穩(wěn)定合作的公司有：浙江華為、浙江移動、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學校、健康中國杭州峰會、科雷機電等，帷拓科技始終堅持“帷有專業(yè)，才能拓展無限”的服務(wù)理念，堅持“認真堅持細節(jié)”的優(yōu)質(zhì)服務(wù)理念，不斷完善自身，成就企業(yè)，最終實現(xiàn)共贏。
-
我們的業(yè)務(wù)
帷拓科技主營業(yè)務(wù)范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)、商城網(wǎng)站建設(shè)、公眾號運營以及數(shù)字營銷等，涵蓋了服務(wù)、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè)，根據(jù)品牌現(xiàn)狀，為每個客戶量身定制項目整體服務(wù)方案，以敏銳的市場洞察力、創(chuàng)新的市場策劃能力，全面把握市場變化，為客戶實現(xiàn)從企業(yè)到消費者的價值轉(zhuǎn)換。
