飞象网 - 通信人每天必上的网站

首頁|必讀|視頻|專訪|運營|制造|監管|大數據|物聯網|量子|元宇宙|博客|特約記者
手機|互聯網|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動互聯網|會展
首頁 >> 大數據 >> 正文

EMR重磅發布智能運維診斷系統(EMR Doctor)——開源大數據平臺運維利器

2022年9月20日 12:02  CCTIME飛象網  

簡介:E-MapReduce 推出面向開源大數據集群的智能運維診斷系統 E-MapReduce Doctor,有效提升大數據集群運維效率,輔助 EMR 用戶完善集群監控體系。

大數據運維的挑戰—如何保證集群穩定與運行效率

企業級大數據集群通常擁有海量的數據存儲、日常運算成干上萬的計算任務,需要滿足各類上層業務的計算需求。對于這類集群的運維往往充滿著挑戰:海量的數據、龐雜的組件以及組件之間復雜的依賴關系、對于時效要求的的運算任務,都會提升運維難度。作為支撐平臺,大數據集群的穩定性和運行效率,會直接影響到公司業務的正常運作和發展。

集群管理員往往對整體集群做好了監控運維體系,對于大數據集群,簡單的監控運維體系能夠幫助管理員在遇到故障的時候定位問題。但對于整體集群的運行效率,集群的狀態,通過單純的監控指標很難給出一個全面的解答。

對于大數據集群,管理員以及 CIO 等更關注以下的內容:

● 集群內的節點的運行狀態和資源使用狀況;

● 運行在集群上的服務組件的狀態監控和異常處理,包括 YARN、HDFS、Hive 和 Spark 等;

● 計算任務運行情況和執行效率;

● 整體集群的健康程度和如何改進。

面對運維挑戰,EMR重磅推出:智能運維診斷系統(EMR Doctor)

為了提升大數據集群運維效率,輔助 EMR 用戶完善集群監控體系。E-MapReduce 推出面向開源大數據集群的智能運維診斷系統 E-MapReduce Doctor(簡稱EMR Doctor)。 EMR Doctor 作為開源大數據集群的管家,會自動每日巡檢集群。集群管理員只需要定期查看健康檢查報告,并且根據報告中的建議對集群做相應的優化調整,即可全局了解集群的健康狀況和動態走勢,并保持集群的健康度。

如何使用 EMR Doctor

進入 EMR 控制臺健康檢查頁面。

 登錄 EMR on ECS 控制臺。

 在頂部菜單欄處,根據實際情況選擇地域和資源組。

 在集群管理頁面,單擊目標集群的集群ID。

 單擊上方的健康檢查頁簽。

在健康檢查頁面,您可以看到當前集群的健康檢查報告(T+1)。健康狀態列顯示了該集群的健康度,您可以點擊查看報告進入檢查報告頁面。

健康檢查報告中包含集群計算資源的總體分析

健康檢查報告中包含計算任務從各個維度的排名并給出任務調優建議

健康檢查報告中包含對集群存儲的總體分析,以及大小文件和冷熱數據的詳細分析

健康檢查報告主要分析內容如下,更詳細說明請參見查看健康檢查狀態和報告

計算資源分析

概述

狀態概述

需要關注的問題

計算基礎信息

集群計算評分

集群算力內存時

集群算力CPU時

計算引擎內存算力時

計算任務信息

計算任務算力內存時分析

計算任務評分排行榜

Spark

Spark任務算力分析及調優建議

Tez

Tez任務算力分析及調優建議

MapReduce

MapReduce任務算力分析及調優建議

HDFS存儲資源分析

(需開啟存儲資源信息采集開關)

概述

狀態概述

需要關注的問題

HDFS基礎信息

HDFS存儲資源使用趨勢

文件總數隨時間變化趨勢

評分趨勢

HDFS文件大小分布

HDFS文件大小比例

一級目錄空文件個數Top10

一級目錄極小文件個數Top10

一級目錄小文件個數Top10

一級目錄中等文件個數Top10

一級目錄大文件個數Top10

HDFS冷熱數據分布

HDFS冷熱數據

一級目錄極冷數據大小Top10

一級目錄冷數據大小Top10

一級目錄溫數據大小Top10

一級目錄熱數據大小Top10

HIVE存儲資源分析

(需開啟存儲資源信息采集開關)

概述

狀態概述

需要關注的問題

Hive基礎信息

存儲趨勢

文件數量趨勢

評分趨勢

Hive庫信息

庫存儲排名

庫文件總數排名

庫評分

Hive表文件大小分布

Hive表文件大小分布比例

Hive表空文件個數Top10

Hive表極小文件個數Top10

Hive表小文件個數Top10

Hive中等文件個數Top10

Hive大文件個數Top10

Hive冷熱數據分布

Hive冷熱數據分布

Hive表極冷數據大小Top10

Hive表冷數據大小Top10

Hive表溫數據大小Top10

Hive表熱數據大小Top10

Hive表存儲格式分布

Hive表存儲格式分布

Hive表TextFile/Parquet/ORC格式文件分析

編 輯:T01
聲明:刊載本文目的在于傳播更多行業信息,本站只提供參考并不構成任何投資及應用建議。如網站內容涉及作品版權和其它問題,請在30日內與本網聯系,我們將在第一時間刪除內容。本站聯系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關新聞              
 
人物
工信部張云明:大部分國家新劃分了中頻段6G頻譜資源
精彩專題
專題丨“汛”速出動 共筑信息保障堤壩
2023MWC上海世界移動通信大會
中國5G商用四周年
2023年中國國際信息通信展覽會
CCTIME推薦
關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網 CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業務經營許可證080234號 京公網安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經書面許可,禁止轉載、摘編、復制、鏡像
主站蜘蛛池模板: CNC机加工-数控加工-精密零件加工-ISO认证厂家-鑫创盟 | PE一体化污水处理设备_地埋式生活污水净化槽定制厂家-岩康塑业 | 成都中天自动化控制技术有限公司 | 磁力抛光研磨机_超声波清洗机厂家_去毛刺设备-中锐达数控 | 陶瓷砂磨机,盘式砂磨机,棒销式砂磨机-无锡市少宏粉体科技有限公司 | 蒸汽吸附分析仪-进口水分活度仪|康宝百科 | 建筑资质代办-建筑企业资质代办机构-建筑资质代办公司 | 全自动包衣机-无菌分装隔离器-浙江迦南科技股份有限公司 | 阳光模拟试验箱_高低温试验箱_高低温冲击试验箱_快速温变试验箱|东莞市赛思检测设备有限公司 | 镀锌方管,无缝方管,伸缩套管,方矩管_山东重鑫致胜金属制品有限公司 | 板框压滤机-隔膜压滤机-厢式压滤机生产厂家-禹州市君工机械设备有限公司 | 临时厕所租赁_玻璃钢厕所租赁_蹲式|坐式厕所出租-北京慧海通 | 土壤有机碳消解器-石油|表层油类分析采水器-青岛溯源环保设备有限公司 | 液氮罐(生物液氮罐)百科-无锡爱思科 | 南京试剂|化学试剂|分析试剂|实验试剂|cas号查询-专业60年试剂销售企业 | 不锈钢酒柜|恒温酒柜|酒柜定制|酒窖定制-上海啸瑞实业有限公司 | 超声波清洗机_细胞破碎仪_实验室超声仪器_恒温水浴-广东洁盟深那仪器 | 天助网 - 中小企业全网推广平台_生态整合营销知名服务商_天助网采购优选 | 防爆电机_ybx3系列电机_河南省南洋防爆电机有限公司 | 深圳市东信高科自动化设备有限公司 | 行星搅拌机,双行星搅拌机,动力混合机,无锡米克斯行星搅拌机生产厂家 | 鹤壁创新仪器公司-全自动量热仪,定硫仪,煤炭测硫仪,灰熔点测定仪,快速自动测氢仪,工业分析仪,煤质化验仪器 | 一体化隔油提升设备-餐饮油水分离器-餐厨垃圾处理设备-隔油池-盐城金球环保产业发展有限公司 | 地磅-电子地磅维修-电子吊秤-汽车衡-无人值守系统-公路治超-鹰牌衡器 | 布袋式除尘器|木工除尘器|螺旋输送机|斗式提升机|刮板输送机|除尘器配件-泊头市德佳环保设备 | LED太阳能中国结|发光红灯笼|灯杆造型灯|节日灯|太阳能灯笼|LED路灯杆装饰造型灯-北京中海轩光电 | 圣才学习网-考研考证学习平台,提供万种考研考证电子书、题库、视频课程等考试资料 | 硫化罐_蒸汽硫化罐_大型硫化罐-山东鑫泰鑫智能装备有限公司 | 污水处理设备,一体化泵站,一体化净水设备-「梦之洁环保设备厂家」 | 小型铜米机-干式铜米机-杂线全自动铜米机-河南鑫世昌机械制造有限公司 | 今日娱乐圈——影视剧集_八卦娱乐_明星八卦_最新娱乐八卦新闻 | 打包箱房_集成房屋-山东佳一集成房屋有限公司| 过滤器_自清洗过滤器_气体过滤器_苏州华凯过滤技术有限公司 | 2025第九届世界无人机大会 | 石膏基自流平砂浆厂家-高强石膏基保温隔声自流平-轻质抹灰石膏粉砂浆批发-永康市汇利建设有限公司 | 月嫂_保姆_育婴_催乳_母婴护理_产后康复_养老护理-吉祥到家家政 硫酸亚铁-聚合硫酸铁-除氟除磷剂-复合碳源-污水处理药剂厂家—长隆科技 | 扬子叉车厂家_升降平台_电动搬运车|堆高车-扬子仓储叉车官网 | 传爱自考网_传爱自学考试网| 「钾冰晶石」氟铝酸钾_冰晶石_氟铝酸钠「价格用途」-亚铝氟化物厂家 | 湖南长沙商标注册专利申请,长沙公司注册代理记账首选美创! | 航空连接器,航空插头,航空插座,航空接插件,航插_深圳鸿万科 |