TeraSort 之 Metrics
基本 CountersFile System Counters FILE:Number of bytes read460639246FILE:Number of bytes written461201571FILE:Number of read operations0FILE:Number of large read operations0FILE:Number of write operations0HDFS:Number of bytes read1048576122HDFS:Number of bytes written1048576000HDFS:Number of read operations8HDFS:Number of large read operations0HDFS:Number of write operations2HDFS:Number of bytes read erasure-coded0Job Counters Launched map tasks1Launched reduce tasks1Data-local map tasks1Total time spent by all maps in occupiedslots(ms)27102Total time spent by all reduces in occupiedslots(ms)7534Total time spent by all maptasks(ms)13551Total time spent by all reducetasks(ms)7534Total vcore-milliseconds taken by all map tasks13551Total vcore-milliseconds taken by all reduce tasks7534Total megabyte-milliseconds taken by all map tasks55504896Total megabyte-milliseconds taken by all reduce tasks15429632Map-Reduce Framework Map input records10485760Map output records10485760Map output bytes1048576000Map output materialized bytes460639246Input split bytes122Combine input records0Combine output records0Reduce input groups10485760Reduce shuffle bytes460639246Reduce input records10485760Reduce output records10485760Spilled Records20971520Shuffled Maps1Failed Shuffles0Merged Map outputs1GC timeelapsed(ms)91CPU timespent(ms)21280Physicalmemory(bytes)snapshot2016575488Virtualmemory(bytes)snapshot6662488064Total committed heapusage(bytes)3006529536Peak Map Physicalmemory(bytes)1909489664Peak Map Virtualmemory(bytes)4690046976Peak Reduce Physicalmemory(bytes)999567360Peak Reduce Virtualmemory(bytes)3314622464Shuffle Errors BAD_ID0CONNECTION0IO_ERROR0WRONG_LENGTH0WRONG_MAP0WRONG_REDUCE0File Input Format Counters Bytes Read1048576000File Output Format Counters Bytes Written1048576000具体metrics 研究Total time spent by all maps in occupiedslots(ms)27102Total time spent by all reduces in occupiedslots(ms)7534Total time spent by all maptasks(ms)13551Total time spent by all reducetasks(ms)7534

相关新闻

OmenSuperHub终极指南:3步掌控惠普暗影精灵笔记本性能

OmenSuperHub终极指南:3步掌控惠普暗影精灵笔记本性能

OmenSuperHub终极指南:3步掌控惠普暗影精灵笔记本性能 【免费下载链接】OmenSuperHub Control Omen laptop performance, fan speeds, and keyboard lighting, and unlock power limits. 项目地址: https://gitcode.com/gh_mirrors/om/OmenSuperHub 你是否对…

2026/7/27 20:28:30 阅读更多 →
荣颖电子-RY7606 八通道 16位 200Ksps 双机性输入采集 ADC 国产芯片

荣颖电子-RY7606 八通道 16位 200Ksps 双机性输入采集 ADC 国产芯片

2026/7/27 20:28:30 阅读更多 →
3步掌握LeagueAkari:本地化英雄联盟自动化工具实战指南

3步掌握LeagueAkari:本地化英雄联盟自动化工具实战指南

3步掌握LeagueAkari:本地化英雄联盟自动化工具实战指南 【免费下载链接】League-Toolkit An all-in-one toolkit for LeagueClient. Gathering power 🚀. 项目地址: https://gitcode.com/gh_mirrors/le/League-Toolkit LeagueAkari是一款基于LCU …

2026/7/27 20:28:30 阅读更多 →

最新新闻

终极入门教程:PINNs-Torch让物理方程求解变得简单

终极入门教程:PINNs-Torch让物理方程求解变得简单

终极入门教程:PINNs-Torch让物理方程求解变得简单 【免费下载链接】pinns-torch PINNs-Torch, Physics-informed Neural Networks (PINNs) implemented in PyTorch. 项目地址: https://gitcode.com/gh_mirrors/pi/pinns-torch 物理方程求解一直是科研和工程领…

2026/7/27 20:35:32 阅读更多 →
OpenMLOps监控与可观测性:Prometheus与Grafana集成指南

OpenMLOps监控与可观测性:Prometheus与Grafana集成指南

OpenMLOps监控与可观测性:Prometheus与Grafana集成指南 【免费下载链接】OpenMLOps 项目地址: https://gitcode.com/gh_mirrors/op/OpenMLOps OpenMLOps是一个全面的开源机器学习运维平台,提供了从模型开发到部署的完整生命周期管理。在机器学习…

2026/7/27 20:35:32 阅读更多 →
从Options API迁移到Composition API:Nuxt 2项目改造指南

从Options API迁移到Composition API:Nuxt 2项目改造指南

从Options API迁移到Composition API:Nuxt 2项目改造指南 【免费下载链接】composition-api Composition API hooks for Nuxt 2. 项目地址: https://gitcode.com/gh_mirrors/com/composition-api 在Nuxt 2项目开发中,许多开发者仍在使用Options A…

2026/7/27 20:35:32 阅读更多 →
AI写作人味流失预警信号清单(含12项可量化检测指标,实测准确率94.1%)

AI写作人味流失预警信号清单(含12项可量化检测指标,实测准确率94.1%)

更多请点击: https://kaifayun.com 第一章:AI写作人味流失预警信号清单(含12项可量化检测指标,实测准确率94.1%) 当AI生成文本在语义连贯性、情感张力与个体化表达上出现系统性衰减时,“人味”正在悄然流失…

2026/7/27 20:35:32 阅读更多 →
【飞书智能伙伴高阶玩法】:打通ERP/CRM/钉钉的4种私有化集成方案(含代码片段)

【飞书智能伙伴高阶玩法】:打通ERP/CRM/钉钉的4种私有化集成方案(含代码片段)

更多请点击: https://codechina.net 第一章:飞书智能伙伴高阶玩法概览 飞书智能伙伴(Feishu AI Agent)已从基础问答工具演进为可深度集成、自主编排与跨应用协同的智能体平台。其高阶能力聚焦于场景化自动化、多模态交互与组织级…

2026/7/27 20:35:32 阅读更多 →
揭秘GPA-TTS:最小巧的开源语音克隆工具,INT8量化技术让边缘设备也能轻松部署

揭秘GPA-TTS:最小巧的开源语音克隆工具,INT8量化技术让边缘设备也能轻松部署

揭秘GPA-TTS:最小巧的开源语音克隆工具,INT8量化技术让边缘设备也能轻松部署 【免费下载链接】GPA [AutoArk] GPA (General Purpose Audio) can do ASR, TTS and voice conversion with one tiny model! 项目地址: https://gitcode.com/gh_mirrors/gpa…

2026/7/27 20:34:31 阅读更多 →

日新闻

【JAVA毕设源码分享】基于SpringBoot的社区智能垃圾管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

【JAVA毕设源码分享】基于SpringBoot的社区智能垃圾管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

2026/7/27 0:00:54 阅读更多 →
SPI实战指南:从时钟模式到寄存器配置,解决嵌入式通信难题

SPI实战指南:从时钟模式到寄存器配置,解决嵌入式通信难题

1. 项目概述:从寄存器手册到实战指南 如果你手头有一份类似德州仪器(TI)TMS320x240xA系列DSP的SPI模块技术手册,看着里面密密麻麻的寄存器位定义、时序图和公式,是不是感觉头大?这份资料虽然权威&#xff0…

2026/7/27 0:00:54 阅读更多 →
【JAVA毕设源码分享】基于springboot的水果购物管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

【JAVA毕设源码分享】基于springboot的水果购物管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

2026/7/27 0:00:54 阅读更多 →

周新闻

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 数据集6000张 完整源码已标注数据集训练好的模型环境配置教程程序运行说明文档,可以直接使用!系统支持图片、视频、摄像头等多种方式检测裂缝,功能强大实用。 1数据集6000张 8各类别

2026/7/27 4:33:59 阅读更多 →
深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

pubg数据集 精选原图1.42万数据 1.49万标签 无任何重复、算法增强或冗余图像! pubg绝地求生目标检测数据集 1分类:e_body,14905个标签,txt格式 共计14244张图,99%为640*640尺寸图像 适合yolo目标检测、AI训练关键词&am…

2026/7/27 6:31:56 阅读更多 →
Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex检测数据集数据集详情检测类别: allies enemy tag图片总量:7247张训练集:5139张验证集:1425张测试集:683张标注状态:全部已标注,即拿即用数据格式:支持YOLO格式及其他格式&#…

2026/7/27 4:01:12 阅读更多 →

月新闻