👑 首页
🦁 编程技术
🌀 云原生
🚀 笑谈编程
🦅 AI
🐻 私房运维
🐳 大数据
✈️ 软件
📗 技术文档
🐜 autojs
🎥 视频制作
🎞️ Premiere
☪️ 工具
🧭 导航
🧰 在线工具箱
Ⓜ️ 瞬时
🐤 其他
📖 文章归档
💬 留言板
❇️ 友情链接
🔐 隐私政策
谷百特博客
温度 IT 记忆,传播IT和软件技术的博客
累计撰写
53
篇文章
累计创建
59
个标签
累计收到
2
条评论
栏目
👑 首页
🦁 编程技术
🌀 云原生
🚀 笑谈编程
🦅 AI
🐻 私房运维
🐳 大数据
✈️ 软件
📗 技术文档
🐜 autojs
🎥 视频制作
🎞️ Premiere
☪️ 工具
🧭 导航
🧰 在线工具箱
Ⓜ️ 瞬时
🐤 其他
📖 文章归档
💬 留言板
❇️ 友情链接
🔐 隐私政策
目 录
CONTENT
以下是
Hadoop
相关的文章
2025-10-14
hadoop 3.2.1使用docker编译源码
1 拉取镜像 docker pull ubuntu:xenial 2 创建和启动container docker run -itd --name hadoop321 ubuntu:xenial 进入终端 docker exec -it hadoop321 bash
2025-10-14
11
0
0
大数据
2025-10-13
360 Yarn2.7.1 升级到 Yarn3.2.1 的喜与痛
一、我们为什么要升级 360之前YARN版本是基于2.7版本修改的内部版本,主要有几个问题: 与社区脱节:目前社区已经发展到3.2的版本,落后社区多个大版本,很多新特性都不能使用,比如预定系统,Opportunistic Containers等 降本增效:在Yarn层面,支持多集群Federatio
2025-10-13
16
0
0
大数据
2025-10-11
Hadoop实践|趣头条百 PB 规模 Hadoop 实践
随着趣头条业务的高速发展,趣头条及其附属产品如米读等,和母公司innotech集团的产品矩阵,目前总的存储数据量规模已经达到百PB左右,包括HDFS的热数据,和阿里云OSS的冷数据。日均计算任务个数达到二十万个,Hadoop集群规模近2000台左右。Hadoop集群支持趣头条和母公司innotech
2025-10-11
8
0
0
大数据
2025-10-11
Hadoop2.6 升级到 3.2 在58同城的实践
Hadoop3.x中增加了很多特性和重大改进。在HDFS方面,最主要是EC能力成熟,显著降低HDFS数据存储成本。在Yarn层面,支持多集群Federation,可以有效利用多YARN集群空闲资源,达到降本增效的目标。此外,还有大量其他新的特性,有效提高集群的稳定性及效率,降低运营成本。 一 升级背
2025-10-11
8
0
0
大数据
2025-10-11
小米Hadoop YARN平滑升级3.1实践
1 背景 小米之前生产环境的Hadoop YARN是基于社区2.6版本修改的内部版本,我们最大规模集群已经数千台,而且还在不断增长。在目前2.6版本,我们主要面临两个问题: 滞后社区多个大版本, 很多新特性以及bug修复没法使用或者需要重新开发; 集群规模增长很快,经历了多次机房迁移,当前版本不能很
2025-10-11
6
0
0
大数据
2025-10-11
Pinterest的大规模Hadoop升级
Pinterest的批处理平台Monarch由30多个Hadoop YARN构建了17k + 个节点的集群完全在顶部AWS EC2。在2021年初,Monarch仍然在Hadoop 2.7.1上,已经有五年的历史了。由于反向移植上游更改 (功能和错误修复) 的复杂性越来越高,我们决定是时候投资版本升
2025-10-11
6
0
0
大数据
2025-10-11
唯品会 1000+ 台 Hadoop 集群优化经验
1 性能挑战 HDFS 是一个分布式系统,只要有足够的资源,可以扩容上千个节点支持100PB以上的集群。我们发现Hadoop集群升级(2.5.0-cdh5.3.2-->2.6.0-cdh5.13.1)以后,NameNode RPC(remote procedure call)queue time在持
2025-10-11
5
0
0
大数据
2025-10-11
HDFS 2.x 升级到 3.x 在车好多的实践
1 背景 HDFS 集群作为大数据最核心的组件,在公司承载了DW、AI、Growth 等重要业务数据的存储重任。随着业务的高速发展,数据的成倍增加,HDFS 集群出现了爆炸式的增长,使用率一直处于很高的水位。同时 HDFS文件数持续增长导致Namenode 压力过大、RPC 过多,整体性能下降。作为
2025-10-11
2
0
0
大数据
2025-10-11
Hadoop 2.7 不停服升级到 3.2 在滴滴的实践
Hadoop 3的第一个稳定版本在2017年底就已经发布了,有了很多重大的改进。在HDFS方面,支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Intra-datanode balancer 等功能,大家可能对这些功能很
2025-10-11
5
0
0
大数据
2025-10-11
万台规模 HDFS 集群升级 HDFS 3.x 有哪些坑?
Hadoop 3.x的第一个稳定版本在2017年底就已经发布了,有很多重大的改进。 在HDFS方面,支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNode Read、FairCallQueue、
2025-10-11
6
0
0
大数据
1
2