Hadoop-谷百特博客

谷百特博客

温度 IT 记忆，传播IT和软件技术的博客

累计撰写 53 篇文章
累计创建 59 个标签
累计收到 2 条评论

目录CONTENT

以下是 Hadoop 相关的文章

2025-10-14
hadoop 3.2.1使用docker编译源码 1 拉取镜像 docker pull ubuntu:xenial 2 创建和启动container docker run -itd --name hadoop321 ubuntu:xenial 进入终端 docker exec -it hadoop321 bash
- 2025-10-14
- 11
- 0
- 0
- 大数据
2025-10-13
360 Yarn2.7.1 升级到 Yarn3.2.1 的喜与痛一、我们为什么要升级 360之前YARN版本是基于2.7版本修改的内部版本，主要有几个问题：与社区脱节：目前社区已经发展到3.2的版本，落后社区多个大版本，很多新特性都不能使用，比如预定系统，Opportunistic Containers等降本增效：在Yarn层面，支持多集群Federatio
- 2025-10-13
- 16
- 0
- 0
- 大数据
2025-10-11
Hadoop实践｜趣头条百 PB 规模 Hadoop 实践随着趣头条业务的高速发展，趣头条及其附属产品如米读等，和母公司innotech集团的产品矩阵，目前总的存储数据量规模已经达到百PB左右，包括HDFS的热数据，和阿里云OSS的冷数据。日均计算任务个数达到二十万个，Hadoop集群规模近2000台左右。Hadoop集群支持趣头条和母公司innotech
- 2025-10-11
- 8
- 0
- 0
- 大数据
2025-10-11
Hadoop2.6 升级到 3.2 在58同城的实践 Hadoop3.x中增加了很多特性和重大改进。在HDFS方面，最主要是EC能力成熟，显著降低HDFS数据存储成本。在Yarn层面，支持多集群Federation，可以有效利用多YARN集群空闲资源，达到降本增效的目标。此外，还有大量其他新的特性，有效提高集群的稳定性及效率，降低运营成本。一升级背
- 2025-10-11
- 8
- 0
- 0
- 大数据
2025-10-11
小米Hadoop YARN平滑升级3.1实践 1 背景小米之前生产环境的Hadoop YARN是基于社区2.6版本修改的内部版本，我们最大规模集群已经数千台，而且还在不断增长。在目前2.6版本，我们主要面临两个问题：滞后社区多个大版本，很多新特性以及bug修复没法使用或者需要重新开发；集群规模增长很快，经历了多次机房迁移，当前版本不能很
- 2025-10-11
- 6
- 0
- 0
- 大数据
2025-10-11
Pinterest的大规模Hadoop升级 Pinterest的批处理平台Monarch由30多个Hadoop YARN构建了17k + 个节点的集群完全在顶部AWS EC2。在2021年初，Monarch仍然在Hadoop 2.7.1上，已经有五年的历史了。由于反向移植上游更改 (功能和错误修复) 的复杂性越来越高，我们决定是时候投资版本升
- 2025-10-11
- 6
- 0
- 0
- 大数据
2025-10-11
唯品会 1000+ 台 Hadoop 集群优化经验 1 性能挑战 HDFS 是一个分布式系统，只要有足够的资源，可以扩容上千个节点支持100PB以上的集群。我们发现Hadoop集群升级（2.5.0-cdh5.3.2-->2.6.0-cdh5.13.1）以后，NameNode RPC（remote procedure call）queue time在持
- 2025-10-11
- 5
- 0
- 0
- 大数据
2025-10-11
HDFS 2.x 升级到 3.x 在车好多的实践 1 背景 HDFS 集群作为大数据最核心的组件，在公司承载了DW、AI、Growth 等重要业务数据的存储重任。随着业务的高速发展，数据的成倍增加，HDFS 集群出现了爆炸式的增长，使用率一直处于很高的水位。同时 HDFS文件数持续增长导致Namenode 压力过大、RPC 过多，整体性能下降。作为
- 2025-10-11
- 2
- 0
- 0
- 大数据
2025-10-11
Hadoop 2.7 不停服升级到 3.2 在滴滴的实践 Hadoop 3的第一个稳定版本在2017年底就已经发布了，有了很多重大的改进。在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Intra-datanode balancer 等功能，大家可能对这些功能很
- 2025-10-11
- 5
- 0
- 0
- 大数据
2025-10-11
万台规模 HDFS 集群升级 HDFS 3.x 有哪些坑？ Hadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNode Read、FairCallQueue、
- 2025-10-11
- 6
- 0
- 0
- 大数据

1
2