hadoop3-谷百特博客

谷百特博客

温度 IT 记忆，传播IT和软件技术的博客

累计撰写 39 篇文章
累计创建 83 个标签
累计收到 2 条评论

目录CONTENT

以下是 hadoop3 相关的文章

2026-06-07
历时两周，将我司的Hadoop2升级到Hadoop3，踩了几个大坑在解决了一次超万亿规模Hadoop NameNode性能故障后，为应对每天近千亿条数据增长和版本老旧的担忧，团队决定将生产集群从 Hadoop 2.6.0 升级到 Hadoop 3.2.1，并启用联邦模式（3个联邦），同时修改录信数据库LSQL源码以适配联邦机制，目标扩容至上万节点。面对数十万亿数据规模的生产系统，团队进行了十几次升级演练和回退测试，但升级过程中仍遇到了三大预想不到的问题。
- 2026-06-07
- 6
- 0
- 0
- 大数据