👑 首页
🦁 编程技术
🌀 云原生
🚀 笑谈编程
🦅 AI
🐻 私房运维
🐳 大数据
✈️ 软件
📗 技术文档
🐜 autojs
🎥 视频制作
🎞️ Premiere
☪️ 工具
🧭 导航
🧰 在线工具箱
Ⓜ️ 瞬时
🐤 其他
📖 文章归档
💬 留言板
❇️ 友情链接
🔐 隐私政策
谷百特博客
温度 IT 记忆,传播IT和软件技术的博客
累计撰写
54
篇文章
累计创建
59
个标签
累计收到
2
条评论
栏目
👑 首页
🦁 编程技术
🌀 云原生
🚀 笑谈编程
🦅 AI
🐻 私房运维
🐳 大数据
✈️ 软件
📗 技术文档
🐜 autojs
🎥 视频制作
🎞️ Premiere
☪️ 工具
🧭 导航
🧰 在线工具箱
Ⓜ️ 瞬时
🐤 其他
📖 文章归档
💬 留言板
❇️ 友情链接
🔐 隐私政策
目 录
CONTENT
以下是
Hadoop
相关的文章
2025-10-11
历时两周,我司录信的Hadoop2升级到Hadoop3,踩了几个大坑
继一次超万亿规模的Hadoop NameNode性能故障排查过程之后,虽然解决了Hadoop2.6.0版本在项目中的问题,但客户依然比较担心,一是担心版本过老,还存在其他未发现的问题;二是按目前每天近千亿条的数据增长,终究会遇到NameNode的第二次瓶颈。 基于上述原因,我们决定将当前集群由Had
2025-10-11
16
0
0
大数据
2025-10-11
Hadoop3升级实践
Hulu/Disney Streaming Hadoop3升级实践 1 引言 Hadoop 3 发布已有5年,最新版本已经更新到3.3.2。在这5年中,Hadoop发布了许多重大特性。HDFS EC编码趋于成熟,在提升容错的前提下降低了存储空间;HDFS RBF简化了客户端的配置,平衡了amenod
2025-10-11
8
0
0
大数据
2024-08-31
spark-sql on yarn关于UserGroupInformation初始化最早时机
最近调研了spark-sql on yarn时UserGroupInformation初始化最早时机,将spark-sql on yarn的整个提交流程阅读了一遍,确定了SparkSubmit类范围,对SparkSubmit进行了阅读和跟进,找出了关键的代码,如下图所示,lazy val secMg
2024-08-31
85
0
0
大数据
2024-08-28
spark的SparkSubmit类关于Configuration的资源文件加载
在阅读SparkSubmit源代码时,重点关注Configuration的资源文件的加载情况,默认通过new Configuration()构造方法创建时,只会加载core-default.xml和core-site.xml文件,但是SparkSubmit中打印Configuration时,发现还会
2024-08-28
55
0
1
大数据
2024-08-06
hadoop 3.3.5使用docker编译源码
背景 hadoop源码编译环境配置比较复杂,就算在本地的开发宿主机上搭建编译环境,会遇到各种各样的坑,时间花费了很多,收益并不高。为此,本文基于docker搭建一套能够到处运行的编译环境,缩短开发人员的搭建环境的时间,能够快速上手hadoop的编译,调试和开发。跟着我的思路继续吧。 环境 1 这里我
2024-08-06
95
0
2
大数据
1
2