👑 首页
🚀 笑谈编程
🐻 私房运维
🦅 AI
🐳 大数据
Ⓜ️ 瞬时
☪️ 在线工具
🧭 导航
💬 留言板
📖 文章归档
❇️ 友情链接
🔐 隐私政策
谷百特博客
温度 IT 记忆,传播IT和软件技术的博客
累计撰写
19
篇文章
累计创建
46
个标签
累计收到
1
条评论
栏目
👑 首页
🚀 笑谈编程
🐻 私房运维
🦅 AI
🐳 大数据
Ⓜ️ 瞬时
☪️ 在线工具
🧭 导航
💬 留言板
📖 文章归档
❇️ 友情链接
🔐 隐私政策
目 录
CONTENT
以下是
大数据
相关的文章
2024-08-31
spark-sql on yarn关于UserGroupInformation初始化最早时机
最近调研了spark-sql on yarn时UserGroupInformation初始化最早时机,将spark-sql on yarn的整个提交流程阅读了一遍,确定了SparkSubmit类范围,对SparkSubmit进行了阅读和跟进,找出了关键的代码,如下图所示,lazy val secMg
2024-08-31
44
0
0
大数据
Spark
2024-08-28
spark的SparkSubmit类关于Configuration的资源文件加载
在阅读SparkSubmit源代码时,重点关注Configuration的资源文件的加载情况,默认通过new Configuration()构造方法创建时,只会加载core-default.xml和core-site.xml文件,但是SparkSubmit中打印Configuration时,发现还会
2024-08-28
32
0
1
Spark
大数据
2024-08-06
hadoop 3.3.5使用docker编译源码
背景 hadoop源码编译环境配置比较复杂,就算在本地的开发宿主机上搭建编译环境,会遇到各种各样的坑,时间花费了很多,收益并不高。为此,本文基于docker搭建一套能够到处运行的编译环境,缩短开发人员的搭建环境的时间,能够快速上手hadoop的编译,调试和开发。跟着我的思路继续吧。 环境 1 这里我
2024-08-06
18
0
1
私房运维
大数据
Docker
Hadoop