nginx proxy每次请求都会自动生成一个request_id 方便追踪请求。 很多时候我们使用的架构并不是nginx直接对应到后端app，而且，经过多个nginx pr...
IP属地：北京
nginx proxy每次请求都会自动生成一个request_id 方便追踪请求。 很多时候我们使用的架构并不是nginx直接对应到后端app，而且，经过多个nginx pr...
prometheus-stack的数据持久化需要通过prometheus-opreate 配置。 prometheus 通过污点、容忍调度到master-01 上 。然后ma...
1、spark-shell 提交任务以后，终端超时，实际任务不退出，造成资源一直计费。需要进入到spark-gateway 机器上手动kill 任务进程。 2、pyspark...
构建spark docker 镜像下载spark-2.4.8-bin-hadoop2.7.tgz Note: 这里下载spark包一定不是能是without hadoop 的...
如果想在你的hdfs 上开启EC，并使用HDP，或是CDH版本的时候，请仔细阅读，并认真想清楚你的场景。 我们是由于一些原因，先用HDP 3.1.5 腾讯云的虚拟机在搭建了一...
参考资料https://bbs.huaweicloud.com/forum/thread-73286-1-1.html[https://bbs.huaweicloud.com...
zeppelin 运行 [参照] https://stackoverflow.com/questions/33625617/creating-hive-table-using...
容器化flume以后，在缩减的flume 容器的时候，出现数据无法读取，错误提示数据不完整。 根据flume sink事务机制定位，flume没有正常关闭，k8s 强制kil...
只能python3 python2 pip 安装包的时候报错 pip install hdfs[avro,dataframe,kerberos]
背景： pyspark 运行时需要很多额外数据科学包，比如pandas,numpy, pyspark 等等 。如果不使用virtualenv 独立打包，你需要在每个nodem...
哪里不完整？
HDP 3.1.5 升级spark版本, 多版本共存HDP3.1.5 默认spark版本2.4 ，希望将spark升级到3 1、去spark官网上下载spark3版本，选择spark3-hadoop3.2 ，虽然hadoop版...
HDP3.1.5 默认spark版本2.4 ，希望将spark升级到3 1、去spark官网上下载spark3版本，选择spark3-hadoop3.2 ，虽然hadoop版...
In case ambari API doesn't help. You can use following SQL queries to abort hung/queued...
编辑 /var/lib/ambari-server/resources/stacks/HDP/3.0/services/SMARTSENSE/metainfo.xml 注释或...
hadoop 页面 这个改完以后yarn页面。yarn-env.sh 去掉 {% if rm_security_opts is defined %}YARN_RESOURCE...
1.目的在这篇文章中，我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Ha...
原因：json默认使用的是严谨格式，json_data键值中有非法控制符号如\n\t， 当跨语言传递数据时，就容易报出这个错误。 解决方法：加上参数 strict [转自] ...