程序员小辉

select id,concat_ws(',',sort_array(collect_list(name))) name from table group by id; 先把...

程序员小辉

在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显...

程序员小辉

Sqoop在导出到Mysql时，使用4个Map任务，过程中有2个任务失败，那此时MySQL中存储了另外两个Map任务导入的数据，此时老板正好看到了这个报表数据。而开发工程...

程序员小辉

1.grep -v ps -ef | grep NameNode 如果执行这条命令会多查询出一个grep的进程，如果不想要grep的进程号就需要使用 ps -ef | gre...

程序员小辉

刚开始以为是脚本写错了，仔细想了下，ssh后会加载.bashrc的环境变量，之所以导致这种情况就是因为没有将profile追加至bashrc 解决办法：cat /etc/pr...

程序员小辉

生成公钥/私钥对： ssh-keygen -t rsa 拷贝公钥至authorized_keys文件： ssh-copy-id 主机名 登录测试： ssh 主机名 如果没有输...

程序员小辉

一、什么是复杂度分析？ 1.数据结构和算法解决是“如何让计算机更快时间、更省空间的解决问题”。 2.因此需从执行时间和占用空间两个维度来评估数据结构和算法的性能。 3.分别用...

程序员小辉

查询每门课程分数最高的学生以及成绩select a.name,a.course,a.score fromtest1 ajoin (select course,max(scor...

程序员小辉

Spark支持三种集群部署模式，分别为1.Standalone： 独立模式，Spark 原生的简单集群管理器， 自带完整的服务， 可单独部署到一个集群中，无需依赖任何其他资源...