jps命令的用处?
这个命令可以检查Namenode、Datanode、Task Tracker、 Job Tracker是否正常工作
请列出你所知道的 hadoop 调度器,并简要说明其工作方法?
1 FIFO schedular:默认,先进先出的原则
2 Capacity schedular:计算能力调度器,选择占用最小,优先级高的先执行,以此类推。
3 Fair schedular:公平调度,所有的job具有相同的资源。
hadoop 的 namenode 宕机,怎么解决
先分析宕机后的损失,宕机后直接导致client无法访问,内存中的元数据丢失,但是硬盘中的元数据应该还存在,如果只是节点挂了,重启即可,如果是机器挂了,重启机器后看节点是否能重启,不能重启就要找到原因修复了。但是最终的解决方案应该是在设计集群的初期就考虑到这个问题,做namenode的HA
一个datanode 宕机,怎么一个流程恢复
Datanode宕机了后,如果是短暂的宕机,可以实现写好脚本监控,将它启动起来。如果是长时间宕机了,那么datanode上的数据应该已经被备份到其他机器了,那这台datanode就是一台新的datanode了,删除他的所有数据文件和状态文件,重新启动。
在hadoop中文件的压缩带来了两大好处
它减少了存储文件所需的空间;
加快了数据在网络上或者从磁盘上或到磁盘上的传输速度;