240 发简信
IP属地:上海
  • spark-shell 崩溃

    spark-shell总是崩溃。查询原因时自己使用Ctrl+Z退出了,正确的方式应该是使用:quit解决办法如下。 查询被占用进程 然后显示 这里可以看到进程号是3838,可...

  • 120
    Flink 在有赞实时计算的实践

    一、前言 这篇主要由五个部分来组成: 首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分,主要是 Flink 与 Spark 的 struc...

  • Resource Manager YGC停顿过长分析

    动机 昨天又收到有同学因数据(代码)问题被rccd的邮件,领导也一再提醒数据的安全问题。于是审视了一下硬盘文件,以免存在无心之过… 审视过程中发现了部分日志信息及排错过程中的...

  • 120
    TensorFlow遇上Spark

    TensorFlowOnSpark 项目是由Yahoo开源的一个软件包,实现TensorFlow集群服务部署在Spark平台之上。 大家好,这次我将分享TensorFlow ...

  • 120
    spring boot下载大数量文件导致nginx崩溃解决方案

    参考资料:http://blog.csdn.net/tsytdhs163/article/details/7889641 情况: 公司后台查询数据,用户反应下载超过1各月的数...

  • 120
    看了之后不再迷糊-Spark多种运行模式

    早就想写这章了,一直懒得动笔,不过还好,总算静下心来完成了。 刚接触Spark时,很希望能对它的运行方式有个直观的了解,而Spark同时支持多种运行模式,官网和书籍中对他们的...

  • 120
    Spark的位置优先: TaskSetManager 的有效 Locality Levels

    based on spark-1.5.1 standalone mode 在Spark Application Web UI的 Stages tag 上,我们可以看到这个的表...

  • 120
    CS231n (winter 2016) : Assignment1

    前言: 以斯坦福cs231n课程的python编程任务为主线,展开对该课程主要内容的理解和部分数学推导。该课程的学习资料和代码如下:视频和PPT笔记assignment1初始...