遇到的问题:在配置spark的时候,启动spark-shell正常启动和使用,但是使用脚本start-all.sh 启动所有的服务时遇到问题,抛...
好久没有更新过博客了,近期收到了一次匿名打赏和一次麦子学院的邀请,感觉还是非常有成就感的。本来是打算自己写点笔记,记录一下心境的地方,没想到还是...
Linux下用nohup运行程序的,输入或者日志会默认写入nohup.out,一段时间以后,nohup.out文件会越来越占空间,如果在程序运行...
近期在进行服务器的集群搭建,使用kafka作为消息中间件来进行消息的分发。开始在本机编写demo验证的时候很顺利,没有遇到什么问题。今天cons...
java是自己写的最多的语言,但是好像没有写过什么笔记,个人觉得java项目向来比较庞大繁琐,没有Python这种小巧的玩意儿来的有意思。今天就...
今天写一小段js,一不小心踩到了天坑。 先说说怎么回事吧,要通过post请求一个新的页面,做一个分页按钮。怎么弄了?一个看不见的表单,然后按钮的...
一个实时爬取的接口,也是针对这个一直在被我博客的网站,跟他家的抗争让我收益良多 先讲一讲这一次的问题所在,因为时时爬取尽量需要短时间获得到数据,...
安装gevent出了两个错误,第一个比较容易解决 缺少libevent库 第二个就比较蛋疼了,报的错误是这样的: libev/ev.c:1029...
爬到了一个无比纠结的网站,爬虫遇到了阻碍,从页面直接浏览的时候几乎感觉不出来什么,但是直接使用爬虫访问该网站会出现如下问题: [scrapy] ...