流程:
1.Python爬取去哪儿网全站旅游数据约10万+,存入mysql;
2.使用pandas+numpy/hadoop+mapreduce对mysql中旅游数据进行数据清洗,使用高德API计算地理信息,最终转为.csv文件上传hdfs;
3.hive建库建表导入.csv文件作为数据集;
4.一半指标使用离线hive_sql分析完成,一半指标使用实时Spark之Scala完成;
5.分析结果使用sqoop导入mysql;
6.使用Flask+echarts构建可视化大屏;
创新点:大屏可视化、Python爬虫、高德地图、Spark实时计算、Hadoop+Hive离线计算全部实现
选装(如果觉得功能太简单或者工作量不够)-->推荐系统、预测系统、知识图谱、后台管理
实现界面如下:
计算机毕业设计hadoop+spark+hive知识图谱酒店推荐系统 酒店数据分析可视化大屏 酒店爬虫 高德地图API 酒店预测系统 大数据毕业设计
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- 开发技术: spark hadoop hive 装杯显摆虚拟机Linux敲命令炫酷吊打 flask echarts...
- 流程: 1.Python爬虫采集中华健康网约10万医生数据,最终存入mysql数据库; 2.使用pandas+nu...
- 流程:1.DrissionPage采集知音漫客约2万条国产动漫数据存入mysql数据库;2.Mapreduce对采...
- 流程1.爬取17k的小说数据约5-10万,存入mysql数据库;2.使用mapreduce对mysql中的小说数据...
- 流程:1.DrissionPage自动化爬虫框架采集旅游数据约10万条存入mysql数据库、.csv文件作为数据集...