scene.png
what I do
周六的天空依然很蓝，骑着脚踏车，约上几个好友，绕着大明湖畔，寻找夏天的雨荷。
一台电脑、一张办公桌、一个板凳，我们依然在敲着键盘
说说今天的任务：node去写爬虫，获取数据
思路
获取公共网站的页面数据
1、发起http请求
2、使用cheerio模块，通过对DOM进行分析，获取json数据
code
const http = require('http');
const cheerio = require('cheerio'); //模仿jq的模块
const express = require('express');
const url = '百度糯米'
http.get(url,(res) => {
var chunks = [];
var size = 0;
res.on('data',(ev) => {
/*返回的二进制 暂存到数组中*/
chunks.push(ev);
size += ev.length;
})
res.on('end',() => {
/*保存的二进制 保存到buffer流中 最后转为二进制输出*/
var data = Buffer.concat(chunks, size);
var html = data.toString();
/*ending html 在这里已经获取*/
var $ = cheerio.load(html);
var arr = [];
/*遍历所有列表*/
$('.j-card').each(function () {
var obj = {},$this = $(this);
obj.url = $this.find('.borderbox img').attr('data-original');
obj.title = $this.find('.title').text();
obj.price = $this.find('.price').text();
arr.push(obj);
})
//生成arr返回给前端
reponse.json({
arr:arr
});
})
}).on('error',(e)=>{
console.log(e);
})
知识点延伸
1 、const 定义常量、var 定义变量
2 、在计算机内部 字符串 占两个字节 ， 数字占一个字节 ，但是js对于字符串的处理相当友好 帮我们解决了这个问题
buffer是什么
- buffer又被成为临时贮存区，暂时存放输入输出数据的一段内存
- js语言只有字符串数据类型，不存在二进制数据类型，故node提供了与string对等的构造函数buffer，来对二进制进行操作
- js对字符串处理十分友好，node中需要处理网络协议、操作数据库、处理图片、文件上传，还需要处理大量二进制数据，自带字符串远远不能满足这些要求，因此buffer应运而生
- buffer是一个典型的c++ 与 js结合的模块，性能部分用c++实现，非性能部分用js实现
- node 在启动的时候 buffer已经被加入到内存中了，并存近全局对象，因此无需require
- buffer对象：类似于数组，元素时16进制的两位数
- buffer对象的内存分配并不是在V8的堆内存中，而是在node的c++层面申请的内存
- buffer可以与字符串相互转换 utf-8 base64 ASCII等 不能处理GBK 等历史遗留编码
