网站功能需要，要求抓取各大电商产品信息，尤其是产品价格信息
curl+phpQuery抓取静态网页中信息
最开始认为网页都是静态的，所以用curl访问网站，再用phpQuery抓取结果中的标签，便可以获得指定商品的价格信息。但是结果发现无法抓取出价格信息，只是把标签抓取出来而已，而标签内容是空的。
原因：目前几乎所有网站均为动态网站，所谓动态网站就是利用AJAX或javascript动态获得展示内容，再与静态页面结合产生网页内容。这相当于嵌套访问的过程，即在静态页面中，递归的访问另外一个服务器地址，获得相关信息，如产品的价格信息。
如何判断是静态网页还是动态网页
右键审查元素时，可以看到价格数值，但是右键查看网页源代码时，价格信息处却是空的。
chrome网络分析+curl抓取动态网页中信息
会点击chrome浏览器的F12，就能解决90%的爬虫问题，剩下的10%需要懂一点点脑子
两种
- get：从指定的资源请求数据，在url中传递参数，不应该传递敏感信息
//url
/test/demo_form.asp?name1=value1&name2=value2
- post：向指定资源提交数据，在HTTP消息主体中传递参数，更安全
获取京东商品的价格信息
想获得京东商品的价格，以下图为例
jd.PNG
- 首先定位该页面为动态页面
-
按F12重新载入页面，在network选项下逐条分析网络请求及其地址
jd1.PNG -
可以分析出ajax请求的服务器地址，并且request的方式为GET
jd3.PNG
传递的所有参数已经列出，但我们并不需要那么多参数，从url中分析，仅仅需要商品id便可以获得价格信息
jd5.PNG
4.所以最终可以组合成向服务器发送的地址以及参数，利用curl便可以获得价格信息(curl默认以get方式进行连接)，代码如下:
<?php
//header("content-Type: text/html; charset=gbk");
// create curl resource
$ch = curl_init();
// set url
curl_setopt($ch, CURLOPT_URL, "https://p.3.cn/prices/mgets?skuIds=J_25695630025");
//return the transfer as a string
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
// $output contains the output string
$output = curl_exec($ch);
//echo output
echo $output;
// close curl resource to free up system resources
curl_close($ch);
?>
5.以上代码返回包含价格信息的json字符串
[{"op":"279.00","m":"499.00","tpp":"219.00","id":"J_25695630025","up":"tpp","p":"251.10"}]
获取本来生活商品的价格信息
获取本来生活商品信息步骤与获取京东商品差不多，只不过在分析请求时发现本来生活采用post方式，参数同样在url中可以找到：
benlai.PNG
<?php
// create curl resource
$ch = curl_init();
// set url
curl_setopt($ch, CURLOPT_URL, "https://www.benlai.com/ajax/GetProductPrice");
//return the transfer as a string
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
$post_data = array(
"SysNo" => "8080"
);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);
// $output contains the output string
$output = curl_exec($ch);
echo $output;
// close curl resource to free up system resources
curl_close($ch);
?>
以上代码返回如下包含价格信息的json串
{"Gifts":[],"SysNo":8080,"Status":1,"xSysNo":0,"CDPrice":-1.0,"currentPrice":23.000000,"AdjustmentOldPrice":29.800000,"XEndTime":"0001-01-01 00:00:00","LimitNum":0,"SysTime":"2018-05-15 15:37:59","CountDownNewType":"未知价格：","CustomerRankName":null,"ProductType":0,"Exp":"","ProductWebSiteSysNo":1,"CurretnWebSiteSysNo":1,"VisType":0,"GiftCardLotSysNo":0,"C1sysno":22,"LotType":-1,"SalePlace":"华北","ReviewCount":6744,"IsCanDelivery":true,"ArrivalDayTime":0,"IsArrivalDay":0,"ArrivalDayMsg":"","IsGiftCard":0,"WarrantyB2G":"","ShowInList":1}
网页编码
网页编码不对会显示乱码等，查看网页编码方式为在chrome的console下输入：
document.charset
PHP中指定编码的方式为
//gbk编码
<?php
header("content-Type: text/html; charset=gbk")
?>
gbk编码对中文支持，且phpQuery只能在gbk编码下获取到标签元素。
