入口及返回值
function main (splash,args)
splash:go("http://www.baidu.com")
splash:wait(0.5)
local title = splash:evaljs("document.title")
return {title=title}
end
Splash支持异步处理,不显示指明回调方法,回调的跳转在Splash内部完成,wait()相当于sleep(),png()返回截图
function main(splash, args)
local example_urls = {"www.baidu.com","www.taobao.com","www.zhihu.com"}
local urls = args.urls or example_urls
local results = {}
for index,url in ipairs(urls) do
local ok,reason = splash:go("http://"..url)
if ok then
splash:wait(2)
results[url] = splash:png()
end
end
return results
end
Splash对象属性
mai()方法的第一个参数:splash对象(它的属性和方法控制加载过程)
args:获取加载时配置的参数,如URL,GET请求:可获取GET请求参数,POST请求:获取表单提交的数据
function main(splash, args)
local url = args.url
return url
end
与下面等价
function main(splash)
local url = splash.args.url
return url
end
js_enabled:JavaScript执行开关,默认为true
resource_timeout:设置加载的超时时间(秒),0/nil表示不检测超时
image_enabled:设置图片是否加载,默认true加载,禁用会影响JavaScript的渲染(影响DOM节点的位置),Splash使用缓存,一开始加载图片,后面禁用仍会出现图片,重启Splash即可
plugins_enabled:浏览器插件是否开启,默认false
scroll_position:控制页面上下/左右滚动
function main(splash, args)
splash:go(args.url)
splash.scroll_position = {x=100,y=400}
return {png=splash:png()}
end
go():请求某个链接,可传入请求头、表单等数据
jsfunc():直接调用JavaScript定义的方法,该方法使用双中括号括起
function main(splash, args)
local get_div_count = splash:jsfunc([[
function(){
var body = document.body;
var divs = body.getElementsByTagName('div');
return divs.length;
}
]])
splash:go(args.url)
return ("There are %s divs"):format(get_div_count())
end
evaljs():执行JavaScript代码后返回最后一条JavaScript语句返回的结果
result = splash:evaljs(js)
runjs():声明JavaScript定义的语句块,通过evaljs()调用
function main(splash, args)
splash:go(args.url)
splash:runjs("foo = function(){return 'hello'}")
local result = splash:evaljs("foo()")
return result
end
autoload():设置每个页面访问时自动加载的对象,可以是JavaScript代码或库,但是不执行操作,执行调用evaljs()
ok,reason = splash:autoload{source_or_url}
call_later():设置定时任务和延时执行,如下在go访问后使用wait(3.0)等待3秒才返回所有截图,期间设置0.2秒获取截图,中间等待1秒,1.2秒的时候再次获取截图,最后3秒后返回所有截图
function main(splash, args)
local snapshots = {}
local timer = splash:call_later(function()
snapshots["a"]=splash:png()
splash:wait(1)
snapshots["b"]=splash:png()
end,0.2)
splash:go(args.url)
splash:wait(3.0)
return snapshots
end
http_get():模拟发送http的get请求
response = splash:http_get(url,headers=nil,follow_redirects=true)
follow_redirects表示是否启动自动重定向,默认true
请求的地址:http://httpbin.org/get
function main(splash, args)
local treat = require("treat")
local response = splash:http_get(args.url)
return {
html = treat.as_string(response.body),
url = response.url,
status = response.status
}
end
http_post:发送post请求,需要body参数
请求的地址:http://httpbin.org/post
function main(splash, args)
local treat = require("treat")
local json = require("json")
local response = splash:http_post{args.url,
body=json.encode({name="aha"}),
headers={["content-type"]="application/json"}
}
return {
html = treat.as_string(response.body),
url = response.url,
status = response.status
}
end
set_content():设置页面内容
html():返回获取的页面源码信息
result = splash:html()
png():返回PNG格式的截图
jpeg():返回JPEG格式的截图
png = splash:png()
jpeg = splash:jpeg()
har():获取页面加载过程描述
url():获取当前URL
get_cookies():获取当前访问链接的cookies
add_cookies():添加cookies
clear_cookies():清除cookies
get_viewport_size():获取当前浏览器的大小
set_viewport_size():设置当前浏览器的大小
set_viewport_full():设置浏览器全屏显示
set_user_agent():设置浏览器的user_agent
set_custom_headers():设置请求头信息
select():返回选中符合条件的第一个节点,参数是CSS选择器
select_all():返回选中符合条件的所有节点,参数是CSS选择器
mouse_click():模拟鼠标点击事件
参考链接:
1、http://splash.readthedocs.io/en/stable/scripting-ref.html#attributes
2、http://splash.readthedocs.io/en/stable/scripting-overview.html