解决动态渲染网页的神器、部署简单、资源消耗小
Splash 安装
当我们在持续更新维护爬取一些网站的时候(TB、JD等)反爬更新比较麻烦,通常获取动态ajax页面的时候都会用到selenium,这里给大家安利 一个小众渲染j s工具Splash
安装步骤
对docker 不熟的朋友可以先学习一下docker的基本使用方法
登陆服务器
ssh -l root IP
如果由于重装系统导致无法登陆,删除之前的残留记录即可vi ~/.ssh/known_hosts
1 安装docker 如果是云服务器可以直接在安装服务器系统的时候选择docker镜像安装,比较方便。
2 启动docker
1 | service docker start |
3 下载并启动 splash -p 将docker8050端口映射到宿主机8050端口上
1 | docker run -p 8050:8050 scrapinghub/splash |
4 访问网址 http://localhost:8050/
看到如下页面则配置成功 如果是服务器上一定要先开放8050端口哦
5 访问网址
http://httpbin.org/get
查看当前状态ip