Splash安装

解决动态渲染网页的神器、部署简单、资源消耗小

Splash 安装

当我们在持续更新维护爬取一些网站的时候(TB、JD等)反爬更新比较麻烦,通常获取动态ajax页面的时候都会用到selenium,这里给大家安利 一个小众渲染j s工具Splash

安装步骤

对docker 不熟的朋友可以先学习一下docker的基本使用方法

登陆服务器 ssh -l root IP 如果由于重装系统导致无法登陆,删除之前的残留记录即可 vi ~/.ssh/known_hosts

1 安装docker 如果是云服务器可以直接在安装服务器系统的时候选择docker镜像安装,比较方便。-w667

2 启动docker

1
service docker start

3 下载并启动 splash -p 将docker8050端口映射到宿主机8050端口上

1
docker run -p 8050:8050 scrapinghub/splash

4 访问网址 http://localhost:8050/ 看到如下页面则配置成功 如果是服务器上一定要先开放8050端口哦 -w957

5 访问网址

http://httpbin.org/get 查看当前状态ip