前言
这次可能是爬虫系列教程的最后一篇博文了,后期若对爬虫有任何技术问题欢迎留言提问。
本篇博文主要为没有域名或嫌麻烦,喜欢超简安装爬虫的朋友而准备的。降低搭建环境要求,力争更多人能够使用。
搭建条件:
至少1核CPU,192M ROM. 操作系统仅支持:Centos7以上
搭建爬虫的好处
搭建它,可以智能捕获公开于互联网内免费使用的各类翻墙技术节点,如果嫌默认安装订阅资源少,可点击此处增加订阅资源—–获取5000以上的免费节点。具体使用方法详见此处
一键脚本安装爬虫网站
使用ssh终端工具登录VPS,将下列命令复制粘贴到VPS执行。
1 |
yum -y install wget && wget https://raw.githubusercontent.com/lanhebe/proxypool/master/non-domain_onekey_install.sh && chmod +x non-domain_onekey_install.sh && ./non-domain_onekey_install.sh |
安装成功演示图:
爬虫网站界面,如下图,在浏览器的地址栏出输入自己VPS的IP回车,即可见到。
使用方法
这里的使用方法和带有域名安装的爬虫网站一样,(注意:只不过由于没有配置SSL证书,复制的订阅地址默认头是https,需要去掉s,改为http才能正常访问。)
复制任一订阅链接到浏览器的地址栏,去掉https中的s,回车,就可以看到相应技术的节点资源。
打开任一支持Universal Base64编码的客户端,将其上述复制的代码导入客户端。
电脑window系统可以使用WinXray或Qv2ray,WinXray上次说过使用方法,这里不再赘述。需要浏览的请点击此处。手机安卓端使用AnXray软件
这里使用Q2vray演示批量节点导入。操作如下图:
以上就是整个非域名爬虫安装和抓取到的节点导入使用方法,相信教程简单到保姆级,若有任何技术疑问,欢迎给我留言。
若对众多免费节点需要按条件筛选再导入,
欢迎点击此处浏览,可以实现如只要某国家的节点,某类协议节点等。
若对本教程的视频内容感兴趣,欢迎点击此处观看
能在爬虫网站界面添加登录验证吗?这样安全性高一些,避免被刷流量
抱歉,安装脚本做不到。这是爬虫功能的增设。
这个可以安装在国内的云服务器上嘛?
大神,这个站点上面的版面想要修改,要如何操作,我在服务器上面看到的只是生成的静态页面。而找不到动态文件。那个安装文件也没有找到相关的页面设置。不知道是动态加载了哪些文件,能告知我一下吗?
它已经做了编码设置,我记不太清楚是16进制还是多少。你可以自行研究下。
安装成功了,但是访问域名502
首先先检查爬虫程序是否正常运行,其次再检查nginx是否运行,配置是否有问题。通常情况503多数是爬虫没运行成功导致,我遇到过