摘要
这次是在前期一键脚本安装爬虫的代码基础上增加当前最潮的Xray科学上网技术使用,能够在自己的VPS上利用一键脚本快速而轻松无人值守安装Xray+爬虫网站
(专门爬取公网免费ss,ssr,v2ray,trojan节点)。
应用需求:
- 当自建VPS代理不好使,可以切换到爬取的节点使用;
- 当爬取的节点不好使,可以切换自建VPS实现代理上网;
- 为自己和他人搭建分享节点的网站;
- 其他(谋利,吸引流量等)。
重要意义:快速切换不同节点,赢取最高速度体验。
本文重点教会大家搭建Xray+爬虫网站,爬取的节点具体使用可参见我下面提到的文章浏览。
对于爬虫爬取3000+免费节点比较陌生的朋友可以先到前面我发布的博文《科学上网按需智能筛选3000+免费节点使用,拓展除winxray外其他主流客户端节点导入方法》,《导节点基本方法视频介绍》充电。
一键安装脚本部分代码来源于网络,通过我精心修改过来的,需要引用转发请注明“Littleyu科学上网”
实现原理:
Xray服务端监听443端口(相当于Xray前置),发现是自己流量便进行解包转发实现代理上网,否则其他流量(https,http)回落给Nginx处理(监听端口号:37212),由Nginx反代爬虫网站服务。
准备条件
1.境外VPS一台(1核CPU,192M内存以上);2.操作系统:CentOS7,;3.域名一个。
一键搭建
在搭建前,先做好域名解析任务,解析到要搭建VPS的ip。
使用ssh终端工具登录VPS,输入以下命令完成一键自动安装Xray+爬虫网站程序。脚本安装会提示输入你自己解析好的域名,最好是二级域名(如:www.yugogogogo.tk)
1 |
wget https://raw.githubusercontent.com/lanhebe/proxypool/master/onekey_install_xray_pc.sh && chmod +x onekey_install_xray_pc.sh &&./onekey_install_xray_pc.sh |
安装自动搭建Xray+爬虫程序网站,并且搭建nginx,由nginx反代爬虫服务,当爬取完毕,3分钟会把结果以网页形式显示。
测试结果
爬虫网站演示
在浏览器地址栏处输入刚刚脚本安装的域名(演示域名:www.yugogogogo.tk)回车,即可看到下图爬取主页。有关免费节点高级筛选和使用方法详见《科学上网按需智能筛选3000+免费节点使用,拓展除winxray外其他主流客户端节点导入方法》,《导节点基本方法视频介绍》
Xray客户端连接
关于客户端连接Xray,电脑端可以使用Winxray(下载及使用教程),v2rayN,Qv2ray(下载及使用教程),安卓手机可以使用v2rayNG。这里我以Qv2ray连接测试,使用的协议:vless+tcp+xtls
,关于Qv2ray连接Xray不会使用的朋友,可以到这里充电,这里不再赘述。
若文章对你有所帮助请点赞支持一下,文中不足或有更好的建议,欢迎给我留言。
搭建Xray+爬虫网站视频教程详见此处。
后记
因为通过acme脚本获取的免费ssl证书有效期只有3个月,3个月到期,xray的https加密协议失效自然无法实现代理上网,爬虫网站变为不安全连接上网,这里把后续的ssl证书续签以及各项程序的启动都梳理一遍,分享给大家。
这边默认vps已经安装过acme.sh脚本,没有的或不会的可以浏览此处充电。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
#一行一行敲命令回车执行,首先安装socat yum -y install socat #停掉nginx服务让出80端口 systemctl stop nginx #续签ssl证书,以下域名改成自己的 .acme.sh//acme.sh --issue -d proxy.yugogo.xyz --standalone #注册邮箱,自定义 .acme.sh//acme.sh --register-account -m leeyqd2@gmail.com #再次申请,改为自己的域名(一级,二级域名均可) .acme.sh//acme.sh --issue -d proxy.yugogo.xyz --standalone #恢复nginx启动 systemctl start nginx #部署证书到xray默认路径,将域名改为自己的 .acme.sh//acme.sh --installcert -d proxy.yugogo.xyz --key-file /usr/local/etc/xray/cert/private.key --fullchain-file /usr/local/etc/xray/cert/fullchain.cer #重启xray systemctl restart xray |
网站打开出现502 Bad Gateway,怎解决?
首先看主机能否ping通?通则在vps使用curl http://127.0.0.1:12580测试,如果返回网页html代码,那就是nginx的问题,先排错吧!
我用QV2RAY 按照你的方法连接之后,提示HTTP ERROR 503,谷歌,和一些网页都是这样。国内的没问题。是什么问题。用CURL 测试是提示拒绝连接
先检查爬虫进程是否存在。命令如下:ps -ef|grep proxy 回车若返回一串数字证明爬虫运行正常,否则需要手动启动