Littleyu科学上网
技术分享

一键脚本安装域名爬虫网站,自动爬取公网免费ss,ssr,v2ray,trojan节点,设置个性化条件智能爬取

摘要

前面我发布的博文《科学上网按需智能筛选3000+免费节点使用,拓展除winxray外其他主流客户端节点导入方法》,《导节点基本方法视频介绍》,相信大家对爬虫爬取3000个免费节点会导入和使用,而爬虫爬取功能强大性是有所认知。我们得到的好处就是从别人网站分享爬取的免费节点使用。对于别人个性化设置爬取条件是什么我们一概不知,如何根据自己个性化需求爬取有效节点,甚至搭建爬虫告别复杂的搭建环节,以及在不需要宝塔面板下,让弱鸡也能装上爬虫应用。这就是本篇博文所要讲述的重点。授人鱼,不如授人渔。
本文重点教会大家搭建爬虫,爬取的节点具体使用可参见我前面提到的文章浏览。
一键安装脚本部分代码来源于网络,通过我精心修改过来的,需要引用转发请注明“Littleyu科学上网”

准备条件

1.境外VPS一台(1核CPU,256M内存);2.操作系统:CentOS7,;3.域名一个。

一键搭建

在搭建前,先做好域名解析任务,解析到要搭建VPS的ip。
使用ssh终端工具登录VPS,输入以下命令完成一键自动安装爬虫程序。脚本安装会提示输入你自己解析好的域名,最好是二级域名(如:www.yugogogo.ml)

安装自动搭建爬虫程序,并且搭建nginx,由nginx反代爬虫服务,当爬取完毕,3分钟会把结果以网页形式显示。

测试结果

在浏览器地址栏处输入刚刚脚本安装的域名(演示域名:www.yugogogo.ml)回车,即可看到下图爬取主页。有关免费节点高级筛选和使用方法详见《科学上网按需智能筛选3000+免费节点使用,拓展除winxray外其他主流客户端节点导入方法》,《导节点基本方法视频介绍》

高级设置

一键搭建脚本默认使用的参数如不符合你的爬取需求,可以先把爬虫程序停下。(命令如下)

(如下图命令效果)

使用vi命令打开爬虫配置文件,vi config.yaml

在此处根据需求配置参数,我把各项参数设置附上中文注释,以便大家学习应用。对于流量多性能好的服务器可以打开speedtest参数测速。
输入“Esc键”:wq保存并退出。然后重新启动爬虫程序即可。
启动命令:

若文章对你有所帮助请点赞支持一下,文中不足或有更好的建议,欢迎给我留言。
搭建爬虫视频教程详见此处

赞(41) 打赏,请点Google广告
需转载请注明引用出处:Littleyu科学上网技术 » 一键脚本安装域名爬虫网站,自动爬取公网免费ss,ssr,v2ray,trojan节点,设置个性化条件智能爬取

评论 14

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #1

    大佬,你可以把一键脚本上的acme.sh改一改么?acme.sh就把默认CA换成了ZeroSSL,不设置账户邮箱就不让用!

    andyc3年前 (2021-06-25)回复
  2. #2

    我这边也是申请不到ssl自动脚本里面导致一直打不开请修复下

    情海3年前 (2021-06-29)回复
    • 已恢复可以正常使用。

      Little yu3年前 (2021-07-02)回复
  3. #3

    大佬能不能修改一下脚本当检测到vps已有程序自动跳过?
    比如原本已经安装了nginx,可否自动或手动跳过 继续执行下一步而不是 安装结束。

    f2年前 (2021-11-14)回复
    • 好的

      Little yu2年前 (2021-11-14)回复
  4. #4

    一键脚本所生成的网站,(运行一两天后)经常出现“502 Bad Gateway”错误。

    决然2年前 (2021-11-26)回复
  5. #5

    一键脚本所生成的网站,运行一两天后出现“502 Bad Gateway”错误,卸载后再重新安装又正常,已经发生两次了。

    决然2年前 (2021-11-26)回复
  6. #6

    一键脚本显示未找到命令

    wan1年前 (2023-03-15)回复
  7. #7

    一键安装脚本是不是失效了?显示未找到命令。

    wan1年前 (2023-03-15)回复
    • 贴码上来看看,至少把错误的关键码贴上

      Little yu1年前 (2023-03-16)回复
  8. #8

    找不到config/source.yaml

    15313141年前 (2023-03-24)回复
    • 可以自行到github我的项目仓库自行下载到运行的主机上运行。

      Little yu1年前 (2023-03-24)回复