日志

基于腾讯云搭建squid代理服务器

 来源    2020-05-23    0  

本文主要介绍下在腾讯云上搭建squid代理服务器,用于访问国外网站或者为爬虫提供代理ip,以及简单介绍下如何基于腾讯云提供的SDK,批量开启或者销毁代理服务器实例。

Squid是一个高性能的代理缓存服务器,Squid支持FTP、gopher、HTTPS和HTTP协议。和一般的代理缓存软件不同,Squid用一个单独的、非模块化的、I/O驱动的进程来处理所有的客户端请求。

下面是搭建步骤:

1、yum安装软件,并设置squid开机自启

yum install -y squid
yum install -y httpd
systemctl enable squid.service

2、创建squid代理的访问用户,并设置好密码

htpasswd -c /etc/squid/passwd 用户名

  需要输入两次密码

3、配置squid.conf,并重启代理服务器

#
# Recommended minimum configuration:
#

# Example rule allowing access from your local networks.
# Adapt to list your (internal) IP networks from where browsing
# should be allowed
acl localnet src 10.0.0.0/8    # RFC1918 possible internal network
acl localnet src 172.16.0.0/12    # RFC1918 possible internal network
acl localnet src 192.168.0.0/16    # RFC1918 possible internal network
acl localnet src fc00::/7       # RFC 4193 local private network range
acl localnet src fe80::/10      # RFC 4291 link-local (directly plugged) machines

acl SSL_ports port 443
acl Safe_ports port 80        # http
acl Safe_ports port 21        # ftp
acl Safe_ports port 443        # https
acl Safe_ports port 70        # gopher
acl Safe_ports port 210        # wais
acl Safe_ports port 1025-65535    # unregistered ports
acl Safe_ports port 280        # http-mgmt
acl Safe_ports port 488        # gss-http
acl Safe_ports port 591        # filemaker
acl Safe_ports port 777        # multiling http
acl CONNECT method CONNECT

#
# Recommended minimum Access Permission configuration:
#
# Deny requests to certain unsafe ports
http_access deny !Safe_ports

# Deny CONNECT to other than secure SSL ports
http_access deny CONNECT !SSL_ports

# Only allow cachemgr access from localhost
http_access allow localhost manager
http_access deny manager

# We strongly recommend the following be uncommented to protect innocent
# web applications running on the proxy server who think the only
# one who can access services on "localhost" is a local user
#http_access deny to_localhost

#
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
#

# Example rule allowing access from your local networks.
# Adapt localnet in the ACL section to list your (internal) IP networks
# from where browsing should be allowed
http_access allow localnet
http_access allow localhost

# And finally deny all other access to this proxy
#http_access deny all

# Squid normally listens to port 3128
http_port 808

# Uncomment and adjust the following to add a disk cache directory.
#cache_dir ufs /var/spool/squid 100 16 256

# Leave coredumps in the first cache dir
coredump_dir /var/spool/squid

#
# Add any of your own refresh_pattern entries above these.
#
refresh_pattern ^ftp:        1440    20%    10080
refresh_pattern ^gopher:    1440    0%    1440
refresh_pattern -i (/cgi-bin/|\?) 0    0%    0
refresh_pattern .        0    20%    4320

cache_mem 128 MB
maximum_object_size 16 MB
cache_dir ufs /var/spool/squid 100 16 256
access_log /var/log/squid/access.log

auth_param basic program /usr/lib64/squid/basic_ncsa_auth /etc/squid/passwd
auth_param basic children 5
auth_param basic realm Squid
auth_param basic credentialsttl 5 hours
acl ncsa_users proxy_auth REQUIRED
http_access allow ncsa_users
http_access deny all

visible_hostname Squid.org
cache_mgr abingtech@163.com
systemctl restart squid.service

4、从上面的配置文件可以看出,访问端口为808,需要在云服务器的安全组中开放端口

5、可以在浏览器设置中配置代理服务器或者使用代理工具进行测试验证

 为了管理方便,采用基于腾讯云SDK进行开发,我使用的是Java语言,代码很简单就不进行过多介绍,有兴趣的同学可以从码云

【https://gitee.com/abingtech/proxy.git】上pull,这里主要说明下需要注意的点:

1、申请SecretId和SecretKey

2、搭建好代理服务器后,需要在腾讯云上手工制作好镜像,作为批量创建实例的模版

3、由于腾讯云设置的每次返回列表最大limit是100,这里需要自己手工处理分页的情况

另外,云服务器实例建议买按流量计费的模式,这样不用随时可以销毁,要用启动下就行了。

相关文章
微信小程序基于腾讯云对象存储的图片上传
日志        在使用腾讯云对象存储之前,公司一直使用的是传统的FTP的上传模式,而随着用户量的不断增加,FTP所暴露出来的问题也越来越多,1.传输效率低,上传速度慢.2.时常有上传其他文件来攻击服务 ...
2
巧用腾讯云搭建多终端《你画我猜》Socket服务器
日志项目概述 Java课大作业,做一个小游戏,三人Git协作,不同终端,一个分支三个文件夹互不影响.Demo地址 ,Github地址.先来目睹一下吧! 原理图 当玩家1在使用画笔在画板上进行绘图工作时,把 ...
1
腾讯云&搭建微信小程序服务
日志准备域名和证书 任务时间:20min ~ 40min 小程序后台服务需要通过 HTTPS 访问,在实验开始之前,我们要准备域名和 SSL 证书. 域名注册 如果您还没有域名,可以在腾讯云上选购,过程可 ...
1
腾讯云,搭建nginx静态网站服务器
日志搭建Http静态服务器环境 任务时间:15min ~ 30min 搭建静态网站,首先需要部署环境.下面的步骤,将告诉大家如何在服务器上通过 Nginx 部署 HTTP 静态服务. 安装 Nginx 在 ...
1
腾讯云-搭建 WordPress 个人博客
日志搭建 WordPress 个人博客 准备 LNMP 环境 任务时间:30min ~ 60min LNMP 是 Linux.Nginx.MySQL 和 PHP 的缩写,是 WordPress 博客系统依 ...
1
腾讯云-搭建 .NET Core 开发环境
日志搭建 .NET Core 开发环境 安装 .Net Core 执行代码 任务时间:时间未知 .NET Core 的官方文档很详细,本实验带你建立一个.NET Core 1.1的Web运行环境,更多内容 ...
腾讯云-搭建 Python 开发环境
日志搭建 Python 开发环境 准备工作 任务时间:5min ~ 10min Python是一种解释型.面向对象.动态数据类型的高级程序设计语言.首先我们来看看系统中是否已经存在 Python ,并安装 ...
腾讯云-搭建 JAVA 开发环境
日志搭建 JAVA 开发环境 搭建 JAVA 开发环境 任务时间:18min ~ 20min 此实验教大家如何配置 JDK .Tomcat 和 Mysql 00.安装 JDK JDK 是开发Java程序必 ...
1
腾讯云-搭建 FTP 文件服务
日志搭建 FTP 文件服务 目的:搭建认证登录的FTP具有读写权限 安装并启动 FTP 服务 任务时间:5min ~ 10min 安装 VSFTPD 使用 yum 安装 vsftpd: yum insta ...
1
Linux 搭建 squid 代理服务器 三种模式
日志CentOS 6.7 squid 代理服务器 一般有两张或以上网卡,一张链接公网,访问外网资源,一张位于局域网. 代理服务器可以提供文件缓存.复制和地址过滤等服务,充分利用有限的出口带宽,加快内部主机 ...
1
腾讯云服务器 基于centos7搭建ftp服务器(vsftpd)
日志该博客分为四部分设置,1.ftp服务器搭建.2.防火墙设置  3.腾讯云安全组  4.ftp加速   一.ftp服务器搭建 1.1  安装vsftpd yum install vsftpd -y 1. ...
1
腾讯云:基于 Ubuntu 搭建 VNC 远程桌面服务
日志基于 Ubuntu 搭建 VNC 远程桌面服务 前言 任务时间:5min ~ 10min 必要知识 本教程假设您已学习以下 Ubuntu 基本操作: 连接 SSH 执行命令 编辑文件 如果还没有掌握 ...
1
基于腾讯Centos7云服务器搭建SVN版本控制库
日志基于腾讯Centos7云服务器搭建SVN版本控制库 最近在和小伙伴组队参加一个关于人工智能的比赛,无奈不知道怎么处理好每个人的代码托管问题,于是找到了晚上免费svn托管服务器的服务,但是所给的免费空间 ...
基于Ubuntu 搭建 WordPress 个人博客 - 开发者实验室 - 腾讯云
日志1.准备 LAMP 环境 安装 Apache2 在终端输入该命令 ,使用 apt-get 安装 Apache2: sudo apt-get install apache2 -y 安装好后,您可以通过访 ...
腾讯云+阿里云 搭建hadoop + hbase
日志历时两天,踩了无数坑最后搭建成功... 准备 两台服务器都安装jdk1.8(最好装在相同路径). hadoop 下载 hbase 下载 这里使用hadoop-2.7.3和hbase1.2.4 服务器配 ...
1
腾讯云服务器搭建Apache/PHP/MySQL环境
日志软件环境 Windows Server 2008 R2 企业版 SP1 64位 刚刚进入 Windows Server ,你会看到以下界面: 列出了服务器的基础信息和常用配置 下载 XAMPP htt ...
1
腾讯云 自己搭建的腾讯云服务器JavaEE环境
日志0.安装SSH登录 1.生成公钥对 ssh-keygen -t rsa -P '' -P表示密码,-P '' 就表示空密码,也可以不用-P参数,这样就要三车回车,用-P就一次回车.它在/home/ch ...
keepalived工作原理和配置说明 腾讯云VPC内通过keepalived搭建高可用主备集群
日志keepalived工作原理和配置说明 腾讯云VPC内通过keepalived搭建高可用主备集群 内网路由都用mac地址一个mac地址绑定多个ip一个网卡只能一个mac地址,而且mac地址无法改,但是 ...
阿里云(二)《2017云栖大会》基于阿里云搭建自己的视频直播系统
日志感谢云栖大会,亲眼见到Redis作者:Salvatore Sanfilippo 前言 本文讲述通过参与阿里云[2017云栖大会] 视频直播服务单间一套基于阿里云的视频直播系统,主要谈及到推流.流分发. ...
腾讯云服务器搭建WampServer环境
日志软件环境Windows Server 2008 R2 企业版 SP1 64位 刚刚进入 Windows Server ,你会看到以下界面: 列出了服务器的基础信息和常用配置下载 XAMPP https ...