文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

使用代理ip防止爬虫被封ip(附亿牛云代理开发过程)

2023-06-02 06:56

关注


在我们使用爬虫的过程中,很容易遇到反爬机制是禁用ip的,可以使用代理ip解决ip被封的问题。但是网上ip代理有很多家,到底选哪家好呢?

本文选择亿牛云代理(官网地址www.16yun.cn)进行演示,使用php语言,如果需要大规模抓取可以去试试python。

 

在官网我们可以看到有提供两种方式进行代理,一种是api模式,一种是隧道模式。Api模式就是我们爬虫最常用到的,就是提供url连接给你,你的程序自动的获取代理信息。这个模式适合自己需要管理ip池控制ip的使用,ip的有效时间是2到10分钟;隧道模式就提供给你一个固定的服务器ip地址信息,包括ip:端口:用户名:密码只需要将代理信息配置到程序里面就可以使用,他们后台会自动切换ip,这个模式很方便,简单。

 

第一种方式

第一种方式

首先代理提供商会提供给你一个api接口,你可以通过这个接口去获取ip和端口号。但是这些ip的时效是2到10分钟,所以我建立了一个ip池,每两分钟去更新一次ip池,以确保这些ip每次用到的时候都是有效的。

第二种方式

 

可以直接查看亿牛云代理接入文档php代码

<?php

        // 要访问的目标页面

        $url = "http://httpbin.org/ip";

        $urls = "https://httpbin.org/ip";

 

        // 代理服务器

        define("PROXY_SERVER", "tcp://t.16yun.cn:31111");

 

        // 隧道身份信息

        define("PROXY_USER", "16YUN123");

        define("PROXY_PASS", "123456");

 

        $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);

 

        // 设置 Proxy tunnel

        $tunnel = rand(1,10000);

 

        $headers = implode("\r\n", [

            "Proxy-Authorization: Basic {$proxyAuth}",

            "Proxy-Tunnel: ${tunnel}",

        ]);

        $sniServer = parse_url($urls, PHP_URL_HOST);

        $options = [

            "http" => [

                "proxy"  => PROXY_SERVER,

                "header" => $headers,

                "method" => "GET",

                'request_fulluri' => true,

            ],

            'ssl' => array(

                    'SNI_enabled' => true, // Disable SNI for https over http proxies

                    'SNI_server_name' => $sniServer

            )

        ];

        print($url);

        $context = stream_context_create($options);

        $result = file_get_contents($url, false, $context);

        var_dump($result);

 

        // 访问 HTTPS 页面

        print($urls);

        $context = stream_context_create($options);

        $result = file_get_contents($urls, false, $context);

        var_dump($result);?>

经过一周的测试,代理的有效率在90%以上,总体来说效果还是很好的。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯