chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

python代碼中如何使用HTTP代理

華益云HTTP爬蟲IP ? 來源:華益云HTTP爬蟲IP ? 作者:華益云HTTP爬蟲IP ? 2022-09-13 09:24 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

一、什么是HTTP代理。

HTTP代理就是介于瀏覽器和web服務(wù)器之間的一臺服務(wù)器,連接代理后,瀏覽器不再直接向web服務(wù)器取回網(wǎng)頁,而是向代理服務(wù)器發(fā)出request信號,代理服務(wù)器再想web服務(wù)器發(fā)出請求,收到web服務(wù)器返回的數(shù)據(jù)后再反饋給瀏覽器。

二、華益云HTTP代理IP基本參數(shù)介紹

1:基本參數(shù)介紹:支持http,https,socks5等多種協(xié)議類型。100%高匿IP,支持API提取,API最快提取間隔1秒,一次最多可以提取200個。

2:支持的語言:python,java,c,c#,go,php,易語言等多種編程語言。

3:使用范圍:軟件程序API調(diào)用,爬蟲,網(wǎng)頁訪問,瀏覽等支持HTTP協(xié)議批量調(diào)用的應(yīng)用。

python代碼中如何使用HTTP代理。

# 此版本無需安裝依賴
import urllib
import urllib.request
import urllib

def main():
    # 發(fā)送給服務(wù)器的標識
    userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
    # 代理api(這里我推薦使用www.9vps.com華益云的HTTP代理API,注冊就白嫖1萬IP)
    proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&";
    # 請求代理url,獲取代理ip 
    outPutProxy = getProxy(proxyUrl, userAgent)
    if len(outPutProxy)==0:
        # 沒有獲取到代理
        return
    # 目標請求網(wǎng)站
    # https://httpbin.org/get
    url = "https://www.qq.com/"
    content = None
 
    for _ in range(0, 3):
        # 最多嘗試三次
        try:
            # 從列表中取出一個代理出來
            proxy = outPutProxy.pop(0)
            px = {
                "http": proxy,
                "https": proxy
            }
            content = requestGet(url, userAgent, px)
            break
        except Exception as e:
            print(e)
            if (len(outPutProxy) == 0):
                # 如果發(fā)現(xiàn)沒有代理了,就去獲取下。
                outPutProxy = getProxy(proxyUrl, userAgent)
     
    print(content)
def getProxy(proxyUrl, userAgent):
    proxyIps=""
    outPutProxy = []
    try:
        proxyIps = requestGet(proxyUrl, userAgent, None)
        print("(proxyIps)", proxyIps)
        # {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false}
        if "{" in proxyIps:
            raise Exception("[錯誤]"+proxyIps)
        outPutProxy = proxyIps.splitlines()
        
    except Exception as e:
        print(e)
    print("總共獲取了"+str(len(outPutProxy))+"個代理")
    return outPutProxy

def requestGet(url, userAgent, proxy):
    headers = {
        "User-Agent": userAgent
    }
    # httpproxy_handler = urllib.ProxyHandler({"http" : " 180.104.192.217:22036"}) 
    response = None
    if (proxy):
        proxyHandler = urllib.request.ProxyHandler(proxy)
        opener = urllib.request.build_opener(proxyHandler, urllib.request.HTTPHandler)
        urllib.request.install_opener(opener)
        request = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(request, timeout=5)
    else:
        # 沒有代理走這個
        request = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(request, timeout=5)
        #response = opener.open(request)
    
    
    html = response.read()
    # # 設(shè)置編碼,防止亂碼
    # 手動設(shè)置網(wǎng)頁字符編碼方式
    return html.decode("utf-8", "ignore")

main()
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • HTTP
    +關(guān)注

    關(guān)注

    0

    文章

    530

    瀏覽量

    34439
  • 瀏覽器
    +關(guān)注

    關(guān)注

    1

    文章

    1042

    瀏覽量

    36791
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4848

    瀏覽量

    88926
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    基礎(chǔ)篇3:掌握Python的條件語句與循環(huán)

    不同的條件執(zhí)行不同的代碼塊。Python的條件語句主要使用if、elif(else if的縮寫)和else關(guān)鍵字。 if語句 最簡單的條件語句是if語句,它的工作方式如下: 復(fù)制代碼
    發(fā)表于 07-03 16:13

    零基礎(chǔ)入門:如何在樹莓派上編寫和運行Python程序?

    在這篇文章,我將為你簡要介紹Python程序是什么、Python程序可以用來做什么,以及如何在RaspberryPi上編寫和運行一個簡單的Python程序。什么是
    的頭像 發(fā)表于 03-25 09:27 ?1269次閱讀
    零基礎(chǔ)入門:如何在樹莓派上編寫和運行<b class='flag-5'>Python</b>程序?

    使用Python API在OpenVINO?創(chuàng)建了用于異步推理的自定義代碼,輸出張量的打印結(jié)果會重復(fù),為什么?

    使用 Python* API 在 OpenVINO? 創(chuàng)建了用于異步推理的自定義代碼。 遇到輸出張量的打印結(jié)果會重復(fù)的問題,即使輸入圖像不同。
    發(fā)表于 03-06 07:53

    創(chuàng)建了用于OpenVINO?推理的自定義C++和Python代碼,從C++代碼獲得的結(jié)果與Python代碼不同是為什么?

    創(chuàng)建了用于OpenVINO?推理的自定義 C++ 和 Python* 代碼。 在兩個推理過程中使用相同的圖像和模型。 從 C++ 代碼獲得的結(jié)果與
    發(fā)表于 03-06 06:22

    docker配置網(wǎng)絡(luò)代理

    有時因為網(wǎng)絡(luò)原因,比如公司 NAT,或其它啥的,需要使用代理。Docker 的代理配置,略顯復(fù)雜,因為有三種場景。但基本原理都是一致的,都是利用 Linux 的 http_proxy 等環(huán)境變量。
    的頭像 發(fā)表于 03-03 17:18 ?714次閱讀

    使用Python實現(xiàn)xgboost教程

    裝: bash復(fù)制代碼conda install -c conda-forge xgboost 2. 導(dǎo)入必要的庫 在你的Python腳本或Jupyter Notebook,導(dǎo)入必要的庫:
    的頭像 發(fā)表于 01-19 11:21 ?1968次閱讀

    Pythondict支持多個key的方法

    ? 在Python,字典(dict)是一種非常強大的數(shù)據(jù)結(jié)構(gòu),它允許我們通過鍵(key)來存儲和檢索值(value)。有時候,我們可能想要根據(jù)多個鍵來檢索或操作字典的數(shù)據(jù)。雖然Python
    的頭像 發(fā)表于 11-29 15:59 ?698次閱讀

    使用Python進行串口通信的案例

    python復(fù)制代碼 import serialimport time # 配置串口參數(shù)serial_port = '/dev/ttyUSB0' # 在Windows上可能是 'COM3' 或其他類
    的頭像 發(fā)表于 11-22 09:11 ?2172次閱讀

    Python環(huán)境下的代理服務(wù)器搭建與自動化管理

    Python環(huán)境下搭建與自動化管理代理服務(wù)器是一項涉及網(wǎng)絡(luò)編程和自動化技術(shù)的綜合任務(wù)。
    的頭像 發(fā)表于 11-14 07:31 ?1010次閱讀

    Python編程:處理網(wǎng)絡(luò)請求的代理技術(shù)

    在網(wǎng)絡(luò)編程,代理技術(shù)扮演著至關(guān)重要的角色,尤其在處理網(wǎng)絡(luò)請求時。通過代理服務(wù)器,我們可以實現(xiàn)請求的轉(zhuǎn)發(fā)、緩存、負載均衡以及安全控制等功能。Python作為一種功能強大的編程語言,為提
    的頭像 發(fā)表于 11-12 07:23 ?761次閱讀

    Python代理服務(wù)器的配置與應(yīng)用

    一種強大的編程語言,提供了豐富的庫和模塊,使得實現(xiàn)和配置代理服務(wù)器變得相對簡單。以下將詳細介紹在Python如何配置與應(yīng)用代理服務(wù)器。
    的頭像 發(fā)表于 11-12 07:13 ?765次閱讀

    Python代理技術(shù)詳解:從入門到進階

    Python代理技術(shù)是一種在網(wǎng)絡(luò)編程中廣泛使用的技術(shù),它允許通過代理服務(wù)器發(fā)送和接收網(wǎng)絡(luò)請求。
    的頭像 發(fā)表于 11-12 07:06 ?837次閱讀

    使用Python進行圖像處理

    下面是一個關(guān)于使用Python在幾行代碼中分析城市輪廓線的快速教程。
    的頭像 發(fā)表于 11-07 10:14 ?767次閱讀
    使用<b class='flag-5'>Python</b>進行圖像處理

    Python庫解析:通過庫實現(xiàn)代理請求與數(shù)據(jù)抓取

    Python,有多個庫可以幫助你實現(xiàn)代理請求和數(shù)據(jù)抓取。這些庫提供了豐富的功能和靈活的API,使得你可以輕松地發(fā)送HTTP請求、處理響應(yīng)、解析HTML/XML/JSON數(shù)據(jù),以及進
    的頭像 發(fā)表于 10-24 07:54 ?659次閱讀

    使用Python構(gòu)建高效的HTTP代理服務(wù)器

    構(gòu)建一個高效的HTTP代理服務(wù)器在Python涉及多個方面,包括性能優(yōu)化、并發(fā)處理、協(xié)議支持(HTTP/HTTPS)、錯誤處理以及日志記錄
    的頭像 發(fā)表于 10-23 07:41 ?755次閱讀