복붙노트

[PYTHON] 파이썬에서 프록시를 사용하여 Selenium Webdriver 실행하기

PYTHON

파이썬에서 프록시를 사용하여 Selenium Webdriver 실행하기

나는 기본적인 작업을 수행하기 위해 Python으로 Selenium Webdriver 스크립트를 실행하려고한다. Selenium IDE 인터페이스를 통해 로봇을 실행할 때 로봇이 완벽하게 작동하도록 할 수 있습니다 (예 : GUI에서 액션 반복). 그러나 코드를 파이썬 스크립트로 내보내고 명령 줄에서 실행하려고하면 Firefox 브라우저가 열리지 만 시작 URL에 액세스 할 수 없습니다 (오류가 명령 줄에 반환되고 프로그램이 중지됨). 이것은 내가 액세스하려고하는 웹 사이트 등을 막론하고 나에게 일어나고 있습니다.

데모 목적으로 여기에 아주 기본적인 코드를 포함 시켰습니다. 반환되는 오류가 프록시에 의해 생성 된 것으로 보이는 코드의 프록시 섹션을 올바르게 포함했다고 생각하지 않습니다.

어떤 도움이라도 대단히 감사 할 것입니다.

아래 코드는 www.google.ie를 열고 "셀렌"이라는 단어를 검색하기위한 것입니다. 나를 위해 그것은 빈 파이어 폭스 브라우저를 열고 중지합니다.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
import unittest, time, re
from selenium.webdriver.common.proxy import *

class Testrobot2(unittest.TestCase):
    def setUp(self):

        myProxy = "http://149.215.113.110:70"

        proxy = Proxy({
        'proxyType': ProxyType.MANUAL,
        'httpProxy': myProxy,
        'ftpProxy': myProxy,
        'sslProxy': myProxy,
        'noProxy':''})

        self.driver = webdriver.Firefox(proxy=proxy)
        self.driver.implicitly_wait(30)
        self.base_url = "https://www.google.ie/"
        self.verificationErrors = []
        self.accept_next_alert = True

    def test_robot2(self):
        driver = self.driver
        driver.get(self.base_url + "/#gs_rn=17&gs_ri=psy-ab&suggest=p&cp=6&gs_id=ix&xhr=t&q=selenium&es_nrs=true&pf=p&output=search&sclient=psy-ab&oq=seleni&gs_l=&pbx=1&bav=on.2,or.r_qf.&bvm=bv.47883778,d.ZGU&fp=7c0d9024de9ac6ab&biw=592&bih=665")
        driver.find_element_by_id("gbqfq").clear()
        driver.find_element_by_id("gbqfq").send_keys("selenium")

    def is_element_present(self, how, what):
        try: self.driver.find_element(by=how, value=what)
        except NoSuchElementException, e: return False
        return True

    def is_alert_present(self):
        try: self.driver.switch_to_alert()
        except NoAlertPresentException, e: return False
        return True

    def close_alert_and_get_its_text(self):
        try:
            alert = self.driver.switch_to_alert()
            alert_text = alert.text
            if self.accept_next_alert:
                alert.accept()
            else:
                alert.dismiss()
            return alert_text
        finally: self.accept_next_alert = True

    def tearDown(self):
        self.driver.quit()
        self.assertEqual([], self.verificationErrors)

if __name__ == "__main__":
    unittest.main()

해결법

  1. ==============================

    1.어때?

    어때?

    PROXY = "149.215.113.110:70"

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "class":"org.openqa.selenium.Proxy",
    "autodetect":False
}

# you have to use remote, otherwise you'll have to code it yourself in python to 
driver = webdriver.Remote("http://localhost:4444/wd/hub", webdriver.DesiredCapabilities.FIREFOX)

    자세한 내용은 여기를 참조하십시오.

  2. ==============================

    2.이 방법은 나를 위해 작동합니다 (@Amey 및 @ user4642224 코드와 유사하지만 조금 더 짧음).

    이 방법은 나를 위해 작동합니다 (@Amey 및 @ user4642224 코드와 유사하지만 조금 더 짧음).

    from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

prox = Proxy()
prox.proxy_type = ProxyType.MANUAL
prox.http_proxy = "ip_addr:port"
prox.socks_proxy = "ip_addr:port"
prox.ssl_proxy = "ip_addr:port"

capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

driver = webdriver.Chrome(desired_capabilities=capabilities)
  3. ==============================

    3.내 솔루션 :

    내 솔루션 :

    def my_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        # Direct = 0, Manual = 1, PAC = 2, AUTODETECT = 4, SYSTEM = 5
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("general.useragent.override","whater_useragent")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

    그런 다음 코드를 호출하십시오.

    my_proxy(PROXY_HOST,PROXY_PORT)

    문자열을 포트 번호로 전달했기 때문에이 코드에 문제가있었습니다.

     PROXY_PORT="31280"

    이건 중요하다:

    int("31280")

    문자열 대신 정수를 전달해야합니다. 그렇지 않으면 firefox 프로필이 제대로 설정된 포트로 설정되지 않고 프록시를 통한 연결이 작동하지 않습니다.

  4. ==============================

    4.socks5 프록시 설정을 시도해보십시오. 나는 같은 문제에 직면했고 그것은 양말 프록시를 사용하여 해결된다.

    socks5 프록시 설정을 시도해보십시오. 나는 같은 문제에 직면했고 그것은 양말 프록시를 사용하여 해결된다.

    def install_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.https",PROXY_HOST)
        fp.set_preference("network.proxy.https_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.ssl",PROXY_HOST)
        fp.set_preference("network.proxy.ssl_port",int(PROXY_PORT))  
        fp.set_preference("network.proxy.ftp",PROXY_HOST)
        fp.set_preference("network.proxy.ftp_port",int(PROXY_PORT))   
        fp.set_preference("network.proxy.socks",PROXY_HOST)
        fp.set_preference("network.proxy.socks_port",int(PROXY_PORT))   
        fp.set_preference("general.useragent.override","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

    그럼 전화 해. install_proxy (ip, port)를 프로그램에서 제거하십시오.

  5. ==============================

    5.누구든지 솔루션을 찾고 있다면 방법은 다음과 같습니다.

    누구든지 솔루션을 찾고 있다면 방법은 다음과 같습니다.

    from selenium import webdriver
PROXY = "YOUR_PROXY_ADDRESS_HERE"
webdriver.DesiredCapabilities.FIREFOX['proxy']={
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "autodetect":False
}
driver = webdriver.Firefox()
driver.get('http://www.whatsmyip.org/')
  6. ==============================

    6.Firefox 프로필 설정하기

    Firefox 프로필 설정하기

    from selenium import webdriver
import time


"Define Both ProxyHost and ProxyPort as String"
ProxyHost = "54.84.95.51" 
ProxyPort = "8083"



def ChangeProxy(ProxyHost ,ProxyPort):
    "Define Firefox Profile with you ProxyHost and ProxyPort"
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 1)
    profile.set_preference("network.proxy.http", ProxyHost )
    profile.set_preference("network.proxy.http_port", int(ProxyPort))
    profile.update_preferences()
    return webdriver.Firefox(firefox_profile=profile)


def FixProxy():
    ""Reset Firefox Profile""
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 0)
    return webdriver.Firefox(firefox_profile=profile)


driver = ChangeProxy(ProxyHost ,ProxyPort)
driver.get("http://whatismyipaddress.com")

time.sleep(5)

driver = FixProxy()
driver.get("http://whatismyipaddress.com")

    이 프로그램은 Windows 8 및 Mac OSX에서 테스트되었습니다. Mac OSX를 사용 중이고 셀레늄이 업데이트되지 않은 경우 selenium.common.exceptions.WebDriverException이 발생할 수 있습니다. 그렇다면 셀레늄을 업그레이드 한 후 다시 시도하십시오.

    pip install -U selenium
  7. ==============================

    7.Tor 서비스를 실행하고 코드에 다음 함수를 추가하십시오.

    Tor 서비스를 실행하고 코드에 다음 함수를 추가하십시오.

    def connect_tor (포트) :

    socks.set_default_proxy(socks.PROXY_TYPE_SOCKS5, '127.0.0.1', port, True)
socket.socket = socks.socksocket

    def main () :

    connect_tor()
driver = webdriver.Firefox()

    8. from https://stackoverflow.com/questions/17082425/running-selenium-webdriver-with-a-proxy-in-python by cc-by-sa and MIT license

'PYTHON' 카테고리의 다른 글

[PYTHON] Python에서 "ImportError : No module named ..."오류를 수정하는 방법은 무엇입니까?  (0) 2018.10.07
[PYTHON] 파이썬 언어를위한 isPrime 함수  (0) 2018.10.07
[PYTHON] 파이썬 요청 파일 업로드  (0) 2018.10.07
[PYTHON] 여러 프로세스간에 결과 큐 공유  (0) 2018.10.07
[PYTHON] Python super ()가 TypeError를 발생시킵니다.  (0) 2018.10.07
,

티스토리툴바