python + selenium + chromedriver 如何實現無界面爬取
問題描述
在使用selenium爬取12306的過程中，發現使用phantomjs無法爬取，使用chromedriver就可以，應該是phantomjs被網站檢測出來后封禁了，使用chromedriver又會顯示界面，爬取效率低。現在有兩點疑問，google了好久都沒找到有效的解決方法1.如何偽裝phantomjs，盡最大可能的偽裝2.如何設置chromedriver，使其不顯示界面，或者還有什么其他方法提高爬取效率
感謝！！！
問題解答
回答1：通過PyVirtualDisplay可以實現你的需求，大概代碼就是這樣：
#!/usr/bin/env pythonfrom pyvirtualdisplay import Displayfrom selenium import webdriverdisplay = Display(visible=0, size=(800, 600))display.start()# now Firefox will run in a virtual display. # you will not see the browser.browser = webdriver.Chrome()browser.get(’http://www.baidu.com’)print browser.titlebrowser.quit()display.stop()
不知道你修改過phantomjs的頭信息沒有，可以通過
from selenium import webdriveroptions = webdriver.ChromeOptions()options.add_argument(’lang=zh_CN.UTF-8’)options.add_argument(’user-agent='Mozilla/5.0 (iPod; U; CPU iPhone OS 2_1 like Mac OS X; ja-jp) AppleWebKit/525.18.1 (KHTML, like Gecko) Version/3.1.1 Mobile/5F137 Safari/525.20'’)browser = webdriver.Chrome(chrome_options=options)url = 'https://baidu.com'browser.get(url)browser.quit()
這種方式修改phantomjs的頭部信息，這個也可以試試
回答2：可以參考鄙人的文章在headless模式下運行selenium
相關文章：
1. boot2docker無法啟動2. docker-compose中volumes的問題3. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””4. java - SSH框架中寫分頁時service層中不能注入分頁類5. nignx - docker內nginx 80端口被占用6. docker安裝后出現Cannot connect to the Docker daemon.7. javascript - mock.js可以存儲數據嗎8. docker api 開發的端口怎么獲取？9. docker images顯示的鏡像過多，狗眼被亮瞎了，怎么辦？10. golang - 用IDE看docker源碼時的小問題
網公網安備