當前位置: 首頁 > Chrome插件推薦 > 推薦幾款爬蟲工程師常用的Chrome 插件

推薦幾款爬蟲工程師常用的Chrome 插件

Chrome插件推薦
 
作為爬蟲工程師就是要寫出一些能夠沿著網爬的”蜘蛛“程序,保存下來獲得的信息。但每一個寫爬蟲的人都知道寫一個爬蟲大部分時間不是在代碼上,基本上主要的時間都花費在了頁面的解析上。所以有一套好用的工具可以極大節省勞動力,下面小編就給大家介紹六款爬蟲工程師常用的chrome插件。

爬蟲工程師常用的chrome插件一:XPath Helper

XPath Helper插件簡介

xpath helper插件是一款免費的chrome爬蟲網頁解析工具??梢詭椭脩艚鉀Q在獲取xpath路徑時無法正常定位等問題。該插件主要能幫助你在各類網站上通過按shift鍵選擇想要查看的頁面元素來提取查詢其代碼,同時你還能對查詢出來的代碼進行編輯,而編輯出的結果將立即顯示在旁邊的結果框中。
XPath Helper插件簡介

XPath Helper插件功能

XPath Helper可以支持在網頁點擊元素生成xpath,整個抓取使用了xpath、正則表達式、消息中間件、多線程調度框架(參考)。xpath 是一種結構化網頁元素選擇器,支持列表和單節點數據獲取,他的好處可以支持規整網頁數據抓取。
如果我們要查找某一個、或者某一塊元素的xpath路徑,可以按住shift,并移動到這一塊中,上面的框就會顯示這個元素的xpath路徑,右邊則會顯示解析出的文本內容,并且我們可以自己改動xpath路徑,程序也會自動的顯示對應的位置,可以很方便的幫助我們判斷我們的xpath語句是否書寫正確。

爬蟲工程師常用的chrome插件二:Toggle JavaScript

Toggle JavaScript插件簡介

Toggle JavaScript是一款可以幫助用戶使用chrome插件來切換javascript運行的谷歌瀏覽器插件,在chrome中安裝了Toggle JavaScript插件以后,用戶就可以使用該插件的按鈕,快速地切換chrome的javascript功能,當用戶訪問網頁的時候,受到javascript的“騷擾”時,可以果斷使用Toggle JavaScript禁用到js的運行。
Toggle JavaScript插件簡介

Toggle JavaScript插件功能

1.全局JavaScript主開關
2.禁用JavaScript時可靠地重新加載頁面

爬蟲工程師常用的chrome插件三:FeHelper

FeHelper插件簡介

WEB前端助手:FeHelper是一款chrome瀏覽器插件。包含一些前端實用的工具,如字符串編解碼、代碼美化、JSON格式化查看、二維碼生成器、編碼規范檢測、柵格規范檢測、網頁性能檢測、頁面取色等web前端開發的常見功能。
FeHelper插件簡介

FeHelper插件功能

1、字符串編解碼(Unicode/UTF8/Base64/MD5)
2、代碼美化工具(HTML/CSS/JS/XML/SQL)
3、代碼壓縮工具(HTML/CSS/JS)
4、Json串格式化(粘貼文本、手動格式化)
5、Json頁面美化(頁面自動檢測并格式化,強制開啟)
6、二維碼生成器(支持當前頁面生成QrCode)
7、頁面取色工具(滑動鼠標隨意取色)
8、Js正則表達式(正則測試、常用正則列表)
9、時間(戳)轉換(Unix戳與本地時間的互轉)
10、圖片 Base64(任意圖片轉DataURI格式)
11、編碼規范檢測(HTML/CSS/JS規范檢測)
12、頁面性能檢測(頁面響應時間、Header監測)
13、Ajax調試功能(需在控制臺中使用)

爬蟲工程師常用的chrome插件四:User-Agent Switcher

User-Agent Switcher插件簡介

User-Agent Switcher插件是一款可以使用Chrome瀏覽器訪問網站的時候來制造一種其他瀏覽器正在訪問該網站的一種“假象”。在開發者需要使用多種瀏覽器來對網站進行模擬訪問的時候可以使用User-Agent Switcher插件在Chrome瀏覽器中完成全部的請求,用戶只需要在谷歌瀏覽器中安裝User-Agent Switcher插件就可以在不離開Chrome的過程中使用多種瀏覽器的代理模式來訪問當前的網站。
User-Agent Switcher插件簡介

爬蟲工程師常用的chrome插件五:X-Forwarded-For Header

X-Forwarded-For Header插件簡介

X-Forwarded-For Header插件是一個 HTTP 擴展頭部,主要是為了讓 Web 服務器獲取訪問用戶的真實 IP 地址,通過此擴展,您可以快速更新X-Forwarded-For HTTP標頭,以進行各種測試。
X-Forwarded-For Header插件簡介

爬蟲工程師常用的chrome插件六:SwitchyOmega

SwitchyOmega插件簡介

SwitchyOmega是一個 Chrome瀏覽器用來切換和管理不同代理的chrome插件。該插件是一個代理配置管理的插件,就類似與IE里面的Internet選項的中的代理設置的功能一樣。 SwitchyOmega是SwitchySharp 的升級版,可替代 SwitchyPlus 或 Proxy Switchy. SwitchyOmega 初次安裝時會檢查是否存在 SwitchySharp ,如果有的話則會自動升級設置,無須手動配置。如果您使用的是非谷歌應用商店版,或者無法自動升級,則可以手動在SwitchySharp導出設置文件后,在SwitchyOmega導入,可兼容配置。升級到SwitchyOmega后請禁用SwitchySharp。
SwitchyOmega插件簡介

SwitchyOmega插件功能

1、自動檢測未加載的元素,并可通過彈出菜單一鍵設置使用代理。
2、支持需要用戶名密碼驗證的代理服務器。
3、更靈活的代理配置:代理情景模式、多個自動切換模式以及多個規則列表。
4、新增多種切換條件類型,并改進原有的切換條件。
5、PAC 腳本生成和切換的性能優化。
6、嶄新的選項頁面和下拉菜單,用戶體驗更佳。
7、許多錯誤修復以及改進。測試更充分。
以上就是小編今天給大家介紹的全部內容,希望幫到有需要的小伙伴。

相關插件內容推薦

XPath Helper:chrome爬蟲網頁解析工具

開發者插件 2018-05-02 07:26:41

xPath helper是一款Chrome瀏覽器的開發者插件,安裝了xPath helper后就能輕松獲取HTML元素的xPath,程序員就再也不需要通過搜索html源代碼,定位一些id去找到對應的位置去解析網頁了。

推薦幾款爬蟲工程師常用的Chrome 插件

聚合專題 2020-04-09 16:10:41

作為爬蟲工程師就是要寫出一些能夠沿著網爬的蜘蛛程序,保存下來獲得的信息。但每一個寫爬蟲的人都知道寫一個爬蟲大部分時間不是在代碼上,基本上主要的時間都花費在了頁面的

北京pk拾技巧教学