爬山虎采集器V2是一款支持99%的網站數據采集的高效網頁信息采集軟件,它能生成Excel表格,api數據庫文件等內容,幫助你管理網站數據信息,如果您需要對某個指定網頁數據進行采集,使用這款軟件即可。
軟件特色
1、一鍵提取數據
簡單易學,通過可視化界面,鼠標點擊即可抓取數據。
2、快速高效
內置一套高速瀏覽器內核,加上HTTP引擎模式,實現快速采集數據。
3、適用各種網站
能夠采集互聯網99%的網站,包括單頁應用Ajax加載等等動態類型網站。
功能介紹
1、向導模式
簡單易用,輕松通過鼠標點擊自動生成。
2、腳本定時運行
可按照計劃定時運行,無需人工。
3、獨創高速內核
自研的瀏覽器內核,速度飛快,遠超對手。
4、智能識別
對于網頁中的列表、表單結構(多選框下拉列表等)能夠智能識別。
5、廣告屏蔽
定制的廣告屏蔽模塊,兼容AdblockPlus語法,可添加自定義規則。
6、多種數據導出
支持Txt 、Excel、MySQL、SQLServer、SQlite、Access、網站等。
使用方法
第一步:輸入采集網址
打開軟件,新建任務,輸入需要采集的網站地址。
第二步:智能分析,全程自動化提取數據
進入到第二步后,爬山虎采集器全自動智能分析網頁,并且從中提取出列表數據。
第三步:導出數據到表格、數據庫、網站等
運行任務,將采集到的數據導出為Csv、Excel以及各種數據庫,支持api導出。
常見問題
問:如何過濾列表中的前N個數據?
1.有時我們需要對采集到的列表進行過濾,比如過濾掉第一組數據(在采集表格時,過濾掉表格列名)。
2.點擊列表模式菜單中的,設置列表xpath。
問:如何抓包獲取Cookie,并且手動設置?
1.首先,使用谷歌瀏覽器打開要采集的網站,并且登陸。
2.然后按下 F12,會出現開發者工具,選擇 Network。
3.然后按下F5,刷新下頁面, 選擇其中一個請求。
4.復制完成后,在爬山虎采集器中,編輯任務,進入第三步,指定HTTP Header。
更新日志
1.增加插件功能。
2.增加導出 txt (一條保存為一個文件)。
3.多值連接符支持換行符。
4.修改數據處理的文本映射(支持查找替換)。
5.修復登陸時的DNS問題。
6.修復圖片下載問題。
7.修復 json 一些問題。