国产永久免费高清在线,人人澡人摸人人添,亚洲精品人妻中文字幕

[置頂] 使用scrapy+selenium爬取淘寶網(wǎng)

摘要： --***2019-3-27測試有效*** 第一步：打開cmd，輸入scrapy startproject taobao_s新建一個(gè)項(xiàng)目。接著cd 進(jìn)入我們的項(xiàng)目文件夾內(nèi)輸入scrapy genspider taobao www.taobao.com新建一個(gè)爬蟲文件內(nèi)是這樣的，tools是我建閱讀全文

posted @ 2018-12-02 19:55 一個(gè)大柚子閱讀(6726) 評論(6) 推薦(1)

2021年10月28日

一個(gè)簡單的app的demo

摘要：目標(biāo)app：aHR0cHM6Ly9zZWN1cml0eS5iaWxpYmlsaS5jb20vc2VjMTAyNC9xL3I1Lmh0bWw= 打開app 把a(bǔ)pp丟到GDA反編譯跳轉(zhuǎn)Encrypt a就是換位 b就是base64 java和python的byte是不一樣的。 java的byte[] 閱讀全文

posted @ 2021-10-28 11:49 一個(gè)大柚子閱讀(1075) 評論(0) 推薦(0)

2021年8月28日

python爬蟲一個(gè)security的RSA加密爬蟲

摘要：目標(biāo)網(wǎng)站 aHR0cDovL2Nhcy5zd3VzdC5lZHUuY24vYXV0aHNlcnZlci9sb2dpbg== 加密定位和分析第一個(gè)參數(shù) execution 在頁面直接存在第二個(gè)參數(shù) 這個(gè)是直接寫死的第三參數(shù)geolocation 直接為空第四個(gè)參數(shù) username 是賬號名，閱讀全文

posted @ 2021-08-28 10:26 一個(gè)大柚子閱讀(971) 評論(0) 推薦(0)

2021年8月17日

python使用excejs執(zhí)行時(shí)出現(xiàn)環(huán)境缺失的簡單解決方法

摘要：使用jsdom 在js的頭加上 const canvas = require('canvas'); const jsdom = require("jsdom"); const {JSDOM} = jsdom; const dom = new JSDOM(`<!DOCTYPE html><p>Hell 閱讀全文

posted @ 2021-08-17 17:14 一個(gè)大柚子閱讀(258) 評論(0) 推薦(0)

2021年8月14日

記一次面試過程

摘要：不完善的地方 1.詢問ase加密模型的區(qū)別 2.詢問celery的定時(shí) 3.詢問mysql數(shù)據(jù)庫的索引 4.詢問安卓逆向 5.詢問mysql千萬級別的數(shù)據(jù)庫入庫。當(dāng)時(shí)答的是使用多線程，和隊(duì)列。經(jīng)過現(xiàn)在的查詢， 1、使用拼接sql，一次導(dǎo)入五千或者一萬條，能夠顯著提高速度。 2、使用連接池 3、使用閱讀全文

posted @ 2021-08-14 10:58 一個(gè)大柚子閱讀(45) 評論(0) 推薦(0)

2019年12月18日

收藏的一些文章

摘要： 1 . 使用python+selenium控制手工已打開的瀏覽器 http://www.rzrgm.cn/HJkoma/p/9936434.html 2 . 協(xié)程（Coroutine） https://blog.csdn.net/qq_33567641/article/details/821 閱讀全文

posted @ 2019-12-18 12:31 一個(gè)大柚子閱讀(134) 評論(0) 推薦(0)

使用 mitmdump 進(jìn)行 selenium webDriver繞過網(wǎng)站反爬服務(wù)的方法 pdd某寶可用

摘要：安裝: pip install mitmproxy 新建一個(gè)腳本腳本代碼： 1 from mitmproxy import ctx 2 3 injected_javascript = ''' 4 // overwrite the `languages` property to use a cust 閱讀全文

posted @ 2019-12-18 11:48 一個(gè)大柚子閱讀(2325) 評論(0) 推薦(0)

2019年8月3日

python 使用tesseract進(jìn)行圖片識別

摘要：我的python為3.7 1.需要安裝二個(gè)模塊， PIL 直接使用 pip install PIL 會報(bào)錯(cuò) 使用 pip install Pillow 即可安裝PIL 第二個(gè)直接 pip install pytesseract 2安裝好了模塊還需要下載 tesseract-ocr 下載網(wǎng)址：http 閱讀全文

posted @ 2019-08-03 16:17 一個(gè)大柚子閱讀(7901) 評論(0) 推薦(0)

2019年5月19日

scrapy-redis 分布式嗶哩嗶哩網(wǎng)站用戶爬蟲

摘要： scrapy里面，對每次請求的url都有一個(gè)指紋，這個(gè)指紋就是判斷url是否被請求過的。默認(rèn)是開啟指紋即一個(gè)URL請求一次。如果我們使用分布式在多臺機(jī)上面爬取數(shù)據(jù)，為了讓爬蟲的數(shù)據(jù)不重復(fù)，我們也需要一個(gè)指紋。但是scrapy默認(rèn)的指紋是保持到本地的。所有我們可以使用redis來保持指紋，并且用red 閱讀全文

posted @ 2019-05-19 16:49 一個(gè)大柚子閱讀(630) 評論(0) 推薦(0)

2019年3月10日

今日頭條加密參數(shù)的識別

摘要：今日頭條有三個(gè)加密參數(shù) 先找一個(gè)作者的主頁，列如：https://www.toutiao.com/c/user/108888017311/#mid=1619989289127939 然后進(jìn)去抓包找文章的地址發(fā)現(xiàn)：https://www.toutiao.com/c/user/article/?page 閱讀全文

posted @ 2019-03-10 16:04 一個(gè)大柚子閱讀(4100) 評論(0) 推薦(0)

2019年2月28日

python 遇到的一些問題和解決方法

摘要：安裝crypto python3里面這個(gè)改成了pycryptodome 1. pip3 install pycryptodome 或者 pip3 install -i https://pypi.douban.com/simple pycryptodome 閱讀全文

posted @ 2019-02-28 14:47 一個(gè)大柚子閱讀(459) 評論(0) 推薦(0)

一個(gè)大柚子

公告