逸樂太子

摘要： 超級課堂網(wǎng)站是中小學(xué)大片式學(xué)習(xí)平臺，將網(wǎng)頁上的題目轉(zhuǎn)為本地直接打開的網(wǎng)頁。其中數(shù)學(xué)公式使用MathJax.js轉(zhuǎn)換。 導(dǎo)出的效果如下圖所示： 工具界面如下： 閱讀全文

摘要： 為了方便學(xué)生刷題與查看答案，將在線的題庫導(dǎo)出至本地，方便快速瀏覽。 導(dǎo)出至本地的效果如下： 瀏覽器上的效果： 閱讀全文

摘要： 目標(biāo)網(wǎng)址：https://pubscholar.cn/resource/journals 收集下面期刊的名字。 打開開發(fā)者工具，切換網(wǎng)頁頁碼發(fā)現(xiàn)接口地址如下： 另外接口請求頭中有加密簽名： 經(jīng)分析發(fā)現(xiàn)加密位置如下： 如有需要可掃描下方二維碼聯(lián)系我。 閱讀全文

摘要： 目標(biāo)網(wǎng)址：https://gaokao.chsi.com.cn/sch/search--ss-on,option-qg,searchType-1,start-0.dhtml 需求是采集如下圖所示的學(xué)校名稱、省份、主管部門、類型等信息。 此頁面使用了rs加密反爬，可以使用自動化進(jìn)行數(shù)據(jù)采集。 如有需要 閱讀全文

摘要： 需求：由于特殊原因，某Python程序在運(yùn)行中可能會中途崩潰需要重新運(yùn)行。 工具：ProcessProtector.1.0.0.3.exe 將python程序使用pyinstaller打包成一個exe可執(zhí)行文件，然后運(yùn)行之后，使用上述工具進(jìn)行守護(hù)即可。 閱讀全文

摘要： 【Python數(shù)據(jù)采集】國家自然科學(xué)基金大數(shù)據(jù)知識管理服務(wù)門戶數(shù)據(jù)采集 具體需求：從https://kd.nsfc.cn/網(wǎng)站中根據(jù)關(guān)鍵詞搜索項目信息，收集列表中展示的信息以及詳情頁面中的參與人員信息等。 在開始干活之前，我們首先要做的是弄清楚需求，然后分析目標(biāo)網(wǎng)址，確定目標(biāo)數(shù)據(jù)所在接口及請求參數(shù)等 閱讀全文

摘要： 打包命令 pyinstaller --onefile --windowed **.py 修改**.spec 文件 pathex=['/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/ddddoc 閱讀全文

摘要： 需求：爬取豆瓣電影短評評論文本內(nèi)容 目標(biāo)：將爬取的文本存入 excel 中 爬蟲步驟： 1.拼接分頁網(wǎng)址，循環(huán)請求分頁數(shù)據(jù)，獲取HTML代碼 2.分析獲取到的HTML代碼，解析出所需要的數(shù)據(jù)，提取內(nèi)容 3.存儲爬取到的數(shù)據(jù) 準(zhǔn)備工作： 1.開發(fā)工具 pycharm 2.模塊 requests、bs4 閱讀全文

摘要： 需求： 在 js 中將兩個網(wǎng)址信息拼接在一起。 如下代碼如下： String.prototype.endsWith = function (end) { return this.length > 0 && this.indexOf(end) + end.length == this.length; 閱讀全文

摘要： 需求： 從全國高校官方網(wǎng)站中爬取教師信息，包括姓名、介紹待信息。 目標(biāo)： 將從各高校官網(wǎng)中爬取到的教師信息存入 excel 或 csv 中。 準(zhǔn)備工作： 爬取目標(biāo)的高校官網(wǎng)網(wǎng)址 具體操作如下： 1.經(jīng)過分析，大部分高校網(wǎng)站的頁面使用的是 GET 請求，部分使用了 POST 請求，其中有一部分網(wǎng)站使用 閱讀全文