常規文件讀寫和爬蟲數據存儲

1.文件讀取、寫入數據

• 文件讀取

  • 文件讀取很簡單，就三步

  • 首先，使用open()函數打開文件
    myfile = open(r'test.txt','r')
    

    myfile是變量，存放讀取的文件,第一個r是固定符號,'test.txt'是需要讀取文件的文件名,最后一個‘r’是文件打開模式，‘r’代表read, 意為文件讀取。

  • 第二步，我們要來讀取文件中的內容

    myfliecontent=myfile.read()
    #使用read()函數，讀取myfile變量中文件的數據，將數據放在myfilecontent變量中
    print(myfilecontent)
    #使用print()函數，看看讀取到什么內容
    

  • 最后一步，關閉文件。

    myfile.close()
    #關閉文件.不能忘記很重要!很重要!很重要!很重要!很重要!
    

  • 完整的代碼

    myfile = open(r'test.txt','r')
    myfilecontent = myfile.read()
    print(myfilecontent)
    myfile.close()
    

• 文件寫入操作

  文件寫入也是分三步: 打開文件-----寫文件------關閉文件

  • 方法一

  第一步打開文件：
  myfile=open(r'test.txt','w') #使用open()函數， 除了最后一個參數，其余參數不動， 把最后一個參數換成‘w’，是write意思，意為寫入。
  第二步，開始寫入內容
  myfile.write('從你的全世界路過')
  第三步，關閉文件
  myfile.close()
  

  • 方法二

    with open(rtest.txt','a') as myfile:
              myfile.write('從你的全世界路過')
    

2.Excel文件讀取存儲

• import openpyxl
  # 引用openpyxl
  wb = openpyxl.Workbook()
  # 利用openpyxl.Workbook()函數創建新的workbook（工作薄）對象，就是創建新的空的Excel文件。
  sheet = wb.active
  # wb.active就是獲取這個工作薄的活動表，通常就是第一個工作簿，也就是我們在上面的圖片中看到的sheet1。
  sheet.title = 'kaikeba'
  # 可以用.title給工作表重命名。現在第一個工作表的名稱就會由原來默認的“sheet1”改為"gdp"。
  sheet['A1'] = 'gdp'
  # 向單個單元格寫入數據
  score1 = ['math', 95]
  sheet.append(score1)
  # 寫入整行的數據，變量類型是一個列表
  wb.save('score.xlsx')
  # 保存修改的Excel
  wb.close()
  # 關閉Excel
  

  • #實戰練習：
    '''
    根據已給網址爬取果殼前10頁標題和對應的網址信息，
    并將爬取的數據寫入到excel表格或者csv中
    網址：https://www.guokr.com/ask/highlight/?page=
    '''
    import requests
    import openpyxl
    from bs4 import BeautifulSoup
    headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
    }
    wb=openpyxl.Workbook()
    sheet=wb.active
    sheet.title='guoke'
    sheet['A1']='標題'
    sheet['B1']='網址'
    for i in range(1,11):
        res=requests.get('https://www.guokr.com/ask/highlight/?page=%s'%i,headers=headers)
        soup=BeautifulSoup(res.text,'html.parser')
        list_info=soup.find_all('ul',class_="ask-list-cp")
        list_data=list_info[0].find_all('div',class_="ask-list-detials")
        #print(list_info)
        for data in list_data:
            res_data=data.find('a')
            title=res_data.text
            #print(title)
            url=res_data['href']
            #print(url)
            sheet.append([title,url])
    wb.save('gouke.xlsx')
    wb.close()
    

3.csv格式文件讀取、存儲數據

• CSV存儲(寫入)數據（csv.writerow()操作)

  方法一:
  import CSV
  # 需要寫入的數據
  score1 = ['math', 95]
  score2 = ['english', 90]
  
  # 打開文件，追加a, newline=""，可以刪掉行與行之間的空格
  file=open("score.csv",'a',newline="")
  # 設定寫入模式
  csv_write=csv.writer(flie)
  # 寫入具體內容
  csv_write.writerow(score1)
  csv_write.writerow(score2)
  flie.close()
  open("score.csv")
  #方法二：
  import CSV
  score1 = ['math', 95]
  score2 = ['english', 90]
  with open('score.csv','a',newline='') as r:
      #writer是實例化對象，writerow()是寫入的方法,括號內的數據是列表形式
      writer=csv.write(r)
      writer.writerow(scroe1)   
      write.writerow(scroe2)
  print('寫入完畢')
  open('score.csv')
  

• CSV數據讀取（csv.reader()讀取操作）

  • with open("mytest.csv",'r') as file:
        reader=csv.reader(file)
        for content in reader: #writerow()方法寫入的數據據是列表形式，所以讀取的時候應該for循環遍歷列表
            print(content)