目錄
- 完整代碼如下
- 運(yùn)行
- 部分展示結(jié)果如下：
本次爬蟲用到的網(wǎng)址是：
http://www.netbian.com/index.htm: 彼岸桌面.里面有很多的好看壁紙，而且都是可以下載高清無損的，還比較不錯(cuò)，所以我就拿這個(gè)網(wǎng)站練練手。
作為一個(gè)初學(xué)者，剛開始的時(shí)候，無論的代碼的質(zhì)量如何，總之代碼只要能夠被正確完整的運(yùn)行那就很能夠讓自己開心的，如同我們的游戲一樣，能在短時(shí)間內(nèi)得到正向的反饋，我們就會(huì)更有興趣去玩。
學(xué)習(xí)也是如此，只要我們能夠在短期內(nèi)得到學(xué)習(xí)帶來的反饋，那么我們的對于學(xué)習(xí)的欲望也是強(qiáng)烈的。
作為一個(gè)菜雞，能夠完整的完整此次爬蟲程序的編寫，那便是一個(gè)最大的收貨，但其實(shí)我在此次過程中的收獲遠(yuǎn)不止此。
好的代碼其實(shí)應(yīng)該具有以下特性
- 能夠滿足最關(guān)鍵的需求
- 容易理解
- 有充分的注釋
- 使用規(guī)范的命名
- 沒有明顯的安全問題
- 經(jīng)過充分的測試
就以充分的測試為例，經(jīng)常寫代碼的就應(yīng)該知道，盡管多數(shù)時(shí)候你的代碼沒有BUG,但那僅僅說明只是大多數(shù)情況下是穩(wěn)定的，但是在某些條件下就會(huì)出錯(cuò)（達(dá)到出錯(cuò)條件，存在邏輯問題的時(shí)候等）。這是肯定的。至于什么原因，不同的代碼有不同的原因。如果代碼程序都是一次就能完善的，那么我們使用的軟件的軟件就不會(huì)經(jīng)常更新了。其他其中的道理就不一 一道說了，
久而自知
好的代碼一般具有的5大特性
1.便于維護(hù)
2.可復(fù)用
3.可擴(kuò)展
4.強(qiáng)靈活性
5.健壯性
經(jīng)過我的代碼運(yùn)行我發(fā)現(xiàn)時(shí)間復(fù)雜度比較大，因此這是我將要改進(jìn)的地方，但也不止于此。也有很多利用得不合理的地方，至于存在的不足的地方就待我慢慢提升改進(jìn)吧！
路過的大佬歡迎留下您寶貴的代碼修改意見，
完整代碼如下
import os
import bs4
import re
import time
import requests
from bs4 import BeautifulSoup
def getHTMLText(url, headers):
"""向目標(biāo)服務(wù)器發(fā)起請求并返回響應(yīng)"""
try:
r = requests.get(url=url, headers=headers)
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, "html.parser")
return soup
except:
return ""
def CreateFolder():
"""創(chuàng)建存儲(chǔ)數(shù)據(jù)文件夾"""
flag = True
while flag == 1:
file = input("請輸入保存數(shù)據(jù)文件夾的名稱：")
if not os.path.exists(file):
os.mkdir(file)
flag = False
else:
print('該文件已存在，請重新輸入')
flag = True
# os.path.abspath(file) 獲取文件夾的絕對路徑
path = os.path.abspath(file) + "\\"
return path
def fillUnivList(ulist, soup):
"""獲取每一張圖片的原圖頁面"""
# [0]使得獲得的ul是 class 'bs4.BeautifulSoup'> 類型
div = soup.find_all('div', 'list')[0]
for a in div('a'):
if isinstance(a, bs4.element.Tag):
hr = a.attrs['href']
href = re.findall(r'/desk/[1-9]\d{4}.htm', hr)
if bool(href) == True:
ulist.append(href[0])
return ulist
def DownloadPicture(left_url,list,path):
for right in list:
url = left_url + right
r = requests.get(url=url, timeout=10)
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text,"html.parser")
tag = soup.find_all("p")
# 獲取img標(biāo)簽的alt屬性，給保存圖片命名
name = tag[0].a.img.attrs['alt']
img_name = name + ".jpg"
# 獲取圖片的信息
img_src = tag[0].a.img.attrs['src']
try:
img_data = requests.get(url=img_src)
except:
continue
img_path = path + img_name
with open(img_path,'wb') as fp:
fp.write(img_data.content)
print(img_name, " ******下載完成！")
def PageNumurl(urls):
num = int(input("請輸入爬取所到的頁碼數(shù)："))
for i in range(2,num+1):
u = "http://www.netbian.com/index_" + str(i) + ".htm"
urls.append(u)
return urls
if __name__ == "__main__":
uinfo = []
left_url = "http://www.netbian.com"
urls = ["http://www.netbian.com/index.htm"]
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
}
start = time.time()
# 1.創(chuàng)建保存數(shù)據(jù)的文件夾
path = CreateFolder()
# 2. 確定要爬取的頁面數(shù)并返回每一頁的鏈接
PageNumurl(urls)
n = int(input("訪問的起始頁面："))
for i in urls[n-1:]:
# 3.獲取每一個(gè)頁面的首頁數(shù)據(jù)文本
soup = getHTMLText(i, headers)
# 4.訪問原圖所在頁鏈接并返回圖片的鏈接
page_list = fillUnivList(uinfo, soup)
# 5.下載原圖
DownloadPicture(left_url, page_list, path)
print("全部下載完成！", "共" + str(len(os.listdir(path))) + "張圖片")
end = time.time()
print("共耗時(shí)" + str(end-start) + "秒")
運(yùn)行
部分展示結(jié)果如下：
以上就是python 爬取壁紙網(wǎng)站的示例的詳細(xì)內(nèi)容，更多關(guān)于python 爬取壁紙網(wǎng)站的資料請關(guān)注腳本之家其它相關(guān)文章！
您可能感興趣的文章:- python爬取新聞門戶網(wǎng)站的示例
- Python爬取網(wǎng)站圖片并保存的實(shí)現(xiàn)示例
- Python爬蟲設(shè)置Cookie解決網(wǎng)站攔截并爬取螞蟻短租的問題
- python 多線程爬取壁紙網(wǎng)站的示例
- python爬蟲爬取某網(wǎng)站視頻的示例代碼
- python爬蟲實(shí)現(xiàn)爬取同一個(gè)網(wǎng)站的多頁數(shù)據(jù)的實(shí)例講解
- Python實(shí)現(xiàn)JS解密并爬取某音漫客網(wǎng)站
- python 爬取免費(fèi)簡歷模板網(wǎng)站的示例
- Python3 實(shí)現(xiàn)爬取網(wǎng)站下所有URL方式
- 使用python爬取taptap網(wǎng)站游戲截圖的步驟
