美女1234：Python爬虫实战-批量爬取美女图片网下载图片

大家好，我是python222小锋老师。

近日锋哥又卷了一波Python实战课程-批量爬取美女图片网下载图片，主要是巩固下Python爬虫基础

视频版教程：

Python爬虫实战-批量爬取美女图片网下载图片 视频教程_哔哩哔哩_bilibiliPython爬虫实战-批量爬取美女图片网下载图片 视频教程作者：小锋老师官网：www.python222.com本课程旨在让大家在网站Python爬虫的基础上，实战巩固Python爬虫技术后期会继续推出进阶，高级课程，敬请期待。, 视频播放量 354、弹幕量 1、点赞数 20、投硬币枚数 8、收藏人数 21、转发人数 5, 视频作者 java1234官方, 作者简介 公众号：java1234 微信：java9266，相关视频：Python爬虫实战-批量爬取下载网易云音乐，爬虫学得好！牢饭吃到饱...全网最全爬虫JS逆向案例！企业级爬虫逆向实战（逆向各种加密、参数、验证码、滑块、算法）建议立刻收藏！，2024 一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium 【无废话版】，Gateway微服务网关视频教程（无废话版），Nacos视频教程（无废话版），打造前后端分离 权限系统 基于SpringBoot2+SpringSecurity+Vue3.2+Element Plus 视频教程 （火爆连载更新中..），2023版uniapp从入门到上天视频教程(Java后端无废话版)，火爆更新中...，微信小程序（java后端无废话版）视频教程，Java8 Lambda表达式视频教程(无废话版)，Docker快速手上视频教程（无废话版）

https://www.bilibili.com/video/BV1ue411X7JU/

爬虫目标网站：

https://pic.netbian.com/4kmeinv/

经过分析，第二页，第二页的规律是：

https://pic.netbian.com/4kmeinv/index_N.html

复杂问题简单化：先爬取首页，然后再进行多页爬虫代码的实现。

通过开发者工具分析

img的路径是 ul.clearfix li a img

爬虫三步骤，

1，根据请求url地址获取网页源码，用requests库

2，通过bs4解析源码获取需要的数据

3，通过数据处理我们的资源，我们这里是通过图片路径下载到本地

所以我们实现首页图片下载的源码参考如下：具体代码分析，可以学习下帖子开头的视频教程

""" 爬取目标：https://pic.netbian.com/ 彼岸图网 首页地址： https://pic.netbian.com/4kmeinv/ 第N页 https://pic.netbian.com/4kmeinv/index_N.html https://pic.netbian.com/uploads/allimg/231101/012250-16987729706d69.jpg 作者：小锋老师 官网：www.python222.com"""import os.pathimport requestsfrom bs4 import BeautifulSoupurl = "https://pic.netbian.com/4kmeinv/"headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'}# 请求网页response = requests.get(url=url, headers=headers)response.encoding = "gbk"# print(response.text)# 实例化soupsoup = BeautifulSoup(response.text, "lxml")# 获取所有图片img_list = soup.select("ul.clearfix li a img")print(img_list)def download_img(src): """ 下载图片 :param src: 图片路径 :return: """ # 获取图片名称 filename = os.path.basename(src) print(filename) # 下载图片 try: with open(f"./img/{filename}", "wb") as file: file.write(requests.get("https://pic.netbian.com" + src).content) except: print(src, "下载异常")for img in img_list: print(img["src"]) download_img(img["src"])

运行代码，一页数据20个。

实现多页的下载的话，我们肯定需要通过遍历所有url，然后实现批次下载；那么对于抓取网页，和解析网页，我们需要进行封装，那才方便调用。

def crawl_html(url): """ 解析网页 :param url: 请求地址 :return: 解析后的网页源码 """ # 请求网页 response = requests.get(url=url, headers=headers) response.encoding = "gbk" return response.text

def parse_html(html): # 实例化soup soup = BeautifulSoup(html, "lxml") # 获取所有图片 img_list = soup.select("ul.clearfix li a img") print(img_list) for img in img_list: print(img["src"]) download_img(img["src"])

完整源码参考：具体代码分析，可以学习下帖子开头的视频教程

""" 爬取目标：https://pic.netbian.com/ 彼岸图网 首页地址： https://pic.netbian.com/4kmeinv/ 第N页 https://pic.netbian.com/4kmeinv/index_N.html https://pic.netbian.com/uploads/allimg/231101/012250-16987729706d69.jpg 作者：小锋老师 官网：www.python222.com"""import os.pathimport requestsfrom bs4 import BeautifulSoupheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'}def crawl_html(url): """ 解析网页 :param url: 请求地址 :return: 解析后的网页源码 """ # 请求网页 response = requests.get(url=url, headers=headers) response.encoding = "gbk" return response.textdef download_img(src): """ 下载图片 :param src: 图片路径 :return: """ # 获取图片名称 filename = os.path.basename(src) print(filename) # 下载图片 try: with open(f"./img/{filename}", "wb") as file: file.write(requests.get("https://pic.netbian.com" + src).content) except: print(src, "下载异常")def parse_html(html): # 实例化soup soup = BeautifulSoup(html, "lxml") # 获取所有图片 img_list = soup.select("ul.clearfix li a img") print(img_list) for img in img_list: print(img["src"]) download_img(img["src"])# # 第一页# url = "https://pic.netbian.com/4kmeinv/"# parse_html(crawl_html(url))# # 第二页到第七页# for i in range(2, 8):# parse_html(crawl_html(f"https://pic.netbian.com/4kmeinv/index_{i}.html"))urls = ["https://pic.netbian.com/4kmeinv/"] + [ f"https://pic.netbian.com/4kmeinv/index_{i}.html" for i in range(2, 8)]print(urls)for url in urls: parse_html(crawl_html(url))

运行下载，正好7页的图片，140个。