网络上 Python 学习资料很多但大部分要么太理论要么直接甩一份代码让你抄。真正适合零基础入门、又能一路走到工程化实战的路线反而很少被讲清楚。这次我们就把“Python 网络爬虫”这条学习路径完整拆一遍从环境配置、基础请求、数据解析到 Scrapy 框架、分布式爬虫再到常见的反爬策略和合规边界尽量一篇文章讲透。如果你正打算学爬虫或者学了几天感觉知识点很散、不知道下一步该学什么这篇文章可以直接收藏。下面所有内容都会围绕“自己能跑起来”来展开。1. 学习路径速览学习阶段核心工具/技能掌握程度输出结果第一阶段Python 安装、IDE 配置、基础语法能独立运行 .py 文件环境可用的 Python 开发环境第二阶段requests、urllib、HTTP 基础能请求网页并拿到响应控制台输出 HTML 源码第三阶段BeautifulSoup、XPath、正则、json能提取目标字段结构化数据JSON / CSV第四阶段Selenium / Playwright、接口分析能处理动态页面和 JS 渲染自动化翻页采集第五阶段Scrapy 框架、中间件、代理池能写工程化爬虫可配置、可维护的采集项目第六阶段分布式调度、增量爬取、去重能支撑大规模任务分布式爬虫系统从这张表可以看得很清楚学爬虫不是只学某一个库而是先建立“请求 - 解析 - 存储”这条主链路再逐步往工程化方向扩展。2. 适用场景与学习边界先回答一个很多新手会问的问题学 Python 爬虫到底能做什么比较典型的应用场景包括市场调研与竞品分析采集公开商品价格、评论、销量数据。学术研究与公开数据整理爬取论文信息、统计公报、天气数据等公开资源。自动化测试与巡检检查页面可用性、链接失效、内容更新情况。资讯聚合把多个站点的公开新闻、公告聚合到本地阅读。数据增强为个人项目补充公开数据比如训练模型前的数据收集。但学习边界必须说清楚不是所有数据都能爬。robots.txt 明确禁止的路径不要硬碰。用户个人信息、付费内容、非公开接口、涉及版权的内容都有法律风险。登录后才能访问的数据通常说明有访问控制绕过登录或验证码抓取可能违反平台规则和法律规定。爬虫不是攻击工具。高频请求、撞接口、绕过滑块验证这些行为轻则封 IP重则涉及法律责任。所以整个学习过程建议遵循一个原则先学技术再用在合法、合规、对他人影响可控的场景里。如果是练手优先选择公开 API 或专门开放的测试站点避免一上来就抓生产环境站点。3. Python 环境准备与开发工具配置3.1 Python 安装无论你当前用 Windows、macOS 还是 Linux第一步都是装 Python。以 Windows 为例安装步骤并不复杂# 1. 打开 Python 官网下载 Windows Installer (64-bit) # 2. 安装时务必勾选 Add Python to PATH # 3. 选择 Customize installation保持默认组件即可 # 4. 安装完成后打开命令行验证 python --version如果输出类似Python 3.12.x说明安装成功。这里有个很关键的点勾选 “Add Python to PATH” 可以避免后面在命令行里找不到 python 命令的问题。很多人第一次装完发现 vscode 里无法运行绝大多数都是 PATH 没配对。Linux 系统安装 Python 则可以用包管理器sudo apt update sudo apt install python3 python3-pip python3-venv python3 --versionmacOS 建议直接安装官方安装包或者用 Homebrewbrew install python python3 --version如果你的电脑里已经有多个 Python 版本建议用py -0查看已安装版本用py -3.12指定版本运行。3.2 虚拟环境这里强烈建议从第一天就使用虚拟环境而不是把所有依赖装到全局。虚拟环境可以隔离不同项目的依赖版本避免 A 项目要 requests 2.x、B 项目要 requests 3.x 这种冲突。# 创建虚拟环境 python -m venv venv # Windows 激活 venv\Scripts\activate # macOS / Linux 激活 source venv/bin/activate激活后命令行前面会出现(venv)标记这时候再安装依赖就只装在当前项目里了。3.3 Visual Studio Code 配置vscode 是当前写 Python 比较主流的编辑器。安装完成 Python 后还需要装两个东西Python 扩展由微软发布Pylance语法提示与类型检查装好后打开任意 .py 文件右下角选择解释器指向刚才创建的 venv 目录下的 python.exe。然后按 CtrlShiftP输入Python: Select Interpreter选择虚拟环境即可。一个简单的环境验证脚本import sys import requests print(fPython 版本: {sys.version}) print(frequests 版本: {requests.__version__})如果运行不报错说明环境已经搭好可以开始写爬虫了。3.4 基础依赖安装后续内容会用到多个库可以先统一安装pip install requests beautifulsoup4 lxml scrapy安装完成后可以用一个命令查看当前环境里所有包pip list如果你是在公司或学校网络环境pip 下载速度慢可以临时切换镜像源pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple注意这只是临时指定源不会永久修改配置。4. 爬虫第一课requests 与静态页面抓取爬虫最核心的操作就是“发请求、拿响应”。Python 里最常用的 HTTP 库是 requests它的 API 设计比较简洁适合新手入门。4.1 第一个请求import requests url https://httpbin.org/get response requests.get(url, timeout10) print(状态码:, response.status_code) print(响应内容类型:, response.headers.get(Content-Type)) print(响应前500字符:) print(response.text[:500])运行后你会看到 HTTP 状态码 200以及一段 JSON 或 HTML 文本。判断一个请求是否成功最简单的方式是检查response.status_code200 表示成功404 表示页面不存在403 表示服务器拒绝访问。4.2 携带请求头很多网站会拦截没有 User-Agent 的请求因为正常浏览器都会带 User-Agent。请求头可以控制在请求头中模拟浏览器访问import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept-Language: zh-CN,zh;q0.9, } url https://httpbin.org/headers response requests.get(url, headersheaders, timeout10) print(response.text)初学者刚开始爬不到数据大概率不是解析代码写错了而是请求头不规范被服务器识别为程序访问。4.3 GET 参数与 POST 请求带查询参数的 GET 请求可以用 params 参数import requests url https://httpbin.org/get params { keyword: python爬虫, page: 1 } response requests.get(url, paramsparams, timeout10) print(response.url) # 打印实际请求的 URLPOST 请求则常用于提交表单或调用接口import requests url https://httpbin.org/post data { username: test_user, password: 123456 } response requests.post(url, datadata, timeout10) print(response.json())需要说明的是这里的 httpbin.org 是专门用于测试 HTTP 请求的公开演练工具很多爬虫教程都会用它做 demo不会涉及真实站点数据。4.4 会话维持与超时如果目标站点需要登录后才能访问某些页面通常要维持一个会话。requests 提供了 Session 对象import requests session requests.Session() # 模拟登录这里以公开测试站点为例 login_url https://httpbin.org/post session.post(login_url, data{username: test, password: test}, timeout10) # 后续请求会携带同一会话的 Cookie profile_url https://httpbin.org/cookies response session.get(profile_url, timeout10) print(response.text)Session 的核心价值是自动保存 Cookie减少重复登录的麻烦。同时每个请求都建议设置 timeout避免某个请求一直阻塞拖垮整个脚本。4.5 图片与文件下载爬虫不仅抓 HTML也可以下载图片和文件。下载文件时要使用streamTrue避免一次性把所有内容读入内存import requests url https://www.python.org/static/img/python-logo.png response requests.get(url, streamTrue, timeout30) with open(python-logo.png, wb) as f: for chunk in response.iter_content(chunk_size1024): f.write(chunk) print(下载完成)对于文件类任务iter_content按块写入的方式更稳不会因为文件太大把内存打满。4.6 异常处理网络请求可能失败所以要养成处理异常的习惯import requests from requests.exceptions import RequestException try: response requests.get(https://httpbin.org/get, timeout5) response.raise_for_status() except RequestException as e: print(f请求失败: {e})raise_for_status()会在状态码为 4xx/5xx 时主动抛出异常这样程序就不会拿到错误页面后继续傻傻解析。5. 数据解析BeautifulSoup、XPath 与正则表达式请求拿到 HTML 之后接下来要解决的是“如何从一堆标签里提取我想要的数据”。这一步是爬虫的核心技术点。5.1 BeautifulSoup 基础用法BeautifulSoup 是 Python 中最流行的 HTML 解析库它的 API 对新手非常友好。from bs4 import BeautifulSoup html html headtitle测试页面/title/head body div classcontent h1文章标题/h1 p classauthor作者张三/p ul li标签一/li li标签二/li /ul /div /body /html soup BeautifulSoup(html, html.parser) print(标题:, soup.title.string) print(H1:, soup.h1.text) print(作者:, soup.select_one(.author).text) print(所有列表项:, [li.text for li in soup.select(li)])这里用到了两种常见选择器soup.select_one()返回第一个匹配元素。soup.select()返回所有匹配元素列表。select里的语法就是 CSS 选择器比如.class_name表示 class 为 class_name 的元素。#id_name表示 id 为 id_name 的元素。div p表示 div 下的直接子 p 标签。5.2 XPath 基础用法XPath 是另一种解析方式它在处理层级复杂的页面时更灵活。Python 里常配合 lxml 使用from lxml import etree html html body div classpost h2标题1/h2 span classdate2026-01-01/span /div div classpost h2标题2/h2 span classdate2026-01-02/span /div /body /html root etree.HTML(html) # 提取所有 h2 文本 titles root.xpath(//div[classpost]/h2/text()) # 提取所有日期文本 dates root.xpath(//div[classpost]/span[classdate]/text()) print(标题:, titles) print(日期:, dates)XPath 的常见写法//从任意位置查找。//div[classpost]查找 class 为 post 的 div。/text()取标签内的文本。/href取标签的 href 属性值。5.3 正则表达式正则适合提取 HTML 中某些特殊模式比如页面里的手机号、邮箱、价格数字等。不过正则解析 HTML 在复杂结构下容易出错通常只用于辅助。import re text 联系方式13800138000邮箱testexample.com phones re.findall(r1[3-9]\d{9}, text) emails re.findall(r[\w.-][\w-]\.[\w.-], text) print(手机号:, phones) print(邮箱:, emails)很多零基础学习者容易陷入“正则 vs BeautifulSoup vs XPath 选哪个”的选择困难。实际项目里的做法是结构清晰的静态页面优先 BeautifulSoup 或 XPath。需要匹配特定格式的文本用正则。复杂嵌套场景XPath 对层级表达更强。HTML 不规范时lxml 的容错性通常比 html.parser 好。5.4 数据落地CSV 与 JSON爬下来的数据最终要保存。最常见的两种格式是 CSV 和 JSON。import csv data [ {title: 第一篇, date: 2026-01-01}, {title: 第二篇, date: 2026-01-02}, ] with open(articles.csv, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[title, date]) writer.writeheader() writer.writerows(data)这里用utf-8-sig而不是utf-8是为了让 Excel 直接打开 CSV 时中文不乱码。这是一个非常容易踩的坑。JSON 保存则更简洁import json data [ {title: 第一篇, date: 2026-01-01}, {title: 第二篇, date: 2026-01-02}, ] with open(articles.json, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2)ensure_asciiFalse保证了中文不会被转成 \uXXXX。6. 动态渲染页面与接口爬虫静态页面只是爬虫的一部分。现在很多站点都是前后端分离页面内容由 JS 动态渲染。直接请求 HTML 是拿不到数据的这时候有两条路直接找底层接口。用无头浏览器模拟真实页面加载。6.1 从浏览器开发者工具找接口最好的方式是先打开浏览器的开发者工具切换到 Network 面板刷新页面观察哪些请求返回的是 JSON 数据。找到接口后直接用 requests 请求接口会比 Selenium 快得多也更节省资源。import requests # 假设这是从开发者工具中观察到的公开接口 api_url https://api.example.com/public/articles?page1 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://example.com/, } response requests.get(api_url, headersheaders, timeout10) if response.status_code 200: data response.json() # 根据实际返回结构提取字段 for item in data.get(list, []): print(item.get(title), item.get(publish_time))注意这里的 api.example.com 是示例地址实际使用时需要以你正在分析的目标接口为准。6.2 Selenium 处理 JS 渲染如果找不到接口或者接口加密太复杂那就用 Selenium 控制浏览器访问。from selenium import webdriver from selenium.webdriver.chrome.options import Options # 无头模式 options Options() options.add_argument(--headless) options.add_argument(--no-sandbox) options.add_argument(--disable-dev-shm-usage) driver webdriver.Chrome(optionsoptions) driver.get(https://example.com) # 等待页面加载 driver.implicitly_wait(5) # 提取页面文本 print(driver.title) print(driver.page_source[:1000]) driver.quit()使用 Selenium 时有两个常见问题版本不匹配Chrome 浏览器和 chromedriver 版本要对应。动态加载页面数据是异步加载的可能需要用WebDriverWait等待某个元素出现而不是固定 sleep。from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC wait WebDriverWait(driver, 10) element wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, .article-list)))总之能用接口解决的优先用接口接口不行再考虑 Selenium。无头浏览器虽然看起来很炫但它在性能、稳定性、资源占用上都不如直接调接口。7. Scrapy 框架与工程化爬虫当你需要维护多个爬虫任务、定时抓取、数据量大时用 requests 写脚本就会变得很吃力。这时候就该上 Scrapy。7.1 Scrapy 项目创建pip install scrapy # 创建项目 scrapy startproject my_spider # 进入项目目录 cd my_spider # 创建爬虫 scrapy genspider example example.com生成的项目结构大致如下my_spider/ ├── scrapy.cfg └── my_spider/ ├── __init__.py ├── items.py ├── middlewares.py ├── pipelines.py ├── settings.py └── spiders/ └── example.py7.2 定义 ItemItem 是 Scrapy 中定义数据结构的地方。比如我们要抓取文章可以先定义一个 Article Itemimport scrapy class ArticleItem(scrapy.Item): title scrapy.Field() url scrapy.Field() publish_time scrapy.Field() content scrapy.Field()用 Item 的好处是后续在 Pipeline 里可以对字段做统一校验、去重、清洗。7.3 编写 Spiderimport scrapy from my_spider.items import ArticleItem class ExampleSpider(scrapy.Spider): name example allowed_domains [example.com] start_urls [https://example.com/news] def parse(self, response): # 提取文章列表 for article in response.css(div.article): item ArticleItem() item[title] article.css(h2 a::text).get() item[url] response.urljoin(article.css(h2 a::attr(href)).get()) item[publish_time] article.css(span.date::text).get() yield item # 翻页 next_page response.css(a.next::attr(href)).get() if next_page: yield response.follow(next_page, callbackself.parse)这里有几点值得注意response.css的写法是 Scrapy 封装过的 CSS 选择器::text相当于是“取文本”::attr(href)是“取属性”。response.urljoin可以把相对路径拼成完整 URL。yield item表示把数据交给 Pipelineyield response.follow表示继续请求下一页。allowed_domains 设置为 example.com是为了避免爬虫意外跳转到其他域名。7.4 编写 PipelinePipeline 负责处理 Item比如存数据库、写文件、去重等。import json class JsonPipeline: def open_spider(self, spider): self.file open(articles.json, w, encodingutf-8) self.file.write([) def close_spider(self, spider): self.file.write(]) self.file.close() def process_item(self, item, spider): line json.dumps(dict(item), ensure_asciiFalse) self.file.write(line ,\n) return item写完 Pipeline 后需要在 settings.py 中启用ITEM_PIPELINES { my_spider.pipelines.JsonPipeline: 300, }数值 300 表示优先级顺序越小越先执行。7.5 运行爬虫scrapy crawl example如果你想把结果直接导出为 CSV 或 JSONScrapy 也提供了命令行导出scrapy crawl example -o output.json scrapy crawl example -o output.csv7.6 请求限速与去重工程化爬虫必须考虑对目标站点的访问压力。Scrapy 在 settings.py 里提供了几个常用配置# 请求间隔 DOWNLOAD_DELAY 1.0 # 并发数 CONCURRENT_REQUESTS 8 # 是否遵守 robots.txt ROBOTSTXT_OBEY True # 默认请求头 DEFAULT_REQUEST_HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, }DOWNLOAD_DELAY 和 CONCURRENT_REQUESTS 配合可以控制抓取速率避免对目标站点造成过大压力。7.7 中间件中间件的典型用途是设置代理、处理重试、自动添加请求头。Scrapy 默认生成的 middlewares.py 里已经给了模板写好后在 settings.py 里启用DOWNLOADER_MIDDLEWARES { my_spider.middlewares.ProxyMiddleware: 543, }需要说明的是代理池的搭建和维护不是新手入门阶段的重点。更稳妥的学习顺序是先把 Scrapy 的基础链路跑通再考虑代理池和防封策略。8. 分布式爬虫与调度策略当单机爬虫不够用或者需要管理多台机器上的爬虫任务时就需要引入分布式架构。8.1 分布式爬虫解决了什么问题单机爬虫的瓶颈主要有两个并发能力有限单台机器带宽、CPU、内存都有上限。任务管理困难多个爬虫重复抓同一批 URL或者一个爬虫崩溃后无法续跑。分布式爬虫的核心思路是引入一个“任务调度中心”用 Redis 等中间件统一管理待抓取队列、已抓取集合和去重规则。多台机器上的爬虫实例从同一个队列里取任务完成后把新产生的 URL 再放回队列。8.2 Scrapy-Redis 示例思路Scrapy-Redis 是常用的分布式扩展它把 Scrapy 的调度器替换为基于 Redis 的调度器从而实现多进程共享队列。# settings.py 中的关键配置 # 使用 scrapy-redis 的调度器 SCHEDULER scrapy_redis.scheduler.Scheduler # 请求去重 DUPEFILTER_CLASS scrapy_redis.dupefilter.RFPDupeFilter # Redis 地址 REDIS_URL redis://127.0.0.1:6379爬虫端写法和单机 Scrapy 基本一致但 start_urls 不再是页面地址而是从 Redis 队列中读取from scrapy_redis.spiders import RedisSpider class ExampleRedisSpider(RedisSpider): name example_redis def parse(self, response): # 解析逻辑与普通爬虫一致 pass运行多个爬虫实例后它们会从同一个 Redis 队列中取 URL实现分布式协作。8.3 调度策略与增量爬取分布式不只是“多台机器一起跑”还要考虑几个工程问题URL 去重用 Redis 的 Set 或 Bloom Filter 做去重避免同一 URL 被抓多次。增量爬取把上次抓取时间记录在 Redis新任务只抓取更新时间之后的内容。优先级队列按 URL 类型设置优先级比如详情页优先于列表页。失败重试请求失败后把 URL 放回队列重试次数有限制避免死循环。分布式爬虫的部署并不适合学习初期。一般建议是先自己写单机 Scrapy 项目跑通全流程后再引入 Redis 和多节点部署。9. 常见问题与排查方法初学爬虫时遇到的错误翻来覆去就是那几类。下面按实际频率整理成排查表问题现象可能原因排查方式解决方案请求返回 403没有携带 User-Agent或请求头特征明显打印响应头查看服务器返回信息添加浏览器请求头必要时使用 Cookies返回 404URL 拼接错误或链接有签名参数浏览器打开该 URL 验证检查 urljoin 和参数生成逻辑中文乱码响应编码与网页实际编码不一致查看response.encoding或页面 charset手动设置response.encoding utf-8解析结果为空CSS 选择器 / XPath 写错在浏览器 DevTools 中验证选择器用select()调试打印中间结果数据是空的但页面能看到内容页面由 JS 动态渲染查看源码是否包含目标字段改用接口请求或 SeleniumSelenium 启动报错Chrome 与 chromedriver 版本不匹配查看错误信息中的版本要求下载对应版本的 chromedriverScrapy 没有抓取任何页面allowed_domains 限制或 robots 规则查看爬虫日志检查配置必要时在测试阶段关闭 robots 或调整域名请求超时目标站点响应慢或需要代理测试单次请求耗时增大 timeout增加重试机制Redis 连接失败Redis 未启动或地址配置错误在命令行执行 ping启动 Redis 服务检查 REDIS_URL另外排错时有一个通用技巧不要把整个流程当一个黑盒而是把“请求”和“解析”拆开调试。先确认响应内容里确实包含目标数据再写解析代码。如果响应里就没有数据解析写得再漂亮也没用。10. 合规与最佳实践10.1 合法性要点关于爬虫合规比较稳妥的做法是优先抓取公开数据不碰需要登录才能访问的受限数据。尊重 robots.txt 协议。不绕过验证码、签名、访问频率限制等反爬机制。不抓取个人隐私信息。不将抓取数据用于商业用途除非你有明确授权。对目标站点保持低访问频率不造成服务器压力。在国内个人信息保护法、数据安全法、网络安全法都对数据采集有严格规定。作为学习者最安全的做法是用公开测试站点练手。比如 httpbin.org、books.toscrape.com、quotes.toscrape.com 等站点就是专门提供给爬虫学习者测试的。10.2 工程化最佳实践无论学习还是工作爬虫项目都应该按工程化方式来管理配置与代码分离URL、Headers、延迟、重试次数写进配置文件而不是硬编码在代码里。遵循“最小抓取”原则只需要标题就不要把整页内容全部下载。幂等入库每条数据要有唯一标识重复抓取时更新而不是新增。日志记录记录每次请求的 URL、状态码、耗时、失败原因。失败重试使用指数退避策略第一次失败等 1 秒重试第二次等 2 秒第三次等 4 秒。结果校验定期抽样检查抓取结果避免字段解析因页面改版而失效。项目目录管理区分爬虫代码、配置文件、日志、输出结果、测试用例。project/ ├── spiders/ │ ├── news_spider.py │ └── ... ├── config/ │ ├── settings.yaml │ └── urls.txt ├── logs/ ├── output/ │ ├── raw/ │ └── processed/ └── tests/ └── test_parser.py这种结构在个人项目里可能显得重但一旦进入团队协作或长期维护收益非常明显。10.3 学爬虫的进阶方向爬虫本身只是数据获取技术它真正的高级价值在于是后续流程的入口数据清洗与 ETL拿到原始 HTML 后如何清洗成结构化数据。反爬对抗JS 混淆、接口加密、行为分析等但这一领域风险高不建议把重心放在绕过防护上。数据存储MySQL、MongoDB、ClickHouse 等。数据分析Pandas、可视化。分布式任务调度Celery、Airflow 等。建议学习爬虫的同时并行推进 Python 基础语法、HTTP 协议、HTML/CSS 选择器这三块基础。爬虫技术本身并不深真正拉开差距的是基础是否扎实。11. 总结与下一步这条学习路线拆开看核心就三条线请求、解析、存储。先把这三条线用小项目贯通再学 Scrapy 和分布式整个知识点就不会散。最容易踩的坑有三个不重视请求头被服务器识别为脚本访问。不拆解调试直接把请求和解析写在一起出错后分不清是请求失败还是解析失败。一开始就用 Selenium 或者分布式这些重武器把自己困在复杂度里。建议你按这个顺序动手做一遍第一天搭好 Python vscode 环境跑通一个 requests 请求。第二天用 BeautifulSoup 解析一个静态网页把自己感兴趣的数据存成 CSV。第三天尝试用开发者工具找一个公开接口用 requests 抓取 JSON 数据。第四天到第五天把逻辑迁移到 Scrapy跑通一个完整项目。等这些都做熟了再根据实际需求决定要不要学 Selenium、Scrapy-Redis、代理池、数据存储和任务调度。不要一开始就把所有技术栈都装上先跑通最小闭环比什么都有用。