32 lines
874 B
Plaintext
32 lines
874 B
Plaintext
# HTTP请求
|
||
requests==2.31.0
|
||
httpx==0.27.0 # 支持HTTP/2，比requests更快
|
||
|
||
# HTML解析
|
||
beautifulsoup4==4.12.3
|
||
lxml==5.1.0 # 更快的解析器，比html.parser快很多
|
||
parsel==1.9.0 # Scrapy的解析库
|
||
|
||
# 异步爬虫
|
||
aiohttp==3.9.5 # 异步HTTP客户端
|
||
aiofiles==23.2.1 # 异步文件操作
|
||
|
||
# 模拟浏览器（对付Vue/React等SPA）
|
||
playwright==1.42.0 # 推荐，现代浏览器自动化
|
||
selenium==4.18.1 # 经典方案
|
||
|
||
# 代理和反爬
|
||
fake-useragent==1.5.1 # 随机User-Agent
|
||
requests-html==0.10.0 # 支持JS渲染（基于pyppeteer）
|
||
|
||
# 数据存储
|
||
pymongo==4.6.1 # MongoDB
|
||
redis==5.0.1 # Redis
|
||
pymysql==1.1.0 # MySQL
|
||
|
||
# 数据处理
|
||
pandas==2.2.1 # 数据分析
|
||
numpy==1.26.4 # 科学计算
|
||
|
||
# 爬虫框架
|
||
scrapy==2.11.1 # 重量级爬虫框架 |