# HTTP请求
requests==2.31.0
httpx==0.27.0          # 支持HTTP/2，比requests更快

# HTML解析
beautifulsoup4==4.12.3
lxml==5.1.0            # 更快的解析器，比html.parser快很多
parsel==1.9.0          # Scrapy的解析库

# 异步爬虫
aiohttp==3.9.5         # 异步HTTP客户端
aiofiles==23.2.1       # 异步文件操作

# 模拟浏览器（对付Vue/React等SPA）
playwright==1.42.0     # 推荐，现代浏览器自动化
selenium==4.18.1       # 经典方案

# 代理和反爬
fake-useragent==1.5.1  # 随机User-Agent
requests-html==0.10.0  # 支持JS渲染（基于pyppeteer）

# 数据存储
pymongo==4.6.1         # MongoDB
redis==5.0.1           # Redis
pymysql==1.1.0         # MySQL

# 数据处理
pandas==2.2.1          # 数据分析
numpy==1.26.4          # 科学计算

# 爬虫框架
scrapy==2.11.1         # 重量级爬虫框架


fastmcp
mcp[cli]