| 模块名称 | 功能 |
|---|---|
| mini_spider | 主运行逻辑 |
| config_load | 读取并存储配置信息 |
| seedfile_load | 读取种子文件 |
| log | 提供logger的初始化 |
| define | 定义异常、装饰器和一些工具类 |
| webpage_parse | 解析HTML |
| webpage_save | 保存HTML到磁盘 |
| url_table | 集合类，对url求集合运算 |
| craw_thread | 工作线程类 |
caoyuan0816/PySpider
Folders and files
| Name | Name | Last commit date | ||
|---|---|---|---|---|