关于这个项目,首先需求比较简单.或者说单一吧.唯一要做的就是将PHP传来的任务给做完.没有多余的爬取,只需要爬取一个页面上的商品描述和商店的描述.唯一好玩的一点就是需要在一周时间内
爬取180万url左右的数据.同时还要考虑对面的防刷设置.分…
第一个任务 — 店铺爬虫
Posted on
UNTO A FULL GROWN MAN.
关于这个项目,首先需求比较简单.或者说单一吧.唯一要做的就是将PHP传来的任务给做完.没有多余的爬取,只需要爬取一个页面上的商品描述和商店的描述.唯一好玩的一点就是需要在一周时间内
爬取180万url左右的数据.同时还要考虑对面的防刷设置.分…