关于这个项目,首先需求比较简单.或者说单一吧.唯一要做的就是将PHP传来的任务给做完.没有多余的爬取,只需要爬取一个页面上的商品描述和商店的描述.唯一好玩的一点就是需要在一周时间内
爬取180万url左右的数据.同时还要考虑对面的防刷设置.分…
第一个任务 — 店铺爬虫
Posted on
阅读Redis源码(三) — redis通信协议与事件驱动
Posted on
在redis中,关于事件驱动框架的代码集中在ae.h/ae.c中.作者也在头部设置了介绍:a simple event-driven programming library. 这个框架其实很简单,核心就是一个消息
队列,同时只有一个线程负责对其进行处理…
阅读Redis源码(二) — 数据库及持久化策略
Posted on
之前的一篇文章写了关于Redis的字典数据结构,但是,他并不是与我们直接交互的.因为我们在进行添加字段的时候,往往需要添加过期值,这一点我们在字典数据结构中没有能够得到体现.
所以,我们需要关注另外一个数据结构,redisDb.即Redis的…
阅读Redis源码(一) — 基本数据结构
Posted on
调试环境搭建
- 下载redis源代码包,可以访问“redis”官网进行下载.这边,我使用的是2.8.13的稳定版本.
- 解压之后使用eclipse for c/c++导入工程,选项是依据makefile的那项.
- 导入之后会出现一个
Kohana框架请求分发流程
Posted on
下载Kohana框架代码，可以看到如下的目录结构
其中index.php是程序的主入口，他的主要作用如下:
- 设置application，module，system的路径
- 设置Error reporting的等级
- 如果存在安装文件，就加载它
- 引导文件，将
杭州第一周(无关技术)
Posted on
好久没有写博客了。主要是因为前一段时间的期末考试，和最近一周在杭州实习。昨天为了开通电视和和房东更新洗衣机和煤气灶，忙了好久，到下午才结束，然后想去采购，结果到了商场才发现自己身上只有50块钱。。。悲剧的买了点泡面，和筷子洗发露等，正好45…
像NodeJS一样写Java(二)
Posted on
在上篇文章中像NodeJS一样写Java(一)中，我们已经了解了一个简单的单线程异步框架的基本构成和编写方式。
下面，我们需要聊的是有关这个框架的一些改进，具体的代码可以在我的GITHUB上找到，地址为:https://github.com/…