C10k要解决的问题,是10K个连接。
LINUX下,使用EPOLL可实现异步非阻塞(注:阻塞的一定是同步的,阻塞是调用方自己阻塞自己(等待事件))
非阻塞:是指调用方不会阻塞自己,如被调用方有数据就返回,无数据就返回EAGAIN,调用方根据EAGAIN决定自己的策略。因此非阻塞,和异步没有任何关联。
异步:是相对于同步的。异步是指:调用的时机和返回的时机不是同一时刻。异步说的是一个处理流程,而并不一定是具体的某个函数。
举例如下:
你在电子商城买了一本书,你已经下单;但是,这时候商城并没有立即给你发单,而是有合适时候时,主动通知你,我已经发单了。
因此,下单,和发单不是同一时刻。
一般来说,异步需要通过回调函数来实现。即先需要注册一个异步处理流程,如必须先将你的手机号告诉给商城。
当然,也有异步服务。比如用网银买火车票。火车票网站转到网银,网银付账是一个同步的过程。但是火车票网站与网银的处理是异步的。火车票网站,不知道网银交易何时完成;网银交易完成后,再发个消息给火车票网站交易完成。
---------------------------------------------------------------------------------
Memcached,版本1.4.20:基于libevent的多线程实现
采用的是一个主线程(dispatcher_thread),多个工作线程worker(LIBEVENT_THREAD),
(1)主线程dispatcher_thread负责接收外部请求事件,然后派发给工作线程处理。
(2)主线程dispatcher_thread和工作线程的通过管道传递消息。(实际上,是工作线程添加了一个与主线程关联的管道的事件 (libevent 的event))
对于TCP连接来说,主线程(dispatcher_thread)是一个监听线程,即监听外部的服务请求。
主线程(dispatcher_thread)的定义:
typedef struct {
pthread_t thread_id;
/* unique ID of this thread */
struct event_base *base;
/* libevent handle this thread uses */
} LIBEVENT_DISPATCHER_THREAD;
工作线程Worker的定义:
typedef struct {
pthread_t thread_id;
/* unique ID of this thread */
struct event_base *base;
/* libevent handle this thread uses */
struct event notify_event; /* listen event for notify pipe */
int notify_receive_fd;
/* receiving end of notify pipe */
int notify_send_fd;
/* sending end of notify pipe */
struct conn_queue *new_conn_queue; /* queue of new connections to handle */
} LIBEVENT_THREAD;
Libevent 的main函数比较长,但与网络请求相关的是serversocket的创建和thread_init函数。
第一步:多线程服务初始化thread_init()
服务的初始化是在thread_init()完成的,主要完成主线程(dispatcher_thread),多个工作线程worker(LIBEVENT_THREAD)事件注册,管道通知等:
(1)初始化主线程dispatcher_thread的event base,event;
(2)初始化管道,将主线程dispatcher_thread与工作线程worker,通过管道关联。
for (i = 0; i notify_event, me->notify_receive_fd,
EV_READ | EV_PERSIST, thread_libevent_process, me);
event_base_set(me->base, &me->notify_event);
if (event_add(&me->notify_event, 0) == -1) {
fprintf(stderr, "Can't monitor libevent notify pipe\n");
exit(1);
}
§ thread_libevent_process:这个函数,是接收到数据的具体处理过程,其参数是线程句柄
§ 初始化工作线程自己的请求队列。
LIBEVENT_THREAD中的struct conn_queue *new_conn_queue;这个是请求队列。
(4)启动工作线程
创建Worker线程(LIBEVENT_THREAD),其函数入口是:
static void *worker_libevent(void *arg)
里面是一个event_base_loop()的消息循环。
(5)到这里,工作线程已经完成初始化和启动(即工作线程已经可以工作了)。主线程只要等待工作线程启动完毕。
第二步,serversocket创建:和所有网络服务一样:create the listening socket, bind it, and init
server_sockets(settings.port, tcp_transport,
portnumber_file)
new_socket:
获取socket的设置:fcntl(sfd, F_GETFL, 0))
将其设置为非阻塞:fcntl(sfd, F_SETFL, flags | O_NONBLOCK)
socket设置:根据配置文件
SO_REUSEADDR,//地址重用
SO_KEEPALIVE,//是否保持连接,这是TCP层的控制
SO_LINGER,//延时断开连接。ngingx默认也启用
TCP_NODELAY,//不启用Neagle算法(本科书中的滑动窗口拥塞控制协议),一般内网访问,常设置为true
bind:
listen:
listen_conn_add = conn_new(sfd, conn_listening,
EV_READ | EV_PERSIST, 1,
transport, main_base);//main_base要和创建的server socket关联
这里的
conn_new函数:
初始化conn(一个超级复杂的结构体)
设置事件与socket 的fd,与main_base关联,设置事件响应的具体处理函数,event_handler
添加事件
到这里,才把main_base(event_base* 类型)与监听事件关联完成。
第三步:
主消息循环;整个服务启动过程结束。
备注:主线程dispatcher_thread未必是程序启动的main thread,可以是一个独立的thread。
分享到:
相关推荐
Memcached——内存数据库讲义及安装步骤
java连接memcached服务的jar
java中连接memcached缓存服务器
d start 启动memcached服务 d restart 重起memcached服务 d stop|shutdown 关闭正在运行的memcached服务 d install 安装memcached服务 d uninstall 卸载memcached服务 u 以的身份运行 仅在以root运行的时候...
NOTE: 以后memcached将作为windows的一个服务每次开机时自动启动。这样服务器端已经安装完毕了。 4.下载php_memcache.dll,请自己查找对应的php版本的文件 5. 在C:\winnt\php.ini 加入一行 ‘extension=...
在Linux上安装Memcached服务.doc
此时memcached已经注册为开机启动服务完成安装。 使用参数: -p 监听的端口 -l 连接的IP地址, 默认是本机 -d start 启动memcached服务 -d restart 重起memcached服务 -d stop|shutdown 关闭正在运行的memcached...
memcached自动启动的shell文件 博文链接:https://fengzhang.iteye.com/blog/205639
-d start 启动memcached服务 -d restart 重起memcached服务 -d stop|shutdown 关闭正在运行的memcached服务 -d install 安装memcached服务 -d uninstall 卸载memcached服务 -u 以的身份运行 (仅在以root运行的时候...
memcached介绍 memcached安装 memcached操作 内存存储机制 数据过期与删除机制 php操作memcached 多服务器集群算法 缓存无底洞效应 缓存雪崩 老数据被踢现象 结课作业
同时在这里使用了Heartbeat服务实现Nginx服务器的高可用。 本书的最后一部分是关于Nginx使用缓存技术的方法,共列举了Nginx使用的五大缓存,特别是广泛使用的代理缓存、Memcached和Varnish,另外对于Memcached...
memcached的基本设置: -p 监听的端口 -l 连接的IP地址, 默认是本机 -d start 启动memcached服务 -d restart 重起memcached服务 -d stop|shutdown 关闭正在运行的memcached服务 -d install 安装memcached服务 -d ...
Memcached服务器(windows版本和Windows server版本)
Memcached实例与文档Memcached实例与文档Memcached实例与文档Memcached实例与文档
-d start 启动memcached服务 -d restart 重起memcached服务 -d stop|shutdown 关闭正在运行的memcached服务 -d install 安装memcached服务 -d uninstall 卸载memcached服务 -u 以的身份运行 (仅在以root运行的...
由于1.4.5以后的memcached不支持windows服务。 使用第三方工具做成了windows的服务 使用说明: 1、解压rar文件 2、以管理员身份运行cmd.exe 3、然后执行service_install.bat 4、服务名称默认为memcached 5、如果要...
-d start 启动memcached服务 -d restart 重起memcached服务 -d stop|shutdown 关闭正在运行的memcached服务 -d install 安装memcached服务 -d uninstall 卸载memcached服务 -u 以的身份运行 (仅在以root运行的时候...
-d start 启动memcached服务 -d restart 重起memcached服务 -d stop|shutdown 关闭正在运行的memcached服务 -d install 安装memcached服务 -d uninstall 卸载memcached服务 -u 以的身份运行 (仅在以root运行的时候...
Memcached 统计与监控,用telnet去连接memcached,并统计和监控memcached
Memcached内存分配与SLAB机制,详细解读