转载请注明出处：http://blog.csdn.net/luotuo44/article/details/43015129

需求：

        斟酌这样的1个情形：在1开始，由于业务缘由向memcached存储大量长度为1KB的数据，也就是说memcached服务器进程里面有很多大小为1KB的item。现在由于业务调剂需要存储大量10KB的数据，并且很少使用1KB的那些数据了。由于数据愈来愈多，内存开始吃紧。大小为10KB的那些item频繁访问，并且由于内存不够需要使用LRU淘汰1些10KB的item。

        对上面的情形，会不会觉得大量1KB的item实在太浪费了。由于很少访问这些item，所以即便它们超时过期了，还是会占据着哈希表和LRU队列。LRU队列还好，不同大小的item使用不同的LRU队列。但对哈希表来讲大量的僵尸item会增加哈希冲突的可能性，并且在迁移哈希表的时候也浪费时间。有无办法干掉这些item？使用LRU爬虫+lru_crawler命令是可以强迫干掉这些僵尸item。但干掉这些僵尸item后，它们占据的内存是归还到1KB的那些slab分配器中。1KB的slab分配器不会为10KB的item分配内存。所以还是功败垂成。

        那有无别的办法呢？是有的。memcached提供的slab automove 和 rebalance两个东西就是完成这个功能的。在默许情况下，memcached不启动这个功能，所以要想使用这个功能必须在启动memcached的时候加上参数-o slab_reassign。以后就能够在客户端发送命令slabsreassign <source class> <dest class>，手动将source class的内存页分给dest class。后文会把这个工作称为内存页重分配。而命令slabs automove则是让memcached自动检测是不是需要进行内存页重分配，如果需要的话就自动去操作，这样1切都不需要人工的干预。

        如果在启动memcached的时候使用了参数-o slab_reassign，那末就会把settings.slab_reassign赋值为true(该变量的默许值为false)。还记得《slab内存分配器》说到的每个内存页的大小吗？在do_slabs_newslab函数中，1个内存页的大小会根据settings.slab_reassign是不是为true而不同。

        当settings.slab_reassign为true，也就是启动rebalance功能的时候，slabclass数组中所有slabclass_t的内存页都是1样大的，等于settings.item_size_max(默许为1MB)。这样做的好处就是在需要将1个内存页从某1个slabclass_t强抢给另外1个slabclass_t时，比较好处理。不然的话，slabclass[i]从slabclass[j] 抢到的1个内存页可以切分为n个item，而从slabclass[k]抢到的1个内存页却切分为m个item，而本身的1个内存页有s个item。这样的话是相当混乱的。假设毕竟统1了内存页大小，那末不管从哪里抢到的内存页都是切分成1样多的item个数。

启动和终止rebalance：

        main函数会调用start_slab_maintenance_thread函数启动rebalance线程和automove线程。main函数是在settings.slab_reassign为true时才会调用的。

        要注意的是，start_slab_maintenance_thread函数启动了两个线程：rebalance线程和automove线程。automove线程会自动检测是不是需要进行内存页重分配。如果检测到需要重分配，那末就会叫rebalance线程履行这个内存页重分配工作。

        默许情况下是不开启自动检测功能的，即便在启动memcached的时候加入了-o slab_reassign参数。自动检测功能由全局变量settings.slab_automove控制(默许值为0，0就是不开启)。如果要开启可以在启动memcached的时候加入slab_automove选项，并将其参数数设置为1。比如命令$memcached -o slab_reassign,slab_automove=1就开启了自动检测功能。固然也是可以在启动memcached后通过客户端命令启动automove功能，使用命令slabsautomove <0|1>。其中0表示关闭automove，1表示开启automove。客户真个这个命令只是简单地设置settings.slab_automove的值，不做其他任何工作。

automove线程：

item状态记录仪：

        由于rebalance线程启动后就会由于等待条件变量而进入休眠状态，等待他人给它内存页重分配任务。所以我们先来看1下automove线程。

        automove线程要进行自动检测，检测就需要1些实时数据进行分析。然后得出结论：哪一个slabclass_t需要更多的内存，哪一个又不需要。automove线程通过全局变量itemstats搜集item的各种数据。下面看1下itemstats变量和它的类型定义。

        注意上面代码是在items.c文件的，并且全局变量itemstats是static类型。itemstats变量是1个数组，它是和slabclass数组逐一对应的。itemstats数组的元素负责搜集slabclass数组中对应元素的信息。itemstats_t结构体虽然提供了很多成员，可以搜集很多信息，但automove线程只用到第1个成员evicted。automove线程需要知道每个尺寸的item的被踢情况，然后判断哪1类item资源紧缺，哪1类item资源又多余。

        itemstats广泛散布在items.c文件的多个函数中(主要是为了能搜集各种数据)，所以这里就不给出itemstats的具体搜集实现了。固然由于evicted是重要的而且只在1个函数出现，就贴出evicted的搜集代码吧。

        从上面的代码可以看到，如果某个item由于LRU被踢了，那末就会被记录起来。在最后还可以看到如果settings.slab_automove 等于2，那末1旦有item被踢了就调用slabs_reassign函数。slabs_reassign函数就是内存页重分配处理函数。明显1有item被踢就重分配太频繁了，所以这是不推荐的。

肯定贫困和富有item：

        现在回过来看1下automove线程的线程函数slab_maintenance_thread。

        可以看到如果settings.slab_automove就调用slab_automove_decision判断是不是应当进行内存页重分配。返回1就说明需要重分配内存页，此时调用slabs_reassign进行处理。现在来看1下automove线程是怎样判断要不要进行内存页重分配的。

        从上面的代码也能够看到，其实判断的方法也比较简单。从slabclass数组当选出两个选手：1个是连续3次没有被踢item了，另外1个则是连续3次都成为最好被踢手。如果找到了满足条件的两个选手，那末返回1。此时automove线程就会调用slabs_reassign函数。

下达 rebalance任务：

        在贴出slabs_reassign函数前，回想1下slabs reassign命令。前面讲的都是自动检测要不要进行内存页重分配，都快要忘了还有1个手动要求内存页重分配的命令。如果客户端使用了slabs reassign命令，那末worker线程在接收到这个命令后，就会调用slabs_reassign函数，函数参数是slabs reassign命令的参数。现在自动检测和手动设置大1统了。

        do_slabs_reassign会把源slab class 和目标slab class保存在全局变量slab_rebal，并且在最后会调用pthread_cond_signal唤醒rebalance线程。

rebalance线程：

        现在automove线程已退出历史舞台了，rebalance线程也从沉睡中苏醒过来并登上舞台。现在来看1下rebalance线程的线程函数slab_rebalance_thread。注意：在1开始slab_rebalance_signal是等于0的，当需要进行内存页重分配就会把slab_rebalance_signal变量赋值为1。

锁定内存页：

        函数slab_rebalance_start对要源slab class进行1些标注，当worker线程要访问源slab class的时候意想到正在内存页重分配。

        slab_rebalance_start会将1个slab class的1个内存页标注为要移动的，此时就不能让worker线程访问这个内存页的item了。现在看1下假设worker线程恰好要访问这个内存页的1个item时会产生甚么。

移动(归还)item：

        现在回过头继续看rebalance线程。前面说到已标注了源slab class的1个内存页。标注完rebalance线程就会调用slab_rebalance_move函数完成真实的内存页迁移操作。源slab class上的内存页是有item的，那末在迁移的时候怎样处理这些item呢？memcached的处理方式是很粗鲁的：直接删除。如果这个item还有worker线程在使用，rebalance线程就等你1下。如果这个item没有worker线程在援用，那末即便这个item没有过期失效也将直接删除。

        由于1个内存页可能会有很多个item，所以memcached也采取分期处理的方法，每次只处理少许的item(默许为1个)。所以呢，slab_rebalance_move函数会在slab_rebalance_thread线程函数中屡次调用，直到处理了所有的item。

劫富济贫：

        上面代码中的was_busy就标志了是不是有worker线程在援用内存页中的1个item。其实slab_rebalance_move函数的名字获得不好，由于实现的不是移动(迁移)，而是把内存页中的item删除从哈希表和LRU队列中删除。如果处理完内存页的所有item，那末就会slab_rebal.done++，标志处理完成。在线程函数slab_rebalance_thread中，如果slab_rebal.done为真就会调用slab_rebalance_finish函数完成真实的内存页迁移操作，把1个内存页从1个slab class 转移到另外1个slab class中。