当前位置:主页   - 电脑 - 程序设计 - C/C++
memcached内存管理算法
来源:网络   作者:   更新时间:2012-08-09
收藏此页】    【字号    】    【打印】    【关闭

  简单的写写,看完了memcached的这部分代码之后觉得跟我的ccache还是很像的.

  1) 分配

  memcached中的内存全部由类型为slabclass_t的结构体保存

typedef struct {
    unsigned int size;      /* sizes of items */
    unsigned int perslab;   /* how many items per slab */

    void **slots;           /* list of item ptrs */
    unsigned int sl_total;  /* size of previous array */
    unsigned int sl_curr;   /* first free slot */

    void *end_page_ptr;         /* pointer to next free item at end of page, or 0 */
    unsigned int end_page_free; /* number of items remaining at end of last alloced page */

    unsigned int slabs;     /* how many slabs were allocated for this class */

    void **slab_list;       /* array of slab pointers */
    unsigned int list_size; /* size of prev array */

    unsigned int killing;  /* index+1 of dying slab, or zero if none */
} slabclass_t;

  有一个全局的slabclass_t的数组,slabclass_t中的size字段保存每个slab所能保存的数据大小.在这个slabclass_t数组中,size字段都是递增的,递增的因子由slabs_init函数中的第二个参数factor参数指定.比如说,假如factor是2,那么如果第一个slabclass_t的size是unsigned int size = sizeof(item) + settings.chunk_size;(也是在slabs_init函数中的语句),那么下一个slabclass_t的size就是size*factor(这里忽略对齐的因素).

  于是乎,假设第一个slab能保存8byte的数据,factor为2,那么接下来的slab的size依次为16byte,32byte...

  每次需要分配内存,都需要根据所需分配的尺寸查找大于该尺寸的最小尺寸的slab,比如还是前面的那个slab模型,如果现在需要分配30byte的空间,查找得到大于30byte的最小slab尺寸是32byte,于是就从这个slab中查找item分配给它.

  但是这里有一个问题,就是多余资源的浪费,前面说的30byte只是浪费了2byte,但是如果现在要分配的是17byte,那么就浪费了15byte,浪费了将近50%!因此才有了前面需要指定factor的原因,使用者可以根据需要指定不同的增长factor,以降低资源的浪费.

  2) 淘汰

  淘汰采用的是LRU算法,所有的最近使用的item保存在static item *tails[LARGEST_ID];(item.c)中,已经分配的内存会以链表的形式保存在这个数组中,如果对应的slab已经分配不到足够的内存,就到这个链表中查询,淘汰的依据是item结构体中的exptime字段.

  简单分析到此,需要更详细的解释就去看代码吧,memcached中与这部分的代码在slab.h(.c)/item.h(.c)中,两个关键的结构体是item和slabclass_t.

其它资源
来源声明

版权与免责声明
1、本站所发布的文章仅供技术交流参考,本站不主张将其做为决策的依据,浏览者可自愿选择采信与否,本站不对因采信这些信息所产生的任何问题负责。
2、本站部分文章来源于网络,其版权为原权利人所有。由于来源之故,有的文章未能获得作者姓名,署“未知”或“佚名”。对于这些文章,有知悉作者姓名的请告知本站,以便及时署名。如果作者要求删除,我们将予以删除。除此之外本站不再承担其它责任。
3、本站部分文章来源于本站原创,本站拥有所有权利。
4、如对本站发布的信息有异议,请联系我们,经本站确认后,将在三个工作日内做出修改或删除处理。
请参阅权责声明