博主CSDN主页:杭电码农-NEO ⏩专栏分类:项目日记-高并发内存池⏪ 代码仓库:NEO的学习日记 关注我带你做项目 开发环境: Visual Studio 2022
项目日记
1. 前言2. 页缓存的具体结构3. 页缓存分配内存的全过程4. 页缓存分配内存的代码实现5. 优化代码,并完全脱离malloc6. 总结以及代码拓展
1. 前言
在页缓存这一层中,负责给中心缓存 分配大块儿的内存,以及合并前后空 闲的内存,这一层为整体加锁!
本章重点:
本篇文章着重讲解内存池第三层: 页缓存的基本成员变量和函数,以 页缓存的具体结构是怎样的.了解 完基础结构后,会详解讲解中心缓存 层来申请内存时的具体步骤!
2. 页缓存的具体结构
页缓存也是一个哈希桶结构,但它的映射 规则和前两层不同,它的规则是:
K号桶中的大块儿内存就是K页
并且它总共是有128号桶,申请小于 128页的内存都会在内存池中申请
//单例模式
class PageCache
{
public:
static PageCache* GetInstance()
{
return &_singleton;
}
//获取一个K页的span
SpanData* NewSpan(size_t k);
std::mutex _mtx;//pagecache不能用桶锁,只能用全局锁,因为后面可能会有大页被切割为小页
// 获取从对象到span的映射,给我一个地址,返回这个地址对应的span
SpanData* MapObjectToSpan(void* obj);
// 释放空闲span回到Pagecache，并合并相邻的span
void ReleaseSpanToPageCache(SpanData* span);
private:
PageCache(){}
PageCache(const PageCache& obj) = delete;
private:
std::unordered_map
SpanList _spanList[N_PAGES];
static PageCache _singleton;
};
3. 页缓存分配内存的全过程
当中心缓存中没有内存时,会去页缓存 申请一个span结构,要经过下面几步:
根据中心缓存的桶号来确定申请的span是几页的 根据中心缓存想要申请的页数,找到页缓存中对应的桶(k页对应k号桶) 情况一: 页缓存的K号桶中存在span结构,直接将这块儿内存返回给中心缓存 情况二: 页缓存的K号桶没有span结构,但是K+1到128号桶中存在span结构,假设n号桶有span,则将这个大页的span切分为一个k页的span和一个n-k页的span,k页的span返回给中心缓存去使用,而将n-k页的span重新挂在n-k号桶中 情况三: k到128号桶都没有span,此时页缓存会向系统申请一份128页大小的内存,并挂在128号桶中,再将这个128页的span切分为k页的span和128-k页的span,也就转换为了情况二!
并且在这个过程中,页缓存将一个span 分配给中心缓存后,会记录下来这块儿 内存的页号和span的映射关系,方便后续 回收内存的时候再使用!
4. 页缓存分配内存的代码实现
在pagecache.h文件中:
SpanData* PageCache::NewSpan(size_t k)//去第K个桶中找span给central,此i号桶中挂的span都是i页内存
{
//若K桶中有,直接返回,K桶没有span就往后找去分裂大span
assert(k > 0);
if (k > N_PAGES - 1)//如果申请的页数大于了128页,pagecache只能向堆申请了
{
void* ptr = SystemAlloc(k);
SpanData* span = new SpanData();
span->_pageid = (PAGE_ID)ptr >> PAGE_SHIFT;
span->_n = k;
_idSpanMap[span->_pageid] = span;
return span;
}
//先检查K号桶有无span,有直接返回一个
if (!_spanList[k].Empty())
{
SpanData* KSpan = _spanList[k].PopFront();
for (PAGE_ID i = 0; i < KSpan->_n; i++)
_idSpanMap[KSpan->_pageid + i] = KSpan;
return KSpan;
}
//走到这儿代表k号桶为空,检查后面的桶有没有span,拿出来分裂成两个小span
for (int i = k + 1; i < N_PAGES; i++)
{
if (!_spanList[i].Empty())//k页的span返回给centralcache,i-k页的span挂到i-k号桶中
{
SpanData* ISpan = _spanList[i].PopFront();
SpanData* KSpan = new SpanData;
KSpan->_pageid = ISpan->_pageid;
KSpan->_n = k;
ISpan->_pageid += k;//把头K页切分给KSpan
ISpan->_n -= k; //页数从i变为i-k
_spanList[ISpan->_n].PushFront(ISpan);//再将后i-k页分配给i-k号桶
//存储Ispan的首尾页号跟ISpan的映射关系
// 这里只需要映射首尾页而不需要像下面一样全部页都映射,因为下面切分出去的span会被切分为小块儿内存
// 这些小块儿内存都有可能被使用,所以当它们还回来时这些小块儿内存可能映射的是不同的页,但这些页都属于这个KSpan
// 然而ISpan中不会被切分为小块儿内存,它只需要关心是否和它的前后页合并,所以这里只需要映射首尾页号与ISpan的关系
// ISpan作为要合并页的前面,如1000页要合并ISpan是1001页,那么1001到1001+n都是空闲的!ISpan作为要合并页的后面,如100页要合并ISpan是999页,那么999-n都是空闲的!
//_idSpanMap[ISpan->_pageid] = ISpan;
//_idSpanMap[ISpan->_pageid + ISpan->_n - 1] = ISpan;
_idSpanMap.set(ISpan->_pageid, ISpan);
_idSpanMap.set(ISpan->_pageid + ISpan->_n - 1, ISpan);
//建立id和span的映射关系,方便centralcache回收小块内存时查看哪块内存在哪块span
for (PAGE_ID i = 0; i < KSpan->_n; i++)//返回的KSpan中一共有n页,并且每一页的页号都对应KSpan这个地址
_idSpanMap[KSpan->_pageid + i] = KSpan;
return KSpan;
}
}
//走到这里说明后面所有的桶都没有span了
//这时需要向堆申请一个128页的span再拿来做切分
SpanData* bigSpan = _spanPool.New();
void* ptr = SystemAlloc(N_PAGES - 1);
bigSpan->_pageid = (PAGE_ID)ptr >> PAGE_SHIFT;
bigSpan->_n = N_PAGES - 1;
_spanList[bigSpan->_n].PushFront(bigSpan);//将这个128页的span插入到桶中
return NewSpan(k);//再次调用自己,这次一定会在前面的for循环处返回
}
这个地方有一个设计的比较巧妙的点, 那就是出现情况三的时候,向系统申请了 128页的空间后,再次调用这个函数就一定 会出现情况二,从而在for循环中走完整个过程
5. 优化代码,并完全脱离malloc
细心的同学会发现,在这个函数中使用到了new操作符,然而了解new底层原理的同学应该知道,new的底层实际上是用的malloc来申请的空间,但是我们这个项目就是为了完全脱离malloc函数来实现一个多线程下高效的内存池,所以这里一定不能使用new!
使用之前编写的定长池来舍弃new!
如果你不知道或忘记了定长池是什么 请看这篇文章: 定长池的实现
首先, 在页缓存类中添加上一个成员变量: 定长池类, 然后在使用new的地方,把new全部替换为用定长池申请空间!
6. 总结以及代码拓展
页缓存分配内存的一环设计的是 非常的巧妙,但是页缓存真正巧妙 的地方是在合并空闲内存的一环!
对代码的拓展: 我们会发现页缓存结构中调用了 好几次向系统申请内存的函数, 这个地方只做了解,会用接口就行
inline static void* SystemAlloc(size_t kpage)//申请kpage页内存
{
#ifdef _WIN32
void* ptr = VirtualAlloc(0, kpage << PAGE_SHIFT, MEM_COMMIT | MEM_RESERVE, PAGE_READWRITE);
#else
// linux下brk mmap等直接向系统申请内存的方式
#endif
if (ptr == nullptr)
throw std::bad_alloc();
return ptr;
}
下期预告:页缓存的具体实现(下)
好文推荐
发表评论