> For the complete documentation index, see [llms.txt](https://richardweiyang-2.gitbook.io/kernel-exploring/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://richardweiyang-2.gitbook.io/kernel-exploring/nei-cun-guan-li/00-memory_a_bottom_up_view/50-challenge_evolution/53-memory_hotplug.md). # 内存热插拔 本小节我们将来看看内存热插拔的一些流程。 ## 热插的总体流程 我们先来看一下热插拔的总体流程： ``` add_memory_resource() check_hotplug_memory_range() --- (1) mem_hotplug_begin() memblock_add_node(start, size, nid) --- (2) __try_online_node(nid, start, false) arch_add_memory() init_memory_mapping() --- (3) add_pages() -> __add_pages() --- (4) create_memory_block_devices() --- (5) __register_one_node() register_mem_sect_under_node() mem_hotplug_done() if (mhp_get_default_online_type() != MMOP_OFFLINE) online_memory_block() --- (6) ``` 其中有几个比较关键的地方解释一下： * (1) 保证热插拔的内存空间是section对齐 * (2) 把相关的内存信息填写到memblock中 * (3) 填写内核的内存页表(direct mapping) * (4) 又称为hot-add，后面详细说明 * (5) 创建memory\_block设备，用户在sysfs上可以看到 * (6) 又称为hot-online，后面详细说明 从上面的流程中可以看到，热插拔的过程包含不少细节。 但是通常来说，主要分成两个部分： hot-add 和 hot-online。 而且这么划分有实际意义。在某些情况下，nvdimm，可以只通过hot-add将内存告知系统，但不添加到buddy system。 另外提一点add\_memory\_resource()的使用者。比如在x86上内存热插拔是通过acpi信号告知系统的，所以acpi驱动是add\_memory\_resource()的用户之一。 ### hot-add hot-add的意义在于给对应的内存分配page struct，也就是有了内存管理的元数据。这样就可以管理内存了。 但此时内存并没有添加到buddy system，也没有初始化page struct。 好了，还是先来看一下相关的流程： ``` __add_pages(nid, pfn, nr_pages) sparse_add_section(nid, pfn, pfns, altmap) sparse_index_init(section_nr, nid) memmap = section_activate(nid, pfn, nr_pages, altmap) fill_subsection_map(pfn, nr_pages) memmap = populate_section_memmap(pfn, nr_pages, nid, altmap) page_init_poison() set_section_nid(section_nr, nid) section_mark_present(ms) sparse_init_one_section(ms, section_nr, memmap, ms->usage, 0) ms->section_mem_map |= sparse_encode_mem_map(memmap, pnum) ``` 总的来说中规中矩，就是添加了对应的mem\_section和memmap，也就是page struct。 #### 新的memmap在哪里 每一个系统中能用的内存都要有一个page struct对应,对新加入的内存也不例外。这个步骤是在populate\_section\_memmap()中完成. 一般情况下，最后会落到vmemmap\_populate\_basepages(). 并且在没有指定altmap的情况下， page struct是从页分配器中分配出来的。 不过有意思的是，在SPARSEMEM\_VMEMMAP的情况下，section\_mem\_map中的mem\_map值应该是没有用到吧？因为\_\_page\_to\_pfn/\_\_pfn\_to\_page已经不从这里拿值了。 ### hot-online hot-online就是要把内存放到buddy system，让内核管理起这部分内存。 前面看到的online\_memory\_block()实际上会走到memory\_block\_online()。 ``` memory_block_online(mem) zone = zone_for_pfn_range(mem->online_type, nid, pfn, nr_pages) online_pages(pfn, nr_pages, zone, mem->group) move_pfn_range_to_zone(zone, pfn, nr_pages, NULL, isolate =true) init_currently_empty_zone() resize_zone_range(zone, start_pfn, nr_pages) resize_pgdat_range(pgdat, start_pfn, nr_pages) memmap_init_range(..., isolate) __init_single_page() --- (1) __SetPageOffline() init_pageblock_migratetype(, isolate) online_pages_range() generic_online_page() __free_pages_core() --- (2) __ClearPageOffline() online_mem_sections() adjust_present_page_count() build_all_zonelists(NULL) --- (3) undo_isolate_page_range() --- (4) unset_migratetype_isolate() shuffle_zone(zone) init_per_zone_wmark_min() kswapd_run(nid) kcompactd_run(nid) writeback_set_ratelimit() ``` 几个重要的步骤： * (1) 初始化page struct * (2) 将page加入到buddy system, isolated * (3) 重新构造所有NODE\_DATA上的zonelist * (4) 解除隔离，真正放到可用的buddy 这么看好像也不是很难。当然魔鬼在细节，仔细看还是有不少内容的。 另外，generic\_online\_page()有可能会被设置成其他的online函数，比如balloon和virtiomem。 #### 算在哪个zone上 在热插拔过程中，有一个不是太清晰的地方就是**新插入的内存算在哪个Zone上**。 这里现有两个大类： * auto-online: 取决于/sys/devices/system/memory/auto\_online\_blocks * manually-online: 取决于 echo 到 memory block设备state文件的内容 首先我们在函数add\_memory\_resource()中看到，会根据mhp\_get\_default\_online()来判断是否马上要online内存。如果没有配置自动上线内存，则可以通过下面小节的“手动上线内存”来上线。 我们可以在文件/sys/devices/system/memory/auto\_online\_blocks查看默认配置。 ``` $cat /sys/devices/system/memory/auto_online_blocks offline ``` 也可以写入online,online\_kernel,online\_movable来更改默认操作。 不论是哪种方法，最后都会把目标zone写道mem->online\_type中。但是者还没有完，在memory\_block\_online中，online\_pages之前，还要**通过函数zone\_for\_pfn\_range(online\_type)再计算**真正的zone。 具体的逻辑可以看zone\_for\_pfn\_range()，这里得到一个重要的结论是 **Zone Normal和Zone Movable可以重叠**。甚至可以间隔添加memory block device到normal和movable zone. 关键的是，这打破了初始化时free\_area\_init()是不会构造存在重叠的zone的. ``` Node 0, zone Normal spanned 917504 present 851968 managed 815784 Node 0, zone Movable spanned 98304 present 65536 managed 65536 ``` 比如这个/proc/zoneinfo的结果是交替将连续四个memory block设备上线到movable/normal的结果。可以看到，其中显示的spanned都比managed要大不少。 这样就意味着zone\_contiguous会被打破。 ## 利用qemu测试内存热插 这功能还好有虚拟机，否则真是不好测试。 ### 内核配置 有几个内存配置需要加上 ``` ACPI_HOTPLUG_MEMORY MEMORY_HOTPLUG ARCH_ENABLE_MEMORY_HOTPLUG MEMORY_HOTPLUG_DEFAULT_ONLINE MEMORY_HOTREMOVE ARCH_ENABLE_MEMORY_HOTREMOVE ``` ### 启动虚拟机 启动虚拟机时，有几个参数需要注意。 这里给出一个可以用的 ``` qemu-system-x86_64 -m 6G,slots=32,maxmem=32G -smp 8 --enable-kvm -nographic \ -drive file=fedora.img,format=raw -drive file=project.img,format=qcow2 \ -object memory-backend-ram,id=mem1,size=3G -object memory-backend-ram,id=mem2,size=3G \ -numa node,nodeid=0,memdev=mem1 -numa node,nodeid=1,memdev=mem2 ``` 初始内存是6G，最多可以扩展到32G。配置了两个node，每个node上3G内存。 可以通过numactl -H和free -h来确认当前内存。 ### 热插内存 启动完后，需要使用qemu monitor来插入内存。 通过Ctrl + a + c，调出qemu monitor。 ``` (qemu) object_add memory-backend-ram,id=ram0,size=1G (qemu) device_add pc-dimm,id=dimm0,memdev=ram0,node=1 ``` 增加1G内存到node1。 因为我们选择了 MEMORY\_HOTPLUG\_DEFAULT\_ONLINE，所以新插的内存直接添加到了系统，可以用free -h查看到。 ### 手动上线内存 前面我们也看到热插的时候有hot-add和hot-online两个步骤。如果没有选择MEMORY\_HOTPLUG\_DEFAULT\_ONLINE，在执行完qemu的命令后需要手动上线内存。 ``` cd /sys/devices/system/memory/memory56 sudo echo online_movable > state ``` 事先看好哪个memory设备是新增的，然后进入对应设备的目录执行。 还有一些细节在[内核文档](https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/tree/Documentation/admin-guide/mm/memory-hotplug.rst)里有详细描述。