# 内存热插拔

本小节我们将来看看内存热插拔的一些流程。

## 热插的总体流程

我们先来看一下热插拔的总体流程：

```
add_memory_resource()
     check_hotplug_memory_range()             --- (1)

     mem_hotplug_begin()
     memblock_add_node(start, size, nid)      --- (2)
     __try_online_node(nid, start, false)
     arch_add_memory()
         init_memory_mapping()                --- (3)
         add_pages() -> __add_pages()         --- (4)
     create_memory_block_devices()            --- (5)
     __register_one_node()
     register_mem_sect_under_node()
     mem_hotplug_done()

     online_memory_block()                    --- (6)
```

其中有几个比较关键的地方解释一下：

* (1) 保证热插拔的内存空间是section对齐
* (2) 把相关的内存信息填写到memblock中
* (3) 填写内核的内存页表(direct mapping)
* (4) 又称为hot-add，后面详细说明
* (5) 创建memory\_block设备，用户在sysfs上可以看到
* (6) 又称为hot-online，后面详细说明

从上面的流程中可以看到，热插拔的过程包含不少细节。 但是通常来说，主要分成两个部分： hot-add 和 hot-online。

而且这么划分有实际意义。在某些情况下，nvdimm，可以只通过hot-add将内存告知系统，但不添加到buddy system。

另外提一点add\_memory\_resource()的使用者。比如在x86上内存热插拔是通过acpi信号告知系统的，所以acpi驱动是add\_memory\_resource()的用户之一。

### hot-add

hot-add的意义在于给对应的内存分配page struct，也就是有了内存管理的元数据。这样就可以管理内存了。

但此时内存并没有添加到buddy system，也没有初始化page struct。

好了，还是先来看一下相关的流程：

```
__add_pages(nid, pfn, nr_pages)
     sparse_add_section(nid, pfn, pfns, altmap)
         sparse_index_init(section_nr,  nid)
         memmap = section_activate(nid, pfn, nr_pages, altmap)
             memmap = populate_section_memmap(pfn, nr_pages, nid, altmap)
         page_init_poison()
         set_section_nid(section_nr, nid)
         section_mark_present(ms)
         sparse_init_one_section(ms, section_nr, memmap, ms->usage, 0)
             ms->section_mem_map |= sparse_encode_mem_map(memmap, pnum)
```

总的来说中规中矩，就是添加了对应的mem\_section和memmap，也就是page struct。

### hot-online

hot-online就是要把内存放到buddy system，让内核管理起这部分内存。

前面看到的online\_memory\_block()实际上会走到memory\_block\_online()。

```
memory_block_online()
    zone = zone_for_pfn_range(online_type, nid, pfn, nr_pages)
    online_pages(pfn, nr_pages, online_type)
        move_pfn_range_to_zone(zone, pfn, nr_pages, NULL)
            init_currently_empty_zone()
            resize_zone_range(zone, start_pfn, nr_pages)
            resize_pgdat_range(pgdat, start_pfn, nr_pages)
            memmap_init_zone()
                __init_single_page()               --- (1)
                set_pageblock_migratetype()
        online_pages_range()
            generic_online_page()
                __free_pages_core()                --- (2)
            online_mem_sections()
        build_all_zonelists(NULL)                  --- (3)
        shuffle_zone(zone)
        init_per_zone_wmark_min()
        kswapd_run(nid)
        kcompactd_run(nid)
        writeback_set_ratelimit()
```

几个重要的步骤：

* (1) 初始化page struct
* (2) 将page加入到buddy system
* (3) 重新构造所有NODE\_DATA上的zonelist

这么看好像也不是很难。当然魔鬼在细节，仔细看还是有不少内容的。

另外，generic\_online\_page()有可能会被设置成其他的online函数，比如balloon和virtiomem。

## 利用qemu测试内存热插

这功能还好有虚拟机，否则真是不好测试。

### 内核配置

有几个内存配置需要加上

```
ACPI_HOTPLUG_MEMORY
MEMORY_HOTPLUG
ARCH_ENABLE_MEMORY_HOTPLUG
MEMORY_HOTPLUG_DEFAULT_ONLINE

MEMORY_HOTREMOVE
ARCH_ENABLE_MEMORY_HOTREMOVE
```

### 启动虚拟机

启动虚拟机时，有几个参数需要注意。

这里给出一个可以用的

```
qemu-system-x86_64 -m 6G,slots=32,maxmem=32G -smp 8 --enable-kvm  -nographic \
	-drive file=fedora.img,format=raw -drive file=project.img,format=qcow2 \ 
	-object memory-backend-ram,id=mem1,size=3G -object memory-backend-ram,id=mem2,size=3G \
        -numa node,nodeid=0,memdev=mem1 -numa node,nodeid=1,memdev=mem2
```

初始内存是6G，最多可以扩展到32G。配置了两个node，每个node上3G内存。

可以通过numactl -H和free -h来确认当前内存。

### 热插内存

启动完后，需要使用qemu monitor来插入内存。

通过Ctrl + a + c，调出qemu monitor。

```
object_add memory-backend-ram,id=ram0,size=1G
device_add pc-dimm,id=dimm0,memdev=ram0,node=1
```

增加1G内存到node1。

因为我们选择了 MEMORY\_HOTPLUG\_DEFAULT\_ONLINE，所以新插的内存直接添加到了系统，可以用free -h查看到。

### 手动上线内存

前面我们也看到热插的时候有hot-add和hot-online两个步骤。如果没有选择MEMORY\_HOTPLUG\_DEFAULT\_ONLINE，在执行完qemu的命令后需要手动上线内存。

```
cd /sys/devices/system/memory/memory56
sudo echo online_movable > state
```

事先看好哪个memory设备是新增的，然后进入对应设备的目录执行。

还有一些细节在[内核文档](https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/tree/Documentation/admin-guide/mm/memory-hotplug.rst)里有详细描述。