Kernel Exploring
  • 前言
  • 支持
  • 老司机带你探索内核编译系统
    • 编译出你的第一个内核
    • 内核编译中的小目标
    • 可能是kbuild中最直接的小目标 – help
    • 使用了一个kbuild函数的目标 – cscope
    • 内核中单个.o文件的编译过程
    • 根目录vmlinux的编译过程
    • 启动镜像bzImage的前世今生
    • setup.bin的诞生记
    • 真假vmlinux–由vmlinux.bin揭开的秘密
    • bzImage的全貌
    • kbuild系统浅析
  • 启动时的小秘密
    • INIT_CALLS的秘密
    • 内核参数
  • 内核加载全流程
    • bootloader如何加载bzImage
    • 内核压缩与解压
    • 内核加载的几个阶段
    • 保护模式内核代码赏析
  • 内存管理
    • 内核页表成长记
      • 未解压时的内核页表
      • 内核早期的页表
      • cleanup_highmap之后的页表
      • 映射完整物理地址
      • 启用init_level4_pgt
    • 自底而上话内存
      • e820从硬件获取内存分布
      • 原始内存分配器--memblock
      • 页分配器
        • 寻找页结构体的位置
        • 眼花的页结构体
        • Node-Zone-Page
        • 传说的伙伴系统
        • Compound Page
        • GFP的功效
        • 页分配器的用户们
      • slub分配器
        • slub的理念
        • 图解slub
      • 内存管理的不同粒度
      • 挑战和进化
        • 扩展性的设计和实现
        • 减少竞争 per_cpu_pageset
        • 海量内存
        • 延迟初始化
        • 内存热插拔
        • 连续内存分配器
    • 虚拟内存空间
      • 页表和缺页中断
      • 虚拟地址空间的管家--vma
      • 匿名反向映射的前世今生
      • 图解匿名反向映射
      • THP和mapcount之间的恩恩怨怨
      • 透明大页的玄机
      • NUMA策略
      • numa balance
      • 老版vma
    • 内存的回收再利用
      • 水线
      • Big Picture
      • 手动触发回收
      • Page Fram Reclaim Algorithm
      • swapfile原理使用和演进
    • 内存隔离
      • memcg初始化
      • 限制memcg大小
      • 对memcg记账
    • 通用
      • 常用全局变量
      • 常用转换
    • 测试
      • 功能测试
      • 性能测试
  • 中断和异常
    • 从IDT开始
    • 中断?异常?有什么区别
    • 系统调用的实现
    • 异常向量表的设置
    • 中断向量和中断函数
    • APIC
    • 时钟中断
    • 软中断
    • 中断、软中断、抢占和多处理器
  • 设备模型
    • 总线
    • 驱动
    • 设备
    • 绑定
  • nvdimm初探
    • 使用手册
    • 上帝视角
    • nvdimm_bus
    • nvdimm
    • nd_region
    • nd_namespace_X
    • nd_dax
      • dev_dax
  • KVM
    • 内存虚拟化
      • Qemu内存模型
      • KVM内存管理
  • cgroup
    • 使用cgroup控制进程cpu和内存
    • cgroup文件系统
    • cgroup层次结构
    • cgroup和进程的关联
    • cgroup数据统计
  • 同步机制
    • 内存屏障
    • RCU
  • Trace/Profie/Debug
    • ftrace的使用
    • 探秘ftrace
    • 内核热补丁的黑科技
    • eBPF初探
    • TraceEvent
    • Drgn
  • 内核中的数据结构
    • 双链表
    • 优先级队列
    • 哈希表
    • xarray
    • B树
    • Maple Tree
    • Interval Tree
  • Tools
  • Good To Read
    • 内核自带文档
    • 内存相关
    • 下载社区邮件
Powered by GitBook
On this page
  • 驱动和设备的对应关系
  • 数据结构的层次关系
  • 总体流程

Was this helpful?

  1. nvdimm初探

上帝视角

名字起的大了点,所谓上帝视角就是看看nvdimm总线驱动设备中都有哪些东西。

驱动和设备的对应关系

先来看看sysfs下,nvdimm驱动和设备之间的对应关系。

                                           /sys/                                              
                                            |                                                 
                   +------------------------+------------------------------------------+      
                   |                                                                   |      
                  bus/                                                              devices/  
                   |                                                                   |      
                   |                                                                   .
                   |                                                                   .
                   |                                                                   .
                   |                                                                   |
           --------+-------                                                       -----+-----
                   |                                                                   |
                  nd                                                                   |
            (nvdimm_bus_type)                                          +--------->  ndbus0/
                   |                                                   |          (nvdimm_bus)
                   |                                                   |               |
            -------+-------                                            |               |
                   |                                                   |               |
                drivers/                                               |       +-------+------+
                   |                                                   |       |              |
           +-------+-------+--------+--------------+-------------+     |       |              |
           |       |       |        |              |             |     |       |              |
           |     nd_pmem   |    nd_region          |         nd_bus ---+   +-> nmem0    +--> region0/
           |  (nd_pmem_driver) (nd_region_driver)  |     (nd_bus_driver)   |  (nvdimm)  |  (nd_region)
           |       |       |        |              |                       |            |     |
           |       |    nd_blk      |              |                       |            |     |
           |       | (nd_blk_driver)|            nvdimm -------------------+            |     |
           |       |       |        |        (nvdimm_driver)                            |     |
           |       |       |        |                                                   |     |
           |       |       |        +---------------------------------------------------+     |
           |       |       |                                                                  |
           |       |       |                                 +----------------+-------------+-+---------+
           |       |       |                                 |                |             |           |
           |       |       |                             namespace0.0         |             |           |
           |       |       +---------------------------> (nd_namespace_blk)   |             |           |
           |       |                                                          |             |           |
           |       +-----------------------------------> (nd_namespace_io)    |             |           |
           |       |                                     (nd_namespace_pmem)  |             |           |
           |       |                                                          |             |           |
           |       |                                                          |             |           |
           |       +-------------------------------------------------------> btt0.0         |           |
           |       |                                                         (nd_btt)       |           |
           |       |                                                                        |           |
           |       +----------------------------------------------------------------->  pfn0.0          |
           |                                                                            (nd_pfn)        |
           |                                                                                            |
           |                                                                                            |
           dax_pmem   -----------------------------------------------------------------------------> dax0.0      
          (dax_pmem_driver)                                                                          (nd_dax)    
                                                                                                        |
                                                                                                        |
                                                                                                       dax
                                                                                                        |
                                                                                                        |
                                                                                                      dax0.0
                                                                                                     (dax_fops)

暂时这个图还不全,后续会再加进来。

可以看到的是在nvdimm_bus_type下有多个驱动分别对应了设备目录下不同类型的nvdimm设备。 而设备这边各自并不是完全独立,而是形成了一颗设备树。

所以说这玩意还真有点复杂。

数据结构的层次关系

出了驱动和设备之间的关系,还可以从另一个视角去观察这些重要的数据结构。那就是系统分层的角度。

                                                                          nd_btt
                                                                          nd_pfn
                                                                          nd_dax
                                                                              |
                                                                              |
                                                                              v
                                                                          nd_namespace_pmem
                                                                          nd_namespace_io
                                                                          nd_namespace_blk
                                                                              |
                                                                              |
                                                                              v
 Kernel                    nvdimm_bus               nvdimm                nd_regioin
 Data                       .nd_desc                 .provider_data        .provider_data --+
                              |                       |                                     |
                              |                       |                                     |
 ............................................................................................
                              |                                                             |
                              v                       |                                     |
 Hardware                  nvdimm_bus_descriptor                          nd_region_desc    |
 Abstract                   .provider_name =          |                    .provider_data <-+
                                "ACPI.NFIT"                                  |
                                                      |                      |
                                                                             |
 ............................................................................................
                                                      |                      |
        +---------------------------------------------|----------------------|---------+
        |                                             v                      v         |
 ACPI   | acpi_nfit_desc                            nfit_mem              nfit_spa     |     
 Data   |                                                                              |
        |                                                                              |
        +------------------------------------------------------------------------------+

这张图从另一个角度展示了数据结构生成之间的依赖关系,以及内核如何通过数据结构的抽象将软件和硬件实现隔离。

总体流程

最开始抓瞎的就是不知道初始化的流程是从哪里开始的,看到哪觉得都是起始点。终于找到的时候才有种柳暗花明的感觉。

首先需要说的是,nvdimm初始化的地方现在看有三个,也就是有三个不同的来源建立nvdimm。这里列出的是从acpi_nfit获取信息建立的过程。

acpi_nfit_init(struct acpi_nfit_desc *acpi_desc)
  nvdimm_bus_register()                            create nvdimm_bus
  add_table()
  nfit_mem_init()
  acpi_nfit_register_dimms()                       create nvdimm
  acpi_nfit_register_regions()                     create nd_region

现在看还是挺简单的。

大家可以看到的是在这个函数中创建了上一节设备树中的前三个设备:nvdimm_bus, nvdimm, nd_region。 而挂在nd_region下的其他设备则由其余的驱动来处理了。

对于从acpi_nfit中获取的nvdimm信息,有一个关键的数据结构acpi_nfit_desc。接着我们就围绕着这个数据结构来看看这些设备是怎么来的。

Previous使用手册Nextnvdimm_bus

Last updated 3 years ago

Was this helpful?