Linux内核NUMA架构深度实践内存分配策略与性能调优的生产级完整方案一、NUMA架构的性能陷阱为何你的程序在高端服务器上反而更慢NUMANon-Uniform Memory Access是现代多路服务器的标准架构。每个CPU Socket拥有本地内存控制器和本地内存条。访问本地内存的延迟约6080纳秒。跨Socket访问远程内存的延迟约140200纳秒。这2~3倍的延迟差异直接导致性能下降。Linux内核默认的内存分配策略是就近分配。进程在哪个CPU核上运行内存就从该核所属的Node分配。这个策略在大多数情况下是正确的。但问题在于进程会被调度器迁移到其他CPU核。一旦进程跑到远程Node的核上后续的内存分配就是远程访问。性能开始下降而且这种下降很难从业务指标上直接发现。更隐蔽的问题是内存交错分配Interleave。某些应用为了均衡带宽手动设置内存交错策略。让内存在所有Node上均匀分配。这样做的好处是带宽最大化。坏处是有一半的内存访问是远程的延迟翻倍。还有一个容易被忽视的问题内核页迁移AutoNUMA。内核会尝试将内存页迁移到访问它的CPU所在的Node。这个机制叫做NUMA Balancing。它扫描进程的地址空间识别远程访问触发页迁移。但页迁移本身有开销会占用CPU和内存带宽。在内存压力大的系统中AutoNUMA反而会降低性能。flowchart TD A[进程启动] -- B[初始分配在Node0] B -- C{进程被调度到?} C --|Node0的CPU| D[本地访问: 延迟80ns] C --|Node1的CPU| E[远程访问: 延迟140ns] D -- F[性能正常] E -- G[性能下降30%~50%] G -- H{是否启用AutoNUMA?} H --|是| I[内核扫描并迁移内存页到Node1] H --|否| J[持续远程访问] I -- K[迁移开销: CPU占用2%~5%] K -- L{迁移是否及时完成?} L --|是| M[恢复本地访问] L --|否| N[迁移滞后, 持续远程访问] J -- O[性能调优方向] N -- O F -- O O -- P[策略1: 进程绑核内存绑Node] O -- Q[策略2: 禁用AutoNUMA手动控制] O -- R[策略3: HugeTLB减少TLB Miss] O -- S[策略4: 用户态内存池预分配] style E fill:#e74c3c,color:#fff style G fill:#e74c3c,color:#fff style D fill:#27ae60,color:#fff style M fill:#27ae60,color:#fff理解NUMA架构的性能特征是系统性能调优的基础。不理解NUMA就无法解释很多诡异的性能问题。比如为什么增加CPU核数吞吐量反而下降为什么内存足够却出现大量Swap二、Linux内核NUMA内存分配策略的完整解析Linux内核提供了四种NUMA内存分配策略。每种策略适用于不同的业务场景。选择错误的策略性能可能下降50%以上。第一种是默认策略MPOL_DEFAULT。行为在当前进程运行的CPU所在Node上分配内存。如果本地Node内存不足从最近的Node分配。适用场景通用负载不需要特殊优化。缺点进程迁移后产生远程访问。第二种是绑定策略MPOL_BIND。行为强制在指定的Node列表上分配内存。如果指定Node内存不足分配失败返回ENOMEM。适用场景对延迟极度敏感的服务数据库、缓存。缺点需要精确控制进程与Node的绑定关系。第三种是交错策略MPOL_INTERLEAVE。行为在指定的Node列表上轮询分配内存页。每个页分配给不同的Node实现带宽均衡。适用场景科学计算、视频处理等带宽密集型负载。缺点远程访问比例高单线程延迟大。第四种是本地优先策略MPOL_PREFERRED。行为优先在指定Node上分配失败则从其他Node分配。与BIND的区别是失败时不返回错误而是fallback。适用场景希望优先本地分配但能容忍偶尔的远程访问。内核通过struct mempolicy结构体表示每种策略。用户态通过set_mempolicy()系统调用或mbind()设置策略。numactl命令行工具是对这些系统调用的封装。/* * Linux内核NUMA策略的生产级监控与调优工具 * 编译: gcc -o numa_monitor numa_monitor.c -lnuma * 运行: ./numa_monitor pid * * 功能: * 1. 读取进程的NUMA内存分布每个Node的匿名页数量 * 2. 检测远程访问比例通过numastat * 3. 动态修改进程的内存分配策略 * 4. 触发内存页迁移减少远程访问 */ #define _GNU_SOURCE #include stdio.h #include stdlib.h #include stdint.h #include string.h #include unistd.h #include sched.h #include numa.h #include numaif.h #include sys/mman.h #include sys/types.h #include dirent.h /* NUMA监控数据结构 */ typedef struct { int node_id; uint64_t total_memory_kb; /* 该Node总内存 */ uint64_t free_memory_kb; /* 该Node空闲内存 */ uint64_t process_anon_kb; /* 进程匿名页在该Node的大小 */ uint64_t process_file_kb; /* 进程文件页在该Node的大小 */ double remote_access_ratio; /* 远程访问比例从perf读取*/ } numa_node_stat_t; typedef struct { pid_t pid; int num_nodes; numa_node_stat_t nodes[8]; /* 最多支持8个Node */ int current_cpu; int current_node; double local_ratio; /* 本地内存访问比例 */ } numa_process_stat_t; /* 读取进程的NUMA内存分布解析/proc/pid/numa_maps */ static int read_process_numa_maps( pid_t pid, numa_process_stat_t *stat ) { char path[256]; FILE *fp; char line[512]; snprintf(path, sizeof(path), /proc/%d/numa_maps, pid); fp fopen(path, r); if (!fp) { perror(fopen numa_maps); return -1; } /* 初始化统计 */ for (int i 0; i stat-num_nodes; i) { stat-nodes[i].process_anon_kb 0; stat-nodes[i].process_file_kb 0; } /* 解析numa_maps的每一行 * 格式: address policy anonsize filesize ... Nnodesize * 示例: 7f8a40000000 interleave0-1 anon1024 file0 N0512 N1512 */ while (fgets(line, sizeof(line), fp)) { char policy[64] {0}; unsigned long addr; int node_id; uint64_t anon_kb 0, file_kb 0; /* 解析地址 */ if (sscanf(line, %lx %s, addr, policy) 2) continue; /* 解析Nnode的字段 */ char *p line; while ((p strstr(p, N)) ! NULL) { p; /* 跳过空格 */ if (sscanf(p, N%d%lu, node_id, anon_kb) 2) { if (node_id stat-num_nodes) { /* 根据policy判断是anon还是file */ if (strstr(line, anon)) { stat-nodes[node_id].process_anon_kb anon_kb; } else { stat-nodes[node_id].process_file_kb anon_kb; } } } p; } } fclose(fp); return 0; } /* 读取系统级NUMA Node状态解析/sys/devices/system/node/ */ static void read_system_numa_stat(numa_process_stat_t *stat) { for (int i 0; i stat-num_nodes; i) { char path[256]; FILE *fp; snprintf(path, sizeof(path), /sys/devices/system/node/node%d/meminfo, i); fp fopen(path, r); if (fp) { char line[256]; while (fgets(line, sizeof(line), fp)) { if (strstr(line, MemTotal)) sscanf(line, Node %d MemTotal: %lu kB, i, stat-nodes[i].total_memory_kb); if (strstr(line, MemFree)) sscanf(line, Node %d MemFree: %lu kB, i, stat-nodes[i].free_memory_kb); } fclose(fp); } } } /* 计算进程的本地内存访问比例 * 本地访问 进程当前CPU所在Node的内存 / 总内存 */ static double calc_local_ratio( const numa_process_stat_t *stat ) { uint64_t local_mem 0; uint64_t total_mem 0; for (int i 0; i stat-num_nodes; i) { uint64_t node_mem stat-nodes[i].process_anon_kb stat-nodes[i].process_file_kb; total_mem node_mem; if (i stat-current_node) local_mem node_mem; } if (total_mem 0) return 1.0; return (double)local_mem / total_mem; } /* 将进程的所有内存页迁移到指定Node * 使用move_pages()系统调用 */ static int migrate_process_to_node( pid_t pid, int target_node ) ) { /* 获取进程的内存映射 */ FILE *fp; char path[256]; char line[512]; void **pages NULL; int *nodes NULL; int page_count 0; int max_pages 100000; /* 预分配最大页数 */ pages malloc(max_pages * sizeof(void *)); nodes malloc(max_pages * sizeof(int)); if (!pages || !nodes) { perror(malloc); return -1; } /* 解析/proc/pid/maps获取所有映射地址 */ snprintf(path, sizeof(path), /proc/%d/maps, pid); fp fopen(path, r); if (!fp) { perror(fopen maps); free(pages); free(nodes); return -1; } while (fgets(line, sizeof(line), fp) page_count max_pages) { uint64_t start, end; char perms[8]; if (sscanf(line, %lx-%lx %s, start, end, perms) 3) { /* 仅迁移可读可写的私有映射匿名内存 */ if (strchr(perms, r) strchr(perms, w) !strchr(perms, s)) { pages[page_count] (void *)start; nodes[page_count] target_node; page_count; } } } fclose(fp); /* 调用move_pages系统调用 */ int *status malloc(page_count * sizeof(int)); if (!status) { free(pages); free(nodes); return -1; } int ret move_pages(pid, page_count, pages, nodes, status, MPOL_MF_MOVE); if (ret 0) { perror(move_pages); free(pages); free(nodes); free(status); return -1; } printf(已触发迁移 %d 个内存页到Node %d\n, page_count, target_node); /* 统计迁移结果 */ int success 0, failed 0; for (int i 0; i page_count; i) { if (status[i] 0) success; else failed; } printf( 成功: %d, 失败: %d\n, success, failed); free(pages); free(nodes); free(status); return 0; } /* 主函数监控并打印进程的NUMA状态 */ int main(int argc, char *argv[]) { if (argc 2) { fprintf(stderr, 用法: %s pid\n, argv[0]); return 1; } pid_t pid atoi(argv[1]); numa_process_stat_t stat {0}; /* 初始化NUMA拓扑 */ if (numa_available() 0) { fprintf(stderr, 系统不支持NUMA\n); return 1; } stat.pid pid; stat.num_nodes numa_num_configured_nodes(); if (stat.num_nodes 8) stat.num_nodes 8; /* 读取当前CPU和Node */ cpu_set_t cpuset; if (sched_getaffinity(pid, sizeof(cpuset), cpuset) 0) { for (int i 0; i CPU_SETSIZE; i) { if (CPU_ISSET(i, cpuset)) { stat.current_cpu i; stat.current_node numa_node_of_cpu(i); break; } } } /* 读取系统NUMA状态 */ read_system_numa_stat(stat); /* 读取进程NUMA分布 */ read_process_numa_maps(pid, stat); /* 计算本地访问比例 */ stat.local_ratio calc_local_ratio(stat); /* 打印报告 */ printf( NUMA监控报告 \n); printf(进程PID: %d\n, stat.pid); printf(当前CPU: %d, 所属Node: %d\n, stat.current_cpu, stat.current_node); printf(本地内存访问比例: %.2f%%\n\n, stat.local_ratio * 100); printf(各Node内存分布:\n); for (int i 0; i stat.num_nodes; i) { printf( Node%d: 进程匿名页%luMB, 进程文件页%luMB, Node总内存%luMB, Node空闲%luMB\n, i, stat.nodes[i].process_anon_kb / 1024, stat.nodes[i].process_file_kb / 1024, stat.nodes[i].total_memory_kb / 1024, stat.nodes[i].free_memory_kb / 1024); } if (stat.local_ratio 0.7) { printf(\n⚠ 警告: 本地内存访问比例低于70%%!\n); printf( 建议: 使用 numactl --membindnode 重绑进程\n); printf( 或: 调用 migrate_process_to_node(pid, %d)\n, stat.current_node); } return 0; }三、生产级NUMA调优策略从绑定到监控的完整方案生产环境的NUMA调优核心是三个动作绑核、绑内存、监控。这三个动作缺一不可否则调优效果会大打折扣。绑核用taskset或sched_setaffinity将进程固定在特定CPU核。绑内存用numactl --membind将内存分配限制在本地Node。监控用numastat和自定义工具持续监控远程访问比例。对于数据库类应用MySQL、PostgreSQL推荐配置每个数据库实例绑定到同一个Socket的所有核。内存分配策略设为--membindlocal_node。禁用透明大页THP改用HugeTLB预留大页。HugeTLB减少TLB Miss对数据库性能提升显著。对于缓存类应用Redis、Memcached推荐配置实例与Socket一一对应不跨Socket部署。使用mlockall()锁定内存防止被换出。设置vm.swappiness1最大限度减少Swap。对于Java应用需要额外注意JVM的NUMA感知。JDK从JDK14开始支持UseNUMA参数。但生产环境更推荐用numactl在外部绑定。JVM的内部NUMA支持还不够完善存在内存迁移开销。#!/bin/bash # NUMA性能调优的生产级部署脚本 # 适用场景多路服务器上的数据库/缓存服务部署 # 执行前需确认1. 服务器NUMA拓扑 2. 服务类型 3. 内存需求 set -euo pipefail # 第一步检测NUMA拓扑 echo NUMA拓扑检测 numactl --hardware # 提取Node数量和每个Node的CPU列表 NUM_NODES$(numactl --hardware | grep -c ^node) echo 检测到 ${NUM_NODES} 个NUMA Node # 第二步根据服务类型生成绑定方案 SERVICE_TYPE${1:-database} # database | cache | java | generic INSTANCE_COUNT${2:-1} # 每Node启动的实例数 case $SERVICE_TYPE in database) # 数据库每Socket部署一个实例绑定所有核 for node_id in $(seq 0 $((NUM_NODES - 1))); do cpus$(cat /sys/devices/system/node/node${node_id}/cpulist) mem_size$(grep MemTotal /sys/devices/system/node/node${node_id}/meminfo | awk {print $4}) echo Node${node_id}: CPU${cpus}, 内存${mem_size}kB # 启动数据库实例示例MySQL numactl --cpunodebind${node_id} \ --membind${node_id} \ -- mysqld \ --defaults-file/etc/mysql/node${node_id}.cnf \ --innodb-buffer-pool-size${mem_size}k \ echo 已启动MySQL实例绑定到Node${node_id} done ;; cache) # 缓存每Socket部署一个实例内存不超过Node的80% for node_id in $(seq 0 $((NUM_NODES - 1))); do cpus$(cat /sys/devices/system/node/node${node_id}/cpulist) mem_total$(grep MemTotal /sys/devices/system/node/node${node_id}/meminfo | awk {print $4}) mem_limit$((mem_total * 8 / 10)) # 80%上限 numactl --cpunodebind${node_id} \ --membind${node_id} \ -- redis-server \ /etc/redis/node${node_id}.conf \ --maxmemory ${mem_limit}k \ echo 已启动Redis实例绑定到Node${node_id}, 内存限制${mem_limit}kB done ;; java) # Java应用用numactl绑定而非JVM内部NUMA for node_id in $(seq 0 $((NUM_NODES - 1))); do cpus$(cat /sys/devices/system/node/node${node_id}/cpulist) numactl --cpunodebind${node_id} \ --membind${node_id} \ -- java \ -Xms32g -Xmx32g \ -XX:AlwaysPreTouch \ -XX:UseLargePages \ -XX:LargePageSizeInBytes2m \ -jar /opt/app/service.jar \ --spring.profiles.activenode${node_id} \ echo 已启动Java应用绑定到Node${node_id} done ;; *) echo 未知服务类型: ${SERVICE_TYPE} echo 支持: database, cache, java, generic exit 1 ;; esac # 第三步内核参数调优 echo 内核NUMA参数调优 # 禁用透明大页THP减少内存碎片和迁移开销 echo never /sys/kernel/mm/transparent_hugepage/enabled echo 已禁用透明大页THP # 设置NUMA BalancingAutoNUMA策略 # 0禁用, 1启用 # 数据库场景建议禁用减少页迁移开销 if [ $SERVICE_TYPE database ]; then echo 0 /proc/sys/kernel/numa_balancing echo 已禁用AutoNUMA数据库场景 else echo 1 /proc/sys/kernel/numa_balancing echo 已启用AutoNUMA非数据库场景 fi # 调整vm.zone_reclaim_mode # 0从其他Node分配推荐 # 1优先回收本地Node的PageCache可能导致本地Node内存压力 echo 0 /proc/sys/vm/zone_reclaim_mode # 降低Swap倾向 echo 1 /proc/sys/vm/swappiness echo NUMA调优完成 echo 监控命令: numastat -p pid echo 迁移命令: migrate_process_to_node pid target_node四、NUMA性能监控与问题诊断的完整方法论调优不是一次性工作而是持续监控、持续调整的过程。NUMA相关的问题在监控指标上有两个典型特征。第一进程的CPU利用率不高但吞吐量上不去。第二numastat显示有大量numa_hit本地分配但numa_miss远程分配也在增长。诊断NUMA问题的标准流程分为四步。第一步用numactl --hardware确认硬件拓扑。第二步用numastat -p pid查看进程的内存分布。第三步用perf stat -e node-loads,node-load-misses cmd测量远程访问。第四步用自定义工具本文第二节的代码读取numa_maps做精细分析。numastat的输出需要重点理解几个字段。numa_hit在本地Node成功分配的次数。numa_miss本想在本地Node分配但失败最终从远程Node分配的次数。interleave_hit交错策略下在目标Node成功分配的次数。local_node进程访问本地Node内存的次数。other_node进程访问其他Node内存的次数。other_node除以local_node other_node就是远程访问比例。这个比例超过30%就需要介入调优。对于已经出现大量远程访问的进程有两种补救方案。方案一用migrate_pages()系统调用主动迁移内存页。方案二重启进程在启动时正确设置NUMA绑定。 NUMA性能监控的Python封装 集成numastat解析、perf事件读取、自动调优建议 生产环境可集成到Prometheus监控体系 import subprocess import re import time from dataclasses import dataclass, field from typing import Optional dataclass class NumaStat: pid: int node_hits: list[int] field(default_factorylist) node_misses: list[int] field(default_factorylist) local_access: int 0 remote_access: int 0 property def remote_ratio(self) - float: total self.local_access self.remote_access return 0.0 if total 0 else self.remote_access / total dataclass class NumaTopology: num_nodes: int 0 node_cpus: dict[int, list[int]] field(default_factorydict) node_mem_kb: dict[int, int] field(default_factorydict) class NumaMonitor: NUMA监控器读取numastat、解析拓扑、给出调优建议 def __init__(self, pid: Optional[int] None): self.pid pid self.topology self._detect_topology() def _detect_topology(self) - NumaTopology: 检测系统NUMA拓扑 topo NumaTopology() out subprocess.check_output( [numactl, --hardware], textTrue ) for line in out.splitlines(): m re.match(rnode (\d) cpus: (.*), line) if m: node_id int(m.group(1)) cpus [int(x) for x in m.group(2).split()] topo.node_cpus[node_id] cpus topo.num_nodes max(topo.num_nodes, node_id 1) m re.match(rnode (\d) size: (\d) MB, line) if m: node_id int(m.group(1)) topo.node_mem_kb[node_id] int(m.group(2)) * 1024 return topo def read_numastat(self, pid: int) - NumaStat: 读取指定进程的numastat stat NumaStat(pidpid) stat.node_hits [0] * self.topology.num_nodes stat.node_misses [0] * self.topology.num_nodes try: out subprocess.check_output( [numastat, -p, str(pid)], textTrue ) except subprocess.CalledProcessError: return stat for line in out.splitlines(): # 解析格式: # Node 0 Node 1 # --------------- --------------- # Huge 0.00 0.00 # Heap 0.00 0.00 # Stack 0.00 0.00 # Private 1234.56 789.01 # ... pass # 实际解析需要根据numastat版本调整 return stat def measure_remote_access( self, pid: int, duration: int 10 ) - float: 用perf测量远程内存访问比例 返回: 远程访问比例 (0.0 ~ 1.0) try: proc subprocess.Popen([ perf, stat, -e, node-loads,node-load-misses, -p, str(pid), --, sleep, str(duration) ], stdoutsubprocess.PIPE, stderrsubprocess.PIPE) _, stderr proc.communicate() # 解析perf输出 node_loads 0 node_misses 0 for line in stderr.decode().splitlines(): m re.search(r(\d)\snode-loads, line) if m: node_loads int(m.group(1)) m re.search(r(\d)\snode-load-misses, line) if m: node_misses int(m.group(1)) return node_misses / max(1, node_loads) except FileNotFoundError: print(perf未安装无法测量远程访问) return -1.0 def diagnose(self, pid: int) - list[str]: 诊断进程的NUMA问题返回调优建议列表 recommendations [] # 测量远程访问比例 remote_ratio self.measure_remote_access(pid, duration5) if remote_ratio 0.3: recommendations.append( f远程访问比例{remote_ratio:.1%}超过30% f建议用numactl重新绑核绑内存 ) if remote_ratio 0.5: recommendations.append( 远程访问比例极高考虑重启进程并正确设置NUMA绑定 ) # 检查AutoNUMA是否启用 with open(/proc/sys/kernel/numa_balancing) as f: auto_numa f.read().strip() if auto_numa 1: recommendations.append( AutoNUMA已启用数据库场景建议禁用 echo 0 /proc/sys/kernel/numa_balancing ) return recommendations def print_report(self, pid: int) - None: 打印完整的NUMA诊断报告 print(f NUMA诊断报告: PID{pid} ) print(f系统NUMA拓扑: {self.topology.num_nodes}个Node) for nid in range(self.topology.num_nodes): cpus self.topology.node_cpus.get(nid, []) mem_mb self.topology.node_mem_kb.get(nid, 0) // 1024 print(f Node{nid}: CPU{cpus[:4]}{... if len(cpus)4 else }, f内存{mem_mb}MB) recommendations self.diagnose(pid) if recommendations: print(\n⚠ 调优建议:) for i, rec in enumerate(recommendations, 1): print(f {i}. {rec}) else: print(\n✓ NUMA配置正常无需调优) print( * 50) if __name__ __main__: import sys target_pid int(sys.argv[1]) if len(sys.argv) 1 else 1 monitor NumaMonitor() monitor.print_report(target_pid)五、总结NUMA架构的核心性能问题是远程内存访问延迟140200ns是本地访问6080ns的2~3倍导致进程被调度器迁移到其他Socket后性能下降30%~50%Linux内核默认就近分配策略在进程迁移后产生大量远程访问是高端服务器上程序变慢的根本原因Linux内核四种NUMA内存分配策略的适用场景MPOL_DEFAULT默认通用负载、MPOL_BIND强制绑Node数据库/缓存等延迟敏感服务、MPOL_INTERLEAVE交错分配带宽密集型科学计算、MPOL_PREFERRED优先本地失败fallback大多数生产服务的推荐策略选择错误可导致性能下降50%以上生产级NUMA调优的三步标准操作①绑核taskset/sched_setaffinity固定进程到同Socket的CPU核、②绑内存numactl --membindnode限制内存分配到本地Node、③监控numastat -p pid持续跟踪other_node远程访问比例超过30%触发告警数据库场景额外需禁用THP、设置zone_reclaim_mode0、配置swappiness1NUMA问题诊断的标准四步流程numactl --hardware确认拓扑 →numastat -p pid查看进程内存分布 →perf stat -e node-loads,node-load-misses测量远程访问比例 → 读取/proc/pid/numa_maps做精细分析远程访问比例超过30%需要介入调优超过50%建议重启进程并正确设置NUMA绑定不同服务类型的NUMA绑定推荐方案数据库每Socket一个实例--membindHugeTLB禁用AutoNUMA、缓存服务如Redis实例与Socket一一对应mlockall锁内存、Java应用用numactl外部绑定而非JVM内部UseNUMA配合AlwaysPreTouch和HugeTLB跨Socket部署是NUMA调优的最大禁忌务必避免
Linux内核NUMA架构深度实践内存分配策略与性能调优的生产级完整方案一、NUMA架构的性能陷阱为何你的程序在高端服务器上反而更慢NUMANon-Uniform Memory Access是现代多路服务器的标准架构。每个CPU Socket拥有本地内存控制器和本地内存条。访问本地内存的延迟约6080纳秒。跨Socket访问远程内存的延迟约140200纳秒。这2~3倍的延迟差异直接导致性能下降。Linux内核默认的内存分配策略是就近分配。进程在哪个CPU核上运行内存就从该核所属的Node分配。这个策略在大多数情况下是正确的。但问题在于进程会被调度器迁移到其他CPU核。一旦进程跑到远程Node的核上后续的内存分配就是远程访问。性能开始下降而且这种下降很难从业务指标上直接发现。更隐蔽的问题是内存交错分配Interleave。某些应用为了均衡带宽手动设置内存交错策略。让内存在所有Node上均匀分配。这样做的好处是带宽最大化。坏处是有一半的内存访问是远程的延迟翻倍。还有一个容易被忽视的问题内核页迁移AutoNUMA。内核会尝试将内存页迁移到访问它的CPU所在的Node。这个机制叫做NUMA Balancing。它扫描进程的地址空间识别远程访问触发页迁移。但页迁移本身有开销会占用CPU和内存带宽。在内存压力大的系统中AutoNUMA反而会降低性能。flowchart TD A[进程启动] -- B[初始分配在Node0] B -- C{进程被调度到?} C --|Node0的CPU| D[本地访问: 延迟80ns] C --|Node1的CPU| E[远程访问: 延迟140ns] D -- F[性能正常] E -- G[性能下降30%~50%] G -- H{是否启用AutoNUMA?} H --|是| I[内核扫描并迁移内存页到Node1] H --|否| J[持续远程访问] I -- K[迁移开销: CPU占用2%~5%] K -- L{迁移是否及时完成?} L --|是| M[恢复本地访问] L --|否| N[迁移滞后, 持续远程访问] J -- O[性能调优方向] N -- O F -- O O -- P[策略1: 进程绑核内存绑Node] O -- Q[策略2: 禁用AutoNUMA手动控制] O -- R[策略3: HugeTLB减少TLB Miss] O -- S[策略4: 用户态内存池预分配] style E fill:#e74c3c,color:#fff style G fill:#e74c3c,color:#fff style D fill:#27ae60,color:#fff style M fill:#27ae60,color:#fff理解NUMA架构的性能特征是系统性能调优的基础。不理解NUMA就无法解释很多诡异的性能问题。比如为什么增加CPU核数吞吐量反而下降为什么内存足够却出现大量Swap二、Linux内核NUMA内存分配策略的完整解析Linux内核提供了四种NUMA内存分配策略。每种策略适用于不同的业务场景。选择错误的策略性能可能下降50%以上。第一种是默认策略MPOL_DEFAULT。行为在当前进程运行的CPU所在Node上分配内存。如果本地Node内存不足从最近的Node分配。适用场景通用负载不需要特殊优化。缺点进程迁移后产生远程访问。第二种是绑定策略MPOL_BIND。行为强制在指定的Node列表上分配内存。如果指定Node内存不足分配失败返回ENOMEM。适用场景对延迟极度敏感的服务数据库、缓存。缺点需要精确控制进程与Node的绑定关系。第三种是交错策略MPOL_INTERLEAVE。行为在指定的Node列表上轮询分配内存页。每个页分配给不同的Node实现带宽均衡。适用场景科学计算、视频处理等带宽密集型负载。缺点远程访问比例高单线程延迟大。第四种是本地优先策略MPOL_PREFERRED。行为优先在指定Node上分配失败则从其他Node分配。与BIND的区别是失败时不返回错误而是fallback。适用场景希望优先本地分配但能容忍偶尔的远程访问。内核通过struct mempolicy结构体表示每种策略。用户态通过set_mempolicy()系统调用或mbind()设置策略。numactl命令行工具是对这些系统调用的封装。/* * Linux内核NUMA策略的生产级监控与调优工具 * 编译: gcc -o numa_monitor numa_monitor.c -lnuma * 运行: ./numa_monitor pid * * 功能: * 1. 读取进程的NUMA内存分布每个Node的匿名页数量 * 2. 检测远程访问比例通过numastat * 3. 动态修改进程的内存分配策略 * 4. 触发内存页迁移减少远程访问 */ #define _GNU_SOURCE #include stdio.h #include stdlib.h #include stdint.h #include string.h #include unistd.h #include sched.h #include numa.h #include numaif.h #include sys/mman.h #include sys/types.h #include dirent.h /* NUMA监控数据结构 */ typedef struct { int node_id; uint64_t total_memory_kb; /* 该Node总内存 */ uint64_t free_memory_kb; /* 该Node空闲内存 */ uint64_t process_anon_kb; /* 进程匿名页在该Node的大小 */ uint64_t process_file_kb; /* 进程文件页在该Node的大小 */ double remote_access_ratio; /* 远程访问比例从perf读取*/ } numa_node_stat_t; typedef struct { pid_t pid; int num_nodes; numa_node_stat_t nodes[8]; /* 最多支持8个Node */ int current_cpu; int current_node; double local_ratio; /* 本地内存访问比例 */ } numa_process_stat_t; /* 读取进程的NUMA内存分布解析/proc/pid/numa_maps */ static int read_process_numa_maps( pid_t pid, numa_process_stat_t *stat ) { char path[256]; FILE *fp; char line[512]; snprintf(path, sizeof(path), /proc/%d/numa_maps, pid); fp fopen(path, r); if (!fp) { perror(fopen numa_maps); return -1; } /* 初始化统计 */ for (int i 0; i stat-num_nodes; i) { stat-nodes[i].process_anon_kb 0; stat-nodes[i].process_file_kb 0; } /* 解析numa_maps的每一行 * 格式: address policy anonsize filesize ... Nnodesize * 示例: 7f8a40000000 interleave0-1 anon1024 file0 N0512 N1512 */ while (fgets(line, sizeof(line), fp)) { char policy[64] {0}; unsigned long addr; int node_id; uint64_t anon_kb 0, file_kb 0; /* 解析地址 */ if (sscanf(line, %lx %s, addr, policy) 2) continue; /* 解析Nnode的字段 */ char *p line; while ((p strstr(p, N)) ! NULL) { p; /* 跳过空格 */ if (sscanf(p, N%d%lu, node_id, anon_kb) 2) { if (node_id stat-num_nodes) { /* 根据policy判断是anon还是file */ if (strstr(line, anon)) { stat-nodes[node_id].process_anon_kb anon_kb; } else { stat-nodes[node_id].process_file_kb anon_kb; } } } p; } } fclose(fp); return 0; } /* 读取系统级NUMA Node状态解析/sys/devices/system/node/ */ static void read_system_numa_stat(numa_process_stat_t *stat) { for (int i 0; i stat-num_nodes; i) { char path[256]; FILE *fp; snprintf(path, sizeof(path), /sys/devices/system/node/node%d/meminfo, i); fp fopen(path, r); if (fp) { char line[256]; while (fgets(line, sizeof(line), fp)) { if (strstr(line, MemTotal)) sscanf(line, Node %d MemTotal: %lu kB, i, stat-nodes[i].total_memory_kb); if (strstr(line, MemFree)) sscanf(line, Node %d MemFree: %lu kB, i, stat-nodes[i].free_memory_kb); } fclose(fp); } } } /* 计算进程的本地内存访问比例 * 本地访问 进程当前CPU所在Node的内存 / 总内存 */ static double calc_local_ratio( const numa_process_stat_t *stat ) { uint64_t local_mem 0; uint64_t total_mem 0; for (int i 0; i stat-num_nodes; i) { uint64_t node_mem stat-nodes[i].process_anon_kb stat-nodes[i].process_file_kb; total_mem node_mem; if (i stat-current_node) local_mem node_mem; } if (total_mem 0) return 1.0; return (double)local_mem / total_mem; } /* 将进程的所有内存页迁移到指定Node * 使用move_pages()系统调用 */ static int migrate_process_to_node( pid_t pid, int target_node ) ) { /* 获取进程的内存映射 */ FILE *fp; char path[256]; char line[512]; void **pages NULL; int *nodes NULL; int page_count 0; int max_pages 100000; /* 预分配最大页数 */ pages malloc(max_pages * sizeof(void *)); nodes malloc(max_pages * sizeof(int)); if (!pages || !nodes) { perror(malloc); return -1; } /* 解析/proc/pid/maps获取所有映射地址 */ snprintf(path, sizeof(path), /proc/%d/maps, pid); fp fopen(path, r); if (!fp) { perror(fopen maps); free(pages); free(nodes); return -1; } while (fgets(line, sizeof(line), fp) page_count max_pages) { uint64_t start, end; char perms[8]; if (sscanf(line, %lx-%lx %s, start, end, perms) 3) { /* 仅迁移可读可写的私有映射匿名内存 */ if (strchr(perms, r) strchr(perms, w) !strchr(perms, s)) { pages[page_count] (void *)start; nodes[page_count] target_node; page_count; } } } fclose(fp); /* 调用move_pages系统调用 */ int *status malloc(page_count * sizeof(int)); if (!status) { free(pages); free(nodes); return -1; } int ret move_pages(pid, page_count, pages, nodes, status, MPOL_MF_MOVE); if (ret 0) { perror(move_pages); free(pages); free(nodes); free(status); return -1; } printf(已触发迁移 %d 个内存页到Node %d\n, page_count, target_node); /* 统计迁移结果 */ int success 0, failed 0; for (int i 0; i page_count; i) { if (status[i] 0) success; else failed; } printf( 成功: %d, 失败: %d\n, success, failed); free(pages); free(nodes); free(status); return 0; } /* 主函数监控并打印进程的NUMA状态 */ int main(int argc, char *argv[]) { if (argc 2) { fprintf(stderr, 用法: %s pid\n, argv[0]); return 1; } pid_t pid atoi(argv[1]); numa_process_stat_t stat {0}; /* 初始化NUMA拓扑 */ if (numa_available() 0) { fprintf(stderr, 系统不支持NUMA\n); return 1; } stat.pid pid; stat.num_nodes numa_num_configured_nodes(); if (stat.num_nodes 8) stat.num_nodes 8; /* 读取当前CPU和Node */ cpu_set_t cpuset; if (sched_getaffinity(pid, sizeof(cpuset), cpuset) 0) { for (int i 0; i CPU_SETSIZE; i) { if (CPU_ISSET(i, cpuset)) { stat.current_cpu i; stat.current_node numa_node_of_cpu(i); break; } } } /* 读取系统NUMA状态 */ read_system_numa_stat(stat); /* 读取进程NUMA分布 */ read_process_numa_maps(pid, stat); /* 计算本地访问比例 */ stat.local_ratio calc_local_ratio(stat); /* 打印报告 */ printf( NUMA监控报告 \n); printf(进程PID: %d\n, stat.pid); printf(当前CPU: %d, 所属Node: %d\n, stat.current_cpu, stat.current_node); printf(本地内存访问比例: %.2f%%\n\n, stat.local_ratio * 100); printf(各Node内存分布:\n); for (int i 0; i stat.num_nodes; i) { printf( Node%d: 进程匿名页%luMB, 进程文件页%luMB, Node总内存%luMB, Node空闲%luMB\n, i, stat.nodes[i].process_anon_kb / 1024, stat.nodes[i].process_file_kb / 1024, stat.nodes[i].total_memory_kb / 1024, stat.nodes[i].free_memory_kb / 1024); } if (stat.local_ratio 0.7) { printf(\n⚠ 警告: 本地内存访问比例低于70%%!\n); printf( 建议: 使用 numactl --membindnode 重绑进程\n); printf( 或: 调用 migrate_process_to_node(pid, %d)\n, stat.current_node); } return 0; }三、生产级NUMA调优策略从绑定到监控的完整方案生产环境的NUMA调优核心是三个动作绑核、绑内存、监控。这三个动作缺一不可否则调优效果会大打折扣。绑核用taskset或sched_setaffinity将进程固定在特定CPU核。绑内存用numactl --membind将内存分配限制在本地Node。监控用numastat和自定义工具持续监控远程访问比例。对于数据库类应用MySQL、PostgreSQL推荐配置每个数据库实例绑定到同一个Socket的所有核。内存分配策略设为--membindlocal_node。禁用透明大页THP改用HugeTLB预留大页。HugeTLB减少TLB Miss对数据库性能提升显著。对于缓存类应用Redis、Memcached推荐配置实例与Socket一一对应不跨Socket部署。使用mlockall()锁定内存防止被换出。设置vm.swappiness1最大限度减少Swap。对于Java应用需要额外注意JVM的NUMA感知。JDK从JDK14开始支持UseNUMA参数。但生产环境更推荐用numactl在外部绑定。JVM的内部NUMA支持还不够完善存在内存迁移开销。#!/bin/bash # NUMA性能调优的生产级部署脚本 # 适用场景多路服务器上的数据库/缓存服务部署 # 执行前需确认1. 服务器NUMA拓扑 2. 服务类型 3. 内存需求 set -euo pipefail # 第一步检测NUMA拓扑 echo NUMA拓扑检测 numactl --hardware # 提取Node数量和每个Node的CPU列表 NUM_NODES$(numactl --hardware | grep -c ^node) echo 检测到 ${NUM_NODES} 个NUMA Node # 第二步根据服务类型生成绑定方案 SERVICE_TYPE${1:-database} # database | cache | java | generic INSTANCE_COUNT${2:-1} # 每Node启动的实例数 case $SERVICE_TYPE in database) # 数据库每Socket部署一个实例绑定所有核 for node_id in $(seq 0 $((NUM_NODES - 1))); do cpus$(cat /sys/devices/system/node/node${node_id}/cpulist) mem_size$(grep MemTotal /sys/devices/system/node/node${node_id}/meminfo | awk {print $4}) echo Node${node_id}: CPU${cpus}, 内存${mem_size}kB # 启动数据库实例示例MySQL numactl --cpunodebind${node_id} \ --membind${node_id} \ -- mysqld \ --defaults-file/etc/mysql/node${node_id}.cnf \ --innodb-buffer-pool-size${mem_size}k \ echo 已启动MySQL实例绑定到Node${node_id} done ;; cache) # 缓存每Socket部署一个实例内存不超过Node的80% for node_id in $(seq 0 $((NUM_NODES - 1))); do cpus$(cat /sys/devices/system/node/node${node_id}/cpulist) mem_total$(grep MemTotal /sys/devices/system/node/node${node_id}/meminfo | awk {print $4}) mem_limit$((mem_total * 8 / 10)) # 80%上限 numactl --cpunodebind${node_id} \ --membind${node_id} \ -- redis-server \ /etc/redis/node${node_id}.conf \ --maxmemory ${mem_limit}k \ echo 已启动Redis实例绑定到Node${node_id}, 内存限制${mem_limit}kB done ;; java) # Java应用用numactl绑定而非JVM内部NUMA for node_id in $(seq 0 $((NUM_NODES - 1))); do cpus$(cat /sys/devices/system/node/node${node_id}/cpulist) numactl --cpunodebind${node_id} \ --membind${node_id} \ -- java \ -Xms32g -Xmx32g \ -XX:AlwaysPreTouch \ -XX:UseLargePages \ -XX:LargePageSizeInBytes2m \ -jar /opt/app/service.jar \ --spring.profiles.activenode${node_id} \ echo 已启动Java应用绑定到Node${node_id} done ;; *) echo 未知服务类型: ${SERVICE_TYPE} echo 支持: database, cache, java, generic exit 1 ;; esac # 第三步内核参数调优 echo 内核NUMA参数调优 # 禁用透明大页THP减少内存碎片和迁移开销 echo never /sys/kernel/mm/transparent_hugepage/enabled echo 已禁用透明大页THP # 设置NUMA BalancingAutoNUMA策略 # 0禁用, 1启用 # 数据库场景建议禁用减少页迁移开销 if [ $SERVICE_TYPE database ]; then echo 0 /proc/sys/kernel/numa_balancing echo 已禁用AutoNUMA数据库场景 else echo 1 /proc/sys/kernel/numa_balancing echo 已启用AutoNUMA非数据库场景 fi # 调整vm.zone_reclaim_mode # 0从其他Node分配推荐 # 1优先回收本地Node的PageCache可能导致本地Node内存压力 echo 0 /proc/sys/vm/zone_reclaim_mode # 降低Swap倾向 echo 1 /proc/sys/vm/swappiness echo NUMA调优完成 echo 监控命令: numastat -p pid echo 迁移命令: migrate_process_to_node pid target_node四、NUMA性能监控与问题诊断的完整方法论调优不是一次性工作而是持续监控、持续调整的过程。NUMA相关的问题在监控指标上有两个典型特征。第一进程的CPU利用率不高但吞吐量上不去。第二numastat显示有大量numa_hit本地分配但numa_miss远程分配也在增长。诊断NUMA问题的标准流程分为四步。第一步用numactl --hardware确认硬件拓扑。第二步用numastat -p pid查看进程的内存分布。第三步用perf stat -e node-loads,node-load-misses cmd测量远程访问。第四步用自定义工具本文第二节的代码读取numa_maps做精细分析。numastat的输出需要重点理解几个字段。numa_hit在本地Node成功分配的次数。numa_miss本想在本地Node分配但失败最终从远程Node分配的次数。interleave_hit交错策略下在目标Node成功分配的次数。local_node进程访问本地Node内存的次数。other_node进程访问其他Node内存的次数。other_node除以local_node other_node就是远程访问比例。这个比例超过30%就需要介入调优。对于已经出现大量远程访问的进程有两种补救方案。方案一用migrate_pages()系统调用主动迁移内存页。方案二重启进程在启动时正确设置NUMA绑定。 NUMA性能监控的Python封装 集成numastat解析、perf事件读取、自动调优建议 生产环境可集成到Prometheus监控体系 import subprocess import re import time from dataclasses import dataclass, field from typing import Optional dataclass class NumaStat: pid: int node_hits: list[int] field(default_factorylist) node_misses: list[int] field(default_factorylist) local_access: int 0 remote_access: int 0 property def remote_ratio(self) - float: total self.local_access self.remote_access return 0.0 if total 0 else self.remote_access / total dataclass class NumaTopology: num_nodes: int 0 node_cpus: dict[int, list[int]] field(default_factorydict) node_mem_kb: dict[int, int] field(default_factorydict) class NumaMonitor: NUMA监控器读取numastat、解析拓扑、给出调优建议 def __init__(self, pid: Optional[int] None): self.pid pid self.topology self._detect_topology() def _detect_topology(self) - NumaTopology: 检测系统NUMA拓扑 topo NumaTopology() out subprocess.check_output( [numactl, --hardware], textTrue ) for line in out.splitlines(): m re.match(rnode (\d) cpus: (.*), line) if m: node_id int(m.group(1)) cpus [int(x) for x in m.group(2).split()] topo.node_cpus[node_id] cpus topo.num_nodes max(topo.num_nodes, node_id 1) m re.match(rnode (\d) size: (\d) MB, line) if m: node_id int(m.group(1)) topo.node_mem_kb[node_id] int(m.group(2)) * 1024 return topo def read_numastat(self, pid: int) - NumaStat: 读取指定进程的numastat stat NumaStat(pidpid) stat.node_hits [0] * self.topology.num_nodes stat.node_misses [0] * self.topology.num_nodes try: out subprocess.check_output( [numastat, -p, str(pid)], textTrue ) except subprocess.CalledProcessError: return stat for line in out.splitlines(): # 解析格式: # Node 0 Node 1 # --------------- --------------- # Huge 0.00 0.00 # Heap 0.00 0.00 # Stack 0.00 0.00 # Private 1234.56 789.01 # ... pass # 实际解析需要根据numastat版本调整 return stat def measure_remote_access( self, pid: int, duration: int 10 ) - float: 用perf测量远程内存访问比例 返回: 远程访问比例 (0.0 ~ 1.0) try: proc subprocess.Popen([ perf, stat, -e, node-loads,node-load-misses, -p, str(pid), --, sleep, str(duration) ], stdoutsubprocess.PIPE, stderrsubprocess.PIPE) _, stderr proc.communicate() # 解析perf输出 node_loads 0 node_misses 0 for line in stderr.decode().splitlines(): m re.search(r(\d)\snode-loads, line) if m: node_loads int(m.group(1)) m re.search(r(\d)\snode-load-misses, line) if m: node_misses int(m.group(1)) return node_misses / max(1, node_loads) except FileNotFoundError: print(perf未安装无法测量远程访问) return -1.0 def diagnose(self, pid: int) - list[str]: 诊断进程的NUMA问题返回调优建议列表 recommendations [] # 测量远程访问比例 remote_ratio self.measure_remote_access(pid, duration5) if remote_ratio 0.3: recommendations.append( f远程访问比例{remote_ratio:.1%}超过30% f建议用numactl重新绑核绑内存 ) if remote_ratio 0.5: recommendations.append( 远程访问比例极高考虑重启进程并正确设置NUMA绑定 ) # 检查AutoNUMA是否启用 with open(/proc/sys/kernel/numa_balancing) as f: auto_numa f.read().strip() if auto_numa 1: recommendations.append( AutoNUMA已启用数据库场景建议禁用 echo 0 /proc/sys/kernel/numa_balancing ) return recommendations def print_report(self, pid: int) - None: 打印完整的NUMA诊断报告 print(f NUMA诊断报告: PID{pid} ) print(f系统NUMA拓扑: {self.topology.num_nodes}个Node) for nid in range(self.topology.num_nodes): cpus self.topology.node_cpus.get(nid, []) mem_mb self.topology.node_mem_kb.get(nid, 0) // 1024 print(f Node{nid}: CPU{cpus[:4]}{... if len(cpus)4 else }, f内存{mem_mb}MB) recommendations self.diagnose(pid) if recommendations: print(\n⚠ 调优建议:) for i, rec in enumerate(recommendations, 1): print(f {i}. {rec}) else: print(\n✓ NUMA配置正常无需调优) print( * 50) if __name__ __main__: import sys target_pid int(sys.argv[1]) if len(sys.argv) 1 else 1 monitor NumaMonitor() monitor.print_report(target_pid)五、总结NUMA架构的核心性能问题是远程内存访问延迟140200ns是本地访问6080ns的2~3倍导致进程被调度器迁移到其他Socket后性能下降30%~50%Linux内核默认就近分配策略在进程迁移后产生大量远程访问是高端服务器上程序变慢的根本原因Linux内核四种NUMA内存分配策略的适用场景MPOL_DEFAULT默认通用负载、MPOL_BIND强制绑Node数据库/缓存等延迟敏感服务、MPOL_INTERLEAVE交错分配带宽密集型科学计算、MPOL_PREFERRED优先本地失败fallback大多数生产服务的推荐策略选择错误可导致性能下降50%以上生产级NUMA调优的三步标准操作①绑核taskset/sched_setaffinity固定进程到同Socket的CPU核、②绑内存numactl --membindnode限制内存分配到本地Node、③监控numastat -p pid持续跟踪other_node远程访问比例超过30%触发告警数据库场景额外需禁用THP、设置zone_reclaim_mode0、配置swappiness1NUMA问题诊断的标准四步流程numactl --hardware确认拓扑 →numastat -p pid查看进程内存分布 →perf stat -e node-loads,node-load-misses测量远程访问比例 → 读取/proc/pid/numa_maps做精细分析远程访问比例超过30%需要介入调优超过50%建议重启进程并正确设置NUMA绑定不同服务类型的NUMA绑定推荐方案数据库每Socket一个实例--membindHugeTLB禁用AutoNUMA、缓存服务如Redis实例与Socket一一对应mlockall锁内存、Java应用用numactl外部绑定而非JVM内部UseNUMA配合AlwaysPreTouch和HugeTLB跨Socket部署是NUMA调优的最大禁忌务必避免
