编者按:飞腾作为国内 CPU 设计的领先企业,其 CPU 在各行各业已经获得的广泛应用为了广大客户更好的使用 CPU、更好的提升性能,本文将详细介绍飞腾服务器 CPU 的性能调优原理以及相应调优方法整理自
龙蜥大讲堂,文末附获取 PPT 方式,欢迎查看!
一、软件调优的方式• 算法优化算法优化是指对算法的有关性能进行优化,比如时间复杂度等为了提升算法的处理问题的能力,通常需要对算法进行合理优化• 指令集优化1)针对程序关键代码段嵌入汇编指令进行优化2)NEON 是一种 SIMD 指令,可以运用在信号处理,向量运算等场合
• 针对体系结构的性能优化根据体系结构的特点,针对系统和应用程序进行合理配置和部署调优本文主要介绍该调优方法二、CPU 内部体系结构2.1 FT-2000+/64 内部体系结构• 64 个 CPU 核,8 个 NUMA。
• 每 NUMA 含 8 个核,一个 DDR4 控制器• 每 4 个核共享 2 MB L2 cache• 两个 PEU 单元、PEU0 连接在 NUMA0、PEU1 连接在 NUMA6
(图1/ FT-2000+/64 内部体系结构图)2.2 S2500 内部体系结构
(图2/S2500内部体系结构图)• 64 个 CPU 核、8 个 NUMA• 每 NUMA 含 8 个核,一个 DDR4 控制器• 每 4 个核共享 2 MB L2 cache• 一个 PEU 单元连接在 NUMA0
• 多路互联 DLU 连接在 NUMA6三、CPU 体系结构影响程序性能的因素3.1 CPU 访存的性能每个 NUMA 的 CPU 访问本 NUMA DDR 控制器的内存性能最佳,访问其他 NUMA 性能有一些差异。
3.2 外设访存的性能PEU0 上的外设访问 NUMA0 内存性能最佳,PEU1 访问 NUMA6 内存性能最佳3.3 跨路访存的性能CPU 和外设访问其它 socket 的内存比访问本路内存性能更低四、CPU 体系结构相关性能的调优方法
NUMA(Non Uniform Memory Access),即非一致内存访问,是针对 UMA(Uniform Memory Access)提出的NUMA 架构下,多 CPU 对主存的访问并非对等的,每个 CPU 都有自己的主存, CPU 与自己的主存物理上距离更近,访问速度更快,而访问远端存储器的速度相对要慢。
Linux 内核支持这种特性,配置 numa 支持对驱动和应用程序来说确实会有不少的性能提升4.1 CPU 访存类型优化方法(一)CPU 访存的性能 实例:多进程的音视频处理服务器,每个进程含 6 个线程,各进程相互独立。
运行8个服务进程,程序延时抖动很大,性能波动优化原理:每个进程绑定到一个 NUMA 的 8 个 CPU,每个进程从本地 NUMA 分配内存,避免跨 NUMA 分配内存带来的访存带宽变低和延迟的影响操作步骤:。
使用 numcactl 绑定服务器进程,并指定内存分配策略.-C 指定 cpu 号,-l 指定当前的节点分配内存的:numactl -C $cpus -l 音视频服务器。
(图3/进程调优部署结构图)4.2 CPU 访存类型优化方法(二)实例:飞腾数学处理库,使用多线程进行矩阵运算,使用 NUMA API 分配内存提升性能优化原理:根据每个线程运行的 CPU 所处的 numa 分配矩阵运算所需要的内存,这样运算的线程访存速率最快,同时配合使用 NEON 指令集对程序进行优化。
4.3 IO 访存类型(内核网卡驱动)(一)实例:25G 网卡 iperf3 测试性能调优优化原理:网卡队列中断亲和性均衡设置到对应PEU所在的核,提升网卡DMA访存的性能操作步骤:1)关闭 irqbalance。
systemctlstopirqbalance.service2)查询网卡中断号cat /proc/interrupts | grep $eth | awk -F :{print $1}3)根据具体 CPU 的体系结构,使用 lspci -tv 确定网卡所属的 PEU。
4)将每个中断分别绑定在网卡所属 NUMA 对应的一个核上,并且均匀分配cpu指定 CPU 编号,irq 指定中断编号echo$cpu> /proc/irq/$irq/smp_affinity_list。
(图4/ iperf3测试)4.4 IO 访存类型(DPDK)(二)实例:20G 网卡 dpdk 测试性能调优优化原理:每个 pci 设备在 pci devie 目录下有一个 numa_node 的属性,记录设备所在的 numa_node 信息,dpdk 内存管理根据该信息从对应 numa 内存区域分配接收缓冲区。
确保系统中 numa_node 信息分配正确,提升 IO 传输的性能操作步骤:1)根据具体 CPU 的体系结构,使用 lspci -tv 确定网卡所属的 PEU2)查看网卡的 numa_node 是否正确配置,其中pci_addr表示设备pci地址。
cat /sys/bus/pci/devices/pci_addr/numa_node3)根据网卡所连接的 PEU,配置网卡的 numa_node,其中 numaNode 表示 numa 编号,pci_addr 表示设备 pci 地址。
echo $numaNode > /sys/bus/pci/devices/pci_addr/numa_node
(图5/dpdk testpmd 测试数据)关于技术课件获取方式:【PPT课件获取】:关注微信公众号(OpenAnolis),回复“龙蜥课件”即可获取有任何疑问请随时咨询龙蜥助手—小龙(微信:openanolis_assis)。
—— 完 ——加入龙蜥社群加入微信群:添加社区助理-龙蜥社区小龙(微信:openanolis_assis),备注【龙蜥】与你同在;加入钉钉群:扫描下方钉钉群二维码欢迎开发者/用户加入龙蜥社区(OpenAnolis)交流,共同推进龙蜥社区的发展,一起打造一个活跃的、健康的开源操作系统生态!。
关于龙蜥社区龙蜥社区(OpenAnolis)由企事业单位、高等院校、科研单位、个人等在自愿、平等、开源、协作的基础上组成的开源社区龙蜥社区成立于 2020 年 9 月,旨在构建一个开源、中立、开放的Linux 上游发行版社区及创新平台。
龙蜥社区成立的短期目标是开发龙蜥操作系统(Anolis OS)作为 CentOS 停服后的应对方案,构建一个兼容国际 Linux 主流厂商的社区发行版中长期目标是探索打造一个面向未来的操作系统,建立统一的开源操作系统生态,孵化创新开源项目,繁荣开源生态。
目前,Anolis OS 8.6已发布,更多龙蜥自研特性,支持 X86_64 、RISC-V、Arm64、LoongArch 架构,完善适配 Intel、兆芯、鲲鹏、龙芯等芯片,并提供全栈国密支持欢迎下载:。
https://openanolis.cn/download加入我们,一起打造面向未来的开源操作系统!https://openanolis.cn往期精彩推荐1.龙蜥下游发行版 Alinux 和 UOS 成为 OpenSCAP 官方首批支持的国内 OS
2.龙蜥社区发布首个 Anolis OS 安全指南 为用户业务系统保驾护航3.龙蜥开发者说:社区首个支持 LoongArch架构的操作系统构建之路 | 第 9 期4.爱奇艺加入龙蜥社区,携手打造多元化视频生态底座
5.龙蜥社区招募推广大使&体验官啦!| 人人都可以参与开源
亲爱的读者们,感谢您花时间阅读本文。如果您对本文有任何疑问或建议,请随时联系我。我非常乐意与您交流。
发表评论:
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。