带宽优化新思路:RoCE网卡聚合实现X2增长
发布网友
发布时间：2小时前
共1个回答
热心网友
时间：1分钟前
带宽优化新策略：RoCE网卡聚合实践提升
在华为云社区的一篇文章《通过双RoCE网卡Bond实现带宽翻倍》中，作者tsjsdbd分享了关于RoCE网卡聚合的实用技巧。通常，操作系统允许将两个物理网卡合并为逻辑网卡，以实现备份或增强网络性能。对于RoCE网卡，同样支持聚合，但存在特定约束。
首先，我们来探讨RoCE网卡链路聚合（LAG），Mellanox官网资料提到，RoCE网卡的Bond模式仅支持3种，相比普通网卡的7种模式有所减少，但提升带宽的模式仍然可用。在Ubuntu 22.04系统中，我们使用netplan工具进行操作，创建一个名为“bond0”的聚合网卡，配置模式为802.3ad，即链路聚合，并选择负载均衡策略layer3+4，以适应RDMA报文的随机源端口。
在服务器端，我们还需为新网卡启用PFC流控，设置MTU和队列策略，使用ibdev2netdev查询设备，确保发送报文的Traffic Class设置正确。交换机上则需要开启LACP模式，配置load-balance profile，同时开启PFC流控并设置端口缓冲区大小。
为了验证效果，我们使用ib_write_bw命令进行带宽测试，通过对比服务器端和客户端的流量，以及监控队列4的报文数量，来评估优化后的带宽提升。最后，通过ethtool命令查看网卡温度，以确保设备健康运行。
这篇文章作为操作指南，旨在分享实践过程，可能并不一定是最佳实践，但对了解和优化RoCE网卡聚合有参考价值。请根据自身环境和需求选择适合的方法。
