2023年10月17日 谷歌云工程副总裁Dan Lenoski, 谷歌云首席软件工程师Nandita Dukkipati
谷歌长期以来一直使用以太网解决大规模问题，并重新思考传输层，以满足对高突发带宽、高消息速率和低延迟的要求。存储等工作负载长期以来一直需要其中一些特性，然而，随着新的用例如大规模AI/ML训练和高性能计算（HPC）的出现，这种需求显著增加。过去，谷歌通过向计算机协会（ACM）和互联网工程任务组（IETF）贡献谷歌的想法，公开分享谷歌在流量整形、拥塞控制、负载均衡等方面的经验教训。这些想法已经在软件中实施，并在硬件中实施了一些。但是，未来，谷歌相信通过使用专用的灵活硬件辅助集合，整个行业将会看到更多的收益。
为了实现这个目标，谷歌开发了Falcon，以实现比仅使用软件的传输更高的性能。今天在OCP全球峰会上，谷歌很高兴通过Open Compute Project向生态系统开放Falcon，这是帮助现代化以太网，为社区提供谷歌生产的经验教训。
作为一种硬件辅助的传输层，Falcon被设计为可靠、高性能和低延迟，并利用了Carousel、Snap、Swift、PLB和CSIG等经过生产验证的技术。
- Carousel：一种流量限制机制（流量整形），允许在各个主机的上下文中调节数据包流的性能和强度。
- Snaps：基于微内核的网络子系统，可以通过模块进行扩展，通过模块可以添加高级功能，例如网络虚拟化、流量限制和消息传递功能。
- Swift：数据中心级网络的拥塞控制机制，短 RPC 消息可实现低于 50 微秒的延迟，同时在接近 100% 负载的情况下保持每台服务器 100 Gbps 的吞吐量。
- RACK-TLP：一种确定 TCP 数据包丢失的算法。
- PLB：一种使用拥塞信号的负载平衡机制。
- CSIG：一种遥测交换协议，用于发送拥塞和流量控制信号。
- PSP：流量加密协议。
Falcon的图层如下图所示，包括其相关功能。谷歌展示了RDMA和NVM Express™上层协议（ULPs），但Falcon可以根据生态系统的需要扩展到额外的ULPs。
Falcon的底层使用三个关键洞察力实现在高带宽、有损耗的以太网数据中心网络中的低延迟:
- 发送请求和接收响应之间的延迟（RTT，往返时间）的详细测量
- 硬件实现针对各个流进行流量整形
- 快速准确的数据包重传
并通过多路径同时访问和支持连接加密的方式补充了这些属性。
在此基础上，Falcon从根本上被设计为一种多协议传输，能够支持具有广泛不同性能要求和应用语义的ULPs。ULP映射层不仅提供了与Infiniband Verbs RDMA和NVMe ULPs的开箱即用兼容性，还包括了仓储规模应用所需的灵活的排序语义和优雅的错误处理等额外创新。最后但同样重要的是，硬件和软件是共同设计的，以帮助实现高消息速率、低延迟和高带宽的所需特性，同时保持可编程性和持续创新的灵活性。
Falcon反映了以太网在谷歌行业中持续发挥着的核心作用。Falcon被设计为可预测的高性能，在仓库规模上具有灵活性和可扩展性。谷歌期待与社区和行业合作伙伴共同推动以太网的现代化，以满足谷歌以人工智能驱动的未来的网络需求。谷歌相信，Falcon将是该领域其他正在进行的努力中的宝贵补充。
行业观点 谷歌行业的合作伙伴对Falcon在开发下一代以太网的前景感到热切。
- Dr. J Metz，Ultra以太网协会主席（由AMD、Arista、Broadcom、Cisco、Eviden、惠普企业、英特尔、Meta、微软和Oracle领导）:
“谷歌欢迎谷歌贡献Falcon，因为它与Ultra以太网协会的愿景一致，推动以太网成为最好的用于AI和HPC的数据中心互连，并期待在这个重要领域继续进行行业创新。” - Sachin Katti，英特尔网络和边缘团队高级副总裁兼总经理：
“Falcon首先在英特尔IPU E2000系列产品中提供。这些IPU的价值得到了进一步增强，因为它们是第一个在以太网传输中实现低尾延迟和规模化拥塞处理的实例。
英特尔是Ultra以太网协会的指导成员，该协会致力于发展适用于高性能AI和HPC工作负载的以太网。谷歌计划在未来的IPU和以太网产品中部署基于标准的增强功能。” - Hugh Holbrook，Arista Networks软件工程部门副总裁：
“谷歌很高兴看到一种适用于AI和HPC等关键工作负载的高性能传输协议，它可以在标准的以太网/IP网络上工作，并能在规模上实现大规模应用带宽。” - Ofer Iny，思科资深研究员：
“思科很高兴看到Falcon被贡献给OCP。思科长期以来一直支持开放标准，并相信广泛的生态系统。现代数据中心网络，特别是AI/ML网络的速率和规模是前所未有的，给行业带来了挑战和机遇。Falcon解决了这些网络的许多挑战，实现了高效的网络利用。” - Raj Yavatkar，Juniper首席技术官
“Juniper坚定支持开放生态系统，因此谷歌很高兴看到Falcon被开放给OCP社区。Falcon使以太网成为了要求苛刻工作负载的数据中心网络选择，提供高带宽、低尾延迟和拥塞缓解。Falcon为行业提供了现成的解决方案，适用于要求苛刻的AI和ML工作负载。” - Nick Kucharewski，Marvell网络交换部门高级副总裁兼总经理:
“Marvell强烈支持并致力于开放以太网生态系统的发展，以支持新兴的要求苛刻的工作负载，如AI。谷歌赞赏Falcon对OCP的贡献，并欢迎谷歌与行业分享实践经验。”
了解更多 网络是构建可持续、安全、可扩展的社会基础设施的基础组成部分，这是谷歌未来以人工智能驱动的未来所需要的。要了解有关Falcon的更多信息，请加入谷歌在Expo Hall举行的OCP峰会上Nandita Dukkipati的演讲“可靠且低延迟的以太网硬件传输”，时间为上午11:45。谷歌将在2024年第一季度将Falcon规格贡献给OCP。
要了解更多关于谷歌对开放计算项目的贡献以及谷歌在OCP全球峰会上的活动，请查阅博客文章“谷歌将如何为以人工智能驱动的未来构建可持续、可扩展、安全的基础设施”。
评论