MLPerf推理使用AI计算平台的开发人员希望在处理复杂模型时从系统中榨取最后一点性能。可能对NVIDIA本周发表的一篇新文章感兴趣，该文章展示了如何在MLPerfInference2.0上获得最佳性能。JetsonOrinAGX是一个片上系统平台，能够为多个并发AI推理管道提供高达275TOPS的AI计算，并为多个传感器提供高速接口支持。

“像威震天530B这样的模型正在扩大人工智能可以解决的问题范围。然而，随着模型的复杂性不断增加，它们对AI计算平台提出了双重挑战：必须在合理的时间内训练这些模型。他们必须能够实时进行推理工作。

JetsonOrinAGX是一款SoC，可为多个并发AI推理管道提供高达275TOPS的AI计算，并为多个传感器提供高速接口支持。NVIDIAJetsonAGXOrin开发人员套件使您能够为制造、物流、零售、服务、农业、智慧城市、医疗保健和生命科学创建先进的机器人技术和边缘AI应用程序。

除了硬件之外，还需要出色的软件和优化工作才能充分利用这些平台。MLPerfInference2.0的结果展示了如何获得处理当今日益庞大和复杂的AI模型所需的性能。”