英偉達公司近日發(fā)布了名為Dynamo的新軟件系統(tǒng),并將其稱為“AI工廠的操作系統(tǒng)”。該系統(tǒng)旨在優(yōu)化人工智能(AI)工作負載的運行效率,特別是在大規(guī)模數(shù)據(jù)中心環(huán)境中。
Dynamo是一個分布式推理服務(wù)庫,主要解決用戶需求token與生產(chǎn)token不足之間的矛盾。通過優(yōu)化資源分配和任務(wù)調(diào)度,Dynamo能夠顯著提升的推理性能,從而提高整體AI工廠的運行效率。在Dynamo、Grace Blackwell NVLink72超級芯片的加持下,Blackwell相比Hopper可實現(xiàn)25倍的性能提升。而在推理模型中,Blackwell的性能是Hopper的40倍。
英偉達首席執(zhí)行官黃仁勛表示,Dynamo的發(fā)布是公司在AI領(lǐng)域的重要里程碑。他強調(diào),隨著AI技術(shù)的快速發(fā)展,數(shù)據(jù)中心需要更高效的軟件系統(tǒng)來管理和運行復(fù)雜的AI工作負載,Dynamo正是為了滿足這一需求而誕生的。