其實(shí)自 2021 年以來(lái)，Nvidia 就已經(jīng)在其在線列出的許可條款中禁止使用翻譯層（translation layers）在其他硬件平臺(tái)上運(yùn)行基于 CUDA 的軟件，但之前的警告并未包含在安裝過(guò)程中放置在主機(jī)系統(tǒng)上的文檔。

但據(jù)報(bào)道，最近，這個(gè)描述已添加到安裝 CUDA 11.6 及更高版本時(shí)包含的 EULA 中。該限制似乎旨在阻止英特爾和 AMD 最近參與的ZLUDA等計(jì)劃，或許更關(guān)鍵的是，一些中國(guó) GPU 制造商利用帶有翻譯層的 CUDA 代碼。

軟件工程師Longhorn注意到了這些術(shù)語(yǔ)。安裝的 EULA 文本文件中的一個(gè)條款寫(xiě)道：“您不得對(duì)使用 SDK 元素生成的輸出的任何部分進(jìn)行逆向工程、反編譯或反匯編，以將此類(lèi)輸出工件轉(zhuǎn)換為目標(biāo)非 NVIDIA 平臺(tái)?！?（You may not reverse engineer, decompile or disassemble any portion of the output generated using SDK elements for the purpose of translating such output artifacts to target a non-NVIDIA platform.,"）

與 CUDA 11.4 和 11.5 版本一起安裝的 EULA 文檔中不存在該條款，并且可能包含該版本之前的所有版本。但是，它存在于 11.6 及更高版本的安裝文檔中。

作為一個(gè)領(lǐng)導(dǎo)者，這有好的一面，也有壞的一面。一方面，每個(gè)人都依賴(lài)你；另一方面，每個(gè)人都想站在你的肩膀上。后者顯然是 CUDA 所發(fā)生的情況。由于 CUDA 和 Nvidia 硬件的組合已被證明非常高效，因此大量程序都依賴(lài)它。

然而，隨著更多有競(jìng)爭(zhēng)力的硬件進(jìn)入市場(chǎng)，更多的用戶(hù)傾向于在競(jìng)爭(zhēng)平臺(tái)上運(yùn)行他們的 CUDA 程序。有兩種方法可以做到這一點(diǎn)：重新編譯代碼（可供各個(gè)程序的開(kāi)發(fā)人員使用）或使用翻譯層。

出于顯而易見(jiàn)的原因，使用ZLUDA 這樣的轉(zhuǎn)換層是在非 Nvidia 硬件上運(yùn)行 CUDA 程序的最簡(jiǎn)單方法。我們所要做的就是獲取已編譯的二進(jìn)制文件并使用 ZLUDA 或其他轉(zhuǎn)換層運(yùn)行它們。

但ZLUDA 現(xiàn)在似乎陷入困境，AMD 和英特爾都放棄了進(jìn)一步開(kāi)發(fā)它的機(jī)會(huì)，但這并不意味著翻譯不可行。

出于顯而易見(jiàn)的原因，使用轉(zhuǎn)換層威脅到了 Nvidia 在加速計(jì)算領(lǐng)域的霸權(quán)，特別是在人工智能應(yīng)用方面。這可能是 Nvidia 決定禁止使用翻譯層在其他硬件平臺(tái)上運(yùn)行 CUDA 應(yīng)用程序的推動(dòng)力。

重新編譯現(xiàn)有的 CUDA 程序仍然完全合法。為了簡(jiǎn)化這一點(diǎn)，AMD 和 Intel 都有工具分別將 CUDA 程序移植到他們的 ROCm和 OpenAPI平臺(tái)。

隨著 AMD、英特爾、Tenstorrent 和其他公司開(kāi)發(fā)出更好的硬件，更多的軟件開(kāi)發(fā)人員將傾向于為這些平臺(tái)進(jìn)行設(shè)計(jì)，而 Nvidia 的 CUDA 主導(dǎo)地位可能會(huì)隨著時(shí)間的推移而減弱。

此外，專(zhuān)門(mén)為特定處理器開(kāi)發(fā)和編譯的程序?qū)⒉豢杀苊獾乇韧ㄟ^(guò)翻譯層運(yùn)行的軟件運(yùn)行得更好，這意味著 AMD、英特爾、Tenstorrent 和其他公司能夠在與 Nvidia 的競(jìng)爭(zhēng)中獲得更好的競(jìng)爭(zhēng)地位——如果他們能夠吸引軟件開(kāi)發(fā)人員加入的話(huà)。

GPGPU仍然是一個(gè)重要且競(jìng)爭(zhēng)激烈的競(jìng)技場(chǎng)，我們將密切關(guān)注未來(lái)事態(tài)的進(jìn)展。

ZLUDA，一個(gè)有雄心的項(xiàng)目

早在2020年，一個(gè)名為ZLUDA的項(xiàng)目被描述為“英特爾 GPU 上 CUDA 的直接替代品”，它正在威脅 Nvidia 專(zhuān)有的 CUDA（統(tǒng)一計(jì)算設(shè)備架構(gòu)）生態(tài)系統(tǒng)。

該獨(dú)立項(xiàng)目（并非由AMD或Intel推動(dòng)）當(dāng)時(shí)已經(jīng)提供了在非 Nvidia 顯卡上運(yùn)行未更改的 CUDA 應(yīng)用程序的概念證明。

ZLUDA 的基礎(chǔ)正是英特爾的oneAPI Level Zero規(guī)范。這是一個(gè)私人項(xiàng)目，與英特爾或英偉達(dá)沒(méi)有任何關(guān)系。在剛發(fā)起的時(shí)候，ZLUDA 仍處于早期階段，缺乏完整的 CUDA 支持。因此，許多 CUDA 應(yīng)用程序無(wú)法與 ZLUDA 一起使用。

但ZLUDA 的創(chuàng)建者當(dāng)時(shí)聲稱(chēng)，它提供了“接近原生”的性能，暗示幾乎沒(méi)有性能損失。他提供了Intel Core i7-8700K的 GeekBench 5.2.3 結(jié)果，該處理器配備 Intel 的 UHD Graphics 630 iGPU，并運(yùn)行 OpenCL 和 ZLUDA。對(duì)于后者，作者欺騙 GeekBench 認(rèn)為 Intel iGPU 是速度較慢的 Nvidia GPU。然而，結(jié)果來(lái)自相同的 iGPU。

結(jié)果表明，與 OpenCL 性能相比，ZLUDA 的性能提高了 10%?？傮w而言，我們預(yù)計(jì)較基準(zhǔn)組提高 4%左右。

作者明確表示，ZLUDA 與 AMD HIP 或 Intel DPC++ 完全不同，因?yàn)楹髢烧呤浅绦騿T將應(yīng)用程序移植到所選特定 API 的工具。另一方面，ZLUDA 不需要任何額外的工作，因?yàn)?CUDA 應(yīng)用程序只需在 Intel GPU 上運(yùn)行。當(dāng)然，只要支持 CUDA 子集即可。

經(jīng)過(guò)幾年的發(fā)展，該項(xiàng)目同樣支持了AMD的GPU。據(jù)了解，今天的 ZLUDA 與 2020 年的版本有很大不同。它不是基于英特爾的 oneAPI 構(gòu)建并包括對(duì)該公司 GPU 的支持，而是基于 AMD 的競(jìng)爭(zhēng) ROCm 解決方案，并且僅支持 Radeon GPU。目前還不完全清楚為什么英特爾的支持被取消，但這可能與 ZLUDA 2020 版本僅支持 Xe 之前的集成顯卡有關(guān)。當(dāng) Arc Alchemist GPU 于 2022 年問(wèn)世時(shí)，項(xiàng)目開(kāi)發(fā)者Janik 已與 AMD 合作。開(kāi)發(fā)人員也表示 ，ZLUDA“僅可能收到運(yùn)行我個(gè)人感興趣的工作負(fù)載 (DLSS) 的更新”，這意味著該項(xiàng)目或多或少已經(jīng)完成。Janik 的最終目標(biāo)似乎是獲得英特爾或 AMD 的支持。

但進(jìn)入今年二月中，有消息指出，該項(xiàng)目似乎不會(huì)進(jìn)行進(jìn)一步的工作，至少不會(huì)進(jìn)行重大更新，ZLUDA 開(kāi)發(fā)人員 Andrzej Janik（代號(hào) vosen）表示，隨著這兩家公司（Intel和AMD）退出，他表示“我們已經(jīng)沒(méi)有 GPU 公司了”。

“實(shí)際上，該項(xiàng)目現(xiàn)在已經(jīng)被放棄了?！盝anik說(shuō)。

由此可見(jiàn)，英特爾和 AMD 對(duì)讓其 GPU 與現(xiàn)有 CUDA 生態(tài)系統(tǒng)兼容不感興趣，這一點(diǎn)很能說(shuō)明問(wèn)題。看起來(lái)他們更愿意與帶有 oneAPI 和 ROCm 的 CUDA 正面交鋒，它們更新且開(kāi)發(fā)程度較低，但擁有開(kāi)源的好處。

迄今為止，CUDA 仍然是專(zhuān)業(yè)和數(shù)據(jù)中心圖形軟件中更流行的解決方案，目前尚不清楚這種情況是否會(huì)很快改變，特別是如果 Nvidia 的 GPU 在功能和性能方面繼續(xù)領(lǐng)先英特爾和 AMD 的話(huà)。

打破CUDA霸權(quán)？

關(guān)于CUDA霸權(quán)這個(gè)論調(diào)，已經(jīng)不是什么新鮮事了。

例如英特爾首席執(zhí)行官帕特·基辛格 (Pat Gelsinger)在去年年底于紐約舉行的一次活動(dòng)中首先對(duì) Nvidia 的 CUDA 技術(shù)大加贊賞，并聲稱(chēng)推理技術(shù)將比人工智能訓(xùn)練更重要。但在接受提問(wèn)時(shí)，基辛格表示 Nvidia 在訓(xùn)練方面的 CUDA 主導(dǎo)地位不會(huì)永遠(yuǎn)持續(xù)下去。

他同時(shí)說(shuō)道，“你知道，整個(gè)行業(yè)都在積極消除 CUDA 市場(chǎng)，”基辛格說(shuō)。他列舉了 MLIR、 Google和 OpenAI等例子，暗示他們正在轉(zhuǎn)向“Pythonic 編程層”，以使 AI 訓(xùn)練更加開(kāi)放。

英特爾 CTO Greg Lavender在2023年9月的一個(gè)演講中更是毫不掩飾地打趣道：“我將向所有開(kāi)發(fā)人員提出一個(gè)挑戰(zhàn)。讓我們使用大模型和 Copilot 等技術(shù)來(lái)訓(xùn)練機(jī)器學(xué)習(xí)模型，將所有 CUDA 代碼轉(zhuǎn)換為 SYCL?！保ㄔ模篒'll just throw out a challenge to all the developers. Let's use LLMs and technologies like Copilot to train a machine learning model to convert all your CUDA code to SYCL）。

其中的SYCL 就是英特爾為打破 CUDA 對(duì) AI 軟件生態(tài)系統(tǒng)束縛做得的最新舉措。據(jù)介紹，SYCL（或更具體地說(shuō) SYCLomatic）是一個(gè)免版稅的跨架構(gòu)抽象層，為英特爾的并行 C++ 編程語(yǔ)言提供支持。簡(jiǎn)而言之，在將 CUDA 代碼移植為可在非 Nvidia 加速器上運(yùn)行的過(guò)程中，SYCL 處理大部分繁重工作（據(jù)稱(chēng)高達(dá) 95%）。但正如您所期望的那樣，通常需要進(jìn)行一些微調(diào)和調(diào)整才能使應(yīng)用程序全速運(yùn)行。

當(dāng)然，，SYCL 絕不是編寫(xiě)與加速器無(wú)關(guān)的代碼的唯一方法。如Curley 所說(shuō)，OpenAI 的 Triton 或 Google 的 Jax 等框架就是其中兩個(gè)例子。

AMD CEO Lisa Su在接受采訪談到英偉達(dá)CUDA是表示，不相信護(hù)城河。她直言，像 PyTorch 這樣的東西往往具有與硬件無(wú)關(guān)的功能。她同時(shí)指出，這意味著現(xiàn)在在 PyTorch 上運(yùn)行 CUDA 的任何人都可以在 AMD 上運(yùn)行，因?yàn)槲覀円呀?jīng)在那里完成了工作。坦率地說(shuō)，它也可以在其他硬件上運(yùn)行。

在去年的Advancing AI 大會(huì)上，AMD總裁Victor Peng就介紹了并行計(jì)算框架的最新版本ROCm 6，該框架專(zhuān)門(mén)針對(duì) AMD Instinct 的綜合軟件堆棧進(jìn)行了優(yōu)化，特別適合生成 AI 中的大型語(yǔ)言模型。

專(zhuān)注于微調(diào)大型語(yǔ)言模型的初創(chuàng)公司 Lamini 則透露，它已經(jīng)“秘密地在 100 多個(gè)AMD Instinct MI200 系列 GPU 上運(yùn)行，并表示該芯片設(shè)計(jì)商的 ROCm 軟件平臺(tái)“已經(jīng)實(shí)現(xiàn)了與 Nvidia 針對(duì)此類(lèi)模型的主導(dǎo) CUDA 平臺(tái)的軟件對(duì)等（software parity）。

曾從事 x86、Arm、MISC 和 RISC-V 處理器研究的傳奇處理器架構(gòu)師Jim Keller早前也批評(píng)了Nvidia 的 CUDA架構(gòu)和軟件堆棧，并將其比作 x86，他稱(chēng)之為沼澤。他指出，就連英偉達(dá)本身也有多個(gè)專(zhuān)用軟件包，出于性能原因，這些軟件包依賴(lài)于開(kāi)源框架。

keller在后續(xù)帖子中寫(xiě)道。“如果你確實(shí)編寫(xiě) CUDA，它可能不會(huì)很快。[...] Triton、Tensor RT、Neon 和 Mojo 的存在是有充分理由的?！?/p>

即使在Nvidia 本身，也有不完全依賴(lài) CUDA 的工具。例如，Triton Inference Server 是 Nvidia 的一款開(kāi)源工具，可簡(jiǎn)化 AI 模型的大規(guī)模部署，支持 TensorFlow、PyTorch 和 ONNX 等框架。Triton 還提供模型版本控制、多模型服務(wù)和并發(fā)模型執(zhí)行等功能，以?xún)?yōu)化 GPU 和 CPU 資源的利用率。

Semiysis作者Dylan Patel之前在一篇文章中也強(qiáng)調(diào)，隨著 PyTorch 2.0 和 OpenAI Triton 的到來(lái)，英偉達(dá)在這一領(lǐng)域的主導(dǎo)地位正在被打破。具體可參考文章《CUDA正在被趕下神壇》。

作為讀者，你是如何看英偉達(dá)這個(gè)決定和CUDA的未來(lái)啊？