昨天有個段子，相傳有勇士用一塊4090顯示卡跑了一下llama 3.1 405B的大模型，苦等半小時出了一個“The”。

這件事就相當搞笑了，在AI大模型的時代，如果你沒有合適的硬件資源那么真正的想觸及一下最尖端的技術無異癡人說夢。畢竟類似于405B版本的Llama 3.1它的BF16級別模型起始硬件需求是至少800GB內存以及640GB顯存，通過這些硬件的設置405B才“可堪用”

如果是一個大型企業我們可以投入幾百萬美元構建這樣一套系統，但是如果是個人呢？大多數個人就只能望機興嘆，即便是王校長的財力也很難靠自己的零花錢對Llama 3.1最大體量模型一窺究竟

在這樣的大背景下，如何獲取和利用高性能的硬件資源，成為每個AI從業者必須面對的重要課題。

讓iN想起來另一個段子，很多人去村里玩，臨走的時候都會村民們都會給你帶上大量土特產，你如果拒絕，村民往往會笑著說“自家出的，不值錢……”。CPU這種東西其實也有幾家廠商在“自家出”用起來顯得“很不值錢”——關鍵你要找到合適的門道。

這家“CPU不值錢”的廠商大家熟悉得很，就是大名鼎鼎的牙膏廠Intel，在他們的在線云項目中為開發者提供了大量的計算節點。只需要注冊一下賬戶，就可以在特定條件下使用到這些節點。

這項服務在Intel叫做oneAPI。

先說下什么是oneAPI，這是一個Intel自己寄予極大期待的開放標準，Intel設立這項技術的初衷是希望依靠同一套代碼來支撐CPU、GPU、NPU、FPGA等計算單元的加速作業。這樣在相同的代碼下只需要升級到不同的硬件就可以獲得計算速度和計算能力的大幅度提升。同時在oneAPI的標準下，開發、部署、移植應用也就變得相當的便捷，畢竟程序員所面對的就是一套統一起來的堆棧。

既然intel搞了這么大的一個概念，那么就得讓人測試和開發啊，但是這件事并不簡單，不僅僅涉及到了大量實驗性硬件的購買和配置直接拉高企業成本，也涉及到了大量的環境和庫支持同時拉高了企業門檻……顯然開發者是不會對這種開創式的創舉買單的。那么Intel要想開局成功，也就只好給大家來在線試用。

反正CPU、GPU、NPU、FPGA都是他家“自家出的，不值錢”。

那么你要如何用到這些Intel提供給大家的免費資源呢？

第一，去intel 的oneAPI注冊一個自己的賬戶

第二，賬戶登錄后連接到intel的實驗平臺上。

注冊賬戶的事情沒什么可說的。

當注冊后，可以登錄到oneAPI的用戶界面

在這里右上角可以看到自己的用戶名以及失效日期（Expiration Date），通常而言用戶失效是在注冊后的三個月，也就是說在注冊后可以使用90天。臨近失效期可以點擊Request Extension進行延期，基本上如果不出意外的話，通過每90天點一下Request Extension是可以一直免費使用下去的。

進入后點擊Get Start，進入項目的選擇區域，如果我們要使用顯卡和分析服務，就選擇Intel? oneAPI AI Analytics Toolkit。

根據每個人自己的情況，可以選擇windows 下的SSH客戶端進行連接，也可以選擇Linux/MAC OS或者直接導入VS Code的連接設置。

以iN的mac OS為例：

下載后，將密鑰拷貝到～.shh/目錄中

編輯~/.ssh/config文件加入下面內容：

Host devcloudUser u227053IdentityFile ~/.ssh/devcloud-access-key-227053.txtProxyCommand ssh -T -i ~/.ssh/devcloud-access-key-227053.txt guest@ssh.devcloud.intel.com

簡單的說說就是設置好主機名、用戶名、密鑰和連接地址。

設置后，將密鑰文件 chmod 600賦予權限，如果之前沒用過ssh的配置文件的話，也將～/ssh/config 也chmod 600一下設置好權限。

這時候在命令行就可以使用 “ssh devcloud”登錄到intel的實驗環境了。

但要注意這只是一個讓你能登錄進來的前端，intel的CPU顯卡什么的都是計算節點，還需要通過這個前端來調用節點。

我們可以通過pbsnodes | sort |grep properties命令來查看你現在有權使用的計算節點：

通常intel會給予一個賬戶幾十個計算節點使用，從大家耳熟能詳的Core i9到志強都有，其中會出現properties = core,tgl,i9-11900kb,ram32gb,netgbe,gpu,gen11的內容，表明了CPU的型號、內存容量、網絡規格和顯卡類型等基本信息。

例如：xeon,icx,plat8380,ram2tb,net1gbe,batch，這就是一臺使用鉑金志強8380CPU 擁有2TB內存的計算節點。

再如：xeon,skl,gold6128,ram192gb,net1gbe,fpga_runtime,fpga,arria10，這表明是一臺金牌志強6128CPU配備192GB內存并帶有Arria 10 FPGA計算板的節點

我們可以git一些項目到這臺試驗機中

在git項目的基礎上創建一個執行命令：

這時候，我們就可用節點調用命令qsub將項目發送到計算節點上進行處理：

同時，可以通過命令watch -n 1 qstat -n -1對現在正在處理的任務進行查閱

雖然說這種處理方式比傳統的命令行處理要麻煩一點，但是“白吃饅頭就別嫌面黑了”，把這些掌握了，訓練一些自己的AI模型，或者跑一些自己的分析應用都是免費的且高效的。畢竟這是很多人能接觸到的最高端的處理能力了。