LLM可以根據(jù)其架構(gòu)、訓(xùn)練數(shù)據(jù)和應(yīng)用場(chǎng)景進(jìn)行多種分類。理解這些差異將幫助我們的初創(chuàng)企業(yè)為具體場(chǎng)景選擇合適的模型，并掌握如何測(cè)試、迭代和提升性能。

LLM模型種類繁多，選擇哪種模型取決于你的使用目標(biāo)、數(shù)據(jù)情況、預(yù)算等因素。

根據(jù)你是想用模型處理文本、音頻、視頻、圖像生成等不同任務(wù)，可能會(huì)選擇不同類型的模型。

• 音頻和語音識(shí)別。Whisper類模型是這類任務(wù)的理想選擇，它們是通用型的，專注于語音識(shí)別。Whisper模型訓(xùn)練于多樣化的音頻數(shù)據(jù)，支持多語言語音識(shí)別。
• 圖像生成。圖像生成領(lǐng)域中，DALL-E和Midjourney是兩個(gè)非常知名的選擇。
• 文本生成。大多數(shù)模型都專注于文本生成，你可以從GPT-3.5到GPT-4中選擇多種模型。
• 多模態(tài)。如果你需要處理多種類型的輸入和輸出數(shù)據(jù)，可以考慮像gpt-4 turbo帶視覺功能或gpt-4o這樣的最新OpenAI模型，它們能夠結(jié)合自然語言處理和視覺理解，實(shí)現(xiàn)多模態(tài)交互。

類型

典型模型

核心能力

適用場(chǎng)景

語音識(shí)別（ASR）

Whisper

多語言語音轉(zhuǎn)文本

課堂錄音轉(zhuǎn)寫、語音筆記、無障礙支持

圖像生成

DALL-E 3, Midjourney, Stable Diffusion

文生圖、圖編輯

教學(xué)插圖生成、創(chuàng)意設(shè)計(jì)、PPT 配圖

文本生成

GPT-4, Claude 3, Qwen

寫作、問答、摘要

智能輔導(dǎo)、作文批改、知識(shí)講解

代碼生成

CodeLlama, DeepSeek-Coder, GPT-4

編程、調(diào)試、注釋

編程教學(xué)助手、自動(dòng)代碼補(bǔ)全

多模態(tài)模型

GPT-4o, Gemini, Qwen-VL

理解圖像+文本，生成圖文內(nèi)容

數(shù)學(xué)題拍照解答、PPT 分析、視覺問答

基礎(chǔ)模型與LLM的區(qū)別

“基礎(chǔ)模型”一詞由斯坦福研究人員提出，定義為滿足以下條件的AI模型：

• 采用無監(jiān)督學(xué)習(xí)或自監(jiān)督學(xué)習(xí)訓(xùn)練，即在未標(biāo)注的多模態(tài)數(shù)據(jù)上訓(xùn)練，無需人工注釋或標(biāo)注。
• 模型規(guī)模龐大，基于深度神經(jīng)網(wǎng)絡(luò)，擁有數(shù)十億參數(shù)。
• 通常作為其他模型的“基礎(chǔ)”，可作為構(gòu)建其他模型的起點(diǎn)，通過微調(diào)實(shí)現(xiàn)特定任務(wù)。

為了進(jìn)一步說明區(qū)別，我們以ChatGPT為例。ChatGPT的第一個(gè)版本是基于GPT-3.5這一基礎(chǔ)模型構(gòu)建的。OpenAI利用一些特定的聊天數(shù)據(jù)對(duì)GPT-3.5進(jìn)行了微調(diào)，使其在對(duì)話場(chǎng)景（如聊天機(jī)器人）中表現(xiàn)出色。

開源模型與專有模型

另一種分類方式是根據(jù)模型是否開源。

開源模型是公開發(fā)布的，任何人都可以使用。它們通常由創(chuàng)建者公司或研究社區(qū)提供，允許用戶查看、修改和定制以適應(yīng)不同的LLM應(yīng)用場(chǎng)景。但開源模型不一定針對(duì)生產(chǎn)環(huán)境進(jìn)行了優(yōu)化，性能可能不及專有模型。此外，開源模型的資金支持有限，可能缺乏長期維護(hù)和最新研究的更新。流行的開源模型示例包括Alpaca、Bloom和LLaMA。

專有模型由公司擁有，不對(duì)外公開。這些模型通常針對(duì)生產(chǎn)環(huán)境進(jìn)行了優(yōu)化，但不允許用戶查看、修改或定制。它們通常不是免費(fèi)的，可能需要訂閱或付費(fèi)使用。用戶無法控制用于訓(xùn)練模型的數(shù)據(jù)，因此需要信任模型所有者在數(shù)據(jù)隱私和AI責(zé)任使用方面的承諾。流行的專有模型示例包括OpenAI模型、Google Bard和Claude 2。

維度

開源模型

專有模型

可訪問性

? 公開可用，可下載、修改

? 僅通過 API 調(diào)用

定制性

? 可微調(diào)、部署在本地

? 無法修改內(nèi)部結(jié)構(gòu)

性能優(yōu)化

?? 可能未針對(duì)生產(chǎn)優(yōu)化

? 通常高度優(yōu)化

成本

一次性投入（算力）

按調(diào)用次數(shù)付費(fèi)（API）

維護(hù)支持

社區(qū)驅(qū)動(dòng)，更新不穩(wěn)定

商業(yè)公司維護(hù)，穩(wěn)定更新

數(shù)據(jù)隱私

? 數(shù)據(jù)可本地處理

? 數(shù)據(jù)需上傳至第三方服務(wù)器

代表模型：

• 開源：Llama 3（Meta）、Falcon（TII）、Mistral、Qwen（部分）
• 專有：GPT-4o（OpenAI）、Claude 3（Anthropic）、Gemini（Google）

嵌入模型、圖像生成模型與文本及代碼生成模型

LLM還可以根據(jù)輸出類型進(jìn)行分類。

嵌入模型能夠?qū)⑽谋巨D(zhuǎn)換為數(shù)值形式，稱為嵌入，是輸入文本的數(shù)值表示。嵌入使機(jī)器更容易理解詞語或句子之間的關(guān)系，并可作為其他模型（如分類模型或聚類模型）的輸入，這些模型在處理數(shù)值數(shù)據(jù)時(shí)表現(xiàn)更好。嵌入模型常用于遷移學(xué)習(xí)，即先為數(shù)據(jù)豐富的代理任務(wù)訓(xùn)練模型，然后將模型權(quán)重（嵌入）用于其他下游任務(wù)。

圖像生成模型用于生成圖像，常用于圖像編輯、合成和轉(zhuǎn)換。它們通常在大型圖像數(shù)據(jù)集（如LAION-5B）上訓(xùn)練，可生成新圖像或通過修補(bǔ)、超分辨率、上色等技術(shù)編輯現(xiàn)有圖像。

文本和代碼生成模型用于生成文本或代碼，常用于文本摘要、翻譯和問答。文本生成模型通常在大型文本數(shù)據(jù)集（如BookCorpus）上訓(xùn)練，可生成新文本或回答問題。代碼生成模型，如CodeParrot，通常在大型代碼庫（如GitHub）上訓(xùn)練，可生成新代碼或修復(fù)現(xiàn)有代碼中的錯(cuò)誤。

編碼器-解碼器架構(gòu)與僅解碼器架構(gòu)

談?wù)揕LM的不同架構(gòu)時(shí)，我們用一個(gè)比喻來說明。

假設(shè)你的經(jīng)理讓你為學(xué)生設(shè)計(jì)一個(gè)測(cè)驗(yàn)。你有兩個(gè)同事，一個(gè)負(fù)責(zé)內(nèi)容創(chuàng)作，另一個(gè)負(fù)責(zé)審核。

內(nèi)容創(chuàng)作者就像僅解碼器模型，他們可以根據(jù)主題和已有內(nèi)容寫出課程。他們擅長寫出引人入勝且信息豐富的內(nèi)容，但不擅長理解主題和學(xué)習(xí)目標(biāo)。僅解碼器模型的例子有GPT系列模型，如GPT-3。

審核者就像僅編碼器模型，他們查看已寫課程和答案，理解它們之間的關(guān)系和上下文，但不擅長生成內(nèi)容。僅編碼器模型的例子有BERT。

如果有人既能創(chuàng)作又能審核測(cè)驗(yàn)，這就是編碼器-解碼器模型。示例包括BART和T5。

服務(wù)與模型的區(qū)別

現(xiàn)在，我們來談?wù)劮?wù)和模型的區(qū)別。服務(wù)是云服務(wù)提供商提供的產(chǎn)品，通常是模型、數(shù)據(jù)和其他組件的組合。模型是服務(wù)的核心組件，通常是基礎(chǔ)模型，如LLM。

服務(wù)通常針對(duì)生產(chǎn)環(huán)境進(jìn)行了優(yōu)化，使用起來比單獨(dú)模型更方便，通常通過圖形界面操作。但服務(wù)不一定免費(fèi)，可能需要訂閱或付費(fèi)，用戶通過使用服務(wù)享受服務(wù)提供商的設(shè)備和資源，優(yōu)化成本并輕松擴(kuò)展。

模型僅指神經(jīng)網(wǎng)絡(luò)本身，包括參數(shù)、權(quán)重等。企業(yè)若想本地運(yùn)行模型，需要購買設(shè)備、搭建擴(kuò)展架構(gòu)，并購買許可或使用開源模型。像LLaMA這樣的模型可供使用，但需要計(jì)算資源來運(yùn)行。