在小公司做大模型，這個事情是可以的。

筆者在小公司，做了一年多的大模型。先列一下成績單：

開源了目前業(yè)界可能是分類較完整（50類）、數(shù)量較大（1100+萬）的SFT數(shù)據(jù)集：匠數(shù)科技大模型sft數(shù)據(jù)集[1]

通過SFT、DPO、RLHF等技術(shù)訓(xùn)練了領(lǐng)域?qū)懽髂Ｐ?。實測下來，在該領(lǐng)域?qū)懽魃?，強于國?nèi)大多數(shù)的閉源模型。

如何在小公司做大模型，筆者總結(jié)，有如下幾點：

1、至少要有基礎(chǔ)的硬件條件。

如果雙卡3090都沒有，那是比較難的。實在沒有，可以說服老板，租機器訓(xùn)練。

2、要有選擇跟進(jìn)模型訓(xùn)練、部署的最新進(jìn)展，選主流、走大道。

技術(shù)迭代太快，人力有限的情況下，不可能什么都跟進(jìn)的。比如部署，市面上的部署方案很多了，但是主流的就是vllm，所以，集中精力將vllm搞懂用好，就夠了，其他的可以了解，但不用重點關(guān)注。

再比如各種訓(xùn)練技術(shù)，經(jīng)過驗證好用的也就是那么幾個?？雌饋磉^于旁門左道的論文，可以先放放，讓子彈飛一會兒再說。提一點，DPO確實是小公司對齊訓(xùn)練的福音。

3、要堅持開放交流，多加群。

圍繞llm，有很多社群，也有很多活動，可以選擇性參加，但是切記切記，不要過分沉溺其中，以為這樣就能緊跟時代前沿，掌握最新趨勢了。假裝學(xué)到很多，是很有害滴。記得前段時間不是有個什么架構(gòu)，號稱取代transformer嗎？鋪天蓋地的宣傳，筆者當(dāng)時也聽了作者的線上分享。現(xiàn)在呢？自己連個像樣的模型都沒搞出來。純純浪費太多精力。相信時間會證明一切。

4、要針對業(yè)務(wù)場景解決問題，不要陷入llm崇拜。

這種現(xiàn)象典型的就是不是llm的工作就提不起神，不想做。實話實說，這是病，得治。筆者根據(jù)業(yè)務(wù)問題需求，開源的cutword[2]，就是為了替代jieba的新一代分詞工具，同時，ner類型和效果都是目前開源中一流的，也收獲了大家的認(rèn)可。

解決問題才是關(guān)鍵。不能有了llm這個錘子，看什么都是釘子。具體問題具體分析的能力很重要。

審核編輯：黃飛