第一部分 DeepSeek-V3的架構(gòu)創(chuàng)新：訓(xùn)練GPU和成本均低，但效果卓越

1、V3風(fēng)靡海內(nèi)外的關(guān)鍵因素：訓(xùn)練成本極低、引領(lǐng)前沿創(chuàng)新

1) V3訓(xùn)練成本：所用的GPU訓(xùn)練資源僅為L(zhǎng)lama 3.1 405B的差不多1/14

2) 在國(guó)內(nèi)也能引領(lǐng)世界級(jí)前沿

2、模型架構(gòu)：MLA、負(fù)載均衡的MoE、Multi-Token預(yù)測(cè)

1) 多頭潛在注意力

2) 無(wú)輔助損失的負(fù)載平衡 DeepSeekMoE

3) 多token預(yù)測(cè)：Multi-Token Prediction顯著加快模型的解碼速度

第二部分 DeepSeek-V3基礎(chǔ)設(shè)施層面的創(chuàng)新：FP8 訓(xùn)練等

1、訓(xùn)練框架(含GPU的內(nèi)部結(jié)構(gòu)示意圖)

1) 雙管道DualPipe與計(jì)算-通信重疊

2) 跨節(jié)點(diǎn)全對(duì)全通信的高效實(shí)現(xiàn)：通過(guò)PXT連接CUDA和底層GPU硬件

3) 極致內(nèi)存節(jié)省與最小開(kāi)銷(xiāo)

2、FP8訓(xùn)練：雖算的快 但精度不夠，故需提高精度

1) 混合精度框架

2) 通過(guò)量化和乘法提高精度

3) 低精度存儲(chǔ)和通信：降低內(nèi)存和通信開(kāi)銷(xiāo)

3、推理與部署

1) 預(yù)填充

2) 解碼

4、硬件設(shè)計(jì)建議

第三部分 DeepSeek-V3的預(yù)訓(xùn)練與后訓(xùn)練

1、預(yù)訓(xùn)練

1) 數(shù)據(jù)構(gòu)建：提高數(shù)學(xué)、編程、多語(yǔ)言樣本，最終14.8T語(yǔ)料

2) 超參數(shù)

3) 長(zhǎng)上下文擴(kuò)展

4) 評(píng)估與討論

2、訓(xùn)練后處理：透露了大半后來(lái)引爆全球的R1正式版訓(xùn)練流程

1) 監(jiān)督微調(diào)

2) 強(qiáng)化學(xué)習(xí)：涉及獎(jiǎng)勵(lì)模型和GRPO

3) 評(píng)估與討論：關(guān)于DeepSeek-R1提煉與多token預(yù)測(cè)

第四部分 DeepSeek R1：如何通過(guò)純RL訓(xùn)練大模型的推理能力

1、提出背景與相關(guān)工作

1) R1-Zero的提出背景：無(wú)需人類(lèi)數(shù)據(jù)，從零實(shí)現(xiàn)自我迭代

2) R1的提出背景：解決Zero可讀性差等問(wèn)題

2、DeepSeek-R1-Zero：規(guī)則驅(qū)動(dòng)的大規(guī)模RL訓(xùn)練，無(wú)冷啟動(dòng)、無(wú)SFT

1) RL算法GRPO：不需要critic

2) 規(guī)則獎(jiǎng)勵(lì)建模(準(zhǔn)確率獎(jiǎng)勵(lì) + 格式獎(jiǎng)勵(lì))：不用訓(xùn)練專(zhuān)門(mén)的獎(jiǎng)勵(lì)模型RM

3) 訓(xùn)練模板：通過(guò)prompt讓Zero啟動(dòng)深度思考的推理模式

4) Zero的性能、自我進(jìn)化過(guò)程和頓悟時(shí)刻

3、DeepSeek-R1：先冷啟動(dòng)數(shù)據(jù)SFT再RL，之后再SFT再RL

1) 階段一 冷啟動(dòng)(主要關(guān)注推理)：通過(guò)R1-Zero生成數(shù)千條長(zhǎng)CoT數(shù)據(jù)

2) 階段二 面向推理的GRPO RL：類(lèi)似Zero的規(guī)則獎(jiǎng)勵(lì)，但增加語(yǔ)言一致性獎(jiǎng)勵(lì)

3) 階段三 V3上的兩輪SFT(結(jié)合rejection sampling)：涉及80w通用層面的推理和非推理數(shù)據(jù)

4) 階段四 所有場(chǎng)景的RL：提高有用性和無(wú)害性，且混合規(guī)則獎(jiǎng)勵(lì)和偏好獎(jiǎng)勵(lì)

4、蒸餾：賦予小模型推理能力

5、一些經(jīng)驗(yàn)總結(jié)：成功和失敗的經(jīng)驗(yàn)分析總結(jié)

第五部分 本地部署準(zhǔn)備工作：各個(gè)版本、推理框架、硬件資源

DeepSeek-R1的多個(gè)版本：加上2個(gè)原裝671B的，總計(jì)8個(gè)參數(shù)版本

主流的大模型推理框架：分為PC端和Android端

不同參數(shù)的模型所要求的硬件

蒸餾版和滿(mǎn)血版的兩類(lèi)部署

第六部分 通過(guò)Ollama、vLLM本地部署DeepSeek-R1蒸餾版：支持聯(lián)網(wǎng)搜索及知識(shí)庫(kù)問(wèn)答

1、基于Ollama和各類(lèi)插件構(gòu)建智能對(duì)話：終端、open-webui(支持聯(lián)網(wǎng))、Chatbox

1) Ollama下的終端命令行交互

2) Ollama下的open-webui交互：基于docker安裝，且支持聯(lián)網(wǎng)搜索

3) 基于Ollama + ChatBox部署deepseek-r1:7b

2、基于Ollama和Page Assist/AnythingLLM構(gòu)建本地知識(shí)庫(kù)問(wèn)答系統(tǒng)

1) 基于Ollama + Page Assist搭建本地知識(shí)庫(kù)問(wèn)答系統(tǒng)：且支持聯(lián)網(wǎng)搜索

2) 基于Ollama + AnythingLLM搭建本地知識(shí)庫(kù)問(wèn)答

3、通過(guò)vLLM推理deepseek-r1

1) 基于vLLM的命令行交互——R1-Distill-Llama-8B

2) 基于vllm + open WebUi 部署r1 7b

4、本地手機(jī)端部署DeepSeek-R1蒸餾Llama/Qwen后的版本

第七部分 無(wú)蒸餾前提下本地部署R1 or R1-Zero 671B滿(mǎn)血版

1、折中路徑：無(wú)蒸餾但量化部署Deepseek-R1 671B滿(mǎn)血版

1) 本地CPU上運(yùn)行 Deepseek-R1 的完整的硬件 + 軟件設(shè)置

2) GPU上跑無(wú)蒸餾但量化的Deepseek-R1 671B滿(mǎn)血版

2、企業(yè)級(jí)部署：無(wú)蒸餾不量化部署Deepseek-R1 671B滿(mǎn)血版