从0-1构建LLM大语言模型
本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这本书开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。
•
📚 Datawhale 开源免费 完全免费的学习本项目所有内容
•
🔍 深入理解 Transformer 架构和注意力机制
•
📚 掌握 预训练语言模型的基本原理
•
🧠 了解 现有大模型的基本结构
•
🏗️ 动手实现 一个完整的 LLaMA2 模型
•
⚙️ 掌握训练 从预训练到微调的全流程
•
🚀 实战应用 RAG、Agent 等前沿技术
#ArgnoHxSBJuw text { white-space: pre; }#ArgnoHxSBJuw .fb0 { stroke: var(--N900-FG, 0.15); }#ArgnoHxSBJuw .fb0 {stroke: rgba(31,35,41, 0.15)}#ArgnoHxSBJuw .fx0 { stroke-miterlimit: 10; }#ArgnoHxSBJuw .fx0 {stroke-miterlimit: 10}#ArgnoHxSBJuw .fa1 { fill: rgb(187, 191, 196); }#ArgnoHxSBJuw .fa1 {fill: rgb(187, 191, 196)}#ArgnoHxSBJuw .fx1 { font: 400 12px MonospacedNumber, LarkHackSafariFont, LarkEmojiFont, LarkChineseQuote, -apple-system, BlinkMacSystemFont, "Helvetica Neue", Tahoma, "PingFang SC", "Microsoft Yahei", Arial, "Hiragino Sans GB", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji"; }#ArgnoHxSBJuw .fx1 {font-style: normal}#ArgnoHxSBJuw .fx2 { text-anchor: middle; }#ArgnoHxSBJuw .fx2 {text-anchor: middle}#ArgnoHxSBJuw .fx3 { dominant-baseline: central; }#ArgnoHxSBJuw .fx3 {dominant-baseline: central}#ArgnoHxSBJuw .fx4 { stroke: none; }#ArgnoHxSBJuw .fx4 {stroke: none}#ArgnoHxSBJuw .fc0 { fill: var(--text-caption); }#ArgnoHxSBJuw .fc0 {fill: #646a73}#ArgnoHxSBJuw .fa2 { fill: var(--text-link-disabled); }#ArgnoHxSBJuw .fa2 {fill: rgb(187, 191, 196)}#ArgnoHxSBJuw .fc1 { stroke: rgb(66, 185, 131); }#ArgnoHxSBJuw .fc1 {stroke: rgb(66, 185, 131)}#ArgnoHxSBJuw .fx5 { font: 700 16px MonospacedNumber, LarkHackSafariFont, LarkEmojiFont, LarkChineseQuote, -apple-system, BlinkMacSystemFont, "Helvetica Neue", Tahoma, "PingFang SC", "Microsoft Yahei", Arial, "Hiragino Sans GB", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji"; }#ArgnoHxSBJuw .fx5 {font-style: normal}#ArgnoHxSBJuw .fx6 { text-anchor: start; }#ArgnoHxSBJuw .fx6 {text-anchor: start}#ArgnoHxSBJuw .fx7 { dominant-baseline: alphabetic; }#ArgnoHxSBJuw .fx7 {dominant-baseline: alphabetic}#ArgnoHxSBJuw .fc2 { fill: rgb(52, 73, 94); }#ArgnoHxSBJuw .fc2 {fill: rgb(52, 73, 94)}#ArgnoHxSBJuw .fx8 { font: 400 16px MonospacedNumber, LarkHackSafariFont, LarkEmojiFont, LarkChineseQuote, -apple-system, BlinkMacSystemFont, "Helvetica Neue", Tahoma, "PingFang SC", "Microsoft Yahei", Arial, "Hiragino Sans GB", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji"; }#ArgnoHxSBJuw .fx8 {font-style: normal}#ArgnoHxSBJuw .fc3 { fill: rgb(66, 185, 131); }#ArgnoHxSBJuw .fc3 {fill: rgb(66, 185, 131)}#ArgnoHxSBJuw .fb1 { fill: var(--N900-FG, 0.15); }#ArgnoHxSBJuw .fb1 {fill: rgba(31,35,41, 0.15)}#ArgnoHxSBJuw .fa3 { fill: var(--bg-body); }#ArgnoHxSBJuw .fa3 {fill: #fff}ABC12345678章节关键内容状态第一章 NLP 基础概念第二章 Transformer 架构第三章 预训练语言模型第四章 大语言模型第五章 动手搭建大模型第六章 大模型训练实践第七章 大模型应用什么是 NLP、发展历程、任务分类、文本表示演进注意力机制、Encoder-Decoder、手把手搭建 TransformerEncoder-only、Encoder-Decoder、Decoder-Only 模型对比LLM 定义、训练策略、涌现能力分析实现 LLaMA2、训练 Tokenizer、预训练小型 LLM预训练、有监督微调、LoRA/QLoRA 高效微调模型评测、RAG 检索增强、Agent 智能体✅✅✅✅✅✅✅