从零RAG入门与大模型知识库问答系统开发实战！LangChain RAG API全体系教学，手撕工业级Agentic RAG系统开发！_哔哩哔哩_bilibili

结构 大语言模型基础 语言模型 语言模型 什么是语言模型 自回归语言模型(Autoregressive language models) 总结 大模型相关历史回顾 信息理论、英语的熵、n-gram模型 英语的熵 用于下游应用的N-gram模型 神经语言模型 总结 定义 语言模型（LM） 语言模型（LM）的经典定义是一种对令牌序列(token)的概率分布。假设有一个令牌集的词汇表 VV 。语言模型p为每个令牌序列 $x_{1},...,x_{L}$ ∈ $V$ 分配一个概率（介于0和1之间的数字）： $$ p(x_1…

生成模型 基本思路是使用一个简单分布作为桥梁，将观测数据分布映射到简单分布中，再从简单分布映射观测数据分布。 使用高斯分布是因为高斯函数的运算性质很方便，也比较简单。多个高斯分布可以拟合一个复杂的分布。 扩散过程人为定义，反向生成过程引入参数$\theta$,根据最大似然估计方法，转化为求下界的上限。 DDPM 前向扩散过程 扩散模型的话通过超参数$\beta$将清晰图片和噪声图片加权求和，达到添加噪声的目的。 对于加权求和的结果，根据重参数采样，依然符合高斯分布。 对于超参数$\beta$，原始论文中设置为随着时…

对于推理步骤，每进行一次推理需要添加一个高斯变量。 对于文字生成模型来讲，如果每一次输出的都是可能性最大，那么生成结果只会输出那些使用频率最高的一些词汇，忽略了文字本身的含义。 一些其他的论文主张在词汇嵌入之后添加高斯噪声。 或者通过掩码预测的方式，来实现逐步预测的效果。

扩散过程 对于扩散过程中的连续两步，$x_{t}$由$x_{t-1}$和高斯噪声加权求和得到。 在每一步的扩散过程中，随机采样的高斯噪声想互独立。 将两个扩散步骤合并后，由于高斯函数的性质，高斯噪声经过加权求和后仍然是高斯噪声。 所以最终扩散过程 $$ x_t =(\sqrt{1-\beta_{1}}...\sqrt{1-\beta_{t}})x_0+\sqrt{1-(1-\beta_{1})\ldots(1-\beta_{t})} \ \epsilon ,\quad \epsilon \sim\mathcal{N…

影像生成模型共同目标 在一个简单样本分布中任意向量样本，通过神经网络生成复杂样本分布。这种生成的分布和真实情况作比较。 对于文字生成图片的模型来说，输入不仅有简单样本分布的样本向量，文字也可以作为输入向量。 最大似然估计 最大似然估计（Maximum Likelihood Estimation，MLE）是一种统计学中常用的参数估计方法。这种方法的基本思想是：给定一个概率模型和一些观测数据，我们需要找到模型参数的最佳值，使得在这些参数下，观测数据出现的概率（也称为似然）最大。 假设从现实世界中采样出 $x^1\rig…

基本概念 训练算法 推理算法

HMM（隐马尔可夫模型） 生成模型 $\pi$ ：初始概率分布 A：状态转移矩阵 B：观测概率矩阵(有的文章中称之为发射矩阵)，指从隐藏层向观测层发射的概率矩阵。 生成模型建模对象为联合概率分布。 假设 齐次一阶马尔可夫假设 当前状态只和前一个状态有关 状态转移与时间无关（所有转移矩阵是同一个） 观测独立假设 MEMM（最大熵马尔可夫模型） 判别模型

机器学习-白板推导系列(十七)-条件随机场CRF（Conditional Random Field） 硬输出分类问题 输出0或者1 SVM 几何间隔 最大边界分类器 PLA 误分类驱动 LDA 线性判别分析 软输出分类问题 输出概率 概率判别模型 逻辑回归问题 最大熵模型 概率生成模型 朴素贝叶斯模型 齐次马尔可夫假设 观测独立假设 隐马尔可夫模型 高斯混合模型 MEMM 概率判别模型 最大熵马尔可夫模型 打破独立性假设 标注偏差问题（局部归一化原因） CRF 有向图变为无向图

Framework 文字转成向量 向量和噪声转成中间产物 中间产物转图像 Text Encoder FID CLIP Decoder Generation Model