字典是另一种可变容器模型，且可存储任意类型对象。 字典的每个键值 key:value 对用冒号 : 分割，每个键值对之间用逗号 , 分割，整个字典包括在花括号 {} 中 ,格式如下所示： d = {key1 : value1, key2 : value2 } 注意：dict 作为 Python 的关键字和内置函数，变量名不建议命名为 dict。 键一般是唯一的，如果重复最后的一个键值对会替换前面的，值不需要唯一。 >>> tinydict = {'a': 1, 'b': 2, 'b': '3'} …

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。 re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。 本章节主要介绍Python中常用的正则表达式处理函数。 re.m…

字符串是 Python 中最常用的数据类型。我们可以使用引号 ( ' 或 " ) 来创建字符串。 创建字符串很简单，只要为变量分配一个值即可。例如： var1 = 'Hello World!' var2 = "Python Runoob" Python 访问字符串中的值 Python 不支持单字符类型，单字符在 Python 中也是作为一个字符串使用。 Python 访问子字符串，可以使用方括号来截取字符串，如下实例： #!/usr/bin/python var1 = 'Hello World!' var2 = "…

序列是Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。 Python有6个序列的内置类型，但最常见的是列表和元组。 序列都可以进行的操作包括索引，切片，加，乘，检查成员。 此外，Python已经内置确定序列的长度以及确定最大和最小的元素的方法。 列表是最常用的Python数据类型，它可以作为一个方括号内的逗号分隔值出现。 列表的数据项不需要具有相同的类型 创建一个列表，只要把逗号分隔的不同的数据项使用方括号括起来即可。如下所示： lis…

电脑显卡状态 nvidia-smi CUDA下载 官网链接 链接: https://developer.nvidia.com/cuda-toolkit-archive 验证 nvcc -V 在官网下载pytorch 官网链接 链接: Start Locally | PyTorch 测试pytorch gpu是否可用 import torch print(torch.__version__) print(torch.version.cuda) print(torch.cuda.is_available()) #输出为…

结构 大语言模型基础 语言模型 语言模型 什么是语言模型 自回归语言模型(Autoregressive language models) 总结 大模型相关历史回顾 信息理论、英语的熵、n-gram模型 英语的熵 用于下游应用的N-gram模型 神经语言模型 总结 定义 语言模型（LM） 语言模型（LM）的经典定义是一种对令牌序列(token)的概率分布。假设有一个令牌集的词汇表 VV 。语言模型p为每个令牌序列 $x_{1},...,x_{L}$ ∈ $V$ 分配一个概率（介于0和1之间的数字）： $$ p(x_1…

系统之美 - 常见的系统陷阱与对策 - 德内拉·梅多斯 - 微信读书 政策阻力(Policy Resistance) 陷阱：当系统中多个参与者有不同的目标，从而将系统存量往不同方向拉时，结果就是政策阻力。任何新政策，尤其是当它恰好管用时，都会让存量远离其他参与者的目标，因而会产生额外的抵抗，其结果是大家都不愿意看到的，但每个人都要付出相当的努力去维持它。 对策：放弃压制或实现单方面的目标。化阻力为动力，将所有参与者召集起来，用先前用于维持政策刚性的精力，去寻找如何实现所有人的目标，实现“皆大欢喜”，或者重新定义一个…

生成模型 基本思路是使用一个简单分布作为桥梁，将观测数据分布映射到简单分布中，再从简单分布映射观测数据分布。 使用高斯分布是因为高斯函数的运算性质很方便，也比较简单。多个高斯分布可以拟合一个复杂的分布。 扩散过程人为定义，反向生成过程引入参数$\theta$,根据最大似然估计方法，转化为求下界的上限。 DDPM 前向扩散过程 扩散模型的话通过超参数$\beta$将清晰图片和噪声图片加权求和，达到添加噪声的目的。 对于加权求和的结果，根据重参数采样，依然符合高斯分布。 对于超参数$\beta$，原始论文中设置为随着时…

对于推理步骤，每进行一次推理需要添加一个高斯变量。 对于文字生成模型来讲，如果每一次输出的都是可能性最大，那么生成结果只会输出那些使用频率最高的一些词汇，忽略了文字本身的含义。 一些其他的论文主张在词汇嵌入之后添加高斯噪声。 或者通过掩码预测的方式，来实现逐步预测的效果。

基本介绍 此应用是基于 Sing-box 的多平台客户端，可用作通用代理工具链。此应用提供广泛的功能。它还支持大量协议。此应用免费使用、无广告且开源。它提供了一种安全且私密的工具来访问免费互联网。 支持多种协议，如： ECH、Sing-box、V2ray、Xray、Vless、Vmess、Trojan、Reality、gRPC、WebSocket、Quic、TUIC、Hysteria、Hysteria2、Shadowtls、SSH、Clash、Clash meta 支持不同的订阅链接，如： Clash、Sing-b…