所有文章

2023年5月3日
运筹学
阅读时间 1 分钟

线性规划和对偶问题的解的情况

本文分析简述或举例说明了线性规划原问题和对偶问题解（唯一解、无穷多个解、无有限最优解、无可行解）可能存在的对应情况。

2023年5月2日
运筹学
阅读时间 6 分钟

Gurobi 求解线性规划问题

本文针对钢铁企业对供应商的选择问题，构建线性规划模型，并使用 Gurobi 求解器进行求解。

题目背景

考虑一家小型的钢铁企业，该企业炼钢时使用的主要原材料是炼焦煤，每年的需求量在 100 到 150 万吨。现在需要帮助该公司安排明年的生产，选择原料的供应商。目前他们收到了 8 家供应商的报价，如下表。表格中的信息包括了每家供应商的最大供应量、是否为工会的公司、运输的方式、炼焦煤的可燃率、单位价格。

	1	2	3	4	5	6	7	8
供应量（千吨/年）	300	600	510	655	575	680	450	490
工会 U/ 非工会 N	U	U	N	U	N	U	N	N
卡车 T/ 铁路 R	R	T	R	T	T	T	R	R
可燃率（%）	15	16	18	20	21	22	23	25
价格 (￥/吨)	49.5	50.0	61.0	63.5	66.5	71.0	72.5	80.0

2023年5月1日
深度学习, LLM
阅读时间 5 分钟

GPT 论文精读笔记

Generative Pre-trained Transformer（GPT）系列是由 OpenAI 提出的非常强大的预训练语言模型，这一系列的模型可以在非常复杂的 NLP 任务中取得非常惊艳的效果，例如文章生成，代码生成，机器翻译，问答等，而完成这些任务甚至并不需要有监督学习进行模型微调。

本文梳理了 GPT 系列文章中介绍的的关键技术，包括：

GPT-1 的解码器、微调、输入形式；
GPT-2 的 Zero-shot 和 Prompt；
GPT-3 的 Few-shot；
Instruct GPT 如何通过基于人类反馈的强化学习生成有帮助的和安全的文本。

2023年5月1日
统计
阅读时间 1 分钟

为什么 P 值是均匀分布的？

在学习多重假设检验时，提到了“P 值是均匀分布的”这个结论。本文对“单边检验”和“双边检验”的情形，证明了 P 值是均匀分布的。

直觉理解

以单边左侧检验为例（单边检验最好理解，不用考虑两侧的情况），可以这样想：

P 值小于 \(0.25\) 意味着什么？意味着观测到的统计量要小于 \(0.25\) 分位数。

观测到的统计量小于 \(0.25\) 分位数的概率是多少？就是 \(0.25\)。

也就是说，P 值小于 \(0.25\) 的概率就是 \(0.25\)。

把 \(0.25\) 换成任何一个 \(0\) 到 \(1\) 之间的值，都可以得到：P 值小于某个数的概率就是这个数本身。这就是均匀分布。

证明

单边检验

2023年4月30日
深度学习, LLM
阅读时间 3 分钟

Transformer 中的 Positional Encoding Layer

在 Transformer 的模型结构中，Positional Encoding Layer 是将输入文本进行位置编码，使得模型知道每个词在文本中的绝对位置和相对位置。有时，当一个词的位置发生变化后，语义会发生巨大的变化，因此 Positional Encoding Layer 是至关重要的。

Transformer 原始论文中只给出了关键的编码公式，而我第一次看到这个公式时觉得晦涩难懂。深度学习课程的老师在课上讲解了之后，我还是不太明白。

\[ \begin{aligned} P E(p o s, 2 i+1)&=\cos \left(\frac{p o s}{10000^{2 i / d m o d e l}}\right) \\ P E(p o s, 2 i)&=\sin \left(\frac{p o s}{10000^{2 i / d m o d e l}}\right) \end{aligned} \]

终于，我找到了写得非常好的资料。作者从最简单的绝对位置编码（也就是将第一个位置编码为 1，第二个位置编码为 2，以此类推。这当然是最容易想到的方法。）开始介绍，一步一步引导我们为什么要用上面的公式。