It's calling me again

大模型后训练的动力学阅读笔记

Sun, 11 May 2025 15:00:00 +0000

本文是 ICLR 2025 Outstanding Paper 《Learning Dynamics of LLM Finetuning》的阅读笔记和评介，以一种简略的方式介绍一部分该文精华内容。有趣的是，这样一个关心模型训练本质的研究，为之前观察到的很多表面现象给出了更深刻的解释，包括重复、幻觉、离线策略DPO训练中所有响应的信心衰减等，未尝不是一种无心插柳柳成荫。

奖励模型之解放思想

Sun, 27 Apr 2025 05:00:00 +0000

沿着RLHF的角度进行奖励模型近期相关发展的综述笔记。

怎么做一个失败的博士研究生

Mon, 08 Jul 2024 05:00:00 +0000

在最终拿到学位证后做一些回顾和总结。失败一词可能略有刺耳，且多数人可能还会认为失败和成功的标准是相对的，不应当或不可能追求某种绝对成功。但是，诸如论文成果数、影响力或毕业后的出路等指标还是能在相对性中体现出一点普遍性。因此，不妨把题目描述为，一个博士生为什么没有在成果数目、出路等方面做到让自己满意的程度。可能自己曾经有三个误区，希望将来新入行的博士新生们能够避免。

我们需要什么样的语义理解——研究生阶段的工作回顾

Tue, 26 Dec 2023 09:00:00 +0000

本文以时间顺序描述了笔者在学期间对被业内常称为语义解析（semantic parsing，SP，或语义分析、剖析等）这一特定任务的认识过程，以作为将来可以用于回顾或进行元研究的文字素材。另一方面，也希望借此对科研进行一定的祛魅，相信无论是研究各行各业的真实需求，还是分析某个科学共同体的热点话题，都不是可以从现实中独立摘出的意向过程。而与形而上学进行互动能帮助我们对研究工作进行有效的审视，并作为海量研究论文的读者找到被论文所无意间蒙蔽的方向。

关于构式历时性的几个想法——以“刷墙”为例

Sun, 30 Apr 2023 09:00:00 +0000

在介绍构式的所谓“动态性”时，牛保义等[1]提出了几个“刷墙”构式能产性的例子，即“刷卡”、“刷脸”、“刷屏”等，并认为其能产性是随着社会发展、由经济文化政治等多方面因素共同作用的效果。本文打算简单分析一下这几个例子，称不上历时语法，所以简单叫做历时性，主要关心这几个构式如何产生的。另外牛保义等[1]认为所举例的这几个构式之间有历时意义上的关系，我们并未做实证分析，但将该命题记为假设1并作为后续讨论的基础。

一则VAE推导的记忆方法

Mon, 28 Dec 2020 15:00:00 +0000

时隔多年又要把VAE捡起来用，回忆了一下怎么推导，找到一种比较好记的办法。在这里记一下。

框架和面向理解的语义

Mon, 30 Dec 2019 17:00:00 +0000

框架是一种知识表示。知识表示狭义地理解就是把人类的知识表达成计算机能处理的形式，毋庸置疑这是实现人工智能非常重要的一步。在知识表示发展的过程中，框架是一种非常有代表性的方法，至今仍然具有旺盛的生命力。

N元关系的表示模型

Sat, 22 Jun 2019 11:00:00 +0000

前做了个N元关系表示的调研，这篇文章对此概念做个简要的介绍。本文将首先说明知识图谱和语义网的一些背景，再介绍为什么要表示N元关系，最后介绍多个表示方法。

图神经网络一撇

Thu, 14 Mar 2019 14:15:00 +0000

本文大概是一篇综述的浓缩，综合了一些感觉比较关键的东西，不涉及图网络的能力分析等很多别的东西，参考了三篇综述[1-3]和其他一些文章，充当一个快速入门。

概率方法小结

Wed, 02 Jan 2019 12:05:00 +0000

本学期一直在上计算所的《概率方法与随机图》课程，原本以为它是“概率图模型”，结果发现其实是一门讲概率和算法的课。但也多亏这一巧合认识了这是多门有趣的一个内容，和高级算法有一些联系，本文是课程一部分的总结，在本文最后会给出一些参考资料。由于英文世界已经有足够多的相关资料了，本文用中文写。本文的预备知识只需要基本的概率论和一点算法知识，具体来说是随机变量、期望和方差的定义和性质，以及了解最大割问题和图论的基本概念。