不知道是上课没认真听讲，还是老师和课件讲得实在烂，反正我是被课件和网上的介绍给弄得很糊涂。明明很简单的算法，搞什么花里胡哨的来糊弄人。

分配机制的介绍。分配机制对因果推断非常重要。

这门课终于手选成功了！之前立flag手选成功就要做好笔记，而且现在觉得统辅的笔记需要记录下来整理好，不像专业课在之后会时时用到，像上学期学的多元和回归都忘光了（

前文提到了多个维度一同训练的弊端，包括数据增强的难处，以及不同维度相互牵制使得性能下降。本文单独处理了cohesion看看效果（由于batchsize无法很大，把batchnorm换成了dropout），效果印证了前文的猜测。

数据增强后是否真的有用还有待商榷，但确实增加了0.01个点。另外还学会了nlp处理的很多库。

Kaggle首战记录(3)-English Language Learning-baseline的设计和训练 一个模型训练效果的好坏除了模型本身，还很依赖于训练资源——数据和CPU

这部分是和baseline有关的数据处理环节。

第一次参加kaggle的比赛，选择了这个比赛，现在距正式做已经一周时间了，发现做这个能让自己注意很多深度学习的细节（例如显存等平时上课看论文不太关心的），而且自己能在反思中收获很多东西。刚好一周 41hours 的GPU配额快用完了。因此决定把自己的比赛过程记录下来。

通过数学推导在理论上说明训练时采用标签平滑会隐式地导致beam search解码机器翻译任务时存在长度惩罚，使得解码倾向于给出较短的结果，且理论上，标签平滑的模型会使得解码的长度存在与输入无关的常数上界。作者在实验中也发现了上述现象，并提出了修正方法。

记录了文章的必要和可选格式。