Parallel Compute: A Case study of Speculative Decoding
This note surveys five parallelism strategies for large-scale computing. It then follows speculative decoding from vanilla draft-then-verify and EAGLE to diffusion-based drafting, …
Stat-ML 讨论班笔记（二）：估计与泛化理论
经验过程与度量熵、泛化界、PAC-Bayes、极小极大下界（Le Cam / Fano / Assouad）以及约束风险不等式（强数据处理不等式、本地隐私、通信复杂度）
Stat-ML 讨论班笔记（三）：在线学习与机器学习前沿
在线线性优化的 Stein 方法、深度神经网络的统计理论、扩散模型在 Wasserstein 距离下的离散化速率、随机与在线凸优化、离线到在线学习的保守乐观算法
Stanford CS234：Reinforcement Learning 课程简介与笔记
漫谈从 MDP、policy gradient，到 imitation learning、multi-arm bandit、MCTS 和 AlphaZero 。
Communication Compelxity and its Application in Estimation
Classical communication complexity problems, deterministic communication: lower bound and structure, randomization, conditional information complexity and direct sum, direct sum …
Minimax lower bounds: Le Cam and Fano
minimax risk 是什么，为什么要研究 minimax risk 以及如何得到 minimax risk 的下界