黄粱一梦 · 高情商:计划

奈良计划

黄粱一梦 · 高情商:计划

奈良计划

我和 SK 一起去 NAIST 的路线图。按月排,两个人随时打勾、随时改,看到的是同一份。终点:2031 年秋,奈良会师。

正在同步…

我

华工本科 → NAIST · AI 底层优化
0 / 0

本月要做

    SK

    大专 → 专升本 → NAIST · HPC
    0 / 0

    本月要做

      关键站点

      1. 2027.07联合项目开工
      2. 2027.09我进实验室
      3. 2027.09SK 定专升本目标
      4. 2029 年初SK 专升本考试
      5. 2029.03我联系 NAIST 教授
      6. 2029.09我提交申请
      7. 2030.10我入学 NAIST
      8. 2031.06SK 拿学士学位
      9. 2031.10奈良会师
      怎么用

      直接点勾选框就会保存,对方几秒内就能看到,还会显示是谁、哪天完成的。想改任务就点月计划页的「编辑」,可以改文字、标关键节点、删除,或者往某个月里加新任务。

      考试日期、招生日程每年都会变:带「以当年为准」的地方,到时候去 NAIST 官网和广东省教育考试院核对一遍。

      Project Shika · 鹿

      从一个矩阵乘法,到一个能说话的小推理引擎

      名字取自奈良的鹿(しか)。这个项目从最朴素的三重循环矩阵乘法(GEMM)开始,一步步优化到接近工业库的速度,再在上面搭出 Transformer 算子,最后拼成一个能跑 GPT-2 small 的推理引擎。全程两个人一起写,时间跨度约三年,跟着你们的课程进度走。

      为什么是矩阵乘法:大模型推理 80% 以上的计算量都是矩阵乘法,而把矩阵乘法写快,用到的正好是 HPC 的全部基本功:缓存、向量化、多线程、GPU、分布式。你想做的 AI 底层优化和 SK 想做的 HPC,在这里是同一件事。

      你主导

      • 计算核心:微内核(micro-kernel)、SIMD 向量化
      • CUDA kernel
      • Transformer 算子:softmax、layernorm、attention、量化
      • 推理引擎:模型加载、前向计算、KV cache

      SK 主导

      • 基准测试框架:计时、统计、出图
      • 性能分析:roofline 模型、perf、cache miss
      • 多核:OpenMP 并行与扩展性测试
      • 分布式:MPI 版矩阵乘法(SUMMA 算法)

      六个阶段

      每个阶段都有一个能量化的验收标准。性能数字统一用 GFLOPS:

      GFLOPS = 2·M·N·K ÷ 用时(秒) ÷ 10⁹

      P0

      搭环境,先学会「测准」

      2027.07 – 2027.08
      目标
      能可靠地测出一段代码有多快。优化之前先保证测量本身可信。
      你
      • C++ 写朴素版 GEMM(三重循环)
      • 正确性校验:和参考结果逐元素比对,误差在 1e-4 以内(fp32)
      • CMake 工程骨架
      SK
      • 计时框架:先预热,再重复跑 N 次取中位数
      • 按上面的公式算 GFLOPS,结果写成 CSV
      • Python 脚本把 CSV 画成「矩阵尺寸 → GFLOPS」曲线
      交付
      仓库骨架 + 第一张性能曲线
      验收
      同一配置连跑 5 次,波动小于 5%
      P1

      CPU 单核:把缓存和向量化榨干

      2027.08 – 2028.02
      目标
      单核性能从朴素版的约 1 GFLOPS 提到接近 OpenBLAS 的水平。
      步骤
      • 调整循环顺序(ijk → ikj),让访存变连续
      • 分块(blocking / tiling),让数据留在 L1、L2 缓存里
      • 数据打包(packing),把要用的小块搬成连续内存
      • 微内核:一次算一个 4×8 或 6×16 的小块
      • AVX2 + FMA intrinsics 向量化
      你
      微内核和 SIMD 部分
      SK
      分块参数扫描;画 roofline 图,算出这台机器的理论峰值;用 perf stat 看 cache miss 怎么随优化下降
      交付
      性能报告 v1:每一步优化各提升了多少,以及原因
      验收
      大矩阵单核达到 OpenBLAS 的 50% 以上,挑战目标 70%
      P2

      多核和 GPU

      2028.01 – 2028.06
      目标
      把单核成果扩展到多核 CPU,并把同一套思路搬到 GPU 上。
      你
      • CUDA 朴素版 → 共享内存分块 → 寄存器分块 → 向量化访存
      • 用 Nsight Compute 找 kernel 瓶颈(访存合并、bank conflict、占用率)
      SK
      • OpenMP 并行化 CPU 版本
      • 测 1 → 全部核心的扩展曲线,解释为什么不是线性的
      交付
      CPU 多核扩展曲线;GPU 版本和 cuBLAS 的对比曲线
      验收
      GPU 大矩阵达到 cuBLAS 的 50% 以上
      P3

      Transformer 算子

      2028.07 – 2029.03 · SK 备考期,你主力
      目标
      写出推理引擎需要的全部算子,每个都有正确性测试和性能对比。
      你
      • softmax(含 online softmax)、layernorm、GELU
      • attention:朴素版 → 融合版(参考 FlashAttention 的分块思路)
      • int8 量化矩阵乘法
      SK
      专升本冲刺期间暂停,有空时帮忙 review 代码就好。考完以后(2029 年春)开始学 MPI
      交付
      算子库 + 单元测试
      验收
      每个算子和 PyTorch 的结果误差小于 1e-3(fp32),并附一张性能对比
      P4

      小推理引擎:让它开口说话

      2029.05 – 2030.02
      目标
      用自己写的算子跑通 GPT-2 small(1.24 亿参数),输入一句话,接着往下生成。
      你
      • 权重转换和加载(可以参考 llm.c 的权重格式)
      • 完整前向计算、KV cache、贪心解码和采样
      SK
      • 多线程调度和性能剖析,找出最慢的那一层
      • MPI 分布式矩阵乘法实验(SUMMA 算法),先在单机多进程上跑,再上学校集群
      交付
      命令行工具 shika generate "...";一张 tokens/s 对比表
      验收
      贪心解码时,输出的 token 序列和 PyTorch 参考实现完全一致
      P5

      写成报告,用进申请

      2029.10 – 2030.06,之后由 SK 接手维护
      目标
      把三年的工作变成教授能在 10 分钟内看懂的材料。
      内容
      • 英文技术报告(8–12 页):动机、方法、实验、分析
      • 仓库公开,README 放上性能曲线
      • 可选:中文博客或知乎系列文章
      怎么用
      • 给 NAIST 老师写邮件时附上仓库链接
      • 研究计划书里引用这个项目作为前期基础
      • 面试时现场演示 shika generate
      • 你先用一遍,2030 年 SK 申请时再用一遍,他负责的 HPC 部分正好对口

      仓库结构

      shika/
      ├─ bench/     计时框架、参数扫描脚本(SK)
      ├─ cpu/       naive / blocked / packed / avx2 / openmp
      ├─ cuda/      naive / smem / regtile
      ├─ ops/       softmax、layernorm、attention、quant
      ├─ engine/    模型加载、前向、KV cache、采样
      ├─ dist/      MPI 实验(SK)
      ├─ tools/     画图、权重转换(Python)
      ├─ tests/     正确性测试
      └─ docs/      每阶段报告 + 双周记录 log.md

      协作约定

      • GitHub 私有仓库,P5 时公开
      • main 分支受保护,每个功能开分支,提 PR 后由对方 review 再合并
      • 每两周聚会时:各自演示 15 分钟,然后把下两周的目标写进 docs/log.md
      • 每个结果都记下测试机配置:CPU 型号、编译器版本、编译选项

      硬件

      • CPU:支持 AVX2 就行,近几年的 x86 笔记本基本都支持
      • GPU:需要 NVIDIA 显卡。没有的话,可以用实验室服务器、学校计算平台,或者按小时租云 GPU
      • MPI:先在一台机器上开多进程模拟,后期再申请学校集群

      参考资料

      按阶段先后排:

      阶段资料用来做什么
      P0–P1《深入理解计算机系统》(CS:APP)第 5、6 章程序优化、存储器层次,所有优化的理论底子
      P1how-to-optimize-gemm 教程(flame 项目)一步一步优化 GEMM 的经典教程
      P1Goto & van de Geijn, Anatomy of High-Performance Matrix Multiplication分块和打包为什么要这样设计
      P1Williams 等, Roofline 论文判断瓶颈是在算力还是访存(SK 的主场)
      P2《Programming Massively Parallel Processors》(PMPP)CUDA 入门到进阶
      P2NVIDIA CUDA C++ Programming Guide官方手册,遇到问题时查
      P3Dao 等, FlashAttention 论文融合 attention 的分块思路
      P4Karpathy 的 llm.c;llama.cpp / ggml看真实的推理引擎是怎么组织的
      醒来时小米饭还没煮熟,但这一次,梦里的路是一步一步排好了的。