我和 SK 一起去 NAIST 的路线图。按月排,两个人随时打勾、随时改,看到的是同一份。终点:2031 年秋,奈良会师。
正在同步…
直接点勾选框就会保存,对方几秒内就能看到,还会显示是谁、哪天完成的。想改任务就点月计划页的「编辑」,可以改文字、标关键节点、删除,或者往某个月里加新任务。
考试日期、招生日程每年都会变:带「以当年为准」的地方,到时候去 NAIST 官网和广东省教育考试院核对一遍。
名字取自奈良的鹿(しか)。这个项目从最朴素的三重循环矩阵乘法(GEMM)开始,一步步优化到接近工业库的速度,再在上面搭出 Transformer 算子,最后拼成一个能跑 GPT-2 small 的推理引擎。全程两个人一起写,时间跨度约三年,跟着你们的课程进度走。
为什么是矩阵乘法:大模型推理 80% 以上的计算量都是矩阵乘法,而把矩阵乘法写快,用到的正好是 HPC 的全部基本功:缓存、向量化、多线程、GPU、分布式。你想做的 AI 底层优化和 SK 想做的 HPC,在这里是同一件事。
每个阶段都有一个能量化的验收标准。性能数字统一用 GFLOPS:
GFLOPS = 2·M·N·K ÷ 用时(秒) ÷ 10⁹
shika/ ├─ bench/ 计时框架、参数扫描脚本(SK) ├─ cpu/ naive / blocked / packed / avx2 / openmp ├─ cuda/ naive / smem / regtile ├─ ops/ softmax、layernorm、attention、quant ├─ engine/ 模型加载、前向、KV cache、采样 ├─ dist/ MPI 实验(SK) ├─ tools/ 画图、权重转换(Python) ├─ tests/ 正确性测试 └─ docs/ 每阶段报告 + 双周记录 log.md
按阶段先后排:
| 阶段 | 资料 | 用来做什么 |
|---|---|---|
| P0–P1 | 《深入理解计算机系统》(CS:APP)第 5、6 章 | 程序优化、存储器层次,所有优化的理论底子 |
| P1 | how-to-optimize-gemm 教程(flame 项目) | 一步一步优化 GEMM 的经典教程 |
| P1 | Goto & van de Geijn, Anatomy of High-Performance Matrix Multiplication | 分块和打包为什么要这样设计 |
| P1 | Williams 等, Roofline 论文 | 判断瓶颈是在算力还是访存(SK 的主场) |
| P2 | 《Programming Massively Parallel Processors》(PMPP) | CUDA 入门到进阶 |
| P2 | NVIDIA CUDA C++ Programming Guide | 官方手册,遇到问题时查 |
| P3 | Dao 等, FlashAttention 论文 | 融合 attention 的分块思路 |
| P4 | Karpathy 的 llm.c;llama.cpp / ggml | 看真实的推理引擎是怎么组织的 |