2019年百度校招的AI异构计算工程师岗位笔试题目流传出来之后在圈子里讨论度一直没降下来。原因倒不是题目本身有多难而是它几乎是国内大厂里少见的、把“AI底层计算”和“异构硬件”放到一张卷子里考的东西。当时很多算法岗的同学拿到卷子直接懵了不考调参不考模型结构满眼都是CUDA、带宽、访存、算子融合这些偏体系结构的内容。我备考时把网上能找到的回忆版翻来覆去看了很多遍后来也拿着这套题的知识点去面过其他公司的AI基础设施岗位基本都能对上。这篇就按我的理解把这张卷子背后的考察逻辑、核心考点和应对思路完整拆一遍。适合准备AI Infra、深度学习框架、推理引擎、芯片软件栈方向校招的同学也适合想系统补一补异构计算底子的工程师参考。1. 这套笔试题背后的岗位画像1.1 2019年百度为什么要招AI异构计算工程师2019年是深度学习工程化加速的一年。模型算法虽然还在快速迭代但业务侧对性能的要求已经非常具体搜索场景的CTR模型要压延迟无人车要保证单帧推理时间可控语音识别要支持高并发线上服务。这些需求背后都指向同一个问题——模型不能只停留在论文里必须高效地跑在各种硬件上。传统CPU不适合大规模并行计算GPU成为主流选择但GPU也不是插上就能用。算子要针对特定架构优化显存要规划数据搬运要尽量减少模型量化要做校准。这些工作既不是算法工程师的日常也不是普通后端开发能直接上手的需要专门懂“异构计算”的人。百度当时自研PaddlePaddle框架又有昆仑芯片相关布局对这类人才的需求比一般公司更迫切。所以我一直觉得这个岗位本质上是“AI时代的底层工程师”核心工作围绕三件事算子库开发与优化、推理引擎搭建、多硬件平台适配。笔试题目自然也就围绕这三块展开考察的是候选人有没有能力直接参与到这套体系里。1.2 笔试到底在筛什么样的人很多同学以为大厂笔试就是考算法题LeetCode刷够就能过。但百度这套题完全不是这个路数它更像一张“计算机系统能力”的考卷。从考察目标上看面试官想通过笔试确认三件事第一你对计算机体系结构有真实理解知道CPU、GPU、内存带宽、缓存这些概念在实际性能优化中扮演什么角色第二你有并行编程的基本功是真的写过CUDA或多线程代码而不是只在课本上看过第三你对深度学习推理链路有感知知道一个模型从训练完到上线部署中间要经过哪些优化步骤。换句话说算法岗笔试筛的是“会不会解决问题”异构计算岗笔试筛的是“懂不懂机器本身”。如果你想靠短期刷题蒙混过关基本没戏。因为简答题和设计题没有标准答案踩分点全在分析思路上没真做过底层优化的人几句话就能看出来在硬编。2. 试卷整体结构与出题逻辑复盘2.1 题量分布与考试节奏网上能拼凑出来的回忆版信息有限但整体结构还是清晰的。笔试时间大概120分钟题型分为四块选择题、简答题、编程题、设计题。选择题通常在20道左右覆盖C语法、操作系统、数据结构、计算机网络、概率统计这些计算机基础内容难度不算大但范围很广主要作用是把基础不扎实的人先筛掉。简答题大概3到4道几乎都围绕CUDA编程模型、GPU体系结构、性能分析展开比如让你说明Grid/Block/Thread的关系或者分析一个程序的访存瓶颈。编程题一般是2道一道偏传统数据结构另一道会涉及并行计算或简单CUDA代码。最后的设计题分值最高通常是给一个AI推理场景让你给出完整的性能优化方案。考试节奏上比较合理的策略是选择题控制在30分钟内简答题20分钟剩下的时间重点留给编程题和设计题。很多同学容易在前面选择题上纠结太久导致设计题只能草草写几行这是最亏的。2.2 三大知识模块的优先级判断我把这套题的考察范围归纳成三个知识模块优先级区别很大。模块典型考点优先级异构计算与并行体系结构Flynn分类、CUDA线程模型、Roofline模型、访存优化最高深度学习算子与推理优化卷积计算、GEMM、算子融合、量化、推理引擎流程高计算机基础工程能力C语法、数据结构、操作系统、网络中异构计算和并行体系结构是核心考察区选择题、简答题、编程题都会涉及尤其CUDA相关内容基本属于必考。深度学习算子与推理优化则是区分度最大的部分懂的人能写出完整优化链路不懂的人只能写“用TensorRT”。计算机基础部分虽然分值不高但起到了及格线的作用基础题错了会影响整体印象分。从出题逻辑看百度并不指望校招生什么都会但希望候选人至少对上述三个模块有系统的认知框架。换句话说你可以不熟悉某个具体工具的API但不能不知道性能瓶颈分析该怎么入手。3. 异构计算核心考点拆解与原理补全3.1 体系结构从Flynn分类到Roofline模型这一块是笔试的重中之重几乎每个题型都会涉及。首先要掌握Flynn分类法理解SISD、SIMD、MISD、MIMD的区别。CPU通常是MIMDGPU更接近SIMD的变体业界也常称之为SIMT。理解这个分类是后续分析任何并行程序的基础。但真正拉开差距的考点是Roofline模型这个模型能帮你在写代码前就判断一段计算到底是“算得快”还是“搬得快”。核心公式就两个计算强度 总计算量FLOPs/ 总访存量Bytes可达到性能 min(峰值算力, 峰值带宽 × 计算强度)这里可以用一个搬砖的类比来理解。算力相当于砌墙师傅的速度带宽相当于搬砖工运砖的速度砖块数量对应计算强度。如果搬砖工每小时只能运来100块砖砌墙师傅再快也只有100块砖可砌最终速度由搬砖工决定。反过来如果砖堆在工地里到处都是搬运不再是瓶颈那砌墙速度就是天花板。以NVIDIA V100为例FP32算力约15.7 TFLOPS显存带宽约900 GB/s那么拐点就是15.7×10^12 / 900×10^9 ≈ 17.4 FLOPs/Byte。一段计算如果算术强度高于17.4属于计算密集型低于这个值就是访存密集型。深度学习里的矩阵乘、卷积算术强度通常很高所以GPU能吃得饱而很多逐元素操作如ReLU、归一化算术强度很低性能受限于带宽。笔试里常考的形式是让你估计某个算子的算术强度然后判断它的瓶颈类型再给出优化方向。这个思路必须形成肌肉记忆。3.2 CUDA编程模型线程、存储与访存优化CUDA几乎是这套题绕不开的话题。基础层面要清楚三层线程结构grid、block、thread以及硬件上warp通常32个线程的执行单位。GPU不是靠单线程跑得快而是靠大量线程并行隐藏访存延迟。每个SM上能驻留的线程数越多越有机会在等待显存数据时切换到其他线程执行这也是GPU和CPU最核心的思维差异。shared memory是高频考点尤其是bank conflict。shared memory被划分成32个bank每个bank宽度通常为4字节。当多个线程在同一时刻访问同一个bank的不同地址时访问会被硬件串行化造成性能下降。举个例子如果线程编号tid访问 sdata[tid * 2]那么线程0和线程16会同时命中bank 0产生两路冲突如果访问 sdata[tid]则每个线程落在不同bank无冲突。避免冲突的常用手段是给数组加padding比如把二维数组的第二维从32改成33让相邻行错开bank编号。除了shared memorycudaMemcpy的三种拷贝类型也要分清楚HostToDevice、DeviceToHost、DeviceToDevice。笔试里经常会问“为什么主机到设备的数据传输这么慢”答案核心是PCIe带宽远低于显存带宽而且传输有固定延迟和同步开销。所以优化原则很朴素尽量一次性传大数据块避免频繁小数据拷贝能留在设备端计算就不要来回搬。写CUDA代码时block大小选256或512是常见经验值具体要用occupancy实验确定。但笔试里写出合理的线程配置和基本的grid-stride loop已经能拿到大部分分数。3.3 性能分析题带宽、算力与Amdahl定律这套题里经常出现“计算题”给你一堆数据让你估算耗时或加速比。这个部分考察的是工程估算能力不算复杂但很容易丢分。Amdahl定律必须会套S 1 / ((1 - P) P / N)其中P是可并行部分比例N是处理器数量。一个常见的坑是当P95%、N16时加速比只有1/(0.050.95/16)≈9.14远不是16倍。这告诉我们串行部分哪怕只占5%也会严重限制扩展性。笔试中会让你结合实际场景分析“为什么GPU数量翻倍但训练速度不能翻倍”答案往往就是通信开销和串行部分在作怪。带宽估算题也有固定套路传输时间 数据量 / 带宽。比如一个PCIe 3.0 x16链路单向带宽约16GB/s假设多卡训练时同步梯度需要传输2GB数据理论上最少耗时就是2GB / 16GB/s 0.125秒。实际因为协议开销和双向竞争耗时只会更长。还有一种常考的综合计算题给一个具体网络层要求你计算FLOPs、访存量再判断瓶颈。举个例子输入特征图112×112×64输出通道128卷积核3×3输出尺寸同样是112×112。FLOPs乘加各算一次大约是2 × 128 × 64 × 9 × 112 × 112 ≈ 1.85 GFLOPs权重参数大小是128 × 64 × 3 × 3 × 4字节 ≈ 288KB输入输出特征图访存量约3.2MB加6.4MB。整体算术强度估算下来接近187 FLOPs/Byte远高于V100的拐点17.4所以这是个典型的计算密集型算子优化重点应该放在提高计算单元利用率和指令流水线效率上而不是死抠访存次数。3.4 深度学习算子优化卷积、GEMM与推理引擎这部分的简答题和设计题非常能体现候选人水平。核心要理解一个事实深度学习推理里绝大多数运算最终都能转化为矩阵乘法。卷积可以通过im2col操作把输入特征图展开成矩阵再调用GEMM优化库完成计算。这个思路解释了为什么cuBLAS、cuDNN这么重要也解释了为什么各种推理引擎都在围绕矩阵乘做文章。算子融合是另一个高频考点最简单也最常考的是ConvBiasReLU融合。如果分开执行每个kernel都要从显存读写一次中间结果融合后数据可以留在寄存器或shared memory里完成整条链路大幅减少访存次数。笔试里让你“设计一个算子融合方案”时先找出数据依赖关系再把中间结果能留在片上的算子合并基本就能得分。推理引擎的整体流程也需要心里有数从训练好的模型转换成静态图做图优化和算子融合再做内存池规划避免反复malloc最后按依赖关系编排到多个GPU流上执行。更高阶的优化手段还包括INT8量化、混合精度、Winograd卷积等。答设计题时能把这条链路里的三到四个关键点说清楚已经能和其他候选人拉开差距。4. 高频题型实战从简答题到手写代码4.1 概念简答题的踩分点与答题框架简答题虽然题干简短但阅卷看的是踩分点。我整理了三道出现频率最高的题以及对应的答题框架。第一题“简述CUDA中Grid、Block、Thread的关系。”答题时不要只写定义要按“层次结构→调度单位→为什么这样分层→硬件映射”的顺序展开。先说明一个grid包含多个block每个block包含多个thread线程通过blockIdx和threadIdx定位然后说明block是调度到SM的单位thread是实际执行单位warp是硬件调度粒度最后解释这种分层是为了兼顾逻辑并行度与硬件适配block内的线程可以通过shared memory和同步机制协作。第二题“分析一个CUDA程序性能低下的可能原因并给出优化方向。”这是开放性题目。踩分点包括访存不连续导致cache命中率低、共享内存使用不当或bank冲突、线程发散导致warp串行化、kernel launch次数过多、数据传输与计算没有重叠。回答时最好结合具体代码场景说比如“如果每个线程访问的地址是跳跃的应该改成连续访问”。第三题“什么是bank conflict如何避免”先讲清bank的硬件结构再用一个数组访问示例说明冲突场景最后给出解决方案padding、重新设计索引映射、或者用shared memory的广播机制。只写“加padding”不给例子得分会打折扣。4.2 手写代码从链表到CUDA Kernel编程题每年不完全一样但考察方向很稳定。传统数据结构题基本是送分题比如反转链表、判断括号匹配之类这部分就不展开了重点看和“异构计算”相关的编程题。一道典型的题目是写CUDA向量加法kernel。基础版本很简单__global__ void vecAddKernel(const float *a, const float *b, float *c, int n) { int idx blockIdx.x * blockDim.x threadIdx.x; if (idx n) { c[idx] a[idx] b[idx]; } }但要拿高分需要补充几个细节检查指针是否为空说明为什么用if判断边界进一步可以补充grid-stride loop的写法保证数组长度不整除时依然正确还能适应不同的block数量配置。grid-stride loop的代码是这样的__global__ void vecAddKernelGridStride(const float *a, const float *b, float *c, int n) { int idx blockIdx.x * blockDim.x threadIdx.x; int stride gridDim.x * blockDim.x; for (; idx n; idx stride) { c[idx] a[idx] b[idx]; } }如果编程题升级考并行归约比如求一个大数组的和那要写出使用shared memory的版本__global__ void reduceKernel(const float *in, float *out, int n) { __shared__ float sdata[256]; int tid threadIdx.x; int idx blockIdx.x * blockDim.x tid; sdata[tid] (idx n) ? in[idx] : 0.0f; __syncthreads(); for (int stride blockDim.x / 2; stride 0; stride 1) { if (tid stride) { sdata[tid] sdata[tid stride]; } __syncthreads(); } if (tid 0) { out[blockIdx.x] sdata[0]; } }这个版本的思路是每个block先归约出一部分结果最后再对block级结果做一次归约。答题时能解释清楚为什么需要__syncthreads以及shared memory在这里省了多少访存就是加分项。4.3 系统设计题一个端到端优化方案系统设计题通常是最后的大题题干会给一个场景比如“线上某个基于PaddlePaddle的CNN模型在GPU上推理P99延迟不达标请给出完整优化方案”。这类题没有唯一答案但需要展示系统化的思路。我的答题结构一般分五步第一步是profile先用工具如Nsight Systems、Nsight Compute、nvprof定位瓶颈算子和kernel耗时分布不能凭感觉猜。第二步是算子融合把ConvBatchNormReLU这类相邻算子合并减少kernel launch次数和中间结果访存。第三步是调整数据布局比如NCHW改成NHWC某些GPU上可以提升访存局部性也能配合Tensor Core的布局要求。第四步是量化从FP32降到INT8用验证集做校准观察精度损失。第五步是工程层面的内存复用和多流执行避免频繁显存分配让不同计算流之间重叠数据拷贝与计算。答这类题时最大的忌讳是直接丢结论“用TensorRT”。面试官想看到的是你懂优化原理而不是只会调库。哪怕你没有实际做过完整项目把每一步的理由和预期收益说清楚也能拿到不错的分。4.4 计算题现场速算套路笔试里经常有需要估算的小题掌握几个速算模板能省很多时间。看到全连接层FLOPs 2 × M × N × K其中M是batch大小N是输出维度K是输入维度。一个4096×4096×4096的全连接层FLOPs约为137 GFLOPs如果权重用FP32存储参数量约64MB。再结合设备算力可以快速估算单层耗时下限。看到数据搬运把时间当作“数据量除以带宽”。GPU显存拷贝、PCIe传输、网络传输都可以这样套。看到多卡扩展类题目先算Amdahl加速比再考虑通信开销通常答案会落在“算法上可行工程上受限于通信”。还有一个重要技巧碰到需要判断“算子为什么慢”的问题先问自己是计算密集还是访存密集再决定从哪条优化路径入手。这个判断在笔试和实际工作中都是最底层的分析框架。5. 备考路线与踩坑经验5.1 从零开始的异构计算知识图谱我的建议是不要上来就刷题先把知识图谱铺开。需要覆盖的板块如下C基础和内存管理、数据结构与算法、操作系统核心概念、计算机体系结构、CUDA编程、深度学习推理优化。资源方面CUDA入门强烈推荐《CUDA C编程权威指南》和NVIDIA官方编程指南配合写代码实践。体系结构方面CSAPP的存储器层次和流水线部分足够了不需要啃完整个量化教材。推理优化方向想深入可以去看PaddlePaddle、ncnn、TVM等开源项目的源码和文档重点看算子融合、内存复用、量化这些模块的实现。一个容易踩的坑是只看不写。CUDA的很多坑只有在实际编译运行后才会暴露比如shared memory大小限制、bank conflict排查、动态并行不支持等。笔试设计题里能写出的“优化方案”很多是我当时跑代码踩坑之后才真正理解的。所以理论知识看一遍至少要亲手写五个以上的CUDA小实验包括向量加法、矩阵乘法、归约、图像模糊等。5.2 时间线规划给准备校招的人一个参考如果按三个月准备来算大致可以这样安排前两周集中补C、数据结构、操作系统主要目标是通过选择题的及格线不用追求难题力扣中等难度足够。第三到第五周进入CUDA专项每天写一个小kernel并养成用profiler分析性能的习惯这一步是笔试和面试都能拉开差距的关键。第六到第八周学习深度学习推理优化推荐拿一个公开模型做一次从PaddlePaddle/TensorFlow导出、推理引擎部署、算子分析、INT8量化的完整流程。最后一个月进入刷题和模拟笔试阶段严格按120分钟计时做完整的模拟卷训练节奏控制。很多同学把精力全放在LeetCode上这是策略失误。这套笔试题的高区分度部分不在算法题而在简答题和设计题。每天留出一个小时专门整理“优化方案”类问题的答题模板比多刷两道链表题更有用。5.3 考场时间分配与临场策略这里有一条实战教训拿到卷子先花两分钟通读所有题目快速标记哪些是送分题、哪些需要仔细推导。我见过有人把时间花在最后一道选择题的复杂概率计算上导致前面简答题只能写两行。我的建议是选择题最多30分钟宁可蒙也不要恋战。简答题每道控制在5分钟内写出核心框架和关键术语就够了。编程题先花10到15分钟读题和设计数据结构如果不会最优解先写暴力解法保底再优化。设计题留至少30分钟这类题分值高而且答得好能弥补前面的一些小失误。另一个容易被忽略的细节是计算题和推导题一定要把步骤写清楚。比如套用Amdahl定律时把P、N、S的代入过程写全阅卷人是按踩分点给分的光写一个最终结果风险很大。5.4 笔试结束之后的一些体会我后来面过不少AI Infra相关的岗位发现笔试只是第一道门槛后面的面试官会追着笔试里的内容往深了问。比如你在设计题里写了INT8量化面试官一定会问“量化后的精度损失怎么评估”“per-channel和per-tensor的区别是什么”“校准集怎么选”。如果只是背了概念很容易在追问环节露馅。所以我比较建议把准备这套笔试题当成一次系统学习的契机而不是单纯为了过笔试。把Roofline模型、CUDA访存优化、算子融合、量化这些知识点真正串起来之后你会发现看任何推理引擎的源码都顺畅很多工作中排查性能问题也有章法。另外说一个小技巧准备设计题时可以找一个开源推理引擎比如Triton Inference或ncnn把官方文档里的优化章节完整读一遍再对照源码看它们是怎么做算子融合和内存规划的。比我当初光看博客总结高效得多。
2019年百度校招的AI异构计算工程师岗位笔试题目流传出来之后在圈子里讨论度一直没降下来。原因倒不是题目本身有多难而是它几乎是国内大厂里少见的、把“AI底层计算”和“异构硬件”放到一张卷子里考的东西。当时很多算法岗的同学拿到卷子直接懵了不考调参不考模型结构满眼都是CUDA、带宽、访存、算子融合这些偏体系结构的内容。我备考时把网上能找到的回忆版翻来覆去看了很多遍后来也拿着这套题的知识点去面过其他公司的AI基础设施岗位基本都能对上。这篇就按我的理解把这张卷子背后的考察逻辑、核心考点和应对思路完整拆一遍。适合准备AI Infra、深度学习框架、推理引擎、芯片软件栈方向校招的同学也适合想系统补一补异构计算底子的工程师参考。1. 这套笔试题背后的岗位画像1.1 2019年百度为什么要招AI异构计算工程师2019年是深度学习工程化加速的一年。模型算法虽然还在快速迭代但业务侧对性能的要求已经非常具体搜索场景的CTR模型要压延迟无人车要保证单帧推理时间可控语音识别要支持高并发线上服务。这些需求背后都指向同一个问题——模型不能只停留在论文里必须高效地跑在各种硬件上。传统CPU不适合大规模并行计算GPU成为主流选择但GPU也不是插上就能用。算子要针对特定架构优化显存要规划数据搬运要尽量减少模型量化要做校准。这些工作既不是算法工程师的日常也不是普通后端开发能直接上手的需要专门懂“异构计算”的人。百度当时自研PaddlePaddle框架又有昆仑芯片相关布局对这类人才的需求比一般公司更迫切。所以我一直觉得这个岗位本质上是“AI时代的底层工程师”核心工作围绕三件事算子库开发与优化、推理引擎搭建、多硬件平台适配。笔试题目自然也就围绕这三块展开考察的是候选人有没有能力直接参与到这套体系里。1.2 笔试到底在筛什么样的人很多同学以为大厂笔试就是考算法题LeetCode刷够就能过。但百度这套题完全不是这个路数它更像一张“计算机系统能力”的考卷。从考察目标上看面试官想通过笔试确认三件事第一你对计算机体系结构有真实理解知道CPU、GPU、内存带宽、缓存这些概念在实际性能优化中扮演什么角色第二你有并行编程的基本功是真的写过CUDA或多线程代码而不是只在课本上看过第三你对深度学习推理链路有感知知道一个模型从训练完到上线部署中间要经过哪些优化步骤。换句话说算法岗笔试筛的是“会不会解决问题”异构计算岗笔试筛的是“懂不懂机器本身”。如果你想靠短期刷题蒙混过关基本没戏。因为简答题和设计题没有标准答案踩分点全在分析思路上没真做过底层优化的人几句话就能看出来在硬编。2. 试卷整体结构与出题逻辑复盘2.1 题量分布与考试节奏网上能拼凑出来的回忆版信息有限但整体结构还是清晰的。笔试时间大概120分钟题型分为四块选择题、简答题、编程题、设计题。选择题通常在20道左右覆盖C语法、操作系统、数据结构、计算机网络、概率统计这些计算机基础内容难度不算大但范围很广主要作用是把基础不扎实的人先筛掉。简答题大概3到4道几乎都围绕CUDA编程模型、GPU体系结构、性能分析展开比如让你说明Grid/Block/Thread的关系或者分析一个程序的访存瓶颈。编程题一般是2道一道偏传统数据结构另一道会涉及并行计算或简单CUDA代码。最后的设计题分值最高通常是给一个AI推理场景让你给出完整的性能优化方案。考试节奏上比较合理的策略是选择题控制在30分钟内简答题20分钟剩下的时间重点留给编程题和设计题。很多同学容易在前面选择题上纠结太久导致设计题只能草草写几行这是最亏的。2.2 三大知识模块的优先级判断我把这套题的考察范围归纳成三个知识模块优先级区别很大。模块典型考点优先级异构计算与并行体系结构Flynn分类、CUDA线程模型、Roofline模型、访存优化最高深度学习算子与推理优化卷积计算、GEMM、算子融合、量化、推理引擎流程高计算机基础工程能力C语法、数据结构、操作系统、网络中异构计算和并行体系结构是核心考察区选择题、简答题、编程题都会涉及尤其CUDA相关内容基本属于必考。深度学习算子与推理优化则是区分度最大的部分懂的人能写出完整优化链路不懂的人只能写“用TensorRT”。计算机基础部分虽然分值不高但起到了及格线的作用基础题错了会影响整体印象分。从出题逻辑看百度并不指望校招生什么都会但希望候选人至少对上述三个模块有系统的认知框架。换句话说你可以不熟悉某个具体工具的API但不能不知道性能瓶颈分析该怎么入手。3. 异构计算核心考点拆解与原理补全3.1 体系结构从Flynn分类到Roofline模型这一块是笔试的重中之重几乎每个题型都会涉及。首先要掌握Flynn分类法理解SISD、SIMD、MISD、MIMD的区别。CPU通常是MIMDGPU更接近SIMD的变体业界也常称之为SIMT。理解这个分类是后续分析任何并行程序的基础。但真正拉开差距的考点是Roofline模型这个模型能帮你在写代码前就判断一段计算到底是“算得快”还是“搬得快”。核心公式就两个计算强度 总计算量FLOPs/ 总访存量Bytes可达到性能 min(峰值算力, 峰值带宽 × 计算强度)这里可以用一个搬砖的类比来理解。算力相当于砌墙师傅的速度带宽相当于搬砖工运砖的速度砖块数量对应计算强度。如果搬砖工每小时只能运来100块砖砌墙师傅再快也只有100块砖可砌最终速度由搬砖工决定。反过来如果砖堆在工地里到处都是搬运不再是瓶颈那砌墙速度就是天花板。以NVIDIA V100为例FP32算力约15.7 TFLOPS显存带宽约900 GB/s那么拐点就是15.7×10^12 / 900×10^9 ≈ 17.4 FLOPs/Byte。一段计算如果算术强度高于17.4属于计算密集型低于这个值就是访存密集型。深度学习里的矩阵乘、卷积算术强度通常很高所以GPU能吃得饱而很多逐元素操作如ReLU、归一化算术强度很低性能受限于带宽。笔试里常考的形式是让你估计某个算子的算术强度然后判断它的瓶颈类型再给出优化方向。这个思路必须形成肌肉记忆。3.2 CUDA编程模型线程、存储与访存优化CUDA几乎是这套题绕不开的话题。基础层面要清楚三层线程结构grid、block、thread以及硬件上warp通常32个线程的执行单位。GPU不是靠单线程跑得快而是靠大量线程并行隐藏访存延迟。每个SM上能驻留的线程数越多越有机会在等待显存数据时切换到其他线程执行这也是GPU和CPU最核心的思维差异。shared memory是高频考点尤其是bank conflict。shared memory被划分成32个bank每个bank宽度通常为4字节。当多个线程在同一时刻访问同一个bank的不同地址时访问会被硬件串行化造成性能下降。举个例子如果线程编号tid访问 sdata[tid * 2]那么线程0和线程16会同时命中bank 0产生两路冲突如果访问 sdata[tid]则每个线程落在不同bank无冲突。避免冲突的常用手段是给数组加padding比如把二维数组的第二维从32改成33让相邻行错开bank编号。除了shared memorycudaMemcpy的三种拷贝类型也要分清楚HostToDevice、DeviceToHost、DeviceToDevice。笔试里经常会问“为什么主机到设备的数据传输这么慢”答案核心是PCIe带宽远低于显存带宽而且传输有固定延迟和同步开销。所以优化原则很朴素尽量一次性传大数据块避免频繁小数据拷贝能留在设备端计算就不要来回搬。写CUDA代码时block大小选256或512是常见经验值具体要用occupancy实验确定。但笔试里写出合理的线程配置和基本的grid-stride loop已经能拿到大部分分数。3.3 性能分析题带宽、算力与Amdahl定律这套题里经常出现“计算题”给你一堆数据让你估算耗时或加速比。这个部分考察的是工程估算能力不算复杂但很容易丢分。Amdahl定律必须会套S 1 / ((1 - P) P / N)其中P是可并行部分比例N是处理器数量。一个常见的坑是当P95%、N16时加速比只有1/(0.050.95/16)≈9.14远不是16倍。这告诉我们串行部分哪怕只占5%也会严重限制扩展性。笔试中会让你结合实际场景分析“为什么GPU数量翻倍但训练速度不能翻倍”答案往往就是通信开销和串行部分在作怪。带宽估算题也有固定套路传输时间 数据量 / 带宽。比如一个PCIe 3.0 x16链路单向带宽约16GB/s假设多卡训练时同步梯度需要传输2GB数据理论上最少耗时就是2GB / 16GB/s 0.125秒。实际因为协议开销和双向竞争耗时只会更长。还有一种常考的综合计算题给一个具体网络层要求你计算FLOPs、访存量再判断瓶颈。举个例子输入特征图112×112×64输出通道128卷积核3×3输出尺寸同样是112×112。FLOPs乘加各算一次大约是2 × 128 × 64 × 9 × 112 × 112 ≈ 1.85 GFLOPs权重参数大小是128 × 64 × 3 × 3 × 4字节 ≈ 288KB输入输出特征图访存量约3.2MB加6.4MB。整体算术强度估算下来接近187 FLOPs/Byte远高于V100的拐点17.4所以这是个典型的计算密集型算子优化重点应该放在提高计算单元利用率和指令流水线效率上而不是死抠访存次数。3.4 深度学习算子优化卷积、GEMM与推理引擎这部分的简答题和设计题非常能体现候选人水平。核心要理解一个事实深度学习推理里绝大多数运算最终都能转化为矩阵乘法。卷积可以通过im2col操作把输入特征图展开成矩阵再调用GEMM优化库完成计算。这个思路解释了为什么cuBLAS、cuDNN这么重要也解释了为什么各种推理引擎都在围绕矩阵乘做文章。算子融合是另一个高频考点最简单也最常考的是ConvBiasReLU融合。如果分开执行每个kernel都要从显存读写一次中间结果融合后数据可以留在寄存器或shared memory里完成整条链路大幅减少访存次数。笔试里让你“设计一个算子融合方案”时先找出数据依赖关系再把中间结果能留在片上的算子合并基本就能得分。推理引擎的整体流程也需要心里有数从训练好的模型转换成静态图做图优化和算子融合再做内存池规划避免反复malloc最后按依赖关系编排到多个GPU流上执行。更高阶的优化手段还包括INT8量化、混合精度、Winograd卷积等。答设计题时能把这条链路里的三到四个关键点说清楚已经能和其他候选人拉开差距。4. 高频题型实战从简答题到手写代码4.1 概念简答题的踩分点与答题框架简答题虽然题干简短但阅卷看的是踩分点。我整理了三道出现频率最高的题以及对应的答题框架。第一题“简述CUDA中Grid、Block、Thread的关系。”答题时不要只写定义要按“层次结构→调度单位→为什么这样分层→硬件映射”的顺序展开。先说明一个grid包含多个block每个block包含多个thread线程通过blockIdx和threadIdx定位然后说明block是调度到SM的单位thread是实际执行单位warp是硬件调度粒度最后解释这种分层是为了兼顾逻辑并行度与硬件适配block内的线程可以通过shared memory和同步机制协作。第二题“分析一个CUDA程序性能低下的可能原因并给出优化方向。”这是开放性题目。踩分点包括访存不连续导致cache命中率低、共享内存使用不当或bank冲突、线程发散导致warp串行化、kernel launch次数过多、数据传输与计算没有重叠。回答时最好结合具体代码场景说比如“如果每个线程访问的地址是跳跃的应该改成连续访问”。第三题“什么是bank conflict如何避免”先讲清bank的硬件结构再用一个数组访问示例说明冲突场景最后给出解决方案padding、重新设计索引映射、或者用shared memory的广播机制。只写“加padding”不给例子得分会打折扣。4.2 手写代码从链表到CUDA Kernel编程题每年不完全一样但考察方向很稳定。传统数据结构题基本是送分题比如反转链表、判断括号匹配之类这部分就不展开了重点看和“异构计算”相关的编程题。一道典型的题目是写CUDA向量加法kernel。基础版本很简单__global__ void vecAddKernel(const float *a, const float *b, float *c, int n) { int idx blockIdx.x * blockDim.x threadIdx.x; if (idx n) { c[idx] a[idx] b[idx]; } }但要拿高分需要补充几个细节检查指针是否为空说明为什么用if判断边界进一步可以补充grid-stride loop的写法保证数组长度不整除时依然正确还能适应不同的block数量配置。grid-stride loop的代码是这样的__global__ void vecAddKernelGridStride(const float *a, const float *b, float *c, int n) { int idx blockIdx.x * blockDim.x threadIdx.x; int stride gridDim.x * blockDim.x; for (; idx n; idx stride) { c[idx] a[idx] b[idx]; } }如果编程题升级考并行归约比如求一个大数组的和那要写出使用shared memory的版本__global__ void reduceKernel(const float *in, float *out, int n) { __shared__ float sdata[256]; int tid threadIdx.x; int idx blockIdx.x * blockDim.x tid; sdata[tid] (idx n) ? in[idx] : 0.0f; __syncthreads(); for (int stride blockDim.x / 2; stride 0; stride 1) { if (tid stride) { sdata[tid] sdata[tid stride]; } __syncthreads(); } if (tid 0) { out[blockIdx.x] sdata[0]; } }这个版本的思路是每个block先归约出一部分结果最后再对block级结果做一次归约。答题时能解释清楚为什么需要__syncthreads以及shared memory在这里省了多少访存就是加分项。4.3 系统设计题一个端到端优化方案系统设计题通常是最后的大题题干会给一个场景比如“线上某个基于PaddlePaddle的CNN模型在GPU上推理P99延迟不达标请给出完整优化方案”。这类题没有唯一答案但需要展示系统化的思路。我的答题结构一般分五步第一步是profile先用工具如Nsight Systems、Nsight Compute、nvprof定位瓶颈算子和kernel耗时分布不能凭感觉猜。第二步是算子融合把ConvBatchNormReLU这类相邻算子合并减少kernel launch次数和中间结果访存。第三步是调整数据布局比如NCHW改成NHWC某些GPU上可以提升访存局部性也能配合Tensor Core的布局要求。第四步是量化从FP32降到INT8用验证集做校准观察精度损失。第五步是工程层面的内存复用和多流执行避免频繁显存分配让不同计算流之间重叠数据拷贝与计算。答这类题时最大的忌讳是直接丢结论“用TensorRT”。面试官想看到的是你懂优化原理而不是只会调库。哪怕你没有实际做过完整项目把每一步的理由和预期收益说清楚也能拿到不错的分。4.4 计算题现场速算套路笔试里经常有需要估算的小题掌握几个速算模板能省很多时间。看到全连接层FLOPs 2 × M × N × K其中M是batch大小N是输出维度K是输入维度。一个4096×4096×4096的全连接层FLOPs约为137 GFLOPs如果权重用FP32存储参数量约64MB。再结合设备算力可以快速估算单层耗时下限。看到数据搬运把时间当作“数据量除以带宽”。GPU显存拷贝、PCIe传输、网络传输都可以这样套。看到多卡扩展类题目先算Amdahl加速比再考虑通信开销通常答案会落在“算法上可行工程上受限于通信”。还有一个重要技巧碰到需要判断“算子为什么慢”的问题先问自己是计算密集还是访存密集再决定从哪条优化路径入手。这个判断在笔试和实际工作中都是最底层的分析框架。5. 备考路线与踩坑经验5.1 从零开始的异构计算知识图谱我的建议是不要上来就刷题先把知识图谱铺开。需要覆盖的板块如下C基础和内存管理、数据结构与算法、操作系统核心概念、计算机体系结构、CUDA编程、深度学习推理优化。资源方面CUDA入门强烈推荐《CUDA C编程权威指南》和NVIDIA官方编程指南配合写代码实践。体系结构方面CSAPP的存储器层次和流水线部分足够了不需要啃完整个量化教材。推理优化方向想深入可以去看PaddlePaddle、ncnn、TVM等开源项目的源码和文档重点看算子融合、内存复用、量化这些模块的实现。一个容易踩的坑是只看不写。CUDA的很多坑只有在实际编译运行后才会暴露比如shared memory大小限制、bank conflict排查、动态并行不支持等。笔试设计题里能写出的“优化方案”很多是我当时跑代码踩坑之后才真正理解的。所以理论知识看一遍至少要亲手写五个以上的CUDA小实验包括向量加法、矩阵乘法、归约、图像模糊等。5.2 时间线规划给准备校招的人一个参考如果按三个月准备来算大致可以这样安排前两周集中补C、数据结构、操作系统主要目标是通过选择题的及格线不用追求难题力扣中等难度足够。第三到第五周进入CUDA专项每天写一个小kernel并养成用profiler分析性能的习惯这一步是笔试和面试都能拉开差距的关键。第六到第八周学习深度学习推理优化推荐拿一个公开模型做一次从PaddlePaddle/TensorFlow导出、推理引擎部署、算子分析、INT8量化的完整流程。最后一个月进入刷题和模拟笔试阶段严格按120分钟计时做完整的模拟卷训练节奏控制。很多同学把精力全放在LeetCode上这是策略失误。这套笔试题的高区分度部分不在算法题而在简答题和设计题。每天留出一个小时专门整理“优化方案”类问题的答题模板比多刷两道链表题更有用。5.3 考场时间分配与临场策略这里有一条实战教训拿到卷子先花两分钟通读所有题目快速标记哪些是送分题、哪些需要仔细推导。我见过有人把时间花在最后一道选择题的复杂概率计算上导致前面简答题只能写两行。我的建议是选择题最多30分钟宁可蒙也不要恋战。简答题每道控制在5分钟内写出核心框架和关键术语就够了。编程题先花10到15分钟读题和设计数据结构如果不会最优解先写暴力解法保底再优化。设计题留至少30分钟这类题分值高而且答得好能弥补前面的一些小失误。另一个容易被忽略的细节是计算题和推导题一定要把步骤写清楚。比如套用Amdahl定律时把P、N、S的代入过程写全阅卷人是按踩分点给分的光写一个最终结果风险很大。5.4 笔试结束之后的一些体会我后来面过不少AI Infra相关的岗位发现笔试只是第一道门槛后面的面试官会追着笔试里的内容往深了问。比如你在设计题里写了INT8量化面试官一定会问“量化后的精度损失怎么评估”“per-channel和per-tensor的区别是什么”“校准集怎么选”。如果只是背了概念很容易在追问环节露馅。所以我比较建议把准备这套笔试题当成一次系统学习的契机而不是单纯为了过笔试。把Roofline模型、CUDA访存优化、算子融合、量化这些知识点真正串起来之后你会发现看任何推理引擎的源码都顺畅很多工作中排查性能问题也有章法。另外说一个小技巧准备设计题时可以找一个开源推理引擎比如Triton Inference或ncnn把官方文档里的优化章节完整读一遍再对照源码看它们是怎么做算子融合和内存规划的。比我当初光看博客总结高效得多。
