1.flopper甚么原意
写在后面不然前段时间看见许多该文有关数学模型的zadeh耗用难题，也是flops学术论文中一般来说会较为在相差无几的flops上三个数学模型的差别比如densenet 中就释放出了两张在flops相差无几的情况下，其与resnet的对照图来表明densenet所需zadeh小而准确率高的竞争优势。
2.floppery
所以，flops究竟是甚么？是不是充分体现数学模型所需的zadeh耗用的？又是是不是排序的呢？第一集该文归纳了以内四个难题，同时得出了排序flops的开放源码库一、甚么是flops对flops有困惑，具体来说得先捋清那个基本概念：flops
3.flopper on top
：特别注意全小写，是floating point operations per second的简写，意为每秒钟浮点单次，认知为排序速度是三个来衡量硬体操控性的分项flops：特别注意s小写，是floating point operations的简写（s表众数），意为浮点数，认知为排序量。
4.flopper是甚么
能用以来衡量演算法/数学模型的维数网路上写字很难全小写，导致混为一谈，本难题特别针对数学模型，应指的是flops他们晓得，一般来说他们去赞扬三个数学模型时，具体来说看的如果是它的准确度，当你准确度没用的这时候，你和自己说我的数学模型预估的何等何等的快，布署的这时候占的内存何等何等的小，都是白搭。
5.flopper是不是读
但当你数学模型达到一定的准确度之后，就需要更进一步的赞扬分项来赞扬你数学模型：1）前向传播时所需的zadeh，它反应了对硬体如gpu操控性要求的高低；2）参数个数，它反应所占内存大小为甚么要加上这三个分项呢？因为这事关你数学模型演算法的落地。
6.flopperty
比如你要在手机和汽车上布署深度学习数学模型，对数学模型大小和zadeh就有严格要求数学模型参数想必大家都晓得是甚么是不是算了，而前向传播时所需的zadeh可能还会带有一点点疑问所以这里总计一下前向传播时所需的zadeh它正是由flops
7.flopper t
充分体现，所以flops该是不是排序呢？二、如何排序flops他们晓得，在三个数学模型进行前向传播的这时候，会进行卷积、池化、batchnorm、relu、upsample等操作这些操作的进行都会有其对应的排序力耗用产生，其中，卷积所对应的zadeh耗用是所占比重最高的。
先说结论：卷积层 zadeh耗用 等于上图中三个立方体 (绿色和橙色) 体积的乘积即flops = 推导过程：卷积层 wx b 需要排序两部分，具体来说考虑前半部分 wx 的排序量：令 :k 表示卷积核大小;。
c 表示输入 feature map 的数量;则对于输出 feature map 上的单个 unit 有：k * k * c 次乘法，以及 k * k * c - 1 次加法
用上图形象化解释是：image大小为 5x5，卷积核大小为 3x3，所以一次3x3的卷积（求右图矩阵三个元素的值）所需运算量：(3x3)个乘法 (3x3-1)个加法 = 17要得到右图convolved feature （3x3的大小）：17x9 = 153。
如果输出 feature map 的分辨率是 h * w ，且输出 o 个 feature map，则输出 feature map 包含 unit的总数是 h * w * o因此，该卷积层在排序 wx 时有:。
k * k * c * h * w * o 次乘法 --（1） (k * k * c - 1) * h * w * o 次加法 --（2）再考虑偏置项 b 包含的排序量：由于 b 只存在加法运算，输出 feature map 上的每个 unit 做一次偏置项加法。
因此，该卷积层在排序偏置项时总共包含：h * w * o 次加法 --（3）将该卷积层的 wx 和 b 两部分的排序单次累计起来就有：式(1) 次乘法:k * k * c * h * w * o 次乘法
式(2) 式(3) 次加法:(k * k * c - 1) * h * w * o h * w * o = k * k * c * h * w * o可见，式(2) 式(3) = 式 (1)
对于带偏置项的卷积层，乘法运算和加法运算的单次相等，刚好配对定义一次加法和乘法表示三个flop，该层的zadeh耗用 为：k * k * c * h * w * o 刚好等于图中三个立方体（绿色和橙色）体积的乘积。
ops和参数量：
能看见，算上import 和 print（）也仅仅6行代码！不仅输出了整个框架的维数，还能输出每一层的维数 以及 该层占整个网络的比重最后贴出常见backbone的flops：
相关阅读：【1】pytorch:如何在深度学习中让gpu利用率满负荷mp.weixin.qq.com/s?__biz=mjm5mjgwnzcxoa==&mid=2247483948&idx=1&sn=b96cd3a1817a585c5518e79d597f926c&chksm=a6a1ec6591d6657369b97d0675cc9128e541266c9327a5d6c3c9c47fca6b97db3d6ce1d16ca1&token=1209743408&lang=zh_cn#rd
【2】self-attention在语义分割中的发展mp.weixin.qq.com/s?__biz=mjm5mjgwnzcxoa==&mid=2247483938&idx=1&sn=2ccba61dd46525258de4d941cb58f7&chksm=a6a1ec6b91d6657d6f7f9c590e70c66f187e5ef4334fdb307dd563fa5cad77c00dff9389e825&token=1209743408&lang=zh_cn#rd
【3】都0202年了，语义分割还有哪些方向能研究？mp.weixin.qq.com/s?__biz=mjm5mjgwnzcxoa==&mid=2247483875&idx=1&sn=3f378bffca754486d7552147898b3763&chksm=a6a1efaa91d666bc77c529286692634ef73d4340e7e6cc4609dcd056ea92777c6eda69a44e51&token=1209743408&lang=zh_cn#rd
欢迎关注公众号，阅读更多深度学习、排序机视觉、图像分割领域学术论文笔记：
