模型压缩，剪枝，量化，加速总结

谁借莪１个温暖的怀抱￠ 2021-12-21 09:34 265阅读 0赞

最近有朋友问我做过的L1剪枝方法怎么样，有没有资源；

因为这个是公司的事情，我也不能直接给资源，但是我还是将我使用过得压缩方法总结一下。

（还是由于自己忘性大，留给自己回忆）：

1）L1剪枝方法：

查看如下资源，[https://github.com/NervanaSystems/distiller][https_github.com_NervanaSystems_distiller]

2）蒸馏：

查看论文：

《Mimicking Very Efficient Network for Objection》

（实现后效果很好用，在yolo上，没有精度损失）

《A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning》

（我实现的算法效果很差)

《Distillation the Knowledge in Neural Network》

(我的启蒙文章)

3）yolo的剪枝方法：

查看论文：《Object detection at 200 Frames Per Second》

（yolo上的压缩后效果没有文章《Mimicking Very Efficient Network for Objection》压的好）

参考：

[https://blog.csdn.net/qq\_22764813/article/details/88378275][https_blog.csdn.net_qq_22764813_article_details_88378275]  
[https://blog.csdn.net/zhangjunhit/column/info/37467（很多相关论文解读）][https_blog.csdn.net_zhangjunhit_column_info_37467]

[https_github.com_NervanaSystems_distiller]: https://github.com/NervanaSystems/distiller
[https_blog.csdn.net_qq_22764813_article_details_88378275]: https://blog.csdn.net/qq_22764813/article/details/88378275
[https_blog.csdn.net_zhangjunhit_column_info_37467]: https://blog.csdn.net/zhangjunhit/column/info/37467%EF%BC%88%E5%BE%88%E5%A4%9A%E7%9B%B8%E5%85%B3%E8%AE%BA%E6%96%87%E8%A7%A3%E8%AF%BB%EF%BC%89

发表评论取消回复

表情：

评论列表（有 0 条评论，265人围观）

还没有评论，来说两句吧...

相关阅读

相关模型量化（pytorch）

模型量化（基于pytorch） 1、量化简介 1.1、量化介绍 1.2、量化方法 1.2.1、训练后动态量化（Post

小咪咪/ 2024年04月02日 04:22/ 0 赞/ 16 阅读

相关 keras剪枝-量化-推理

tensorflow提供了一个优化工具tensorflow\_model\_optimization ，专门针对keras进行模型优化主要可以进行剪枝、量化和权重聚类这

待我称王封你为后i/ 2023年01月10日 10:19/ 0 赞/ 92 阅读

相关深度学习模型压缩加速

目录前言深度学习模型压缩加速原理和方法为什么需要模型压缩和加速？深度学习模型压缩的方法前端压缩的方法

痛定思痛。/ 2022年12月21日 11:00/ 0 赞/ 107 阅读

相关 pytorch模型量化

模型量化是为了减少模型的大小，以便在边缘设备上进行计算首先建网络: import torch import torch.nn as nn from

你的名字/ 2022年12月15日 02:23/ 0 赞/ 155 阅读

相关模型剪枝

[https://blog.csdn.net/qq\_38109843/article/details/107234801][https_blog.csdn.net_qq

叁歲伎倆/ 2022年11月16日 13:58/ 0 赞/ 167 阅读

相关 YOLOv5训练量化压缩

YOLOv5并量化压缩下载源码和安装依赖库：源码地址：https://github.com/ultralytics/yolov5 下载后解压，在目录内打开cm

逃离我推掉我的手/ 2022年10月15日 12:55/ 0 赞/ 171 阅读

相关深度学习模型压缩与加速综述

点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达导读本文详细介绍了4种主流的压缩与加速技术：结构优化、剪枝、量化、知识蒸馏，作者分别从

╰+哭是因爲堅強的太久メ/ 2022年08月28日 00:49/ 0 赞/ 189 阅读

相关 Deep Compression/Acceleration（模型压缩加速总结）

模型压缩论文目录结构\`structure\` \[CVPR2019\] Searching for MobileNetV3

淩亂°似流年/ 2022年04月06日 04:22/ 0 赞/ 371 阅读

相关模型压缩，剪枝，量化，加速总结

最近有朋友问我做过的L1剪枝方法怎么样，有没有资源；因为这个是公司的事情，我也不能直接给资源，但是我还是将我使用过得压缩方法总结一下。（还是由于自己忘性大，留给自己回忆

谁借莪１个温暖的怀抱￠/ 2021年12月21日 09:34/ 0 赞/ 266 阅读

相关模型转换、模型压缩、模型加速工具汇总

目录一、场景需求解读二、模型转化工具汇总 1、模型转换工具的作用 2、模型转换工具简介

迈不过友情╰/ 2021年10月31日 16:22/ 0 赞/ 1778 阅读