深度学习模型压缩加速

痛定思痛。 2022-12-21 11:00 107阅读 0赞

### 目录 ###

*  前言
 *  深度学习模型压缩加速原理和方法
 *   *  为什么需要模型压缩和加速？
 *  深度学习模型压缩的方法
 *   *  前端压缩的方法
     *   *  1. 知识蒸馏：
         *  2. 紧凑的模型结构设计
         *  3. 剪枝和共享
     *  后端压缩的方法
     *   *  低秩近似
         *  量化和二进制
 *  深度学习模型优化加速方法
 *   *  优化工具与库：TensorRT(Nvidia)
     *  改变网络结构设计为何会实现模型压缩、加速
     *  组卷积（Group convolution）
     *   *  深度可分离卷积
 *  深度学习移动端开源框架介绍及部署
 *   *   *  QNNPACK

# 前言 #

智慧物流是“互联网+”高效物流的重要内容，以智能化技术使物流具有学习、感知、思考、决策等能力，深度学习被大量用于智慧物流。  
深度学习模型压缩加速原理和方法  
深度学习移动端开源框架介绍及部署实例

# 深度学习模型压缩加速原理和方法 #

## 为什么需要模型压缩和加速？ ##

*  移动端产品中注入AI能力
 *  对于在线学习和增量学习等实时应用，如何减少含有大量层级及结点的大型神经网络所需要的内存和计算量极为重要
 *  智能设备的流行提供了内存、CPU、能耗和宽带等资源，使得深度学习模型部署在智能移动设备上变得可行
 *  高校得深度学习可以有效的帮助嵌入式设备、分布式系统完成复杂工作，在移动端部署深度学习有很重要的意义。
 *  大规模的复杂网络模型在端设备上使用并不现实。

# 深度学习模型压缩的方法 #

按照压缩过程对网络结构的破坏程度，我们将模型压缩技术分为“前端压缩”与“后端压缩”两部分。所谓“前端压缩”，是指不改变原网络结构的压缩技术，主要包括知识蒸馏、紧凑的模型结构设计以及滤波器层面的剪枝等；而“后端压缩”则包括低秩近似、未加限制的剪枝、参数量化以及二值网络等，其目标在于尽可能地减少模型大小，因而会对原始网络结构造成极大程度的改造。其中，由于“前端压缩”未改变原有的网络结构，仅仅只是在原模型的基础上减少了网络的层数或者滤波器的个数，其最终的模型可完美适配  
现有的深度学习库。相比之下，“后端压缩”为了追求极致的压缩比，不得不对原有的网络结构进行改造，如对参数进行量化表示等，而这样的改造往往是不可逆的。同时，为了获得理想的压缩效果，必须开发相配套的运行库，甚至是专门的硬件设备，其最终的结果往往是一种压缩技术对应于一套运行库，从而带来了巨大的维护成本。  
当然，上述两种压缩策略并不存在绝对的好坏，各种方法均有其各自的适应场景。同时，两种压缩技术可以相互结合，将“前端压缩”的输出作为“后端压缩”的输入，能够在最大程度上减少模型的复杂度。因此，本文所介绍的这两大类压缩技术，实际上是一种相互补充的关系。有理由相信，“前端压缩”与“后端压缩”的结合能够开启深度模型走向“精简之美”的大门。

**前端压缩**：  
知识蒸馏；紧凑的模型结构设计；滤波器层面的剪枝  
**后端压缩**：  
低秩近似；未加限制的剪枝；参数量化；二值网络

## 前端压缩的方法 ##

1） **知识蒸馏**  
复杂模型：性能较优，但参数量很大，计算效率低；小模型计算效率高，但是其性能较差。  
知识蒸馏是让复杂模型学习到的知识迁移到小模型当中。  
2）**紧凑的模型结构设计**  
对于神经网络卷积的方式改进，比如：  
使用两个3*3卷积替换5*5的卷积，使用深度可分离卷积等等方式降低计算参数量  
3）**滤波器层面的剪枝**  
对较小的权重矩阵进行剔除，对整个神经网络进行微调。  
缺点：容易导致精度损失较大，造成权重冗余，剪枝不彻底。

### 1. 知识蒸馏： ###

**知识蒸馏**是将一个已经训练好的网络迁移到另外一个新网络，常采用teacher-student学习策略，已经被广泛应用在模型压缩和迁移学习中。  
整个设计只包括三个重要部分：**teacher模型（teacher模型集成），KL散度loss以及一个判别器**。  
首先，我们来理解一下KL散度loss。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center]  
**KL散度**  
**用途**：比较两个概率分布的接近程度；  
在统计应用中，我们经常需要一个简单的，近似的概率分布来描述，观察数据或者另一个复杂的概率分布。这个时候，我们需要一个量来衡量我们选择的近似分布相比原分布究竟损失了多少信息量，这就是KL散度起作用的地方。

### 2. 紧凑的模型结构设计 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 1]  
**SqueezeNet模型设计原则**：

*  替换3*3卷积kernel为1*1的卷积kernel
 *  减少输入3\*3卷积的input feature map数量
 *  减少pooling

### 3. 剪枝和共享 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 2]  
网络剪枝和共享起初是解决过拟合问题的，现在更多被用来降低网络复杂度。  
深度学习模型有稀疏化，所以剪纸为稀疏模型

## 后端压缩的方法 ##

1）**低秩近似**  
卷积神经网络的基本计算模式是进行卷积运算。具体实现上，卷积操作由矩阵相乘完成，如 caffe 中的“im2col”操作。不过通常情况下，权重矩阵往往稠密且巨大，从而带来计算和存储上的巨大开销。为解决这种情况的一种直观想法是，若能将该稠密矩阵由若干个小规模矩阵近似重构出来，那么便能有效降低存储和计算开销。由于这类算法大多采用低秩近似的技术来重构权重矩阵，我们将其归类为低秩近似算法。  
低秩近似算法在中小型网络模型上取得了很不错的效果，但其超参数量与网络层数呈线性变化趋势 ，随着网络层数的增加与模型复杂度的提升，其搜索空间会急剧增大 。当面对大型神经网络模型时，是否仍能通过近似算法来重构参数矩阵，并使得性能下降保持在一个可接受范围内？最终的答案还是有待商榷的。  
**优点**：  
可以降低存储和计算消耗;  
一般可以压缩2~3倍，精度几乎没有损失,而最终的精度甚至能超过压缩之前的网络。  
**缺点**：  
模型越复杂，权重矩阵越大，利用低秩重构参数矩阵不能保证模型的性能。

2）**未加限制的剪纸**  
**优点**：  
保持模型性能不损失的情况下，减少参数量9~11倍；  
剔除不重要的权重，加快计算，提高模型泛化能力；  
**缺点**：  
非结构化剪枝会增加内存访问成本；  
极度依赖专门的运行库核特殊的运行平台；  
压缩率过大时，破坏性能；

3）**参数量化：**  
**优点**：  
模型性能损失很小，大小减少8~16倍；  
**缺点**：  
压缩率大时，性能显著下降；  
依赖专门的运行库，通用性较差；  
**二值网络：**  
对于32bit浮点型数用1bit二进制数-1或1表示  
**优点**：  
网络体积小，运算速度快。

### 低秩近似 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 3]  
在卷积神经网络里，以矩阵相乘的方式进行的，一个复杂的网络，它的权重矩阵比较大，非常消耗存储计算资源，低秩近似就是将若干个低秩矩阵组合重构大的权重矩阵来卷积、存储和计算消耗。以往传统的以为压缩就是低秩分解或者剪枝，但是压缩效果有待提升。经可视化发现，参数矩阵具备低秩矩阵和稀疏矩阵的性质。该方法经实验，可以使得压缩网络和原始网络的输出接近。

### 量化和二进制 ###

在现有的开源框架里，有大量应用。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 4]  
**区别**：  
**第一个显著区别**：  
上面是一个全精度的卷积神经网络，它使用了10~64bit的权重和浮点类似的激活函数。  
下面是一个二值的卷积神经网络，它将权重和激活函数转为化二值化，比如+1或者-1。  
**另一个显著区别**：  
在全精度网络中，输入和权重是点乘操作。  
二值化神经网络中，是按位来异或非的。  
为何这么做呢？  
**为了减少内存消耗和加快它的速度**。

# 深度学习模型优化加速方法 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 5]

## 优化工具与库：TensorRT(Nvidia) ##

TensorRT在PC端的部署应用的比较多。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 6]

1.  TensorRT是NVIDIA开发的深度学习推理工具，只支持推理，不支持训练；目前tensorRT已经支持Caffe、caffe2\\tensorflow、mxnet、Pytorch等主流深度学习库；
2.  TensorRT底层针对NVIDIA显卡做了多方面的优化，不仅仅是量化，可以和CUDA CODEC SDK结合使用；
3.  TensorRT独立深度学习框架，通过解析框架文件来实现，不需要额外安装DL库；

**TensorRT加速原理**：

*  TensorRT支持INT8和FP16的计算
 *  TensorRT对于网络结构进行了重构和优化。
    
     *  消除无用输出层以减小计算；（解析网络，消除…）
     *  网络结构的垂直整合；(relu-bias-conv整合为一个层CBR)
     *  网络的水平组合。（将输入为相同张量或者执行相同操作的层融合在一起）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 8]  
第一步和第二部适合用于所有的网络架构，但最后一步，对现有的inception结构加速最为明显。  
所以想要更好的网络推断，可以在网络中加入更好的inception结构，去充分发挥tensorRT的优势。

## 改变网络结构设计为何会实现模型压缩、加速 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 9]

## 组卷积（Group convolution） ##

最早出现在Alenxt，为了解决单显卡显存不够，将网络部署到多显卡上训练。所以组卷积是为了减少单个卷积的参数。  
假设输入特征的维度是H*W*c1

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 10]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 11]  
![在这里插入图片描述][20201119094844369.png_pic_center]

### 深度可分离卷积 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 12]  
depthwise可以有效减少参数数量，并提高计算精度，但是由于每个featchMap只能被一个卷积核卷积，所以经过DW的输出，不能够包含所有特征图的全部信息，所以这些信息不能交流的，导致信息的丢失。而pointwiseconv可以进行信息交流。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 13]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 14]  
运算量较少。

输入输出的channel相同时，MAC最小。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 15]  
减少元素级操作  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 16]

# 深度学习移动端开源框架介绍及部署 #

常用的轻量级网络  
SqueezeNet、MobileNet系列、Xception、shuffleNet系列

现有移动端开源框架以及特点  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 17]

目前，NCNN、QNNPACK

### QNNPACK ###

**3.3 QNNPACK特点**

*  低密度卷积优化函数库；
 *  可在手机上实时运行Mack R-CNN和DensePose；
 *  能在性能受限的移动设备中用100ms以内的时间实施图像分类；

**3.3 QNNPACK如何压缩加速**  
A是输入，B是权重，C是输出。  
B 推理运行期间保持不变，因此可以在没有运行时成本的情况下转换为任意内存布局。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 18]  
**QNNPACK使用与安卓神经网络API兼容的线性量化方案**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 19]  
QNNPACK使用与安卓神经网络API兼容的线性量化方案：输入矩阵来自低精度移动端用的计算模型，其他库在计算A和B相乘的时候，会重新将A和B打包，为何呢？为了更好的利用硬件的缓存存储结构，希望能够在大量的计算当中去分担和打包开销。  
QNNPACK，它删除了计算非继续的类型转换，  
QNNPACK对于面板A和B总是适应L1缓存的移动神经网络进行了优化。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 20]

将中间结果整合到归类核，， 较少了带宽和缓存的占用。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 21]  
高度优化矩阵  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 22]  
当组数等于通道数，该卷积就是深度卷积。

**如何选择适合自己的移动端框架？**

*  分析网络结构
 *  计算硬件GPU支持
 *  分析开源框架支持性能
 *  量化程度
 *  兼容性
 *  是否容易二次开发  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 23]  
    Tensoflow Lite 和MACE  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 24]  
    PacketFlow全球首个自动模型压缩框架  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 25]
 *  通道剪枝（channel pruning）
 *  权重稀疏化（weight sparsification）
 *  权重量化（weight quantization）
 *  网络蒸馏（network distillation）
 *  多GPU训练（muti-GPU training）
 *  超参数优化（hyper-parameter optimization）

**NCNN**

*  NCNN支持卷积神经网络、多分支多输入的复杂网络结构，如vgg、googlenet、resnet、squeezenet等
 *  NCNN无需依赖任务第三方库
 *  NCNN全部使用C/C++实现，以及跨平台的cmake编译系统，可轻松移植到其他系统和设备上。
 *  汇编级优化，计算速度急快。使用ARM Neon指令集实现卷积层，全连接层，池化层等大部分CNN关键层。
 *  精细的数据结构设计，没有采用需消耗大量内存的通常框架--------im2col+矩阵乘法，使得内存占用极低。
 *  支持多核并行计算，优化CPU调度。
 *  整体库体积小于500K，可精简到小于300K.
 *  可扩展的模型设计，支持8bit量化核半精度浮点存储。
 *  支持直接内存引用加载网络模型。
 *  可注册自定义层实现并扩展。

**ncnn在安卓端的部署**  
**选择是个的Android studio版本并安装：**

*  根据需求选择NDK版本并安装。
 *  在Android studio上配置NDK的环境变量
 *  根据自己需要编译NCNN sdk
 *  进行NDK开发  
    1）asset文件夹下放置你的bin和param  
    2）jni文件夹下放置你的cpp和mk文件  
    3）修改你的app gradle文件  
    4）配置Android.mk和Application.mk文件  
    5）进行java接口的编写  
    6）读取拷贝bin和parame文件（有些则时pb文件，根据实际情况）  
    7）进行模型的初始化和执行预测等操作  
    8）build  
    9）cd到src/main/jni目录下，执行ndk-build，生产.so文件  
    10）接着就可以写自己的操作处理需求了

具体请查看：https://github.com/scutan90/DeepLearning-500-questions/ch17\_模型压缩、加速及移动端模型/

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/fc73863e915945d0b82d3754f82ead6a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/b2aaced244d24927bf69748c004275e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221120/2fc91a28d12a423a8ddf2d26c0bf6e26.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221120/2ec519b6f79e42d8a6baaa588b4e9fa6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221120/65bcb88812784c1885e8dbe26fab3aa1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221120/8cb8f24676454ea08b9ef28ca5597545.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221120/f0e0ba661f6a407587cabc0dfc891e63.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221120/8b7d15fba9074de9b040ef19bd628a65.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221120/83471f13ef0945749a97ed6ad0453cc5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221120/bee2d8e2fd764e1a883f081304d25f4a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221120/e2ac5de2818646db94a7674afb40c8a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221120/ff4a67fc20f1479dae49608f8ec3fd18.png
[20201119094844369.png_pic_center]: /images/20221120/b8244c3593fe40f49564cf48c2d0dcfc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221120/35fb7ee9d42245eca2c6500f8e532363.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221120/32161d2ccd594e0c90db4436c3b9a9ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 14]: /images/20221120/cf5a9b30964c4dd5b379162bcb69be84.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 15]: /images/20221120/7a38b395e37545849937b072799dc016.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 16]: /images/20221120/1fdef5580b68444f98f1004cc87e7f73.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 17]: /images/20221120/138ddbf7f46d40c897890edd4d882c80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 18]: /images/20221120/b2190ac5c07d48e7a2372eb6ac3ad956.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 19]: /images/20221120/aaeeec7c5b8d47648905214e9601dc05.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 20]: /images/20221120/ad30197cb3374ce3a39070d4c027d1ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 21]: /images/20221120/6e7107ef2c9e4ea9822bcc6bf177d7d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 22]: /images/20221120/65cdba2978aa42b6866487e48a858caf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 23]: /images/20221120/9adc669fa898488aa71df65db3461ff1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 24]: https://img-blog.csdnimg.cn/20201119131928523.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ_size_16_color_FFFFFF_t_70_pic_center 25]: https://img-blog.csdnimg.cn/20201119132035592.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ=,size_16,color_FFFFFF,t_70#pic_center