卷积神经网络算法改进思维导图

研究表明，在稀疏信号处理中，使用低相干字典可以获得更精确的信号恢复。在这封信中，作者将低相干属性扩展到卷积神经网络的接受域。提出了一种新的训练低相干卷积神经网络的约束公式，并提出了一种有效的训练算法。由此产生的公式通过训练过程在层的接受域之间产生直接联系，该过程可用于从后续层中提取更多信息表示。在三个基准数据集上的仿真结果证实了所提出的低相干卷积神经网络相对于无约束版本的优越性。

cnn经过训练后，对卷积层和全连接层的接受域呈现出较高的MC。在这篇论文中，我们提出了一种新的算法来对CNN任意层的MC施加约束。通过约束第l层接收野的l2范数，我们用l_1范数表示了该层的MC。基于此公式，我们引入了一种新方法，将第1层的MC限制为预定义值m0和给出了一种求解结果问题的有效算法。仿真结果表明，该算法可以有效地抑制MC，提高网络精度。

在这项工作中，我们使用了一种著名的卷积神经网络结构，采用小卷积滤波器和深层来区分不同品种的猫，该网络达到了很高的准确率。更重要的是，这项工作探索了神经网络依赖于哪些证据来识别稍微不同的物体。为了使我们的网络更容易理解，我们进行了可视化，包括每个过滤器最想看到的图像、卷积层的输出图像和热图。通过分析这些结果，我们将特殊情况推广到一般情况，并解释了卷积神经网络用于特征识别的方法。最后，我们讨论了人类和卷积神经网络看待世界的相似之处。

在我们的工作中，我们首先验证了VGG网络的准确性。VGG在较短的训练时间内实现了90%以上的准确率。其次，我们将网络可视化，并分析了几个关键参数，特别是滤波器。我们解释了我们的网络从训练中学到了什么。然后，我们从特殊情况到说明CNN网络的学习过程是由浅到深的。第三，我们比较了人类记忆和cnn记忆的异同，得出了我们认为人类和cnn有共同之处的想法。最后，我们对我们的CNN在未来提出了一些有意义的改进.

卷积神经网络作为一种性能优异的算法，在图像处理领域得到了广泛的应用，并依靠自身的局部接受场、权值共享、池化和稀疏连接取得了良好的效果。为了提高卷积神经网络算法的收敛速度和识别精度，本文提出了一种新的卷积神经网络算法。首先，在卷积神经网络中引入递归神经网络，利用卷积神经网络和递归神经网络并行学习图像的深度特征;其次，根据ResNet的跳跃卷积层思想，构造了一个新的残差模块ShortCut3-ResNet。然后，建立了对偶优化模型，实现了卷积和全连接过程的集成优化。最后，通过仿真实验分析了卷积神经网络各参数对网络性能的影响，最终确定了卷积神经网络的最优网络参数。实验结果表明，本文提出的卷积神经网络算法能够学习图像的多种特征，提高了卷积神经网络特征提取的准确性和图像识别能力。

为了提高卷积神经网络对二维图像的分类识别能力，加快算法的收敛速度，本文提出了一种新的卷积网络算法。首先，在卷积神经网络中引入递归神经网络，利用卷积神经网络和递归神经网络并行学习图像的深度特征;我们不仅可以使用卷积神经网络学习高级特征，还可以使用递归神经网络学习低级特征的组合特征。其次，根据ResNet的跳过卷积层的思想，构造了一个新的残差模块ShortCut3-ResNet。最后，对卷积层和全连接过程进行了优化。实验表明，所提出的卷积神经网络算法可以提高卷积神经网络的特征提取精度和图像识别能力。

卷积神经网络作为一种基本的特征提取方法，在处理序列问题时存在一些信息丢失的问题，而时序卷积网络可以弥补这一问题。然而，普通的时间卷积网络由于其单向分析，不能很好地处理蛋白质二级结构的预测。因此，我们提出了一个集成的深度学习模型，称为卷积-双向时间卷积网络。基于卷积神经网络和双向时间卷积网络的3态和8态蛋白质二级结构预测。该模型结合了卷积神经网络和双向时间卷积网络的优点，既能捕获氨基酸序列的局部相关性，又能分析氨基酸序列的远距离相互作用。因此，该模型可以有效提高蛋白质二级结构预测的准确性。实验结果表明，将卷积神经网络与双向时间卷积网络相结合用于蛋白质二级结构预测是有效的。

为了分析蛋白质序列中氨基酸之间的局部和全局相互作用，我们首次提出了基于CNN和双向TCN的人工神经网络C-BITCN，并将其应用于蛋白质二级结构预测。从实验结果可以看出，与CNN和双向TCN相比，C-BITCN的准确率明显提高，说明C-BITCN确实是有效的。结果表明，C-BITCN在预测pss方面优于其他方法。

在我们的实验中，我们使用去除重复蛋白后的culpdb作为训练集，CASP10、CASP11、CASP12、CASP13、CASP14和CB513作为测试集，取得了比其他方法更好的PSSP结果。虽然利用CNN和LSTM结合预测蛋白质二级结构的方法很多，但利用CNN和双向TCN预测蛋白质二级结构的方法很少。C-BITCN可以从CNN中提取局部特征，分析氨基酸序列之间的相互作用和联系，从而取得较好的效果。

通过双向TCN确定氨基酸类型，预测位置两侧的氨基酸，并分析大长度蛋白质序列中氨基酸的相互作用。对二级结构预测影响较大的两个因素是提取氨基酸链的局部特征和观察蛋白质序列中氨基酸的相互作用。CBITCN同时具备这两个特点;因此，它比其他方法取得了更好的效果。

由于该模型采用最大池化，氨基酸突变或信息误差会影响预测结果。我们将继续优化模型，并在未来在更多的数据集上进行测试。

本文给出了形态神经网络通过几何对应的反向传播的定义。此外，膨胀层通过侵蚀层输入和输出来学习探针几何形状。提供了一个原理证明，其中形态学网络的预测和收敛明显优于卷积网络。

本文提出了形态反向传播的几何定义，它不依赖于形态操作的线性近似，而是依赖于坡度对应的几何来源。其次，基于形态学的自然边界特性，提出了形态学探测学习方法。

图7所示。(左上)输入原始深度;(右上)地面真值填充深度;(左下)CNN (ii)预测;(右下)MNN (ii)预测。mnn可以处理稀疏数据。结构元素的大小决定了每一层有多少缺失数据被填充。

两个实验(SPM表面重建和NYU深度填充)证实了形态学性质的问题可以用比cnn小得多的MMNs精确地解决，并与专用解决方案竞争。在这两个实验中，即使引入了更多的参数，cnn也不能近似真实。在SPM数据的情况下，mnn的收敛速度也比线性的快几个数量级。

到目前为止，只研究了相对简单的单通道网络。在未来的研究中，提出的更新规则(形态反向传播和探针学习)或两者的组合可以在更大的形态网络中发挥更大的作用。然后，他们应该考虑到后续层的形态操作的组成。此外，形态学更新规则应适应对噪声不太敏感的特点。总之，当数据可以合理地建模为探测触摸的结果(例如，来自SPM或LiDAR的触觉数据)时，强烈建议在构建网络架构时使用形态学操作。

本文建立并描述了一种类似lenet -5结构的卷积神经网络保护方法。通过在正向传播算法中分层增加保护锁模块，得到受保护的卷积神经网络，使未经授权的用户无法使用类似lenet -5结构的受保护卷积神经网络。实验结果表明，在第一层和中间层增加防护锁模块，防护效果最好。

授权用户在增加解锁模块后，可以使用类似lenet -5结构的受保护卷积神经网络。增加保护锁模块和解锁模块不影响未锁定卷积神经网络的精度。增加保护锁模块，在Lenet-5-like结构的卷积神经网络上实现保护。

表1总结了我们在MNIST上的结果。为了保护Lenet-5-like结构的卷积神经网络，我们使用了保护锁模块。采用在C3层、C1&C3层、C1&C5层和C1&C3& c5层增加保护锁模块的方法，已发表的最佳结果为90.26%。在保护CNN的feature map和bias中加入解锁模块后。

数据证明增加保护锁模块可以实现对lenet -5类结构CNN的保护。未经授权的用户不能使用受保护的卷积神经网络。

最后，授权用户在增加解锁模块后，可以使用类似lenet -5结构的受保护卷积神经网络。

预测精度与标准CNN相当