思前想后，最后还是回归到Pytorch这个框架。不得不说，比起MXNet，PyTorch的确是要灵活不少。 以前是自己半桶水，没有很好地领会到它的精髓之处。当然，现在也没有，d=====(￣▽￣*)b

一些模板代码(dirty)

相信大家都是选择使用远程控制内部网的一台机子，来实现这个功能的。但是我想对这种方式并不是特别满意，尤其是当我只是需要使用服务器的资源，至于其他的东西，我本地的机子都可以满足。因此，我一直都很渴望能够使用relay的方式来实现访问。 以下将要介绍如何使用teamviewer + ccproxy + proxifier来实现这个想法，所以，也多谢这几个软件，使得我无需直面真正的技术难题，功劳应当是它们的。

mxnet最近几个月（2017/09起）都由沐神在大力主推，除了在知乎 大力宣传和建立技术讨论社区外，更是亲自上阵，录制中文教程视频。当然咯，mxnet的中文深度学习教程也比以前友好很多,其中最为欣赏是每个小章节大多都会留有一两道思考题，这比起其他的tutorials来说，更加灵活和具有启发性，相比之下，其他tutorials很容易给新手带来一种“按部就班地学习”的感受，这对于我这种ADHD患者而言，很快就会感到枯燥。

之前对torch.nn中已经封装成类的层，却在nn.functional中又提供以函数的形式进行调用的接口，感到十分不解。后来看了源码后才明白Pytorch如此设计的精妙之处。

Pytorch

这个框架确实用起来非常好用，有很多东西都封装好了。 以下是近来用到的几种方法和API。

旧终端的操作

在username.github.io仓库中，目前默认的分支是master,用来存放静态文件。我们新建一个分支hexo,并设为默认分支，用来存放环境文件。

阅读全文 »

轻量化/紧凑的模型结构设计

相比于在已经训练好的模型上进行处理，轻量化模型模型设计则是另辟蹊径。轻量化模型设计主要思想在于设计更高效的「网络计算方式」（主要针对卷积方式），从而使网络参数减少的同时，不损失网络性能。

参数量化

所谓“量化”，指的是降低表达权值所需要的位数。本质是将多个权值映射到同一个数值，从而实现权值共享，降低存储开销。

低秩近似

在实际的计算过程中，卷积操作是通过im2col转变成矩阵相乘来完成的。因此权重矩阵往往稠密而巨大，从而带来计算和存储上的巨大开销。

剪枝&稀疏约束

剪枝作为一种经典技术，已经被广泛运用到各种算法的后处理中。通过剪枝,在减少模型复杂度的同时，还能有效防止过拟合，提高泛化性。