紧跟近些年的趋势，2020年深度学习依然是发展最快的领域之一，直奔未来工作。其发展是多方面的，而且是多方位的。以下是对今年发展中一些突出亮点的梳理与盘点。

2020年1月

OpenAI宣布将PyTorch作为其标准的深度学习框架

AI研究组织OpenAI宣布PyTorch为其新的标准深度学习框架。PyTorch将提高其在GPU上的大规模研究生产率。在PyTorch的支持下，OpenAI将其生成式建模迭代时间从几周缩短到几天。

2020年3月

(1) Megvii 开源深度学习AI框架

中国的初创公司Megvii Technology表示，将把其深度学习框架开源。MegEngine是Megvii专有AI平台Brain++的一部分。它可以在广泛的范围内训练计算机视觉，并帮助世界各地的开发人员构建商业和工业用途的AI解决方案。

(2) Keras 2.4.0发布

新版本清除了关于tf.keras和独立的Keras包之间的不兼容和差异的困惑。现在，一个单一的Keras模型--tf.keras--已经投入使用。

(3) 华为技术有限公司开源 "Mindspore

华为技术公司开源了MindSpore，这是一个面向移动、边缘和云场景的深度学习训练框架。该框架是轻量级的，正在给TensorFlow和PyTorch带来激烈的竞争。

它可以跨设备扩展，并且在自然语言处理(NLP)等功能上使用的代码减少了20%。它还支持并行训练，节省不同硬件的训练时间，并维护和保存敏感数据。

MindSpore本身并不处理任何数据，而是只摄取预处理后的模型和梯度信息，保持模型的鲁棒性。

2020年4月

IBM公司的CogMol加速了COVID-19的治疗开发

IBM的深度学习框架CogMol将帮助研究人员加速治愈COVID-19等传染病。新框架将解决当前 "生成式人工智能模型以创建新型肽、蛋白质、候选药物和材料 "中的挑战。

2020年6月

(1) ABBYY开源NeoML，深度学习和算法的框架

ABBYY，宣布推出NeoML。它是一个用于构建、训练和部署ML模型的开源库。NeoML是一个跨平台的框架。它针对在云端、桌面和移动设备上运行的应用进行了优化，并支持深度学习和机器学习算法。

ABBYY的工程师使用它来完成计算机视觉和NLP任务。这些任务包括图像预处理、分类、OCR、文档布局分析以及从文档中提取数据，这些文档可以是结构化的，也可以是非结构化的。

"NeoML为运行在任何设备上的预训练图像处理模型提供了15-20%的性能。" 该库被设计为处理和分析多格式数据(视频、图像等)的综合工具。

(2) FINDER发布

网络科学家多年来一直在努力解决一个重要问题。他们一直在试图确定最影响网络功能的关键角色或一组最佳节点。

今年6月，中国国防科技大学、加州大学洛杉矶分校(UCLA)和哈佛医学院(HMS)的研究人员发表了一个名为FINDER(Finding key players in Networks through Deep Reinforcement learning)的深度强化学习(DRL)框架。它在一小套合成网络上进行训练，然后应用于真实世界的场景。该框架可以识别复杂网络中的关键角色。它发表在《自然机器智能》的一篇论文中。

2020年8月

(1) scikit-learn发布了0.23版本

新版本包括一些新的主要功能，并修复了上一个版本中的bug。其主要功能包括：广义线性模型，以及梯度提升的泊松损失;丰富的估计器的可视化表示;对KMeans的可扩展性和稳定性的改进;对基于直方图的梯度提升估计器的改进;对Lasso和ElasticNet的样本权重支持。

2020年9月

亚马逊出版《深度学习分析》《Dive into Deep Learning》一书

亚马逊团队在书中加入了关键的编程框架。这本书--Dive into Deep Learning--是通过Jupyter笔记本起草的，整合了数学、文本和可运行代码。它是一个完全开源的实时文档，可触发更新为HTML、PDF和笔记本版本。

虽然这本书最初是为MXNeT编写的，但其作者也将PyTorch和TensorFlow加入其中。

对于对深度学习感兴趣的学生、开发者和科学家来说，亚马逊的这本书是一个很好的开源资源。

2020年10月

(1) 《自然机器智能》杂志发表了一个突破性的模型

今年10月，来自维也纳理工大学(TU Wien)、奥地利IST和美国麻省理工学院(MIT)的一个国际研究团队公布了一个新的人工智能系统。这个新时代的人工智能系统建立在线虫等微小动物的大脑上，只需几个人工神经元就能控制车辆。

与以往的深度学习模型相比，该方案具有显著的优势。远离了臭名昭著的 "黑盒子"，它可以处理嘈杂的输入，并且简单易懂。该模型发表在《自然机器智能》上。

(2) MIScnn 发布

MIScnn是一个开源的Python框架，用于卷积神经网络和深度学习的医学图像分割。

它拥有直观的API，只需几行代码就能快速设置医学图像分割管道。MIScnn还具有数据I/O、预处理;贴片式分析;数据增强;度量;具有最先进的深度学习模型和模型利用的库;以及自动评估。

(3) TensorFlow 2.3发布

tf.data解决了输入管道瓶颈，提高了资源利用率。对于高级用户来说，它的训练速度有所提高。tf.data允许用户在不同的训练运行中重复使用输出，从而释放出额外的CPU时间。

TF Profiler增加了一个内存剖析器来可视化模型的内存使用情况，以及一个Python追踪器来追踪模型中的Python函数调用。它还提供了对新的 Keras 预处理层 API 的实验性支持。

(4) PyTorch 1.7.0 发布

它包括许多新的API，包括 "支持NumPy兼容的FFT操作、剖析工具，以及对分布式数据并行(DDP)和基于远程过程调用(RPC)的分布式训练的重大更新。"

11月及以后

随着2020年进入最后一圈，我们期待更多令人印象深刻的新进展出现。

马克-库班曾说说。"人工智能、深度学习、机器学习--不管你在做什么，如果你不懂的话，就学赶紧学起来吧。因为否则你的知识将在3年内成为老古董。"

为深入研究深度学习干杯!