这一讲是关于最流行的版本控制(version control system)工具git的介绍。
论文阅读 - Contrastive Representation Distillation
论文阅读 - TResNet High Performance GPU-Dedicated Architecture
作者在摘要中所想的我们在工作中也观察到,尽管最近两年关于CNN网络的设计仍然有各式各样论文出现,比如Mobilenet / ShuffleNet,又或者是NAS搜索的网络结构如EfficientNet等,实际在GPU上使用起来并没有设想的那么high performance(latency / throughput),反而是ResNet系列历久弥新,真正经受住了工业界的考验,仍然是最常用的模型(可以很肯定没有之一),尤其是50,在速度和精度上达到了很好的trade off。
vanilla ResNet50 is usually significantly faster than its recent competitors, of- fering better throughput-accuracy trade-off.
深度学习技术现在早已经走出了学术象牙塔,在工业界广泛铺开。在精度已经没有太多提升空间的现在,网络的计算资源消耗 / latency / QPS等越来越成为大家关注的热点。这篇文章就试图在维持网络high performance的前提,提升网络的精度。这在现实问题中很有意义。
论文 - Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
Google比较早的关于training-aware-quantization的模型量化的paper,不过提供了很多模型量化的基本知识。后面不管是TFLite还是TensorRT,都能在这篇文章中找到对应的基础知识。Arxiv: Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
论文 - DARTS
NAS的文章很多了,这篇介绍DARTS:DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH
MIT Missing Semester - Command-line Environment
这是MIT Missing Semester系列的第五讲,主要关于shell下对于进程(Process)的控制。
TFRecord 简介
TFRecord是TensorFlow中常用的数据打包格式。通过将训练数据或测试数据打包成TFRecord文件,就可以配合TF中相关的DataLoader / Transformer等API实现数据的加载和处理,便于高效地训练和评估模型。
TF官方tutorial:TFRecord and tf.Example
使用 travis 发布博客
我的博客之前是通过手动调用hexo generate
生成public
,并更新到master
分支的。最近试了下使用travis直接发布,发现省事了不少。官方的文档其实还是挺全的,不过也碰到了一些坑,记录在这里。
MIT Missing Semester - Data Wrangling
这是MIT Missing Semester系列的第四讲。关于vim的第三讲跳过。Data Wrangling在这里的意思是对数据做变换(Transformation)。例如将一个MP4格式的视频转换为AVI,或或者是从日志中提取所需要的结构化文本信息。具体到本课,主要是处理文本信息:如何匹配到我们感兴趣的信息,如果构建一个处理的pipeline等。
MIT Missing Semester - Shell
工欲善其事,必先利其器。MIT Missing Semester就是这样一门课。在这门课中,不会讲到多少理论知识,也不会告诉你如何写代码,而是会向你介绍诸如shell,git等常用工具的使用。这些工具其实自己在学习工作中或多或少都有接触,不过还是有一些点是漏掉的。所以,一起来和MIT的这些牛人们重新熟悉下这些工具吧!
这篇博客,包括后续的几篇,是我个人在过课程lecture的时候随手记下的自己之前不太清楚的点,可能并不适合阅读到这篇文章的你。如果有时间,还是建议去课程网站上自己过一遍。
这里我跳过了第一节课,直接从bash shell开始。