DEPARA: Deep Attribution Graph for Deep Knowledge Transferability（cvpr2020 oral）

1. probe data：无标注的目标数据
2. Nodes：每一个data的attribution
3. attribution计算=Gradient*Input，

   
4. Edges：每两个点之间的cosine similarity
5. 这样对于每一个任务都能有一个Graph，由此计算任务之间的相似性：

   
6. 由于F是来自于不同模型、不同layer，所以也能计算选择哪一层作为迁移

 

Steering Self-Supervised Feature Learning Beyond Local Pixel Statistics

出发点：discriminate global image statistics.

亮点：

1. local statistics are largely unchanged, while global statistics are clearly altered
2. 最后的loss function中以inpainter为主，自监督训练和classifier不冲突：

   
   1. 这样做有以下好处：
   2. A separate tuning of training parameters is possible, 2) GAN tricks can be applied without affecting the classififier C, 3) GAN training can be stable even when the classififier wins

自监督方法框架：通过一个边框复原的方法复原的图像和原图差异是非常大的

其中的classifier模块：

 

Self-supervised Learning of Interpretable Keypoints from Unlabelled Videos

亮点：无监督关键点识别

方法：利用一个和目标数据集无关的其他参考pose，去拟合一个分布

 

Distilling Cross-Task Knowledge via Relationship Matching

问题：目前的蒸馏方法its dependence on the instance-label relationship restricts both teacher and student to the same label space.

通用蒸馏方法：

方法：emphasize the instance-instance relationship to bridge the knowledge transfer across different tasks

1. 使用triplet，将T、S的特征层迁移过去。xi,xj,xk代表一组triple，P代表T和S各自产生的度量空间
2. 迁移分类层：在每一个mini-batch中，让student的序号label1靠近Teacher的序号label1

 

Revisiting Knowledge Distillation via Label Smoothing Regularization

问题：对于传统知识蒸馏的探讨（大Teacher训练小Student）

发现：

1. 小模型同样能促进大模型学习（Reversed KD ）
2. poorly-trained teacher models with worse performance can also boost students.（Defective KD ）
3. Knowledge distillation is a learned label smoothing regularization（LSR） 

Unsupervised Domain Adaptation via Structurally Regularized Deep Clustering