ai人工智能培训讲师计算机视觉讲师叶梓：计算机视觉领域的自监督学习模型——MAE-8
2022-05-20 09:25:39
标签： ai讲师 计算机视觉 计算机视觉讲师 人工智能讲师 人工智能应用
接上一篇
P17-P18
BEiT
n让 BEIT 看很多的图片，随机遮住一些 patches，让 BEIT
模型预测遮住的patches是什么
n不断计算预测的 patches 与真实的 patches 之间的差异，利用它作为 loss
进行反向传播更新参数，来达到 Self-Supervised Learning 的效果。
编辑
视觉和语言用的masked
autoencoder区别
n架构差异：CNN天然适合图像领域，而应用Transformer却显得不那么自然，不过这个问题已经被ViT解决了。
n信息密度差异：人类的语言信息密集、博大精深，而图像不一样，它就那么多信息。所以预测的时候，预测patch要比预测词语容易很多，只需要对周边的patch稍微有些信息就够了。所以我们可以放心大胆地mask。
n自编码器的解码器（将潜在表征映射回输入）在文本和图像重建任务中起着不同的作用。在CV任务中，解码器重建的是像素，因此其输出的语义水平低于一般的识别任务。
未完，下一篇继续……
ai人工智能培训讲师计算机视觉讲师叶梓：计算机视觉领域的自监督学习模型——MAE-8
接上一篇
P17-P18
BEiT
n让 BEIT 看很多的图片，随机遮住一些 patches，让 BEIT 模型预测遮住的patches是什么
n不断计算预测的 patches 与真实的 patches 之间的差异，利用它作为 loss 进行反向传播更新参数，来达到 Self-Supervised Learning 的效果。
编辑
视觉和语言用的masked autoencoder区别
n架构差异：CNN天然适合图像领域，而应用Transformer却显得不那么自然，不过这个问题已经被ViT解决了。
n信息密度差异：人类的语言信息密集、博大精深，而图像不一样，它就那么多信息。所以预测的时候，预测patch要比预测词语容易很多，只需要对周边的patch稍微有些信息就够了。所以我们可以放心大胆地mask。
n自编码器的解码器（将潜在表征映射回输入）在文本和图像重建任务中起着不同的作用。在CV任务中，解码器重建的是像素，因此其输出的语义水平低于一般的识别任务。
未完，下一篇继续……