丁霄汉：直播 | 丁霄汉：结构重参数化与通用视觉模型的基本设计元素

本期为青源LIVE第34期线上直播活动，参与直播互动讨论有惊喜🎁！

结构重参数化（structural re-parameterization）指的是首先构造一系列结构（一般用于训练），并将其参数等价转换为另一组参数（一般用于推理），从而将这一系列结构等价转换为另一系列结构。

丁霄汉博士认为在现实场景中，训练资源一般是相对丰富的，我们更在意推理时的开销和性能，因此我们想要训练时的结构较大，具备好的某种性质（更高的精度或其他有用的性质，如稀疏性），转换得到的推理时结构较小且保留这种性质（相同的精度或其他有用的性质）。换句话说，“结构重参数化”这个词的本意就是：用一个结构的一组参数转换为另一组参数，并用转换得到的参数来参数化（parameterize）另一个结构。

本期青源LIVE邀请了丁霄汉博士做题为《结构重参数化与通用视觉模型的基本设计元素》的报告。

主讲人：丁霄汉是清华大学博士生，师从丁贵广副教授，研究领域为神经网络通用模型、基本工具、基础理论。在CVPR/ICCV/ICML/NeurIPS等会议发表过一系列关于模型设计、优化、压缩、加速的论文，建立了一个称为结构重参数化的技术流派和体系。其中，在旷视研究院实习期间的代表作RepVGG已获得约2100 GitHub stars。

主题：结构重参数化与通用视觉模型的基本设计元素

时间：2021年12月8日（周三）19：00~20：00

形式：线上

入会方式：

腾讯会议-ID：294-586-520

直播地址一：

https://event.baai.ac.cn/activities/210

B站直播：

http://live.bilibili.com/21484823

报告简介:

结构重参数化是一种通用方法论，可以用于涉及神经网络的多个领域、不同模型、各种设计元素。这一方法论的核心是通过模型参数的等价转换实现模型结构的等价转化，从而为模型注入我们需要的某种性质或达到某种目的。其成功的应用包括：

1. RepVGG：重参数化与极简架构设计

2. ACNet，DBB：重参数化与增强卷积组件

3. ResRep：重参数化与无损宽度优化（通道剪枝）

论文链接：

RepVGG：arxiv.org/abs/2101.0369

ACNet：arxiv.org/abs/1908.0393

ResRep：arxiv.org/abs/2007.0326

代码链接：github.com/DingXiaoH

扫描下方二维码报名参加活动

欢迎加入智源社区「计算机视觉」交流群

参与互动获取奖品

方式一：直播互动

在腾讯会议LIVE直播间提问参与互动，我们会从参与腾讯会议直播互动的用户中随机抽取幸运观众，送出我们的精美AI书籍（名额有限）。

方式二：留言互动

关注智源社区公众号，在公众号后台留言推荐下一期live嘉宾，推荐的嘉宾被选中后我们会赠送给您智源社区纪念品。（嘉宾推荐模板：姓名+研究方向+当前工作重点）