报告时间:2024年06月21日(星期五)14:30-16:30
报告地点:管理学院新大楼925会议室
报告人:王杨教授
工作单位:合肥工业大学
举办单位:合肥工业大学管理学院
报告简介:
近年来,基于数据安全与隐私问题,无数据场景下的知识蒸馏方法获得了越来越多的关注。然而,现有方法侧重于恢复原始数据,忽略了生成样本对于学生模型的适应性,在涉及老师-学生网络模型存在较大差异的情况下,仍然面临着诸多挑战。在本次报告中,我们首先通过以下几个问题介绍关于知识蒸馏的差异性研究:老师学生模型差异性为什么以及什么时候会影响学生的性能?如何衡量老师学生间的差异性?然后,我们立足无数据量化任务,通过泛化误差分析,深入研究孤立学生模型所导致的欠拟合、过拟合问题。围绕生成样本的适应性,首次提出零和博弈观点进而分析无数据量化,解决了模型差异性问题,同时为生成样本构建上下边界,通过边缘优化,在无数据蒸馏过程中实现理想样本的生成。
报告人简介:
王杨,合肥工业大计算机与信息学院教授,斛兵学者,博士生导师。入选中组部国家高层次人才特殊支持计划(国家万人计划)青年拔尖人才,安徽省高层次人才计划,安徽省领军人才。主持国家自然科学基金联合基金重点项目,面上项目等。担任ACM Transactions on Information systems(ACM TOIS, CCF Rank A)副编。在人工智能,模式识别和多媒体计算领域发表论文100篇,其中CCF A类论文50篇,ESI高被引论文8篇,发表源包括IEEE TPAMI, AI Journal (Elsevier), IJCV, IEEE TIP, CVPR, KDD, ECCV, SIGIR, AAAI, IJCAI, ACM Multimedia, ACM TOIS, ACM TKDD, IEEE TKDE, Machine Learning (Springer), VLDB Journal, Science China Information Sciences (中国科学:信息科学)。两篇论文入选IJCAI最有影响力论文之一,连续入选斯坦福大学人工智能与图像处理领域Top 2%科学家。担任国家自然科学基金委员会海外优青,面上项目,地区基金项目评审专家。谷歌学术引用6000+,H-因子38。