2022年11月22日14:00,中国科学院数学与系统科学研究院预测中心研究员,中国科学院管理、决策与信息系统重点实验室副主任张新雨应yl6809永利官网邀请,开展了主题为“Optimal parameter-transfer learning by semiparametric model averaging”的讲座。本次讲座在线上举行,张新雨研究员受到了老师和同学们的热烈欢迎,yl6809永利官网洪圣杰副教授主持讲座,黄乃静副教授参加了讲座。
张新雨,中国科学院数学与系统科学研究院预测中心研究员,中国科学院管理、决策与信息系统重点实验室副主任,目前主要从事计量经济学和统计学的理论和应用研究工作,具体研究方向包括模型平均、机器学习和组合预测等,发表论文70余篇,其中多篇论文发表在统计学四大期刊和计量经济学顶级期刊JoE,曾担任SCI期刊《Journal of Systems Science & Complexity》领域主编、期刊《系统科学与数学》、《数理统计与管理》等的编委,是中国统筹法优选法与经济数学研究会数据科学分会副理事长、系统工程学会青工委副主任委员、国际统计学会当选会员,先后主持自科优秀和杰出青年基金项目,曾获中国青年科技奖。
张新雨研究员指出数据量少和数据孤岛是很多行业面临的问题,所以迁移学习作为一种新方法在人工智能领域受到越来越多的关注。本次讲座内容由以下几部分组成,第一部分简单介绍了迁移学习的背景,第二部分具体讲解了基于半参数模型平均的最优参数迁移学习的过程和步骤,第三部分仔细分析了与该模型相关的理论内容,第四部分对比分析了与该模型相似的用于预测的其他模型的优缺点;第五部分具体举例证实了该模型相比其他预测模型的优势。
首先,张新雨研究员简单介绍迁移学习的背景资料,对比了迁移学习和传统机器学习的不同之处,概括了迁移学习目前涉及的分类,对比了已有的研究文献,提出了此次研究的主要贡献。
其次,张新雨研究员具体讲解了如何基于半参数模型平均的最优参数进行迁移学习,以半参数模型为基础进行建模,采用频率模型平均策略来利用参数信息,在迁移学习设置下半参数可加线性模型进行预测。张新雨研究员进一步提出继承参数转移学习的精神,假设在构建的框架中,不同模型之间的参数组件可以共享现有的公共知识,可能有助于目标预测任务。
之后,张新雨研究员分析了该模型的理论性质,无论是正确估计目标模型还是错误估计目标模型,都有一定的理论保证,具体包括基于样本外预测风险的渐近最优性性质和在某些正则性条件下权重收敛的性质,所以实践中人们不需要额外判断目标模型是否被正确预测。
最后,张新雨研究员对现有的其他估计方法和本文提出的新方法进行了优劣对比,大量的数值结果表明,与其他方法相比,该方法在各种模拟设计下具有优越性,具体包括理论上不会发生负迁移,实践中计算效率高和注重隐私用户的保护;并以北京各区的租房价格为例,具体展示了新方法的稳健性,肯定了该方法的商业价值。
在讲座的过程中,参会老师和同学们积极互动,进行了深入交流,张新雨研究员也认真细致地解答了老师和同学们提出的问题。