首页 > 讲座报告 > 正文

【电信学院】学术讲座:张民《序列生成模型中的随机性和基于笔画的Chinese NLP》

新闻来源: 点击数: 更新时间:2022-10-31


报告题目

序列生成模型中的随机性和基于笔画的Chinese NLP

报 告 人

张民,博士,哈尔滨工业大学(深圳)教授,国家杰出青年基金获得者,国家百千万人才。

报告时间

2022年11月5日上午10:40

报告地点

香溢大酒店

报告内容简介:

基于Transformer的序列生成模型的随机性类型可概括为两类:(1)模型优化所涉及的多粒度辅助随机性,如数据(word-drop)、神经元(dropout)、网络结构(layer-drop)等随机性;(2)(条件)语言模型建模所基于的随机性,如随机掩码语言模型目标(MLM/CMLM)。针对以上两类随机性,本次报告介绍如何设计简单且高效的约束策略,包括模型输出空间的约束方法(R-Drop)和二次自适应掩码策略。相关方法已经在自回归(AT)和非自回归(NAT)两类主流生成范式、多个代表性序列生成任务和数十个数据集上取得显著效果提升,部分成果成功应用于产业界。

报告人简介:

张民,博士,哈尔滨工业大学(深圳)教授,特聘校长助理,计算与智能研究院院长。国家杰出青年基金获得者,国家“百千万”人才,国家有突出贡献中青年专家,鹏城孔雀计划A类人才,江苏省双创人才和双创团队首席科学家。长期从事自然语言处理、机器翻译和人工智能研究。发表论文200余篇,专著2部,英文论著(论文集)16本,部级科技进步奖4项,会议最佳论文3篇。享受国务院政府特殊津贴。

承办单位

电信学院

发布日期

2022年10月27日

欢迎广大教师、学生参加

用户反馈 版权所有?台州学院   邮编:318000  

浙ICP备05014578号-1

浙公网安备 33100202001351号

地址:浙江省台州市市府大道1139号

党(校)办传真:0576-88661988     

邮箱:tzu@tzc.edu.cn  

本科招生热线:0576-88669696, 0576-85137102

研究生招生热线:0576-88660956

文明上网

注意保密


电脑版