置顶：关于2022年考研招生
同学们，大家好！关于2022年研招，请联系研招助理学长芦同学（微信账号：Problems-solveR 电子邮件： 550143906@qq.com）加油！
科研题目
次世代极致互动体验技术
科研背景
虚拟现实与人工智能同为新一代关键共性技术，对加速我国产业转型、催生新的经济增长点具有重要意义。
习近平总书记在致2019年世界VR产业大会的贺信中指出，新一轮科技革命和产业变革正在蓬勃发展，虚拟现实技
术逐步走向成熟，拓展了人类感知能力，改变了产品形态和服务模式。中国正致力于实现高质量发展，
推动新技术、新产品、新业态、新模式在各领域广泛应用。
虚拟现实与人工智能同为新一代关键共性技术，对加速我国产业转型、催生新的经济增长点具有重要意义。
新一轮科技革命和产业变革正在蓬勃发展，人工智能赋能虚拟现实技术，使之趋于成熟，必将发挥着拓展人类感知能力。
具体地，人工智能拓展了虚拟现实的内容设计与生产的智能化；人工智能增强了虚拟对象的智能化；人工智能拓展了
虚拟现实人机交互的智能化。从而，改变了智能虚拟现实产品形态和服务模式的作用。
人工智能与虚拟现实融合中的人机混合智能问题研究：虚拟现实与人工智能同为新一代关键共性技术，
对加速我国产业转型、催生新的经济增长点具有重要意义。习近平总书记在致世界VR产业大会的贺信中指出，
新一轮科技革命和产业变革正在蓬勃发展，虚拟现实技术逐步走向成熟，拓展了人类感知能力，改变了产品
形态和服务模式。在核心技术层面，智能虚拟现实核心引擎作为虚拟现实应用开发平台，起到了不可替代的作用。
研究智能虚拟现实引擎中的内容自动建模、虚拟对象行为与决策、虚拟现实感知交互成为了提升虚拟现实引
擎的智能化及自动化水平的关键，决定了建模效率与内容生产力水平。人工智能与虚拟现实技术的融合发展
将开辟新一代信息技术产业新的增长源泉。将在医学、教育、制造、文旅、住房、交通等领域的产业化应用
，以创新的技术、产品、解决方案，为产业结构转型和产业升级换代贡献力量。
虚拟现实与人工智能同为新一代关键共性技术，对加速我国产业转型、催生新的经济增长点具有重要意义。
解决人工智能与虚拟现实结合中的中面临的诸多人机混合智能核心问题，能够提升智能虚拟现实引擎技术将
大大提高虚拟现实的内容质量，提高虚拟现实内容生产效率，改善虚拟现实应用与用户交互的智能化水平。
电子科技大学在电子信息领域科研特色突出，尤其是在可穿戴A/VR交互与人机功效技术、基于网络的大规
模多人协同A\VR互动体验技术、基于跨媒体大数据的A/VR内容智能建模技术方面重点研究。研制满足数字
孪生中，现实与虚拟世界无缝连接、人机双向协同的智能虚拟现实引擎，重点服务教育、工业、文化等应
用领域。
人工智能和虚拟现实有着天然的联系，已经呈现出你中有我、我中有你的趋势。人工智能对虚拟现实的
赋能作用体现在三个方面：一是虚拟对象智能化，虚拟人和人的智能行为将更多地出现在各种虚拟环境和
虚拟现实应用中；二是交互方式智能化，智能交互将综合视觉、听觉、嗅觉等感知通道，带来全新的交互
体验，让虚拟现实真正“化虚为实”；三是虚拟现实内容研发与生产智能化，人工智能将提升虚拟现实制作
工具、开发平台的智能化及自动化水平，提升建模效率，提升VR内容生产力。两种技术的融合发展将开辟
新一代信息技术产业新的增长源泉。
创新创业企业是发展人工智能、虚拟现实等新兴技术的重要推动者，他们锐意创新，敢闯敢干，是产业发
展的新生力量和未来主力。希望这些创新创业企业主攻关键技术、坚持需求导向、积极培育创新产品和服务，
加强虚拟现实、人工智能在医学、教育、制造、文旅、住房、交通等领域的产业化应用，以创新的技术、
产品、解决方案，为产业结构转型和产业升级换代贡献力量。
当前人工智能发展迅猛，正成为新产业、新业态、新模式的孵化器和助推器。混合增强智能就是将人
的作用或人的认知模型引入到人工智能系统中，形成人机协同的混合增强智能。混合增强智能被国务院印
发的《新一代人工智能发展规划》明确列为五大发展方向之一。其最大特点是将人机协同充分地考虑到智
能系统整体优化当中。这对于服务工业可视化、虚拟现实及互动娱乐的交互多媒体引擎技术将带来革命性
的发展。电子科技大学，极致互动体验课题组（eXtreme interactive experience Lab, XIE Lab）
主要研究此类面向交互多媒体引擎的混合增强智能理论及算法。
科研着眼于交互多媒体引擎（虚拟现实和工业可视化引擎等）中面临的诸多人机混合智能核心问题。
重点围绕智能3D建模中数字内容的生成、轻量化、网络协同跨平台技术；智能感知、表达与情景理解等感
知力增强技术；行为建模中的环境、任务与决策的机器学习方法、人在回路的激励机制、行为与决策评价
方法等技术。在教育、工业、文化等典型应用领域，研制满足数字孪生中，现实与虚拟世界无缝连接、
人机双向协同的人工智能平台。进而，打通“物理世界”-> “强化学习”-> “辅助决策”。
研究领域
- 机器学习
- 计算机图形学
- 人机交互与普适计算
- 软件工程管理与运营
研究内容
探索在虚实融合空间中的用户体验的极限。包括宏观和微观两方面。（1）宏观探索更多的可能性。
（2）微观方向，探索更高的时空（时间与空间）的精度提升。具体地，围绕智能交互引擎背景，
从四个方面进行研究。
- 动态行为智能技术。 面向开放世界中，针对人类操控与行为的学徒学习与强化学习方法研究。
该类问题的解决有赖于人工智能技术和人脑科学的发展。
随着VR应用领域的不断扩展，虚拟人(或计算机生成的人)
操纵实体(如飞机、车辆等) 成为VR系统的重要组成部分，这些智能体的行为使得VR
系统所具有的3I (immersion， interaction， imagination) 特征向4I发展，
即VR系统将具有更多的智能(intelligence) 特征。该类问题的解决有赖于人工智能技术
和人脑科学的发展。由此可见，实时地对我们所处的三维世界进行理解，识别出场景中物体和人，
推断物体和人之间的空间关系与约束，以及人的动作，是增强现实和机器人应用场景中的核心技术。
在计算机视觉领域，由于大量标注数据的出现和深度学习技术的发展，图像和视频的理解与分析工作取得
了飞速的发展。但是，三维世界的理解和分析工作仍旧处于起始阶段。一方面，三维内容由于获取困难，
可使用的标注数据少，数据噪声大。另一方面，三维数据表达多样、维度更高。这些特点也对三维世界
的分析理解算法的实时性、鲁棒性提出了更大的挑战。如何研发适合三维内容的通用表达和机器学习算法，
结合已有的图片和视频信息进行
三维世界的理解和分析也是这一领域未来研究的重点。
- 静态智能建模技术。虽然已有的图形学算法和系统可以让艺术家创作出具有高度真实感的
虚拟环境和栩栩如生的人物及其动态，这一过程仍然需要大量时间、专业技巧以及昂贵复杂的设备。发展
高效高质量的
三维内容生成算法和创作系统是图形学研究中一个永恒的任务，也是虚拟现实、数字化孪生
以及新一代的混合媒体等应用场景得以实现的关键技术。为了实现这个目标，我们需要在以下三个方面的
研究取得突破：一是研发新一代的捕捉硬件系统和算法，使得普通用户越来越容易从真实世界中快速地捕
捉所需要的三维内容；二是利用三维内容属性的本征属性，从用户的少量输入如草图、照片、视频中构
建符合用户需求的三维内容；三是利用机器学习技术，如对抗神经网络（GAN），直接从已有的大
量数据中生成新的三维内容。
从面向VR的结合角度,目前VR内容制作生产力低下，原因一是VR 建模、绘制、
修补等生产环节的工具和开发平台自动化、智能化程度低， 二是VR 硬件不兼容，
均采用各自的软件开发工具包(software development kit， SDK)。提高3D建模
(几何、图像、扫描等) 的效率和空洞修补的自动化水平等是需要进一步研究的内容，
研发标准应用程序接口和通用软件包是提高共享和研发效率的必然途径。因此，我们
着力研究面向未来的VR内容的智能化生产技术与通用软件开发工具。
- 感知交互软硬件一体化技术。交互的柔韧感与新型自然交互人与虚拟对象之间
的力/触觉逼真感知的方式、机制及其设备仍然存在大量的问题，特别是柔韧感; 此外新的感知通道，如:
温湿感、嗅/味觉等，有的刚起步，有的尚未涉足。这是一个需要多学科交叉研究解决的问题领域。
随着新型传感器、穿戴设备、VR/AR/MR设备的迅猛发展，人们有着更多的方式与机器打交道。
这些新的输入输出方式也为图形学研究带来新的挑战。如何使用多元异构的数字输入信息来指导生成符合
用户期望的三维影像与世界，如何针对不同设备设计便捷的输入方式与交互手段，如何协同多用户的操作并
实时提供数字上和物理上的真实反馈、如何动态调整已有算法以适配用户的不断更新的个性化要求等问题，
都值得图形学研究者与从业者积极探讨与深入研究。交互中用户行为建模和意图推理方法。
- 数字现实中的可计算感知与认知技术。 VR的逼真性，即虚拟与现实孪生的相似性测度是有
待研究解决的一个理论问题。在此基础上研究各类VR应用的效果评价，特别是对人的心理影响，以及对人
类社会带来的影响，并进行相关约束与法律研究也是必要的，这会形成新的人文学科研究方向。
论文列表
- （请点击此处，前往“出版文献”页面）
合作伙伴
- 学术：东京大学、Riken（日本理化学研究所）、乌普萨拉大学（瑞典）、伯恩茅茨大学（BU，UK）、中科院自动化所、广岛工业大学（日本）、和歌山大学（日本）、莫道克大学（Murdoch
University、澳洲）
- 产业：腾讯游戏、BrainCo、完美游戏、诺亦腾
硕士招生专业
- 081200: 计算机科学与技术
- 02方向：机器智能与模式识别
- 03方向：数字媒体技术
科研项目
2021
- 项目来源：2021年成都市重点研发支撑计划“揭榜挂帅”（国家新一代人工智能创新发展试验区重点场景建设领域）项目
项目名称：《面向未来城市的基层社会数字化治理系统研制及应用示范》
担任：专题负责人
起止时间：2021-2023
- 项目来源：四川省科技厅医学科技项目
项目名称：《基于四川省癌症发病大数据的多模态时空数据智能分析与交互可视化研究应用》
担任：专题负责人
起止时间：2021-2023
- 项目来源：教育部 2021年第一批教育部产学合作协同育人项目
项目名称：游戏人工智能之《游戏多智能体强化学习》
合作方：腾讯科技（深圳）有限公司
担当：PI
起止时间：2021-2022
2020
- 项目来源：成都市科技项目-重点研发支撑计划-重大科技创新项目（2019-YF08-00285-GX）
项目名称：《面向计算机辅助工业设计（CAID）中交互三维智能建模技术研究与产业化》
起止时间：2020-2021
- 项目来源：富士康科技集团
项目名称：《基于5G的AR远程设备运维技术研究》
起止时间：2020-2021
- 项目来源：一汽集团发动机工厂（红旗产线）
项目名称：《面向发动机装配设备运维的AR远程运维》
起止时间：2020-2021
- 项目来源：教育部 2020年第一批教育部产学合作协同育人项目
项目名称：《游戏原型设计与开发》
合作方：腾讯科技（深圳）有限公司
起止时间：2019.11-2020.8
2019
- 项目来源：国家重点研发计划项目
项目名称：《高原XXXX研究》
起止时间：2019-2021
2018
- 项目来源：教育部 2018年第一批教育部产学合作协同育人项目
项目名称：《智能VR/AR实践条件建设》
合作方：完美世界教育科技（北京）有限公司
起止时间：TBA
2017
- 项目来源：国家自然科学基金；类别：青年项目
项目名称：《基于创意序列数据的艺术风格学习与绘制方法研究》
项目编号：61602088 (National Science Foundation of China)
起止时间：2017-2019
实验室阶段性研究成果（2016~2021）
- 面向类人行为模仿学习及智能协同决策的强化学习技术： 近年来，如何训练人工智能模型来模拟人
的行为成为了服务机器人及智能系统的一大挑战。课题组从人（群）的动作数据入手，针对大数据的多
模态、高维度复杂性以及面向长期目标任务的特性，研究提出基于长期任务序列数据的可计算行为强化
学习模型并通过理论证明、模拟系统实现与评价进行验证。为了更好地从序列数据中学习动态策略，
研究提出个性化行为特征提取与其反馈式评价方程。同时，结合参数探索的策略梯度（PGPE）方法，
提出智能辅助决策学习与预测机制。在此基础上，建立一套适用于“面向应用的人（群）行为智能学习
与预测”的理论体系，为VR/AR中角色的自主行为智能仿真及用户与智能代理的协同工作提供了有效的
手段和方法。学术成果：课题组以通讯作者及第一作者将成果发表CCF A 类的国际顶级人工智能、
计算机图形学及虚拟现实会议及期刊中，包括：IEEE VR 2020, ICML 2012, Neural
Computation 2014等。获得国家自然科学基金项目资助1项目。
- 快速策略生成梯度方法（Fast PPO）: 为强化学习提出了一类新的策略梯度法（Fast-PPO
算法），它结合了PPO算法（近端策略优化算法）和PGPE_OB（含基线的策略梯度优化算法），
克服了传统PGPE只能优化一个样本的的劣势与PPO只是近似得到最优结果的缺点，结合二者的优势，
可以通过与环境的交互在样本数据中进行转换，使用随机梯度下降优化替代目标函数。标准的策
略梯度法是在每一个数据样本上执行一次梯度更新，而我们提出的新目标函数可以在多个训练步
骤中实现小批量的更新。拥有置信域策略优化（TRPO）的一些好处，但更加容易实现，也更泛化性强，
并且根据先验经验有更好的样本复杂度。最后我们在基准任务上测试新算法，结合虚拟现实引进行
针对严肃与娱乐级别的虚拟现实应用。学术成果：此系列方法发表于人工智能会议和期刊中
NEUROCOMPUTING，Signal Processing，CCML 2019等。并运用于科技部重点研发计划
中子课题无人机轨迹自主路径规划当中。2020年将FastPPO应用于腾讯人工智竞赛中并取得显著成效。
- 面向行为风格学习的逆强化学习研究: 该方向重点研究基于逆向强化学习的特征结构化组织与
反馈式评价方法。研究传统的艺术风格绘制方法集中在于对画作本身的分析与风格特点表达，
只单纯地针对静态特征的分析。然而，此类静态特征是平面化、局部化和非连续化的，难以
保证风格化的全局一致性。同时，由于专家数据有限，广泛用于自动控制、手写字（书法）
生成的基于监督学习（Supervised Learning）的行为克隆（Behavioral cloning）
方法[53,54,55,56]直接学习动态策略难以解决针对有限数目的复杂专家数据 的局部最优问题。
因此，我们拟研究基于逆向强化学习(Inverse Reinforcement Learning, IRL)的基于结构
化特征的反馈式评价函数构建方法。经过初步的实验证实，结构化反馈式方法对于风格化一致性度量
是有效和合理的。学术成果：课题组以通讯作者及第一作者将成果发表人工智能、计算机图形学及虚
拟现实会议及期刊中，包括：IJCAI 2015和软件学报2018等。
- 基于参数探索的风格化动态策略方法: 考虑到模拟人行为的序列数据的复杂性。导致在针对如此复
杂序列数据的梯度估计的结果方差偏大，影响模型训练的稳定性且收敛慢。为此，课题组探索一种新的
具有风格的拟人动态决策机制。提出基于参数探索的策略梯度（PGPE）理论，针对行为复杂序列数据
提出动态绘制策略模型与基于混合引导型样本的优化算法（HGS-PGPE）。据调研，HGS-PGPE方法是
首次提出，具有一定的创新性。不但能够针对混合引导性样本的策略搜索，直至算法收敛找到面向全
局最优的策略参数；而且能够解决由于真实专家数据有限而带来的局部最优的风险。学术成果：课题
组以通讯作者及第一作者将成果发表人工智能、计算机图形学及虚拟现实会议及期刊中，
包括：Siggraph Asia 2020, JVCI 2018等。
实验室必备条件
- 未来媒体中心极致互动体验课题组拥有研究生博士生共计39人。针对拟合作增强现实相关技术人员约20人。课题组拥有图形工作站10台。
拥有面向AR的视觉智能服务器3台。系列VR/AR眼镜设备8套。课题组近3年来承担国家自然科学基金、科技部重大科技项目及企业级相关项目10余项目。
企业合作包括：富士康科技集团、一汽集团、腾讯公司、诺亦腾科技公司、完美游戏公司等。在AR/VR领域有着丰富的基础研究、创新技术研发及工程实践经验。
研发队伍极致互动体验课题（eXtreme Interactive Experience (XIE) Lab）组隶属于电子科技大学未来媒体研究中心。
目前有OSA Fellow1人，ACM杰出会员1人，国家级人才5人，省级人才6人，教授/研究员8人，特聘副教授3人，研究生百余人。
极致互动体验组拥有研究生及博士生39人，针对拟合作增强现实相关技术人员约20人。团队十余名教师均为来自澳大利亚昆士兰大学、
新加坡国立大学、日本东京工业大学等海外著名大学（世界前200名大学）的博士。团队主要从事多媒体、计算机视觉、人工智能、
信息检索与数据库等领域的国际一流研究，近三年已经在ACM MM、CVPR、ICCV、AAAI、IJCAI、SIGIR，VLDB，ICDE，IEEE TPAMI、
IEEE TIP、IEEE TMM、IEEE TCSVT、IEEE TKDE、ACM TOIS，VLDB Journal等CCF
A类/中科院JCR二区以上的顶级会议和期刊上发表论文200余篇，
相关论文在多媒体、计算机视觉、人工智能和大数据等研究方向产生了较大的国际影响力，并获得了10多项国际会议最佳论文奖项（含提名奖），
包括CCF A类国际顶级会议ACM MM和SIGIR等。目前中心已获批1项“111”引智计划项目，
并承担1项国家科技部科技创新2030—“新一代人工智能”重大项目，1项国家自然基金重点项目，
1项国家自然基金重点国际合作项目，以及10多项国家自然科学基金面上和青年项目。
学院基本信息
- 承研单位电子科技大学是国家 985 工程首批重点建设的高等院校之一，2017年入选国家建设“世界一流大学”高校名单，
其计算机科学与技术学科在2017年12月教育部公布的最新一轮评估中为A。近5年，该学科共承担包括国家重大专项9项，
国家863计划19项，国家自然科学基金项目85项等研究工作，项目总经费超过2.5亿元，获得国家科技进步一等奖1项、
国家科技进步二等奖2项。申请人所属的计算机科学与工程学院现有院士1人，国家特聘专家入选者8人（含青年特聘专家），
长江学者2人，已形成以中青年学术专家和学术骨干为主，专业结构和年龄结构合理、富有活力的学术队伍。
学院重点发展的学科方向与申报人的研究方向十分契合，为申报人在依托单位持续开展本课题的工作提供强有力的支撑。
计算机科学与技术一级学科在2017年全国第四轮学科评估中评为A；2020 U.S.News全球计算机学科排名26位；
计算机学科位于ESI前0.64‰，位列全球第32位（至2020年7月）。国防工业院校（七所之一）。