近日,文化和旅游部确定了2024年国家文化和旅游科技创新研发项目立项名单,学校推荐的由重点实验室申报的《数据驱动乐器音画智能交互系统研发与应用》和钢琴系申报的《基于用户体验的钢琴虚拟数智人的研发和应用》两个项目获批立项。
《数据驱动乐器音画智能交互系统研发与应用》由音乐工程系教授、数字音乐智能处理技术文化和旅游部重点实验室主任谢秉元担任项目负责人。该项目通过研究数据驱动下乐器音画实时交互的数字化分析和交互多样性模型生成以及系统综合集成技术,构建一套数字音乐交互集成系统,应用于创作、演出与展览。首先,该系统对乐器音画传感器的实时交互数据进行处理及数字化分析,确保实时交互音乐及画面生成的合理性。其次,它将基于用户输入的文本描述或旋律特征生成音乐样本,使用单阶段的Transformer LM和高效的token交织模式产生相应的音乐模型。最终,数据驱动乐器音画智能交互系统将为使用者提供丰富的实时交互体验。
《基于用户体验的钢琴虚拟数智人的研发和应用》由钢琴系主任、博士、教授及研究生导师朱楣担任项目负责人。该项目针对用户多元化钢琴体验需求,以钢琴文化体验需求为引领,依托虚拟数字化、人工智能、数字音乐处理等技术,推动钢琴演奏信息化资源的开发与共享方式、演奏评价方式、人机交互形式、用户情感体验等各方面向智能化、沉浸化方向演进,通过技术创新解决现有体验感被动、单调的局限,为用户提供一个更加生动、高效且富有情感共鸣的体验环境。项目将从需求调研分析和数据准备、技术方法创新、系统开发应用三个层次进行,最终构建集情感智能感知、多模态交互音乐教学生成于一体的创新平台,实现多模态专业级演奏评估、智能音乐伴奏与即兴创作、情感共鸣的虚拟数智人指导等功能,并在游客现场体验、专业演奏纠错、远程互动陪练等场所进行应用示范,项目将推动智能技术与文旅产品的深度融合,打造数字化文旅的新产品新体验。
“艺术+科技”跨学科人才培养是中国式现代化发展过程中升级提质的重大需求。近年来,学校高度重视艺术与科技融合,邀请院士进校开展交流、讲座等活动,开展院士结对帮助青年人才成长,积极参与省科协艺术与科技活动,与西湖大学、国科大杭州高等研究院、浙江理工大学、杭州电子科技大学等单位开展合作交流,发挥资源优势,整合团队力量。先后建成了数字音乐智能处理技术文化和旅游部重点实验室、沉浸声文化和旅游部技术创新中心、数字音乐浙江省工程研究中心、歌剧学文科实验室等一批艺术科技平台;获批了如浙江省“尖兵领雁”重大科技研发项目、浙江省文化和旅游科技创新项目等一批艺术与科技项目。
此次两项文化和旅游科技创新研发项目的成功获批,不仅是对学校在艺术与科技融合领域探索与实践的充分肯定,更是对未来继续深化创新驱动发展战略、培养更多高素质艺术科技人才的巨大鼓舞。接下来,学校将以此为契机,进一步加大科研投入,优化资源配置,推动更多高质量科研成果的产出与应用,为推动我国文化事业繁荣发展贡献力量。