当一个熟练的舞者表演时,音乐和动作会如此同步进行,以至于歌曲似乎是从表演者的身体中神奇地流淌出来的。然而,让它发生的并不是魔法。

世界知名舞者Kaiji Moriyama在音乐会期间展示了一种可以将舞蹈动作转换成钢琴音乐的人工智能系统。Yamaha 开发的“Dance to Piano Performance System”可以利用贴在舞者身上的四种传感器实时检测动作。然后,人工智能将这些动作转换为音乐数据,并将其实时传送到 Yamaha Disklavier 演奏钢琴。

该技术如何运作?

该系统中使用的人工智能 (AI) 仍在开发中,它可以通过评估来自附在舞者身体上的四种不同类型传感器的信息来实时检测舞者的动作。此外,该系统包含一个连接旋律和动作的原始数据库。系统上的人工智能使用这个数据库从舞者的动作中实时生成适当的旋律数据。然后将 MIDI 数据发送到 Yamaha Disklavier TM演奏钢琴,然后转换成音乐。

Yamaha Disklavier TM对于将舞蹈动作转换为音乐表现力至关重要。它可以高精度地复制各种声音,而键盘触感只有很小的变化。此外,在音乐会上,雅马哈采用了基于雅马哈旗舰机型CFX音乐会三角钢琴配置的定制Disklavier,将才华横溢的舞者森山的表演充分、透彻地传达出来。

雅马哈的下一步是什么?

雅马哈最近推出了其首款综合性 AI 钢琴。Yamaha的AI 系统由 Disklavier 演奏钢琴组成,由独特的软件控制,可以独立思考。Yamaha 的工程师首先设定了让系统以 Glenn Gould 的风格播放任何音乐的目标,以展示该技术。在格伦古尔德基金会的帮助下, 该项目被称为“亲爱的格伦”。

学习钢琴家的演奏是第一步。使用深度学习技术(一种使用神经网络进行数据处理的数学建模工具)对古尔德 100 多个小时的录音进行了分析。此外,雅马哈还研究了许多其他钢琴家的演奏,这些钢琴家被认为是古尔德风格的代表。收集到所有数据后,人工智能系统几乎可以演奏任何钢琴曲,就好像古尔德本人演奏的一样。

另一方面,雅马哈并没有就此止步。他们还使用了专有的AI 音乐合奏技术(最早出现于 2016 年)。结果,该系统能够与其他音乐家进行交流。这样一来,AI 钢琴家就有可能成为“真正的”乐队成员。

点赞(0)
立即
投稿
发表
评论
返回
顶部