Journal Article <論文・報告>ビートとコードをリアルタイムで認識しながら音楽に合わせて歌って踊るロボット

津牧, 美葉子  ,  大和, 勝宣  ,  和佐, 圭悟  ,  池田, 賢矢  ,  坂東, 宜昭  ,  大喜多, 美里  ,  糸山, 克寿  ,  吉井, 和佳

1pp.97 - 100 , 2016-03 , 京都大学学際融合教育研究推進センター高大接続科学教育ユニット
情報学 ロボット聴覚と音楽情報処理
This paper presents a humanoid robot capable of singing and dancing to a song in an improvisational manner while recognizing the beats and chords of the song in real time. Among various kinds of entertainment robots that are expected to live with humans in the future, music robots such as robot dancers and singers are considered as one of the most attractive applications of music analysis techniques. Our robot mainly consists of listening, dancing, and singing functions. The listening function captures music audio signals and recognizes the beats and chords in real time. The dancing function switches dancing movements according to the types and root notes of the estimated chords. The singing function, on the other hand, generates singing voices whose pitches change according to the root notes of the chords. The information on beats and chords are exchanged between the three functions. The preliminary experiment showed the great potential of the proposed dancing robot. We plan to improve the response of dancing and singing functions by predicting next chords.
本稿では,2015年度に開講された専修コース「ロボット聴覚と音楽情報処理」の研究成果について報告する.本コースでは,高校生四名と大学院情報学研究科知能情報学専攻音声メディア分野の大学院生数名とが協力しながら,音楽を聴きながらビート時刻とコードをリアルタイムに認識し,音楽に合わせて即興で歌いながらダンスをするロボットの開発に取り組んだ.我々が開発したロボットは,主に音楽解析部(大和・池田が担当)・ダンス制御部(津牧が担当)・歌唱制御部(和佐が担当)の三つから構成されている.これらのモジュールは独立性が高くなるように設計することで,高校生は自らの担当部分に専念することができ,最後に統合実験まで計画通り行うことができた.研究成果は,音楽情報処理のトップカンファレンスであるISMIR 2015 のLate Breaking Demo セッションにて発表した.聴衆から高い評価を受け,多くの著名な研究者と有意義な議論・交流を行うことができた.

Number of accesses :  

Other information