インタラクティブな楽譜色付けによるオーケストラスコア理解支援システム
スポンサーリンク
概要
- 論文の詳細を見る
This paper describes an interactive learning-aid system for analytical comprehension of music by highlighting orchestral score in colors, and classifies and evaluates the learning process on the system. An orchestral music is composed to integrate many instrumental parts, and musicians have to be proficient in reading the score analytically in order to understand its multifaceted structure. However, many people often face difficulty in comprehending its musical structure: Some intermediate performers can read and perform their own part, but cannot understand the role of each part in the assembled whole. In order to solve this problem, our conventional paper proposes an interactive supportive system called ScoreIlluminator that enables musicians (and non-musicians) to easily represent how he or she recognizes an orchestral music, e.g. the differentiation of melody parts from the others, and the similarity across instrumental parts. ScoreIlluminator clusters the parts from an orchestral score according to their roles in the whole, and displays the clusters on the score by assigning a color to each cluster. The users can manipulate the clustering parameters with the user interface of the system. The system employs two major design concepts. One is ``colored notation'' and the other is ``directability''. The ``colored notation'' visualizes the roles and the relations between parts, which are estimated by the system. The estimation is based on the similarity metric of four musical features: rhythmic activity, sonic richness, melodic activity and consonance activity. Using these metrics, clustering phase is conducted using an unsupervised learning algorithm (k-means algorithm). Our system provides the ``directability'' with an interactive interface in which subjects can freely manipulate parameter settings and see the change in score-highliting in real-time. In this process, users learn the role of parts and the relationship between parts and explore multifaceted interpretations of the music. To verify the effectiveness of the system, we conducted a user-experience experiment with four intermediate musicians. The musicians showed various kinds of progress in interpreting the score. With the episodes from the experiment, we discuss how the system encouraged subject's analytic skill in orchestral-score reading and music listening.
著者
関連論文
- 「事例に基づくデザイン支援と評価基盤の構築(2002年度採択)」チャレンジ卒業記念座談会(近未来チャレンジ)
- 周波数スペクトルの谷状点系列による和音推定(音高・和音・調認識)
- 身体スキル探究というデザインの術 (特集 デザイン学)
- 身体性としてのシンボル創発
- 「こと」の科学の確立を目指して(編集委員今年の抱負2009:経糸から横糸まで)
- 文字間統計情報に基づく口語文字列の自動抽出
- 3N-5 英語固有名詞のカナ表記への変換
- 1N-2 日本語文書における複合語キーワード抽出
- ScoreIlluminator : スコアリーディング支援のためのオーケストラスコアの自動色付け(演奏者支援)
- E-029 主旋律に着目したピアノ楽譜の難易度別簡易化(自然言語・音声・音楽,一般論文)
- RE-001 周波数スペクトルの谷状点に基づく和音推定(自然言語・音声・音楽,査読付き論文)
- リズム特性を用いたコンデンススコア自動生成手法の提案
- 日本語フレームネットに基づく意味役割推定
- デモンストレーション:若手による研究紹介III(デモセッション)
- ピアノ初級者のための独習支援システムにおける戦略的練習計画の提示
- ピアノ初級者のための独習支援システムの提案
- 汎用アノテーションシステム(MAML System)を利用したWeb検索結果のグラフ表示(Web検索, 夏のデータベースワークショップDBWS2005)
- 汎用アノテーションシステム(MAML System)を利用したWeb検索結果のグラフ表示(Web検索, 夏のデータベースワークショップ2005)
- 語の属性を利用した大語彙確定のための音声対話インタフェース
- 汎用アノテーション記述言語MAMLの提案とその生成・処理プロセス
- 汎用アノテーション記述言語MAML(メタ言語とメタデータ)(ユビキタス社会における情報流通および一般)
- 非単調活性化関数を用いたカオスニューラルネットワークとメモリサーチシステムへの適用
- 材質感モデルの自動生成(一般セッション(2))
- メタデータ解析と自然言語処理を併用した動画要約(セッション2 : 映像・コンテンツの生成)
- 明示的なα変換を用いたα単一化
- 将棋における合議アルゴリズム---局面評価値に基づいた指し手の選択
- ScoreIlluminator:スコア色付けによるオーケストラスコアリーディング支援システム
- コンティグマッピング手法に基づくポリフォニー音楽の声部分離と色付け楽譜の生成
- Colorscore : クラシック楽曲構造の可視化と圧縮表示
- 身体スキル探究というデザインの術
- デモンストレーション:音楽情報処理の研究紹介VII
- Random Forestを用いた音楽ジャンル分類
- HMM音韻認識と拡張LR構文解析法を用いた連続音声認識
- サポートベクタマシンを用いた対話表現の抽出
- ドメイン固有の文字列情報の組み込みによる形態素解析処理の精度の向上
- 最大エントロピー法を用いた対訳単語対の抽出
- 強化学習における環境変化認識法
- 強化学習における環境変化認識法
- E-036 スペクトルディップテンプレートを用いた和音推定(自然言語・音声・音楽,一般論文)
- 空間体験を触発する空間 -音響インターメディアの試作
- 論文誌特集号「スキルサイエンス」前書き
- 5J-4 強化学習型マルチエージェント系における職能の分担の学習
- メタデータ解析に基づくマルチメディア検索システム(セッション7C : 検索方式(2))
- メタデータ解析に基づくマルチメディア検索システム(検索方式(2))(「夏のデータベースワークショップ(DBWS2003)」一般)
- 非単調活性化関数を用いたカオスニューラルネットワークの提案
- カオスニューラルネットワークを用いたメモリサーチの一手法
- カオスニューラルネットワークを用いたメモリサーチの一手法
- マルチモーダル対話コーパス検索/再生ツールの実装
- 3T-8 アクセス履歴を基にした推奨ページリストの提示
- 3T-5 声部分離を用いたスコアリーディング支援のための色付け楽譜の生成(音楽情報の推定と理論,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 1K-3 雑音・残響環境下での音声認識
- 短期記憶を用いた複素ニューラルネットワークの時系列学習
- 3T-3 左手と和音に対応したピアノ運指の自動推定システム(音楽情報の推定と理論,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 候補間の表層的差異に着目した地名の所属国推定
- 3K-3 GAとSA法を組み合わせた時間割編成問題の解決
- 5G-5 単旋律の生演奏を収録したCDからの自動採譜システム
- 感情音声の合成
- 感情音声の合成
- 感情音声の合成
- AICを用いたデフォルトルール生成法の拡張
- 複数の目標をもった発話プランニングとしての対話理解
- 大語彙を対象とした音声対話インタフェースにおける自然な応答生成
- 年次大会余録
- 一般LR構文解析法におけるエラー処理
- 著者判別に有効な特徴量の推定
- 著者判別に有効な特徴量の推定
- 固有名詞の所属国推定における表層情報の利用
- メタ認知エッセイの体系的蓄積がデザインを学問にする(第1部:オーガナイズドセッション「デザイン学のデザイン」の記録,デザイン学:メタデザインへの挑戦)
- デザイン学の実践 : メタデザインを意識的に行う建築デザイン(第2部:メタデザインへの挑戦,デザイン学:メタデザインへの挑戦)
- 固有名詞の所属国推定における表層情報の利用
- ラベルなしデータの二段階分類とアンサンブル学習に基づく半教師あり日本語語義曖昧性解消
- "学びのデザイン"の研究があるべき姿 : 「こと」のプロセスの事例探究(第2部:メタデザインへの挑戦,デザイン学:メタデザインへの挑戦)
- 1-2 ライフスキルの学習支援ツールの開発 : 身体と意識の共創様態の探究方法論(1.人間を科学する,人間を理解するためのICT技術-人間を対象としたセンシング・情報処理からその応用まで-)
- インタラクティブな楽譜色付けによるオーケストラスコア理解支援システム
- ライフスキルの学習支援ツールの開発 : 身体と意識の共創様態の探究方法論
- E-007 スペクトルディップとクロマベクトルの併用による和音推定(音楽情報科学(1),E分野:自然言語・音声・音楽)
- E-008 音響特徴量と歌詞情報に基づく楽曲嗜好解析支援ツールの製作(音楽情報科学(2),E分野:自然言語・音声・音楽)
- 身体運動の記述に基づく空手の組手競技における駆け引きの考察(「行為のタイミングとコミュニケーション」及び一般)
- 一人称研究にまつわるQ&A(一人称研究の勧め)
- 見せて魅せる研究土壌 : 研究者が学びあうために(一人称研究の勧め)
- 特集「一人称研究の勧め」にあたって
- お好み焼きの協同調理行為を伴う食卓の場のデザイン : 座席配置がコミュニケーションに与える影響の分析(『場のデザイン』及びコミュニケーション一般)