研究プロジェクト

MusicMixer
MusicMixer: 楽曲のビート及び潜在トピックの類似度に注目した楽曲のミックス手法及びComputer-Aided DJシステム (2015~)

平井 辰典,土井啓成,森島 繁生
[論文PDF(2.52MB)]
JIP, ACE2015, MMM2016

 本プロジェクトでは、楽曲を滑らかに切り替える「ミックス」というDJの典型的な奏法に注目し、その自動化及びそれによるDJパフォーマンスの支援システムを提案している。
Video
フレームの連続性と冗長性に注目した動画のフレーム単位伸縮 (2015~)

平井 辰典,森島 繁生
[論文PDF(929KB)]
MMM2016、音学シンポジウム2015

 本プロジェクトでは、動画の音声及び映像の冗長性と連続性に注目し、フレーム単位の間引き及び挿入を行うことで、動画を任意の長さに伸縮する手法を提案している。 これにより、従来動画の長さに合わせて鑑賞の時間が決まっていたものが、視聴者の空き時間に動画の方を合わせて鑑賞することなどが可能となる。
VRMixer
VRMixer: 動画コンテンツと現実世界の融合 (2014~)

平井 辰典,中村 聡史,湯村 翼,森島 繁生
[論文PDF](5.62MB)
ACE2014

 本プロジェクトでは、動画コンテンツの中の世界と現実世界を混ぜ合わせることによって、コンテンツの新たな鑑賞/生成方法を提案している。 例えば動画の中の人物と一緒にダンスしたり、映画の中に入って演技の練習をしたりといったことが可能となる。
MusicMean
平井 辰典,佐々木 将人,森島 繁生
SMC2015,IPA未踏人材発掘・育成事業2012,WISS2013

 本プロジェクトでは、複数の楽曲を混ぜ合わせることによって生成できる平均曲とそれを生成するためのシステムを開発している。 このシステムによって作曲経験のない一般のリスナーでも音楽を聴くことの延長で自分に合った新しい曲を作ることができるユーザデザインコンテンツ社会の実現を目指している。
FacialTemporalContinuum
顔認証,歌唱シーン推定を用いた音楽動画コンテンツへの人名/歌唱アノテーションの自動付加 (2011~2014)
平井 辰典,中野 倫靖,後藤真孝,森島繁生
[論文pdf](1.52MB)
映像情報メディア学会誌(2012),SIGMUS94(2012),音学シンポジウム2014(2014),etc.

 動画コンテンツの特性を利用した顔認証技術を提案し,複数動画からの同一人物の抽出を実現.歌唱シーン推定(音響信号処理)技術を複合させることで,動画コンテンツ中の歌唱人物の抽出手法を提案.人名ラベル付き顔画像を元に,動画コンテンツへの人名アノテーションを自動付加している.

MuVieS
既存音楽動画の再利用によって音楽に合った動画を自動生成するシステム (2010~2013)

平井 辰典,大矢 隼士,森島 繁生
[論文PDF](1.89MB)
情報処理学会論文誌(2013),SIGGRAPH2012 (Poster),VC/GCADシンポジウム2012,第一回ニコニコ学会β,etc.

 楽曲を入力することによって,入力楽曲に合った映像を動画データベースから自動で切り貼りし,新たな音楽動画を生成するシステム. このシステムによって,動画編集経験のないユーザが手軽に新たな音楽動画コンテンツを制作する支援をする.これにより、誰もがクリエータとなるための第一歩を後押しする.




















































































研究プロジェクト(共同研究)

sato
単一楽曲の切り貼りによる動画の盛り上がりに同期したBGM自動付加手法

佐藤晴紀,平井辰典,中野倫靖,後藤真孝,森島繁生
ICME2016 (Oral), SIGGRAPH2015 (Poster), VC/GCADシンポジウム2015,etc.
quasi
2枚の手描き顔画像を用いたキャラクタ顔回転シーン自動生成 (2014~)

古澤知英,福里 司,岡田成美,平井辰典,森島繁生
[Abstract PDF(798KB)]
SIGGRAPH2014 (Poster),VC/GCADシンポジウム2014,etc.

videosummarization
ラリーシーンに着目した映像自動要約によるラケットスポーツ動画鑑賞システム (2014~)

河村 俊哉,福里 司,平井 辰典,森島 繁生
[Abstract PDF](1.32MB)
IVAPP2016, 情報処理学会論文誌(2015),SIGGRAPH2014 (Poster),VC/GCADシンポジウム2014,etc.

manga
アニメ作品におけるキーフレーム自動抽出に基づく映像要約手法 (2013~)

福里 司,平井 辰典,大矢 隼士,森島 繁生
[Abstract PDF](547KB)
MMM2016, 画像電子学会誌(2013),Expressive2013 (Poster),VC/GCADシンポジウム2013,etc.

recomusi
レコむし:画像の感じ方に基づいた楽曲推薦を行うシステム (2013~)

佐々木 将人,平井 辰典,大矢 隼士,森島 繁生
[Abstract PDF](267KB)
SIGGRAPH2013 (Poster),Culture and Computing 2013,VC/GCADシンポジウム2013,etc.