ダークサイドにようこそ!

FollowTheDarksideの諸行は無常

【深層学習】AI(人工知能)にブレイクダンスを認識させてみた

それっぽいタイトルにしてみました。

東京大学特任助教清水大地先生と共同研究で進めているブレイクダンスAIについての紹介動画を作成しましたよ。

youtu.be

内容はモーションセンサーが内蔵された靴型のウェアラブルバイス Orphe を用いた、ブレイクダンスの基本的な技やステップの分類&ウィンドミルの熟達度評価となっています。

ざっくり仕組みをご紹介

f:id:hahaeatora:20181014174949j:plain

Orpheから得られたセンサーデータが記録されたCSVから加速度を行列データとして抽出し、CNN(畳み込みニューラルネットワーク)で構築したモデルに深層学習(Deep Learning)させます。学習データは動作別にラベル分けされており、クラス分類の手法を用いています。

 

f:id:hahaeatora:20181014175006j:plain

 そして、OrpheのセンサーデータをBLEで受信してくれるアプリに学習済みモデルを組み込んで、靴の着用者の動作をリアルタイムで認識するというシステムです。

ご察しの通りデータ収集が死ぬほど大変です。文字通り血と汗と涙の結晶となっています! 

今後はダンサーのオリジナリティーを点数化してくれるシステムの開発に注力しようと思っています。一部のダンサーからは叩かれそうですが、AIがダンスイベントでジャッジをするようになると面白そう。人を全部AIに置きかえようみたいなことは思っていなくて、「ここは人間っぽい」「ここはAIならではだな」みたいな新しい価値観が生まれてシーンがより発展していくことを望んで取り組んでいます。

 興味のある方はお気軽にご連絡ください!

hahaeatora@gmail.com