ダークサイドにようこそ!

限界クリエイターのブログ

【深層学習】AI(人工知能)にブレイクダンスの動きを識別させてみた【行動認識】

(それっぽいタイトルにしてみました)

東京大学特任助教清水大地先生と共同研究で進めているブレイクダンスAIについての紹介動画を公開しました。

youtu.be

内容はモーションセンサーが内蔵された靴型のウェアラブルバイス Orphe を用いた、ブレイクダンスの基本的な技やステップの分類&ウィンドミルの熟達度評価となっています。

ざっくり仕組みをご紹介

f:id:hahaeatora:20181014174949j:plain

Orpheから得られたセンサーデータが記録されたCSVから加速度を行列データとして抽出し、CNN(畳み込みニューラルネットワーク)で構築したモデルに深層学習(Deep Learning)させます。学習データは動作別にラベル分けされており、クラス分類の手法を用いています。

 

f:id:hahaeatora:20181014175006j:plain

 そして、OrpheのセンサーデータをBLEで受信してくれるアプリに学習済みモデルを組み込んで(CoreMLを利用)、靴の着用者の動作をリアルタイムで認識するというシステムです。

ご察しの通りデータ収集が死ぬほど大変です。文字通り血と汗と涙の結晶となっています! 

今後はダンサーのオリジナリティーを評価してくれるシステムの開発に注力しようと思っています。一部のダンサーからは叩かれそうですが、AIがダンスイベントでジャッジをするようになると面白そう。人を全部AIに置きかえようみたいなことは思っていなくて、「ここは人間っぽい」「ここはAIならではだな」みたいな新しい価値観が生まれてシーンがより発展していくことを望んで取り組んでいます。

 

興味のある方はお気軽にご連絡ください!

hahaeatora@gmail.com

 

関連記事

hahaeatora.hateblo.jp

hahaeatora.hateblo.jp

hahaeatora.hateblo.jp

hahaeatora.hateblo.jp

hahaeatora.hateblo.jp

hahaeatora.hateblo.jp

qiita.com

hahaeatora.hateblo.jp

hahaeatora.hateblo.jp