以前、iPhoneの加速度や角速度といったセンサーデータをCoreMotion経由で取得し、CSVファイルとして記録するiOSアプリを作成しました。
このアプリを使ってストリートダンスの1つであるロックダンス(Lockin')のモーションデータを記録し、機械学習ライブラリのKerasで構築したモデルに学習させました。その学習済みモデルをCoreMLを使って上記のiOSアプリに組み込みリアルタイムでロックダンスの動作識別をしてみました。
スマートフォンのセンサーデータを学習したAIでロックダンスの動作認識してみたテスト。ちなみに私はロックダンスできません(完) #DeepLearning #CoreML #lockdance #locking pic.twitter.com/7BA7LEr9bp
— hahTD (@eatora22) September 29, 2019
残念ながら私、ロックダンスは全然できません(爆)。学習データの数も少ないのでモデル自体はあまり良いものではありませんが、スマホでもある程度は動作の識別が可能ということが分かりました!
ちなみにモデルはおなじみ畳み込みニューラルネットワーク(CNN)によるものです。CoreMLのSwiftでの取り扱いについてはQiita記事の方で補足してますのでよろしければご参照ください。
色々なデバイスやセンサーを使ってダンスAIの活用の幅を広げたいのであります。