ダークサイドにようこそ!

ブレイクダンス / プログラミング / 映像制作 / 旅行 / 散歩

プログラミング

DanceAIの新作映像「THE FRESHEST AI」を制作しました

“THE FRESHEST AI”HIPHOPカルチャーにおいても重要視されているオリジナリティーを題材にした #DanceAI の新作です!独創的なスタイルを武器に世界でも活躍されている @kazukiroc @OKA_SHADE のお二人にもご協力いただきました。Full ver.https://t.co/ddHj2…

Google ColabのTensorFlowがVer2.5.0にアップデートされKerasで書いたコードが動かなくなった

※個人的な備忘録記事です。 1ヶ月前ぐらいの話なんですが、Google ColabのTensorFlowのバージョンが2.5.0にアップデートされた影響でKerasも強制的にアップデートされてしまうようになったらしい。その影響でKerasで書いたコードの一部が動かなくなってしま…

PhotonのJavaScript用SDKを使って開発するまでの流れ

Photonとはマルチプレイヤーゲームを実現するためのSDKやサーバーアプリケーション等を含むプラットフォームです(用途はゲームに限らないけど)。ただJavaScript用(ウェブアプリケーション)に開発する場合、Unity用の専用パッケージ(PUN)のようなものは…

【Babylon.js】Babylon Editor Toolkitの導入メモ【Unity】

Unityで作成したSceneをWeb向けレンダリングエンジンであるBabylon.jsで扱うためのBabylon Editor Toolkit導入メモです。公式チュートリアルは以下ですがちょっと分かりにくいので本記事で補足します。ちなみに私はUnityもBabylon.jsもよく分かっていません…

【ダンス×機械学習】「BreakGAN feat. BBOY STEEZ」という映像作品を制作しました【Breaking】

人間 vs AIによるダンスバトルをテーマにした映像作品「BreakGAN feat. BBOY STEEZ - Generative Breaking by Deep Learning」を制作しました。 youtu.be 本作品の制作にあたり、世界的にも有名なブレイクダンサーであるBBOY STEEZさんやリスペクトするクリ…

【AzureKinect】透過スクリーンを使用したネタ検証【TouchDesigner】

透過型のスクリーンを使用したネタを検証しています。 youtu.be youtu.be Azure Kinectで取得した人のシルエットに対してTouchDesignerのNvidia Flow(可燃性流体のシミュレーション)で炎っぽいものを発生させています。二つ目の動画では更にフレーム差分を…

【TouchDesigner】BigGANを使った小ネタ映像たちを紹介

youtu.be まずはSlit Scanを使ったネタ、反転も入れました。楽曲は青山くんです。 hahaeatora.hateblo.jp youtu.be こちらは線が浮き出るやつ(参考にしたチュートリアルによると「Engraved Lines」)。GLSLも書いています。 線といえば昔openFrameworksで作…

【Windows10】同一環境に複数バージョンのCUDAをインストールした話

YOLACT++用の環境を構築するにあたって普段使用していたものと別バージョンのCUDAを入れる必要があったので備忘録です(以下の記事でも触れていますがこちらにも残しておきます)。 note.com といっても特別な対応は必要なくて、写真のようにバージョンごと…

【情動状態】2020年度人工知能学会全国大会(JSAI 2020)にてダンスAIに関する発表を行います

こんにちは! 6/11(木)に行われるJSAI2020のオーガナイズドセッション「創作者と人工知能が創る創作の未来」にてダンスAIに関する発表を行います。情動状態ネタです。 hahaeatora.hateblo.jp 今年はコロナの影響もありオンライン開催となりました。参加予…

【機械学習】AIに自分のダンスを学習させてみました【BreakGAN】

AIにBBOYでもある自分のダンスを学習させて映像を生成してみました。 youtu.be こちらはPGGAN(Progressive Growing of GANs)に私のダンスを学習させて生成した映像です。ちなみに流れている音楽(ドラムビート)もDrumsRNNという機械学習モデルが生成しま…

Google Earthで時空断裂的に東海道五十三次を旅してみました

みなさん東海道五十三次はご存知ですか? 有名なのでなんとなくは知っているという方が多いと思いますが、ウィキペディアの説明も引用しておきます。 東海道五十三次(とうかいどうごじゅうさんつぎ)は、江戸時代に整備された五街道の一つ、東海道にある53…

【BigGAN】機械学習によるサンプリング的発想な映像制作

GAN(Generative Adversarial Network)の手法の一つであるBigGANの学習済みモデルを用いた映像を制作しました。 youtu.be 「生物の進化」や「生物地球化学的循環」といったキーワードをテーマに制作した映像です。さらにかの有名な「Fatboy Slim - Right He…

【機械学習】セマンティックセグメンテーション技術を用いた短編映像を制作してみました

TensorFlowが公開しているDeepLabというセマンティックセグメンテーション用の機械学習モデルを用いた短編映像を作ってみました。セグメンテーションして出力したマスク映像に対して、TouchDesignerを用いたエフェクトをかけています。 いわゆるプログラミン…

【ダンスAI】情動状態の判別・可視化に関する動画を公開しました【機械学習】

直近のダンスAI研究開発で取り組んでいるスマートフォンを用いた情動状態の判別・可視化について動画にまとめました! 直近のダンスAI研究開発で取り組んでいるスマートフォンを用いた情動状態の判別・可視化について動画にまとめました!別途作成中の学会発…

【WIP】感情と色の関係を可視化するインスタレーション「EMOTION BEHIND COLOR」を制作しました

最近の制作物のご紹介です(まだアップデート予定なのでWIPとしています)。 感情と色の関係を可視化するインスタレーションを制作しています。AIが単眼カメラのみで人物を検出し表情を識別、そして心理学者でもあるプルチック氏の「感情の輪」に基づき真っ…

【デザイニウム】PoseNetとDrumsRNNを使って「BodyDrum」というリズムアクションゲームを作りました【TensorFlow.js】

いきなりですが、まずはデモ動画をご覧ください。 www.youtube.com ざっくり解説しますと、JavaScriptによるWebブラウザベースのリズムアクションゲームです。使用している技術としては主に以下のものとなります。 TensorFlow.jsを経由してPoseNetを使い単眼…

【Windows 10】tensorflow-gpuの環境構築メモ

基本は公式の以下URLを参照。 www.tensorflow.org また先日リリースされましたTensorFlow 2.1.0よりデフォルトのpipパッケージ内にGPUサポートも含まれるようになったようです。以前のように「pip install tensorflow-gpu」とする必要はなくなりました。 git…

【JavaScript】USB接続のWebカメラから映像を取得する方法【p5.js】

JavaScript(描画周りでp5.js使ってます)でPC内蔵カメラではなく、USB接続のWebカメラから映像を取得する方法を備忘録としてメモ。MediaDevices.enumeratedDevices()というWeb APIを使ってデバイスのIDを取得することができます。リンク先にもサンプルコー…

【Xcode11】openFrameworks0.10.1にてビルド時にエラー「Command /usr/bin/codesign failed with exit code 1」

久しぶりにopenFrameworks(ver 0.10.1)を触ろうとしたら、ビルド時に「Command /usr/bin/codesign failed with exit code 1」のエラーが発生。これは証明書周りでよく起こるイメージですが…… 調べてみるとXcodeのバージョンアップによるものみたいです。最…

【ダンスAI】iPhoneのセンサーデータを機械学習させてロックダンスの動きを識別してみた

以前、iPhoneの加速度や角速度といったセンサーデータをCoreMotion経由で取得し、CSVファイルとして記録するiOSアプリを作成しました。 hahaeatora.hateblo.jp このアプリを使ってストリートダンスの1つであるロックダンス(Lockin')のモーションデータを記…

【エンジニア志望の方へ】プログラミングの独学は可能ですが大変なのは継続という話【転職希望の方にもおすすめ】

本日はエンジニア志望の方(転職希望もあり)、プログラミングを勉強したいという方向けに記事を書いてみます。結論から書くと「プログラミング独学は可能ですが継続するのは大変」というお話です。 ちなみにネット上では肩書きエンジニアと書いているのに開…

【Swift】iPhoneのモーションデータ(加速度や角速度など)をCSVで記録するアプリを作成しました

iPhoneの加速度や角速度やらを機械学習させたいなと思い、CoreMotionで取得したデータをCSVで記録するだけのアプリを作成しました。せっかくなのでGitHubでもソースコード公開しておきました。 iPhoneのモーションデータを機械学習に使いたいなということでC…

【ORPHE TRACK】APSマガジンにダンスAIがちょっぴり載っていますよ【STM32】

半導体専門技術コンテンツ・メディアの「APS-WEB」そして「APSマガジン」にて、STマイクロエレクトロニクスさんと一緒に靴型ウェアラブルデバイスであるORPHE TRACKの記事を掲載していただいています。 走り始めた“AIシューズ”。STM32マイコンが楽しさを加速…

【機械学習】KerasのLSTMで未来のブログ訪問者数を予測してみる

先日、ブログ運営(主にAmazonアソシエイトの話)に関する赤裸々な記事を書きました。 hahaeatora.hateblo.jp今回はより赤裸々で且つエンジニアっぽいブログ運営の記事を書いてみます。AI(人工知能)にブログのアクセス解析させてみよう的なやつです。具体…

【Google Magenta】MIDIファイルをNoteSequenceに変換【機械学習】

Google Magentaを最近使い始めました。音楽や芸術分野の創造的プロセスにおいて機械学習の役割を探求するためのオープンソース研究プロジェクトだそうです。 magenta.tensorflow.orgそんなMagentaで楽曲データを扱うためにはMIDIをNoteSequenceという専用の…

【音楽】AI(人工知能)に有名DJのミックステープを機械学習させてみた ~CNN編~

タイトルの通りDJのミックステープを機械学習させてみました。正確にはCNN(畳み込みニューラルネットワーク)を用いた深層学習です。私はBBOY(ブレイクダンサー)なので、いわゆるブレイクビーツのミックステープを使います。ブレイク界でも有名なDJ Lean …

【X-CUBE-AI】STM32CubeMXでコード生成する際に気をつけること【組み込みAI】

「組み込みAIやりたい!」と思って、X-CUBE-AIを追加したSTM32CubeMXでGENERATE CODE(コード生成)しようとすると以下のような警告が出る場合があります。※この記事執筆時点でのX-CUBE-AIの最新バージョンは4.0.0ですが同様です。 この警告はPinout & Confi…

【SIGDance】Cypher Session vol. 1.5を開催します

去年の12月、Cypher Session vol.1を開催しました。 hahaeatora.hateblo.jp hahaeatora.hateblo.jp 前回は非常に濃いメンツでアンダーグラウンドに盛り上がりました。 そんなCypher Sessionの第二回の開催が決定しました!といっても今回は小規模開催なのでV…

Cocoa PodsとAnacondaを両方使っていると競合してpod install & updateに失敗するかも

Cocoa Podsとは iOS用のライブラリ管理ツールです(詳細は省略)。 cocoapods.org Anacondaとは データサイエンスや機械学習系のライブラリを管理したりするPythonディストリビューションです(略)。 www.anaconda.com 二つを同じ開発環境で使っていたらpod…

【CNN】畳み込み層の次元数に気をつける話【Conv1DとConv2D】

機械学習における畳み込みニューラルネットワーク(CNN)といえば画像認識!というイメージが先行しすぎて、畳み込みにおける次元数の違いをあんまり意識しなくなるんじゃないかという危惧を抱きこちらにメモしておく。といっても、畳み込みにおける次元数の…