画像や写真の顔をリアルタイムでVtuberのように表情を動かせるカメラアプリ「xpression camera」

※この記事は2021/12/17に更新されました。

こんにちは、こんばんは、Zoomで、ヴァーチャル背景が切れて、不本意に部屋をさらしてしまった、ちむTwitterアイコン@timuuuuuu009)です。

株式会社EmbodyMe(エンボディミー)が、バーチャルカメラアプリ「xpression camera(エクスプレッションカメラ)」開発のためのクラウドファンディングをindiegogoで開催中です。

2021/12/17時点で、 支援者286人により、3,164,733円集まっています。

pression cameraは、あらゆる人になりきってZoomやGoogle Meetなどでビデオチャットができたり、Twitchなどでライブストリーミング配信ができたり、Youtubeビデオを作成することができるバーチャルカメラアプリです。

動画や画像を1枚用意するだけで、カメラに映っている人の顔の表情や動きをリアルタイムでトラッキングして画像を動かすことができます。

例えば、化粧の整ったきれいな姿の画像を使えば、すっぴんや寝巻き姿でZoomに参加することも可能です。

歴史好きとかなら、好きな武将になってzoomつなぐと楽しそう。

エラーが起きてもプライベートをさらす心配なし

ZOOMのヴァーチャル背景は、カメラの映像から体や顔のパーツを認識して、背景を透明化し、そこにバーチャル背景を合成するという仕組みで背景を映しています。

それに対して、 pression cameraはカメラから表情の抽出にのみ使い、その表情を用意した画像の上に重ねている「顔出しパネルのような状態」です。

なので、ZOOMであれば、背景のエラーが起こると背後にあるプライベートな部分が映し出されますが、pression cameraは、認識に失敗しても、あらかじめ用意した画像がそのまま表示されるだけで、プライベートな部分が公開されることを防ぎます。

私だと、 机の後ろにコミケの同人誌とか趣味の本を並べており、体を動かしたときにうつってしまうことがあるので、Zoom前に軽く片付けをするのですが、そういう気を使う必要がなくなるのはいいですね

Zoomのために身だしなみを気にする必要がなくなる?

pression cameraは、最近よく聞くオンラインミーティングが持つ問題の一つZ「Zoom疲れ」の軽減にも役立ちそうです。

スタンフォード大の研究によれば、ZOOM疲れの原因の一つに、「画面に映る自分がどう見えているかまで気にしていることで、心理的な負担がかかっていることがある」というのがあります。

この対策として、自分の顔を自分からは見えないように設定したり、自分の顔を映さなくていい時は、画面をオフにすることをオススメされていますが、Zoom疲れ対策とはいえ、自分だけ画面オフにするのに居心地の悪さを感じる方もいるでしょう。

pression cameraを使うことで家の中で、オンラインミーティングのためだけに身だしなみを気を付ける必要がなくなるので、 「画面に映る自分がどう見えているかまで気にしていることで起こる、心理的な負担の軽減として使うこともできそうです。

現在は、上半身の操作しかできませんが、将来的には画面に表示されている体全体の動きを表現できることを目指しているようです。

手の動きも表現されてると、プレゼンや会議などでも使えるようになりそう。

現在の顔のトラッキングだけでもVtuberのようにリアクションすることができそうですが、肩や頭の動きもトラッキングできるようになると、Vtuberを始める課題の一つのモデリングが大幅に減って、さらにVtuberになって配信することは簡単になるかもしれないですね。

それでは、どうも、ちむ( Twitterアイコン@timuuuuuu009 )でした。

目次に戻る

画像引用: https://www.indiegogo.com/projects/xpression-camera/x/26859435#/