テニスやゴルフ、野球…いくら練習しても上達しない!とひそかに悩んでいる方も多いですよね。そんな時にAI(人工知能)が姿勢測定をして、自分のフォームの悪いところを気づかせてくれる「OpenPose」という手法が、今注目されています。
これまでも「モーションキャプチャー」といって、身体に特殊なセンサーを取り付けて、「自分の動きをキャラクターに反映させる」という技術はありました。しかし「OpenPose」のすごいところは、センサーなど取り付けなくてもカメラ1つあれば大丈夫なことです。プログラムに動画や静止画を入力するだけで、AI(人工知能)が人の肩や腰、手、足などの関節情報を得て姿勢測定ができます。
このような「OpenPose」の技術は、人の行動予測も可能になり、スポーツだけでなく介護や自動運転の分野にも使われつつあります。となると今までスポーツが苦手だったあなたも、得意になっているかもしれません。
そこで今回は、AI(人工知能)姿勢測定ライブラリ「OpenPose」の何がすごいのか、実際に使われている事例もご紹介しながら、詳しくお伝えしましょう。
AI(人工知能)姿勢測定ライブラリ「OpenPose」って何?
「OpenPose」はカーネギーメロン大学がコンピュータービジョン学会「CVPR2017」で発表した、AI(人工知能)によって「画像から人の骨格を検出して姿勢測定」する技術です。
さらに、身体だけでなく顔や手の動きの解析も可能です。たとえば顔については眉毛、目、鼻、口、輪郭など70個の特徴点が検出されることで、笑っている、怒っているなどの表情もわかりやすくなります。また手の平については、手首付け根、各指の関節など左右合わせて42個の特徴点が求められ、指の細かな動きまで分析できるでしょう。
「OpenPose」のすごいところは、身体に特殊なセンサーをつけることなく、デジタルカメラやスマホなど単眼カメラで撮影された「映像」だけで解析できることです。もちろん、CUDA、cuDNN、Caffe、OpenCVのインストールが必要となりますが、カメラの画像をアップロードすると、AI(人工知能)の技術でリアルタイムに身体の動きや姿勢を測定してくれます。ですから、簡単に姿勢測定を試すことができますよね。
また「OpenPose」は静止画だけでなく動画にも対応していて、人の動きを時系列で分析できます。なので、「だんだんひじの位置が低くなってきたなあ、疲れがたまっているのかも…」など、姿勢の変化から人の体調を客観的に読み取ることもできますよね。
他にもすごいところがあります!なんと「OpenPose」は、1枚の画像から複数の人の姿勢を同時に測定できるのです。
このように、画像の中で人の動きや姿勢を測定するAI(人工知能)姿勢測定ライブラリ「OpenPose」という技術は、いろいろな分野ですでに利用されています。研究段階のものも含め、次にご紹介しましょう。
「OpenPose」が使われている実例:スポーツ編
スポーツで結果を残そうとすると、気合だけでなくフォームも大切になってきますよね。そんなスポーツ分野では、細かいフォーム解析に「OpenPose」は役立っています。
たとえば、ゴルフのショットの動画の解析を「OpenPose」で試してみると、関節点を表示してくれるので、ひざや腕の角度を分析できます。これなら自分の動作を客観視できますよね。
また、テニスのサーブ時は、ひじと脇の角度、足の開き方などがボールの速度に深く関わってきます。「OpenPose」で自分のフォームを解析してプロのプレーヤーの姿勢と比べることで、理想のフォームに近づけることもできるでしょう。テニスの動作解析は、すでに慶應義塾大学などで利用されています。
でも、サッカーなど複数人数で走り回るような動画では、人が重なり合って身体の一部が見えなくなることがありますよね。そんな時も「OpenPose」ならば、AI(人工知能)が隠れている関節点を推定して、すべての人の骨格モデルが表示され全員の動きがわかります。だから、ボールが来ないから…といって気を抜いていると、サボっている!とバレてしまいますよね。
また、高齢化が進む日本では、大きな課題になっている「介護」の分野でも「OpenPose」は利用されています。詳しく見ていきましょう。
「OpenPose」が使われている実例:介護
2025年には高齢化率が30%を超えると予想される日本ですが、高齢者が増えると、お世話をする若い人の数が足らなくなると言われています。そうなると、なるべく人のお世話にならないように、健康寿命を伸ばそうという動きも出てきはじめました。
まず、高齢者が寝たきりになるきっかけの一つは転倒ですよね。株式会社富士通研究所では「OpenPose」を使って高齢者の歩行の姿勢を測定し、転倒リスクを予測する研究を始めています。
たとえば「OpenPose」の画像から、人が歩くときの目線や蹴り出し時のつま先の高さ、歩幅、歩行速度などのデータを分析していきます。すると、「下半身の筋力が低下している」「歩行時にふらつきが見られる」など今の状態がタイムリーにわかります。さらに、転倒リスクの高い人には、早急に専門的アドバイスを受けてもらえば、転倒や寝たきりになるリスクも低くなるでしょう。
次にご紹介するのは、「OpenPose」の姿勢測定から、歩行者の行動を予測しようという研究です。
「OpenPose」が使われている実例:自動運転
近年、自動運転の技術はますます進んでいますが、まだまだAI(人工知能)は歩行者の行動パターンを把握するのが苦手です。人なら子どもを見ると「慎重に進もう、飛び出すかも!」と注意しますが、AI(人工知能)にはこの行動が難しいですよね。
そこで「OpenPose」による画像から、AI(人工知能)が周囲の歩行者の行動を予測して、対歩行者事故を低減させよう!という研究が、名古屋大学でも始まっています。
まず、「OpenPose」を使って歩行者の関節位置を測定。そして顔や体の向き、走っているか、歩いているか、スマホを見ているか、人と談笑しているかなどを推測していきます。同時に、年代、性別、体型など歩行者の属性を12種類に分けることで、次にどのような行動(姿勢)を取るのか予測しやすくなります。
将来的には、車載カメラから「OpenPose」を用いて、多様な歩行者の属性を認識できる技術を目指しています。自動運転にはまだ課題は多いですが、事故の可能性を少しでも予測できると安心ですよね。
AI(人工知能)が姿勢診断をすることで未来が変わる
ここまでお伝えしてきたように、AI(人工知能)による姿勢測定ライブラリ「OpenPose」は、1枚の画像から人の姿勢を手軽に推定できる技術ですが、将来はもっと広い分野でも応用されるかもしれません。
たとえば、ビルなどの工事現場では多くの作業員が働いていますが、「OpenPose」を使うと、体を不自然にかばったり、動作が鈍くなって疲れている人を見つけることができるでしょう。そして、すぐに休んでもらうなど、素早い対応で事故を防ぐこともできますよね。
それに「OpenPose」は顔の表情、繊細な指の動きも解析できます。なので、スーパーで手先の怪しい動きから万引き犯を特定したり、事前に防止することもでき、セキュリティ分野で応用されるでしょう。
また、日本の伝統工芸は熟練した職人技が必要で、後継者もなかなか育たないと心配されています。今まで、見よう見まねで学んでいた細かな手や指の動きが、「OpenPose」の姿勢診断を使えば鮮明に可視化され、若い世代にも効率的に伝えられるでしょう。そして「これなら自分にもできる!」と人手不足解消になるに違いありません。
さて、今回はAI(人工知能)による姿勢測定ライブラリ「OpenPose」について、スポーツや介護、自動運転などで使われている実例も合わせてお伝えしてきました。
簡単に言うと「OpenPose」は、写真や動画からAI(人工知能)によって、人の関節点を検出し、それをつなぎ合わせて骨格モデルをつくり姿勢を測定する技術です。
そんな「OpenPose」のすごいところをまとめましょう。
- 体に特殊なセンサーをつけることなく、カメラの画像からAI(人工知能)が人の姿勢を測定する
- 体だけでなく、顔や手や指の繊細な動きも解析できる
- 同じ画像に複数人いても、全員の姿勢を同時に測定できる
- 腕など体の一部が隠れていてもAI(人工知能)によって推測され、きちんと姿勢測定できる
- 静止画だけでなく動画にも対応している
「OpenPose」はまだまだ開発段階です。しかし、カメラの画像からAI(人工知能)による姿勢測定、行動予測は画期的ですよね。今後もこの技術を使って、高齢者や障害者はもちろん、誰もがより安全で快適な生活が送れるようになるでしょう。
AI技術(Openpose)を使ったテニスのサーブフォーム解析 | DataTennis. NET
OpenPose試してみた。〜ディープラニングで人のポーズを解析
ディープラーニングを利用した画像からの姿勢情報推定:OpenPoseによる人工知能サービス展開の可能性 | Marvin
AIでスポーツをもっと楽しく、もっと科学したい[Sports x Tech]|Ryutaro|note
スポーツ情報処理の研究開発動向 映像情報メディア年報2018シリーズ(最終回)
姿勢情報の利用による歩行者属性の認識に関する検討 名古屋大学他
(ビジョン技術の実利用ワークショップ講演論文集)
非接触センサーを活用した転倒リスク予測の検討 株式会社富士通研究所