イベントについて

このイベントは、福岡市のエンジニアカフェハッカーサポーターである吉永さんと、エンジニアカフェが主催するイベントです。ハッカーサポーターの専門的な知識の一端を、エンジニアのみなさんの活動に生かしてもらえるように企画しました。

内容

Google Mediapipeを使うと非常に手軽に手の認識ができます。しかし、その手がどんな状態か(開閉や角度)の認識まではこのライブラリではできません。もちろん、これらの認識もAIで実現することも可能ですが、そこまでしなくてもちょっとしたアイディアで実装することも可能です。 そこで今回はMediapipeを使った手の認識プログラムの実装手順から、そこで得られる関節の情報に対する処理の実装によって手の状態の認識を実現する方法についてご紹介します。

Google Mediapipeについて

MediaPipeとはGoogleが提供する、映像や時系列データを用いた機械学習の流れを構築するためのフレームワークです。 現在多くの機能やサンプルが公開されていて、ARでも多く用いられているハンドトラッキング(手の追跡)やフェイストラッキング(顔の追跡)、物体検知なども提供されています。 これらの機能の一部はjavascriptライブラリとして公開され、アプリをインストールする事なくWebブラウザ上で動作するARを提供できる様になってきました。

そこでAR FukuokaでもAIとARの組み合わせについて勉強してみようという事で、手をリアルタイムに検出するMediaPipe Handsに注目します。簡単なコンテンツを作りながらMediaPipeの活用方法を勉強してみましょう！

今回作るコンテンツのイメージ(クリックで動画再生)

対象者

• ARに興味のある人。(初心者OK！)
• AIも触ってみたい人
• MediaPipeのサンプルを動かしたことがあるけど、その先でつまっている人

※今回はプログラミング要素が大きいのでjavascriptの基礎の基礎を知っているとベター(必須ではありません)

事前準備

・PCのブラウザで下記のサンプルが動き、手の骨格が表示されることをご確認ください

https://hand-tracking1.glitch.me

または

https://hand-tracking-m1.glitch.me (主にM1 Mac)

・要Glitchアカウント
https://glitch.com

・演習用素材

https://github.com/TakashiYoshinaga/AR-Fukuoka
https://glitch.com/~lightsaber-template2

会場

• エンジニアカフェ
• YouTube Live

日時

2022年7月16日(土) 13:00 - 17:00

赤煉瓦会館とエンジニアカフェの紹介

福岡市赤煉瓦文化館について

商人の町であった博多地区と、城下町であった福岡地区の境目、西中島橋のすぐそばに、1909年、旧日本生命保険株式会社九州支店として竣工。設計は辰野片岡建築事務所。辰野金吾が後に手掛ける東京駅の丸の内駅舎と同様に、建物には英国のクイーンアン様式が見られる。1972年に福岡市歴史資料館として開館。1994年より福岡市赤煉瓦文化館へ。2019年8月21日より、エンジニアカフェがオープン。今日も、多くの観光客、エンジニア達が訪ねてきています。

エンジニアカフェについて

『エンジニアが集まる、活躍する、成長する街、福岡。』を掲げる福岡市の「エンジニアフレンドリーシティ福岡」活動の一環として、福岡市赤煉瓦文化館内に2019年8月21日オープン。エンジニアがより先鋭的なチャレンジやスキルの幅を広げることができることで多様多種の方に様々な機会を提供したいという想いから、官民一体で生まれたエンジニアのための施設です。

Fukuoka City Akarenga Cultural Center

Near the Nishinakajima Bridge between merchant town Hakata and castle town Fukuoka, Nissay Kyushu had opened since 1909. The structure was designed by Tatsuno Kataoka design office. As same as Tokyo station Marunouchi area, Kingo Tatsuno designed it. This architecture is English Queen Anne style. As the Fukuoka city history museum since 1972. Engineer Cafe opened on August 21st in 2019. Many tourists and engineers are visiting here today.

Engineer Cafe

Engineers getting together, active, and grow up in Fukuoka. As part of the “Engineer Friendly City Fukuoka”, inside of Fukuoka City Akarenga Cultural Center, this facility opened on August 21 in 2019. We would like to provide various opportunities for a wide variety of people by enabling engineers to expand their range of more advanced challenges and skills. A facility for engineers born in the public and private sectors.