読者です 読者をやめる 読者になる 読者になる

ハードウェアエンジニアの備忘録

電子工学(半導体物性)→応用光学・半導体プロセス→アナログ回路→C/C++→C#/.NETと低レイヤーから順調に(?)キャリアを登ってきているハードウェアエンジニアの備忘録。ブログ開始時点でiOSやサーバーサイドはほぼ素人です。IoTがマイブーム。

Raspberry Pi 3でGoogle Cloud Visionを使う

Googleの画像認識エンジンである、Cloud VisionをRaspberry Pi 3で使ってみたので、その備忘録。参考にしたのは、以下。

①Node.jsをRaspberry Pi 3に導入する

まずはnvm(Node Version Manager)の導入。

$ git clone https://github.com/creationix/nvm.git ~/.nvm

 次にパスを通す

$ source ~/.nvm/nvm.sh

 これでnvmコマンドが使えるようになったので、Node.js公式を見て、最新バージョンのNode.jsをインストールする。最新バージョンの確認は下記nvm ls-remoteコマンドでもわかる。

$ nvm ls-remote
$ nvm install v5.10.1

次にNode.jsの使用バージョンのデフォルト設定を行う。

$ nvm alias default v5.10.1

バージョンを確認してみる。

$ node -v
v5.10.1

 動いていそうだ。

.bash_profileにNode.js周りの設定を書いておく。

$ vi .bash_profile

ここを参考にした。

# nvm設定
[[ -s ~/.nvm/nvm.sh ]] && . ~/.nvm/nvm.sh
nvm use default
npm_dir=${NVM_PATH}_modules
export NODE_PATH=$npm_dir

 次に以下コマンドを打ち設定を反映させる。

$ source ~/.bash_profile

これでNode.jsの準備は完了。

Google Cloud Visionの設定

https://cloud.google.com/vision/にアクセスして、登録をすませる。

f:id:tosh419:20160417060030p:plain

左上のハンバーガーメニューから、API Managerを選択し、新しい認証情報→APIキー

f:id:tosh419:20160417060209p:plain

その後サーバーキーを選択して、作成。

そうそう、無料試用期間とはいえ、万が一が恐いので、請求のアラート設定をしておく。例えば、APIキーが漏れてしまった時などでも、被害を最小限にとどめられる。お支払い→予算とアラート→予算を作成から適当な金額を設定する。AWS破産とか冗談にならないからね。

f:id:tosh419:20160417060445p:plain

③node-cloud-vision-apiをRaspberry Pi 3に導入する

適当なディレクトリに移動し、フォルダを作る

$ cd home/pi/projects/
$
mkdir cloudvision

npm initして、node-cloud-vision-apiをインストールする

$ npm init
$
npm install --save node-cloud-vision-api

JavaScriptを実行してみる

'use strict'
const vision = require('node-cloud-vision-api')

// init with auth
// Your API Keyのところを②で取得したAPIキーに変える。
// これは公開すると他人に使われる恐れがあるので公開しないように!!
vision.init({auth: 'Your API Key'})

// construct parameters
const req1 = new vision.Request({
// ローカルにあるイメージを指定。
image: new vision.Image('/home/pi/Pictures/summerfruits.jpg'),
features: [
new vision.Feature('FACE_DETECTION', 4),
new vision.Feature('LABEL_DETECTION', 10),
]
})

// 2nd image of request is load from Web
const req2 = new vision.Request({
image: new vision.Image({
// インターネット上のイメージを指定。
url: 'https://scontent-nrt1-1.cdninstagram.com/hphotos-xap1/t51.2885-15/e35/12353236_1220803437936662_68557852_n.jpg'
}),
features: [
new vision.Feature('FACE_DETECTION', 1),
new vision.Feature('LABEL_DETECTION', 10),
]
})

// send multi requests by one API call
vision.annotate([req1, req2]).then((res) => {
// handling response for each request
console.log(JSON.stringify(res.responses))
}, (e) => {
console.log('Error: ', e)
})

上記コードをcloudvision_samplecode.jsとして保存する。

$ node cloudvision_samplecode.js

 として実行すると、下記がターミナルに出力される。(見やすくするためにインデントをつけている)

{
"labelAnnotations":
[
{
"mid":"/m/036qh8",
"description":"produce",
"score":0.97685134
},
{
"mid":"/m/02wbm",
"description":"food",
"score":0.94573361
},
{
"mid":"/m/05s2s",
"description":"plant",
"score":0.94254869
},
{
"mid":"/m/02xwb",
"description":"fruit",
"score":0.90469909
},
{
"mid":"/m/0dxb5",
"description":"berry",
"score":0.88049006
},
{
"mid":"/m/0gqbt",
"description":"shrub",
"score":0.53203881
},
{
"mid":"/m/0463nlw",
"description":"west indian raspberry",
"score":0.50897217
}
]
},

{
"faceAnnotations":
[
{
"boundingPoly":
{
"vertices":
[
{"x":112},
{"x":724},
{"x":724,"y":510},
{"x":112,"y":510}
]
},
"fdBoundingPoly":
{
"vertices":
[
{"x":193},
{"x":638},
{"x":638,"y":399},
{"x":193,"y":399}
]
},
"landmarks":
[
{
"type":"LEFT_EYE",
"position":{"x":342.14697,"y":77.257805,"z":0.0010066124}
},
{
"type":"RIGHT_EYE",
"position":{"x":524.90961,"y":100.77812,"z":0.84962881}
},
{
"type":"LEFT_OF_LEFT_EYEBROW",
"position":{"x":285.53159,"y":30.352997,"z":25.532389}
},
{
"type":"RIGHT_OF_LEFT_EYEBROW",
"position":{"x":395.71207,"y":32.727783,"z":-25.809153}
},
{
"type":"LEFT_OF_RIGHT_EYEBROW",
"position":{"x":484.55322,"y":44.141739,"z":-25.38883}
},
{
"type":"RIGHT_OF_RIGHT_EYEBROW",
"position":{"x":591.29803,"y":69.55114,"z":26.930927}
},
{
"type":"MIDPOINT_BETWEEN_EYES",
"position":{"x":434.99573,"y":73.941544,"z":-36.170986}
},
{
"type":"NOSE_TIP",
"position":{"x":423.93985,"y":167.91109,"z":-111.36714}
},
{
"type":"UPPER_LIP",
"position":{"x":411.80557,"y":241.09036,"z":-82.791382}
},
{
"type":"LOWER_LIP",
"position":{"x":405.9841,"y":306.68048,"z":-82.744064}
},
{
"type":"MOUTH_LEFT",
"position":{"x":337.35049,"y":267.53821,"z":-39.726524}
},
{
"type":"MOUTH_RIGHT",
"position":{"x":487.37915,"y":290.97012,"z":-37.928776}
},
{
"type":"MOUTH_CENTER",
"position":{"x":410.22937,"y":273.30365,"z":-75.321}
},
{
"type":"NOSE_BOTTOM_RIGHT",
"position":{"x":471.14438,"y":202.10455,"z":-44.104683}
},
{
"type":"NOSE_BOTTOM_LEFT",
"position":{"x":371.49542,"y":186.17801,"z":-44.648823}
},
{
"type":"NOSE_BOTTOM_CENTER",
"position":{"x":419.42804,"y":201.44179,"z":-75.345909}
},
{
"type":"LEFT_EYE_TOP_BOUNDARY",
"position":{"x":343.91556,"y":62.291443,"z":-9.4704609}
},
{
"type":"LEFT_EYE_RIGHT_CORNER",
"position":{"x":378.49484,"y":83.426445,"z":0.63221854}
},
{
"type":"LEFT_EYE_BOTTOM_BOUNDARY",
"position":{"x":340.5495,"y":88.847572,"z":-4.0131183}
},
{
"type":"LEFT_EYE_LEFT_CORNER",
"position":{"x":304.99127,"y":76.559814,"z":16.381186}
},
{
"type":"LEFT_EYE_PUPIL",
"position":{"x":339.22885,"y":75.820984,"z":-4.330039}
},
{
"type":"RIGHT_EYE_TOP_BOUNDARY",
"position":{"x":526.98669,"y":85.809883,"z":-8.6181784}
},
{
"type":"RIGHT_EYE_RIGHT_CORNER",
"position":{"x":560.83966,"y":109.43663,"z":17.566591}
},
{
"type":"RIGHT_EYE_BOTTOM_BOUNDARY",
"position":{"x":523.4292,"y":112.47009,"z":-3.1689837}
},
{
"type":"RIGHT_EYE_LEFT_CORNER",
"position":{"x":485.92252,"y":100.39104,"z":0.7664215}
},
{
"type":"RIGHT_EYE_PUPIL",
"position":{"x":527.13208,"y":100.01988,"z":-3.736815}
},
{
"type":"LEFT_EYEBROW_UPPER_MIDPOINT",
"position":{"x":343.1142,"y":7.1320877,"z":-7.4442763}
},
{
"type":"RIGHT_EYEBROW_UPPER_MIDPOINT",
"position":{"x":541.75824,"y":32.65345,"z":-6.5013323}
},
{
"type":"LEFT_EAR_TRAGION",
"position":{"x":207.46692,"y":196.30023,"z":203.98279}
},
{
"type":"RIGHT_EAR_TRAGION",
"position":{"x":623.50317,"y":249.52588,"z":205.91609}
},
{
"type":"FOREHEAD_GLABELLA",
"position":{"x":440.61343,"y":34.804077,"z":-31.940067}
},
{
"type":"CHIN_GNATHION",
"position":{"x":395.04126,"y":391.9465,"z":-74.228394}
},
{
"type":"CHIN_LEFT_GONION",
"position":{"x":215.1674,"y":298.48297,"z":105.92882}
},
{
"type":"CHIN_RIGHT_GONION",
"position":{"x":590.98389,"y":346.83713,"z":107.62403}
}
],
"rollAngle":7.2499251,
"panAngle":0.27318951,
"tiltAngle":11.967749,
"detectionConfidence":0.577574,
"landmarkingConfidence":0.19900249,
"joyLikelihood":"POSSIBLE",
"sorrowLikelihood":"VERY_UNLIKELY",
"angerLikelihood":"VERY_UNLIKELY",
"surpriseLikelihood":"VERY_UNLIKELY",
"underExposedLikelihood":"VERY_UNLIKELY",
"blurredLikelihood":"VERY_UNLIKELY",
"headwearLikelihood":"VERY_UNLIKELY"}],
"labelAnnotations":
[
{"mid":"/m/01k74n","description":"facial expression","score":0.86115927},
{"mid":"/m/068hy","description":"pet","score":0.80557323},
{"mid":"/m/017ftj","description":"sunglasses","score":0.72584444},
{"mid":"/m/0sgh53y","description":"selfie","score":0.71132851}
]
}
]

 

画像の一枚目は下のフルーツの画像で、

f:id:tosh419:20160417211241j:plain

   {
  "mid":"/m/036qh8",
"description":"produce",
"score":0.97685134
},
{
"mid":"/m/02wbm",
"description":"food",
"score":0.94573361
},
{
"mid":"/m/05s2s",
"description":"plant",
"score":0.94254869
},
{
"mid":"/m/02xwb",
"description":"fruit",
"score":0.90469909
},
{
"mid":"/m/0dxb5",
"description":"berry",
"score":0.88049006
},
{
"mid":"/m/0gqbt",
"description":"shrub",
"score":0.53203881
},
{
"mid":"/m/0463nlw",
"description":"west indian raspberry",
"score":0.50897217

とあるので、大体は合っていそう。

 

画像の2枚目はTaylor Swiftである。

f:id:tosh419:20160417211328j:plain

        "joyLikelihood":"POSSIBLE",
"sorrowLikelihood":"VERY_UNLIKELY",
"angerLikelihood":"VERY_UNLIKELY",
"surpriseLikelihood":"VERY_UNLIKELY",
"underExposedLikelihood":"VERY_UNLIKELY",
"blurredLikelihood":"VERY_UNLIKELY",
"headwearLikelihood":"VERY_UNLIKELY"}],
"labelAnnotations":
[
{"mid":"/m/01k74n","description":"facial expression","score":0.86115927},
{"mid":"/m/068hy","description":"pet","score":0.80557323},
{"mid":"/m/017ftj","description":"sunglasses","score":0.72584444},
{"mid":"/m/0sgh53y","description":"selfie","score":0.71132851}
]

sorrow,anger,などがunlikelyなのであっている。サングラスや自撮りであることも認識していそうである。

 

結構面白い。月に1000回ぐらいしか無料のAPIコール枠はないのでやりすぎないように注意。