コロナウィルスのツイートを可視化する「corona-virus-trend」で地図表示をサポートしました

corona-virus-trend.comこちらのサイトで地図表示をサポートしました。頻出地名キーワードに基づき地図上に表示を行います。

f:id:yayoi-taka:20200211123053j:plain

 

コロナウィルスのツイートを可視化する「corona-virus-trend」を公開しました

corona-virus-trend.com

f:id:yayoi-taka:20200201131135j:plain

一定期間でツイートを集計、ワードクラウドとして可視化を行います。

CloudWatherでアルバムのフィルタリングをサポートしました

CloudWatcher

CloudWatcher

  • icot
  • Education
  • $1.99

apps.apple.com

アルバムのタイトル部分をタップすると雲種でフィルタリングできます。

f:id:yayoi-taka:20200120193310j:plain

設定画面では雲種ごとの件数を参照できます。
f:id:yayoi-taka:20200120192549p:plain

 

AutoML Visionで雲の識別をした話

きっかけ

公開しているこちらのアプリ、「おまかせ撮影」と言う機能があります。撮った雲の種類を判別すると言うものです。ただ、これまでは単に画像の類似度を見て判定していただけなので精度はイマイチどころかそれ以下でした。

CloudWatcher

CloudWatcher

  • icot
  • 教育
  • ¥250

apps.apple.comそこで、GCPのAutoMLで雲を識別できないかと思い立ちました。調べたら、すでに取り組み事例がありました。

www.publickey1.jpハンズオンもありますね。

www.qwiklabs.comただ、こちらのデータセット、3種類の雲しかなくて私のアプリではそのまま使えませんでした。

データセット作成

アプリでカバーしている24種類の雲の画像を集めなくてはと言うことで。Google画像検索を使いました。手作業で取るのはしんどいのでこちらのスクリプトを利用させてもらいました。

hacknote.jp単に雲の名称で検索するとノイズが入ったり、「サンプル画像」の注釈が入ったものがヒットします。こちらはAutoMLにインポートしてから目検で除外しました。後者は検索時にサイト除外してもいいかもしれません。

結果的に1種類あたり100画像程度準備しました。

学習

データセットのインポート、ラベル修正を行ったのち学習を実行。無料枠を使いました。私の場合3時間程度で学習を完了。雲種によっては精度は変わります。正直人間の目で見ても判別が難しいものもあるので仕方ない部分もあるかと。

f:id:yayoi-taka:20200111075503j:plain

アプリへの組み込み

ここで少しつまづきました。CoreMLでモデルをエクスポートしてアプリに組み込んだのですが、予測した際に参照するVNClassificationObservationのidentiferがデータセットの雲ラベルではなく独自に振られたランダム文字列になってしまいました。試行錯誤したのですが解決できず…。

結局、CoreMLをそのまま使うのは諦めて、FirebaseのML Kit経由で組み込みました。

firebase.google.comただ、上記リンク先の説明、日本語と英語とで若干記述が異なります。英語の方に従って実装しないとエラーとなります。

エッジ側で画像認識できるのは性能面でも嬉しいですね。