目次
こんにちはごみばこです。
この記事はteratailの「Bluemixアドベントカレンダー」の参加記事として書かれました。
昨日は yutori_828 さんによる「クラウドx IoT女子会で推し（二次元）の話をしてきた」でした。
クラウドx IoT女子会で推し（二次元）の話をしてきた – ユニバーサルIoT女子文明
やりたいこと
最近いろいろな人と話すことが多く、手書きなりPCなりスマホなりでメモしているものの、すべてメモしているわけではありませんし、覚えていないことも多くあります。じゃあお手軽にメモするソリューションないかなあというところで、パッと思い浮かんだのが録音×音声認識です。
スマホで録音しつつ、音声認識しつつ、クラウド上にメモすることができれば最高なのでは…？
こんなところから始まっています。
使ったもの
IBM Bluemix
アドベントカレンダーのテーマにもなっている、IBMが提供するAPIやPaaSといったサービスの総称です。
簡単に登録手順をおさらいしておきます。
Bluemix への登録
以下の URL から Bluemix への登録ができます。
https://console.ng.bluemix.net/registration/
僕の場合は IBM ID を登録してから Bluemix をしましたが、Bluemix だけの登録もできるようです。
登録するとメール認証が求められます。メールからリンクを踏むと登録完了です。ここから30日間はトライアルということで無料で Bluemix のすべて（？）の機能を使うことができます。思う存分に楽しみましょう！
アプリケーションの登録
Bluemix では Cloud Foundry アプリ と呼ばれる、heroku のような、環境が整っていてコードを自由に設置することができる、PaaS を利用することで、Web サイトを制作することができます。
Cloud Foundry アプリは以下のような手順で登録していきます。
アプリケーションの画面を開いて新規追加。
テンプレートが選べるので使いたいものを選びます。僕はPHPを選択しています。
あとは勝手に環境が作られ、アプリケーションが動き始めます。すごい。
この画面上で「アプリの表示」を押すと、ブラウザでその Cloud Foundry アプリの URL が開かれます。この URL で確認をしていくことになります。
IBM Bluemix Watson
IBM Bluemix には Watson という人工知能なAPI群があります。この中に Speech to Text という音声認識を行うことのできるAPIがあります。ここに対して、音声データを送ることで、Watsonが解析し、最適な文章を取得することができます。
Watson のすごいポイントは、英語だけでなく、日本語にも対応し、さらに漢字変換もされているところです。
中身に詳しいわけではありませんが、いくつか結果を見ての推測ですが、音声をある程度区切り区切りにし、それぞれに対する適切な文章を機械学習なもので割り出しているようです。その文章はすでに漢字変換されているものなので、変換されている文章が取得できるのでは？と思っています。さらに出来上がった文章の前後関係を見て、補正し、最終的により整合性の高そうな文章を提供している……のかなあ、なんて。
Watsonを利用するには、まず、Bluemix上でWatsonを接続する必要があります。
アプリケーションを開いたとき、サイドメニューに「接続」があります。これを開くと次のような画面が開き、接続したサービスの一覧が表示されます。
新規接続を選び、画面をよしなに進めていくと、Watson を選べる画面になります。ここでは Speech to Text を選択しました。 ほかにもたくさんサービスがあって面白そうですね;)
そうすると、先ほどの接続したサービス一覧に出てくるようになり、認証情報を得ることができます。
認証情報に書かれている情報をもって以下のようなAPIを実行することになります。
※Speech to Text の例
■HTTP リクエスト
○URL
https://stream.watsonplatform.net/speech-to-text/api/v1/recognize?continuous=true&model=ja-JP_BroadbandModel
○HTTP ヘッダ
Authorization: Basic {base64_encode("username:password")}
Content-Type: {audio content type}
※ HTTP ヘッダの例
Authorization: Basic dGVzdDp0ZXN0
Content-Type: audio/wav
○HTTP メソッド
POST
■HTTP レスポンスの例
{
"results": [
{
"alternatives": [
{
"confidence": 0.106,
"transcript": "うん "
}
],
"final": true
},
{
"alternatives": [
{
"confidence": 0.32,
"transcript": "看板 見る "
}
],
"final": true
}
],
"result_index": 0
}
API詳細な説明については公式ドキュメントを見るとよいでしょう。
Speech to Text - API | IBM Watson Developer Cloud
Web Audio API と MediaStream Processing API
録音の部分では、スマホで、という想定ではありますが、やはり世界はWebに集約されるよう動いている（？）ので、ここはWebの資産を利用しましょう。
Web Audio APIを利用すると、音声に関する取り扱いを行うことができます。 そこに合わせて MediaStream Processing API を利用することで、ブラウザのみで動画や音声の記録ができます。
組み合わせることで、録音したデータをバイナリとして取得することができます。
作業していて、ちょっとだけ詰まったのですが、Chrome ではいつからか https な URL でないと Web Audio API を利用することができませんでした。音も隠さないといけない情報なので、というところだと思います。録音して外に送るってときに、パスワードとか個人情報とか社内機密をしゃべっているようなデータを http で送るとかめっちゃ怖いですよね…笑
詳しい仕様や実装などは僕もあまり詳しくないので、詳細はこちらの記事を参考にしました。
Media Capture and Streams と Web Audio API で実現する録画・録音・ WAVファイルの生成 | CYOKODOG
IBM Bluemix DevOps Services
Bluemix に初めて登録して、アプリケーションを登録したところで、いろいろ眺めていたのですが、 heroku のような、PaaSの触感がありました。
コードをデプロイするにはCLIを入れてね！なんて書いてあったのですが、ちょっとローカルPCにあれこれ入れるのは避けたいなあと思い、ひとまずなるべく手をかけずに…。
と思っていたら、Git からデプロイできるそうなので、そちらを試してみました。リモートリポジトリが提供されて、ローカルのコードを Push したらデプロイされる、といったものを想像していたのですが、それだけの機能ではありませんでした。
アプリケーションの Git を有効化すると「コードの編集」というボタンが現れます。
まさか、と思い押してみると、そこにはかっこいいオンラインエディタが…！
この中では、コードの編集はもちろんのこと、Gitの操作も行うことができます。そして何より、編集して、そのままデプロイができます。これにより、とりあえずBluemixを試す、という動きをサクサク行っていくことができました。
まとめ
結果として出来上がったものは、微妙な精度ではあるものの、IBM Bluemix を初めて触ってみて、便利そうなところを体感するには十分でした。
ばーーーっと書いてみた程度のものですが、gistに貼ってあります。試してみたい方はどうぞ！
https://gist.github.com/sters/46e042e5976b6244119baaf26b096e82
登録してから30日間は無料で使えるので、もうしばらく無料枠の間に遊んでみようと思います。Speech to Text 以外の Watson API も、画像認識を始め言語に関するものなど、楽しそうなものが多いので、あんなものやこんなものが作れるんじゃないだろうか、なんて思っています。
追記：ドキュメントを眺めていたら WebSocket をつなげるそうなので、それを使えるとさらに良いかも…！
明日以降もお楽しみに！ -> Bluemixアドベントカレンダー