2019年2月2日土曜日

プログラマのためのGoogle Cloud Platform入門5章

さてとうとう、最後の5章です。

今までGCE(仮想マシン)GKE(コンテナ環境)をやってきました。
今度はGAE(GoogleAppEngine)でアプリケーション単体のサービス解説のようです。

◆5.1 サービス概要

例としてローカル環境にダウンロードしたhtmlファイルでGAEのサービスを呼び出してみる部分が5.1で紹介されています。

特に説明も無く始まってますが、前の章でプロジェクトを削除しているのでまたプロジェクトを作成してからCloudVisionAPI(画像解析サービス)を有効かしてAPIキーを入手してダウンロードしたファイルの中のひとつのjsファイルにキー情報を上書きしてhtmlファイルを開くとGCPに連携してくれるみたい。

で、htmlファイルを開いてフォームから適当にローカルの画像を読み込ませてみると画像解析をしてくれる。
写真の中の看板から文字を抽出して出力してくれたり、アダルト画像だと不適切判断してくれたりとかそんなサービス。
最近よくスマホアプリとかで旅行中に写真にメニューを取ればそれがどんな料理なのだとか、地名だとかを答えてくれるものがあるって聞きますけど、そういうのに使われるのかな。

外国語のメニューとかでも読めなくても文字に起こして翻訳までしてくれちゃったら大分助かりますね。凄いや。

◆5.2 GAE入門

GAEでは独自のコンテナ(GAEではインスタンスという)で運用されて負荷に応じてオートスケールしてくれるらしい。じゃあGKEってなんだろう・・・。
GKEではまだコンテナ作成時にOSを選択してたけど、今度はそれもない。
GKEで選択に出てきたOSのCOS(ContainerOptimizedSystem)と同じなのかな?

とりあえずOSはもうあんまり意識しないでもいいようだ。
アプリケーションにはデータを保存する先が必要ということでCloudStorageやDatastoreの理解も必要になってくるらしい。

しばらくDBの説明が続くけれども細かい事は必要になってからでいいかな・・・?

◆5.3 写真アルバムサービス

例によってうまくいかない。
試しにプロジェクトを新しく作ってもう一度いちからやり直そうとしたところ、CloudShellを立ち上げ直しても前のプロジェクトと同じファイルがあった。
ここのコンソールはプロジェクトに関係なくアカウント共有なのかしら。

ERROR: (gcloud.datastore) Invalid choice: 'create-indexes'.Maybe you meant: gcloud datastore indexes create gcloud datastore indexes cleanup gcloud datastore indexes describe gcloud datastore indexes list


こんなエラーで上手くいかない。
試しにコマンドを変えてみる
本のはこんなの。
" gcloud datastore create-indexes index.yaml"
↓変えてみた
gcloud datastore indexes create index.yamlConfigurations to update:descriptor: [index.yaml]type: [datastore indexes]target project: [gcp-ml-230504]Do you want to continue (Y/n)? y

特にエラーは起きなかった。

Datastoreになんか出来てた。
万歳。
その後もうまくデプロイ出来てたようで結構時間がかかったのちにWEB公開が可能になった模様。
で、実際に画像をアップロードしてみると無反応。
またGCPのコンソールをかちかちいじってエラーを探していると、こんなのが出ていた。

最初のプロジェクトで有効にしていたAPIが無効になっていて有効にしないと駄目らしい。
プロジェクトを切り替えた時にこれが有効になっているか確認済みだったのだけどおかしいな。


Blogにちゃんと記録を残そうと思って画像も取ってたし。
切り替えたあと間違いなく有効になっていたのだけれど、もう一度見ると有効になっていない。
どうもプロジェクトを左上の▼で切り替えた後って挙動が疑わしい。
しばらく前のプロジェクトのとかの状態が表示されている気がする。

削除したり新しく作ったり切り替えたりしてたからおかしくなっちゃったのかな。
まあいいや。とりあえずちゃんとデプロイ出来ました。


よく道路際で交通量調査とかしてるけど、カメラで画像取ってストレージに保存して判別させれば人力でかちかちやって調査なんて要らないと思うのよね。
時々田舎の道路の深夜にまで椅子に座ってやってる時があって吃驚する。
人件費どれくらい使ってるんだろう・・・。

次の5.4は参考って書いてあるのでとりあえずなぞるだけにして5章はここまで。

▼なぞった結果

機械学習で画像の認識の正答率が上がって行っているらしい
10分経っても5000回くらいしか終わってないので結構時間がかかるようだ。

プログラマのためのGoogle Cloud Platform入門4章

さて、2章も3章もうまくいっていないまま第4章に突入。

やっぱり本の内容が古くなっているのでメニューから選ぼうにもコンテナクラスタが無い。


とりあえずContainerEngineでなくKubernetesEngineだろうと思うのでそこのクラスタを選択。
その後も2019年2月現在とは大分違うUI。
やっぱりもう紙の本の時代じゃないんだなあ・・・。

それはさておき先に進んで、Cloud Shellからリージョンを指定してDataStoreを指定する部分。
CloudShellから実行せよという。

前にスマホから打ち込む時に躓いてたりしてたGCPホーム画面の右上にある>_ですな。

GCEでVMインスタンスを作った時にここのインスタンスでSSH接続して出てくるコンソールではなく、プロジェクトのシェルでいいようだ。

ということはたくさんコンテナ作ってそれが関連の無いときはプロジェクト分けた方がいいのかな。

@cloudshell:~ (gke-gobang-app-example-230411)$ kubectl get nodesNAME STATUS ROLES AGE VERSIONgke-gobang-cluster-gobang-cluster-8cc326eb-hm3r Ready <none> 16m v1.11.6-gke.2gke-gobang-cluster-gobang-cluster-8cc326eb-s544 Ready <none> 16m v1.11.6-gke.2gke-gobang-cluster-gobang-cluster-8cc326eb-w3vt Ready <none> 16m v1.11.6-gke.2

続いてDockerイメージなるものを作成していきます。
Dockerって何ぞ?状態です。
入門書だけあってそこから解説してくれているので助かります(ググれ)

OSなんかのインフラ設定とミドル周りの記述をひとまとめにして管理するミドルのようです。
そもそもこの章はGKEの利用例についての説明でGKEとはなんぞ・・・?GoogleContainerEngine(GKE)だそうです。(略称と違うやん)

Dockerというのはそのコンテナ管理ツールの事で、GKEの”K"の部分がKebernetes(クーバーネティス)。クーバーネティスというのはGoogle独自のコンテナオーケストなんとかツールだそうです。

一章から三章まで扱っていたのがGCE(GoogleComputeEngine)。
今回はGoogleContainerEngine(GKE)。

なんでこんな名前にしたんだろう、紛らわしい。Engineっている?

まあとにかく今はGoogle独自のコンテナ管理ツールのサービスでDockerを扱うのだ!

◇◆◇

その後もとりあえず順調に進むものの文章が曖昧。
”実行してください”と”このように指定します”では全然違う。
解説?指示?どっち?


@cloudshell:~/gke-gobang-app-example (gke-gobang-app-example-230411)$ FROM debian-bash: FROM: command not found@cloudshell:~/gke-gobang-app-example (gke-gobang-app-example-230411)$ from debianfrom: can't read /var/mail/debian

うーん、駄目みたいですね・・・。
そんなコマンド無いって!

誰かこの本出版前に校正してあげて!
「プログラマのためのGCP入門」ってわりにはネットワークとはなんぞ、フェイルオーバーってとかGCP以前の部分から何ページも説明があったり、GCPの部分で説明不足だったりする・・・。プログラマだったらそんな説明要らんでしょう(私には勉強になる部分多いですが)。

Dockerファイルの記述の説明なんか要らないでしょう。
末尾にDocker1.11.2を元に本書を記載していますとあるけど、どうせすぐに古くなるし試しにバージョン情報出力するとやっぱ古い。
やたら長々とDockerコマンドの解説があるので何かと思ったら本書を執筆した中井悦司氏と阿佐志保氏がDocker本を書いているのでそのせいのようだった。
数ページ進むと参考としてこの人達が書いたDocker本の宣伝がある。

それは別途ググるからGKEでサンプルアプリケーションを起動するまでの概要の説明と実際にやるコマンドに注力して貰えませんかね・・・どこから解説と実行例が切り替わるのか。

2章3章がうまくいかないのはたぶん私が何処か間違えているんだと思うけど、4章は酷い、監修しているとは思えない。


@cloudshell:~/gke-gobang-app-example (gke-gobang-app-example-230411)$ API_URL=http://localhost:8080/api/vi client/client.py Welcome to Gobang (Five in a Row) game.Game ID (0:new game)? 0Traceback (most recent call last): File "client/client.py", line 71, in <module> id = new_game() File "client/client.py", line 27, in new_game return response.json()['id'] File "/usr/local/lib/python2.7/dist-packages/requests/models.py", line 897, in json return complexjson.loads(self.text, **kwargs) File "/usr/lib/python2.7/json/__init__.py", line 339, in loads return _default_decoder.decode(s) File "/usr/lib/python2.7/json/decoder.py", line 363, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "/usr/lib/python2.7/json/decoder.py", line 381, in raw_decode raise ValueError("No JSON object could be decoded")ValueError: No JSON object could be decoded@cloudshell:~/gke-gobang-app-example (gke-gobang-app-example-230411)$ vi /usr/lib/python2.7/json/decoder.py @cloudshell:~/gke-gobang-app-example (gke-gobang-app-example-230411)$ docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES3be02eb82ab4 frontend:v1.0 "/opt/gobang/bin/fro…" 20 minutes ago Up 20 minutes 0.0.0.0:8080->8080/tcp frontend0bdcc567713c backend:v1.0 "/opt/gobang/bin/bac…" 22 minutes ago Up 22 minutes 8081/tcp backend@cloudshell:~/gke-gobang-app-example (gke-gobang-app-example-230411)$

結局プロセスとしてはちゃんと起動しているもののJSONのエラーが出た。
Webサイトで構文チェックしてくれるサイトがあるのでコピーしてみると構文エラーがある。ダメじゃん・・・。

こちらでいじっている部分ではないので、諦めて先へ。

@cloudshell:~/gke-gobang-app-example (gke-gobang-app-example-230411)$ gcloud docker -- push gcr.io/$PROJECT_ID/frontend:v1.0WARNING: `gcloud docker` will not be supported for Docker client versions above 18.03.As an alternative, use `gcloud auth configure-docker` to configure `docker` touse `gcloud` as a credential helper, then use `docker` as you would for non-GCRregistries, e.g. `docker pull gcr.io/project-id/my-image`. Add`--verbosity=error` to silence this warning: `gcloud docker--verbosity=error -- pull gcr.io/project-id/my-image`.See: https://cloud.google.com/container-registry/docs/support/deprecation-notices#gcloud-dockerThe push refers to repository [gcr.io/gke-gobang-app-example/frontend]cdbf029a16bb: Preparinge3280de533d5: Preparinga2e66f6c6f5f: Preparing-example before performing this operation.

次も駄目でした。gcloudのサブコマンドとして使用する事でレジストリへのアクセスが行われるって本にはあるけど、駄目みたいですね。

あとコンテナのイメージに重大な脆弱性がみつかりましたとかいう通知が来たし辞めた方がいいのかな・・・?
この後はGKEにアップロードできないので何も出来ないのだけれど、複数のコンテナをまとめたPODという単位でサービスを立ち上げる。で、対戦機能があるアプリケーションのAI思考側を司るバックエンドのコンテナをバージョンアップする。GKEにローリングアップデート機能があり、バックエンドのコンテナが新しくなると一個ずつ切り替わっては古い方が削除されていくのでサービスを停止せずにバージョンアップが可能なのだという感じの説明がありました。
プロジェクトを削除して今宵は終了。うーん、これは酷い(私が)
全然うまくいかないやん・・・

2019年1月31日木曜日

プログラマのためのGoogle Cloud Platform入門3章

さて、本書の3章に進みました。

いきなり挫折です。
2章が成功していないと3章が出来ません。
正常に動作する前提でスクリプトが作られていたのでログも無いし、原因不明のままです。仕方ないので動かない部分には目をつむって進みます。

とりあえず、インスタンスを停止させて、スナップショット取って、それからイメージ作って、インスタンステンプレートを作成して、インスタンスグループでイメージを元に異なるリージョンに三つずつインスタンスを作成する流れです。

とりあえずリージョンは本の通り北東アジアと東海岸のどこか。

で、本を読んでて思ったのだけれど、これおかしくないかな?
停止させてイメージ作ってるんだから作成時点では停止している状態の筈。
なのに本では稼働している事を確認してください、とある。
インスタンスを開始させるようには書いてないのに。



いつの間に起動したのかよくわからない・・・。
当然ながら2章がうまく言っていないのでLBの設定をしてもURLはnot foundで404エラー。

次の項目も独自のドメイン取得している前提なのでスルー。
名前やUI変わっていてなぞれない項目も多いし残念な感じ。

なんとなくこんな事が出来るんだっていう感覚だけのふわふわしてるところで今日は終了。


2019年1月30日水曜日

プログラマのためのGoogle Cloud Platform入門2章②

やっぱり本に載っているものとは大分更新されている。

本ではCloudSQLAPIなるものがあるらしいが、検索しても出てこない。
どれが正解かな?
とりあえずAdminAPIを選んでみよう。

その後本の通りに進めてv2の掲示板の起動をしたところで詰まった。

● dengonban.service - Message Board Application
   Loaded: loaded (/etc/systemd/system/dengonban.service; disabled; vendor preset: enabled)
   Active: failed (Result: exit-code) since Wed 2019-01-30 13:47:00 UTC; 5s ago
  Process: 9223 ExecStop=/bin/kill -TERM $MAINPID (code=exited, status=1/FAILURE)
  Process: 9220 ExecStart=/opt/dengonban/v2/app.py (code=exited, status=1/FAILURE)
 Main PID: 9220 (code=exited, status=1/FAILURE)
Jan 30 13:47:00 webserver kill[9223]:  -<signal>, -s, --signal <signal>
Jan 30 13:47:00 webserver kill[9223]:                         specify the <signal> to be sent
Jan 30 13:47:00 webserver kill[9223]:  -l, --list=[<signal>]  list all signal names, or convert one to a name
Jan 30 13:47:00 webserver kill[9223]:  -L, --table            list all signal names in a nice table
Jan 30 13:47:00 webserver kill[9223]:  -h, --help     display this help and exit
Jan 30 13:47:00 webserver kill[9223]:  -V, --version  output version information and exit
Jan 30 13:47:00 webserver kill[9223]: For more details see kill(1).
Jan 30 13:47:00 webserver systemd[1]: dengonban.service: Control process exited, code=exited status=1
Jan 30 13:47:00 webserver systemd[1]: dengonban.service: Unit entered failed state.
Jan 30 13:47:00 webserver systemd[1]: dengonban.service: Failed with result 'exit-code'.

ステータスでこんなメッセージが出てしまう。
台湾にゾーンを変えてもう一つインスタンスを作成していちからやり直しても同じ結果。
もう駄目だ・・・。二時間試行錯誤しても何処でトラブルが起きてるのかさっぱりわからない。

諦めてv3の画像付きの掲示板も試してみたけど同じようなメッセージが出て駄目だった。

何処が駄目なのか・・・。DBへの接続が駄目とか、何かメッセージ出してくれないかな・・・

プログラマのためのGoogle Cloud Platform入門2章

昨日は忙しかったので今日こそ第二章を読む。

いちおう昼休憩にスマホにGoogleConsoleをダウンロードしてVMインスタンスから掲示板を作る所までは実施済み。

ここで一番の問題はスマホでSSH接続してコマンドを打ち込む時、どうやっても打ち込めずスマホのデフォルトのキーパッドで入力した文字が表示されずに消えてしまう。
変換機能か何かが余計な事をしているような挙動に見えたので、別のアプリを入れて入力を差し替えました。
インストールしたのはせっかくだからGoogleの"Gboard"。
インストールして設定する際にクレジットカードなどの情報が外部に送信されるという警告が出てくる。
吃驚して拒否したものの、調べるとAndroidの機能で警告メッセージが表示されるだけで、別にキーパッドで入力したものが外部に送信される事は無いらしい。

紛らわしい・・・あんなメッセージ出てきたらインストール出来ないよ。

何はともあれ無事にコマンドが打ち込めるようになり、本に書いてある通りにやって掲示板を作成。


まあ、こんな単純なものです。

どうやってここに辿り着くのかが分かりにくかった。
GCPの自分のホーム画面?からプロジェクトを切り替えて左側の[GoogleComputeEngine]を選択して[VMインスタンス]から[外部IP]をクリックするとここのURLに転送される。

★余談
本に書いてあるままとりあえず進めようとしていたものの、VMインスタンス画面で警告メッセージがあり、現在の環境ではスペックが十分に使われていないのでもっと性能落とした方がお安くなりますよと推奨があった。
ヘルプページよりも日本語化が進んでいて微妙に違ったけれども、警告に従ってVMインスタンスを停止しておすすめを押下
メモリが3.5GB⇒1.7GBに減りました。


停止が完了しておすすめから推奨スペックが消えたら再び開始させる。
掲示板も元通り普通に表示されましたね。







2019年1月28日月曜日

Cloud Shellを起動してみる

とりあえず本の流れに従ってCloud Shellなるものを起動してみる。
デモ画面らしきものが表示されたけど、しばらく起動中なのかと勘違いしていた。
ウィンドウの右下に起動の文字があったのでそこをクリック・・・何も起きない。


もう一度起動を試そうにもグレーアウトしていて触れない。
しばらく悩んでいると、気がついたら勝手に別のタブが立ち上がっていた。
そっちの画面は上のようにグレーアウトされていないのでもう一度Shellを起動する。

今度はうまく言った。画面の下にコンソールが表示された。
普通のLinux環境みたいだ。
正確にはよくわからない。

とりあえず"pwd"と打ち込んでみると/エイリアス/homeにいてreadme.txtが置いてあったのでcatしてみる。

Welcome to Google Cloud Shell, a tool for managing resources hosted on Google Cloud Platform!
The machine comes pre-installed with the Google Cloud SDK and other popular developer tools.
Your 5GB home directory will persist across sessions, but the VM is ephemeral and will be reset
approximately 20 minutes after your session ends. No system-wide change will persist beyond that.
Type "gcloud help" to get help on using Cloud SDK. For more examples, visit
https://cloud.google.com/shell/docs/quickstart and https://cloud.google.com/shell/docs/examples
Type "cloudshell help" to get help on using the "cloudshell" utility.  Common functionality is
aliased to short commands in your shell, for example, you can type "dl <filename>" at Bash prompt to
download a file. Type "cloudshell aliases" to see these commands.
Type "help" to see this message any time. Type "builtin help" to see Bash interpreter help.

・・・google先生が誇る機械学習で高度に日本語化される翻訳機能に頼ろう。

Google Cloud Platformは、Google Cloud Platformでホストされているリソースを管理するためのツールです。
このマシンには、Google Cloud SDKとその他の一般的な開発者ツールがプレインストールされています。
5GBのホームディレクトリはセッションをまたいで持続しますが、VMは一時的でリセットされます
セッション終了後約20分です。それ以外にシステム全体の変更はありません。
Cloud SDKの使用方法については、「gcloud help」と入力してください。他の例については、をご覧ください。
https://cloud.google.com/shell/docs/quickstartおよびhttps://cloud.google.com/shell/docs/examples
"cloudshell"ユーティリティを使用してヘルプを取得するには、 "cloudshell help"と入力します。共通の機能は
シェル内の短いコマンドにエイリアス化されています。たとえば、Bashプロンプトで "dl <filename>"と入力すると、次のように入力できます。
ファイルをダウンロードしてください。これらのコマンドを表示するには、 "cloudshell aliases"と入力してください。
このメッセージを表示するには、「help」と入力してください。 Bashインタプリタのヘルプを見るには "builtin help"とタイプしてください。
『VMは一時的でリセットされます』
どういうことだろう。
無くなってしまうのだろうか。よくわからない。先に進もう。

と思ったらすぐ後ろのページに解説が載っていた・・・。
ホームは永続的で”リセット”というのは操作しないと勝手に終了するよってだけだった。

その後の一章はアプリケーションのデバッグツールやらなんやらの説明で終わる。
アプリの事はよくわからない・・・

"cloud launcher"なるものの説明もされているが、検索しても出てこない。
無くなってしまったのだろうか。

最後は何書いてあるのかよくわからないまま終わってしまった。
これで初日完。
一、二週間じゃ勉強終わりそうにないなあ・・・。

一章は30Pだったが2章は倍ある。
やばし!

GCPを始めてみよう


最近世間でクラウドクラウドいわれているけれどもなんだかよくわからない。
バズワードって奴ですかね。

オラクルのラリー・エリソンはもともとあった概念を言い換えただけとかなんとか、他にもいろんな人が同じような事をいってはいるものの、世の中こうも広まってはついていかないとと思って勉強してみる事にしました。

でも相変わらずぼんやりしてるし(クラウドだけに!)
目標としては資格取得するまでを目途に始めてみましょうか。

で、いくつか資格があるみたいですが、

・Associate Cloud Engineer
・Professional Cloud Architect
・Professional Data Engineer

目標になりそうなのは上二つ。
Data Engineerはデータ処理とか機械学習とからしいのでいきなり素人が目指すようなものじゃなさそう。

適当に”GCP 資格”でググってみましたが、受験記書いてる皆さん大体実務経験ありとか、既にAWSの資格持っているとかで1,2週間の勉強ですんなり合格されていらっしゃる。(当方、azureってなんかスマホゲームで聞くゲームの事?AWSってアマゾン?本屋さんじゃないの?ってレベル)

素人には参考にならないので、とりあえず本屋さんで参考書を立ち読みしてみました。

Google Cloud Platform エンタープライズ設計ガイド
⇒2018年5月発行だったので、たぶんこちらの方が良さそう
プログラマのためのGoogle Cloud Platform入門
⇒2017年6月発行なのでもう古い。画面デザインやURLも変わっている可能性あり

結局『プログラマのためのGoogle Cloud Platform入門』(3000円)を買いました。
電子書籍版もあるみたいですけど、数百円しか変わらないし。
(kindle版?kindle持ってないと使えないの?っていう状態なので紙の本)
こちらはコマンドとか掲載して手を動かしながら勉強できる本でした。
でもそんなのなくてもWebの向こう側の親切な人達が解説しているサイトたくさんあると思うので、エンタープライズ設計ガイドの方がいいかも。私の場合はより素人向けっぽい方を選びました。(両方買う予算は無い)

とりあえず読みながらアカウント作ってスタートガイド画面まで来ました。
まあ一日一章くらいは読み進めながら手を動かしたいなっと。



追記:
メモメモ。
・プロジェクト名は後からでも変更できる(本では変更できないとあった)
・プロジェクトIDは勝手に小文字になる
・プロジェクトの下にシステムが管理される
・プロジェクト毎にコンソールを切り替える