〇セミナ―内容:Google BigQueryの話を聞きながらお鮨やビール等をいただくネットワーキングの会 

完全メモ用↓

◆運用現場におけるBigQueryの活用

・発生したログデータは全部保存出来る思想>設計変更が後でも出来る。かつ低コストで導入可能。

・一方で何事も力技でどうにかなる>運用がおろそかになりやすい点を意識必要。
 

◆GCPサービスとBigQueryを用いたIoT基盤の構築

・IOTで必要な要素は、「通信、保存、分析基盤、認証、セキュリティ、デバイス管理」の6つ
・これらの中の「通信、保存、分析基盤」をGCPがあり得ない位安く利用可能
・処理単位での最適解>リアルタイム処理はアパッチスパーク、バッチ処理はbigquery、オンデマンド処理は模索中(最適解探し中)
 

◇#bq_sushiタイム

・セミナーの中間に軽食(寿司、鶏肉等)の振る舞い>セミナー後の懇親会参加出来ない人を出さない&おなかがすいてセミナー集中出来ない人を減らす策かなと思いました。 このタイプは初めての参加だったので新鮮でしたが、参加者に知人が一人もいないと、だれる時間になりやすいとも思われました。(身内向け施策?)

◆BigQuery に足りないもの
・ビジュアライゼーションできない。
・アカウントが個人アカウントにひもづくりため、データ共有やりにくい。
・スケジュールクエリ、バッチ処理がない。

※これらを補う処理として、サービス紹介>re:dash

◆BigQuery+Google Analytics+Rによるpredictiveなデジタルマーケティング

〇機能紹介:ビッグクエリエクスポート
・生ログをbigqueryにエクスポートする機能。
・グーグルアナリティクスのクッキーを繋ぎマージし個人特定して統計解析>解析モデルをつくり、最適解の提案。>大量情報処理がRDBでは限界がある>bigqueryで解消可能。

◆M.T.Burn の BigQuery 利用事例 (M.T.Burn:イグニスとフリークアウトのジョイントベンチャーでネイティブ広告を制作)

・GCP環境:インフラエンジニア雇わず、リソースをアプリケーション開発にあてる:フルマネージドのbigqueryが最適!

・fluent plugin bigqueryがinsertでオススメ。

・データは日付毎に作成すべし。>処理途中で落ちたりで、insert失敗が起こると、同じテーブルに入れると、データ復旧困難となる為

・query発行でいくらかかっているか?の値段概算を表記する機能は入れておいた方がよい:プランナー&ディレクターがコスト意識もてる設計にする。

・データ増によるクエリ負荷アップ→処理失敗
・ストリーミングinsert失敗>復旧処理や手順整備。
・クエリ遅延→集計異常検知処理
・チューニング→過去データの削除対応。ただし消さなくてもそれほど問題ない(運用コスト安い為)
・bq query で走査データ量を表記させる。

・150ドルでシルバープランのサポートを受けることはオススメ。ただし、調査依頼時にクエリのIDを伝える必要があるので、クエリIDは見れるようにしておく

◆Lightning Talks(各15分)
・GCPのビッグデータまわり最新動向(BigQuery UDF、ebq、Datalab、Dataprocなど)
・LINQ to BigQuery/LINQPad
・組み合わせると便利、Treasure DataとBigQuery

◆上記セミナーのスライドシェアリンク先

http://bq-sushi.connpass.com/event/21887/presentation/

おすすめの記事