〇セミナ―内容:Google BigQueryの話を聞きながらお鮨やビール等をいただくネットワーキングの会
完全メモ用↓
◆運用現場におけるBigQueryの活用
・発生したログデータは全部保存出来る思想>設計変更が後でも出来る。かつ低コストで導入可能。
◆GCPサービスとBigQueryを用いたIoT基盤の構築
・処理単位での最適解>リアルタイム処理はアパッチスパーク、バッチ処理はbigquery、オンデマンド処理は模索中(最適解探し中)
◇#bq_sushiタイム
・セミナーの中間に軽食(寿司、鶏肉等)の振る舞い>セミナー後の懇親会参加出来ない人を出さない&おなかがすいてセミナー集中出来ない人を減らす策かなと思いました。 このタイプは初めての参加だったので新鮮でしたが、参加者に知人が一人もいないと、だれる時間になりやすいとも思われました。(身内向け施策?)
◆BigQuery に足りないもの
・ビジュアライゼーションできない。
・アカウントが個人アカウントにひもづくりため、データ共有やりにくい。
・スケジュールクエリ、バッチ処理がない。
※これらを補う処理として、サービス紹介>re:dash
◆BigQuery+Google Analytics+Rによるpredictiveなデジタルマーケティング
〇機能紹介:ビッグクエリエクスポート
・生ログをbigqueryにエクスポートする機能。
・グーグルアナリティクスのクッキーを繋ぎマージし個人特定して統計解析>解析モデルをつくり、最適解の提案。>大量情報処理がRDBでは限界がある>bigqueryで解消可能。
◆M.T.Burn の BigQuery 利用事例 (M.T.Burn:イグニスとフリークアウトのジョイントベンチャーでネイティブ広告を制作)
・GCP環境:インフラエンジニア雇わず、リソースをアプリケーション開発にあてる:フルマネージドのbigqueryが最適!
・fluent plugin bigqueryがinsertでオススメ。
・データは日付毎に作成すべし。>処理途中で落ちたりで、insert失敗が起こると、同じテーブルに入れると、データ復旧困難となる為
・query発行でいくらかかっているか?の値段概算を表記する機能は入れておいた方がよい:プランナー&ディレクターがコスト意識もてる設計にする。
・データ増によるクエリ負荷アップ→処理失敗
・ストリーミングinsert失敗>復旧処理や手順整備。
・クエリ遅延→集計異常検知処理
・チューニング→過去データの削除対応。ただし消さなくてもそれほど問題ない(運用コスト安い為)
・bq query で走査データ量を表記させる。
・150ドルでシルバープランのサポートを受けることはオススメ。ただし、調査依頼時にクエリのIDを伝える必要があるので、クエリIDは見れるようにしておく
◆Lightning Talks(各15分)
・GCPのビッグデータまわり最新動向(BigQuery UDF、ebq、Datalab、Dataprocなど)
・LINQ to BigQuery/LINQPad
・組み合わせると便利、Treasure DataとBigQuery
◆上記セミナーのスライドシェアリンク先