Bigquery関連のセミナーへ行ってまいりました。
【aiming企業紹介】
・リサーチャーというテストチームがおり、リリース対象のアプリケーションの品質や面白さをチェックし、ここがOKださないものはリリース不可能(経営層直属の為強い権限を持つ)
・全データを横断的に集計することで集計システムの品質向上及び、タイトル横断でKPI比較をしている
【Bigquery導入迄の流れ】
・mysql利用:処理遅延時の再集計、大量データ処理が大変だった
・hadoop導入:データ保存楽になったが、少量データでも処理時間がかかる(mapreduce重い)
・Bigquery導入:構築大変、ログ送信遅延、参照カラムエラーが起こる為、エラーに強い設計を行うようにした
【Bigquery導入してよかったこと】
・保存コストが圧倒的に安い
・SQL勉強会が社内で活発に行われ、企画メンバーが自分でsqlを書く気運が出来た
・データ集計以外にユーザー動向迄、企画メンバーが自分たちで見るようになった
・データ分析エンジニア以外も分析を周囲に広めてくれるようになった
・データが消える心配がなくなった
【質疑応答】
Q:bigqueryはクエリ単位で課金されるが、気にしているか?
A:ユーザーが多い大規模なコンテンツでなければほぼ気にしていない。気になる場合はホストコントローラーで一日のクエリ発行量を制御する。
Q:Aws等他のクラウドサービスを検討したのか?
A:トレジャーデータ―を検討したが、スキーム自動生成機能などがあり便利そうではあったが、レスポンスが悪かった。理由は、ゲームのログは勝手にいろいろ入ってくる為、試行錯誤の時間が増加しがちになる為、レスポンスを優先する必要があった為。Awsも検討したが、設計に手間がかかりそうであったのでこちらもやめた。
Q:biqqueryに向かないシステムはあるか?
A:会計等データを更新する機能が必要なものはbigqueryは向いていないのでやめた方が良い。※ただし、googleの発表によるとupdate機能が実装されるという予定があるらしいのでそうなれば解消されるかも。
Q:bigqueryはデータがutc(協定世界時)で記録されるが、不便ではないか?
A:そこはそのまま格納しており、抽出時に9時間足して、jst(日本の標準時)変換している
※詳細はスライドシェアに資料がアップされていました