トレジャーデータ で高速検索を行う場合は、 パーティションの切られているtimeを利用する。また、日付関数はUDFが用意されており、 それを使うことで効率よく処理を行える。 対象日付のレコードを抽出す...

◆特徴 トレジャーデータでパーティションされるのは、デフォルト設定のtimeのみである。それ以外の項目に対して、検索をしてもインデックスがない為、高速な検索ができない。 ◆課題点 過去分のデータを手動...

BIツール導入して分析してガンガン成果を出していく！ という思想のもと、導入する事は最近珍しくなくなってきましたが、 何も考えずに導入すると運用フェーズ以降で色々課題が出てきて、あー事前にこうしておけ...

Prestoで利用するコマンドでよく使うものをまとめていきます。 テーブルの項目の属性とコメントを確認する SHOW COLUMNS FROM table1 　　 >Column, Type, Ext...

win10以降は開くのが面倒になった為、コマンド記載。 ①windowsマークを左クリック ②ファイル名を指定して実行から、 「devmgmt.msc」と入力し「OK」をクリックする ...

bigqueryのstandardSQLでパーティションされたテーブルがある場合、 対象日付のテーブルのみを検索対象にする場合のコード例は以下。（クエリ課金の節約用） #standardSQL WIT...

2016年位に作ったもので、かなり古めですが、 アソシエーション分析に関して、理解を深める為にグループワークで利用した資料です。 なんとなくイメージ伝わる位のものですが、ご参考迄。 ...

2016年位に作ったもので、かなり古いですが、 IoTに関して、理解を深める為にグループワークで利用した資料です。 あんまり深い事は書いてないですが、IoTってこういうものか？といったイメージがなんと...

１年以上前のメモですが、スライド化してたので、アップしておきます。 やや古い情報になってますが、データ面は参考になると思います。...

パーティショニングされたテーブルや日付毎に保存したテーブルから一気にデータを 抽出する場合、普通に処理しようとすると以下のように大量なコードを書く必要が出てくる。 　↓ SELECT id , sal...

# ライブラリ読み込み import pandas as pd import numpy as np import matplotlib.pyplot as plt %matplotlib inlin...

2018年10月ごろに@uehara1414さんという方が、japanize-matplotlibを開発してくれたので、日本語フォントを落として設定するなどの面倒な手順が一切不要になりました。使い方は...