技術 SQLプログラムbigquery [biguqery]PARTITIONから月初のデータのみ抽出する方法 SELECT * FROM dataset.table WHERE _PARTITIONDATE = DATE_TRUNC(_PARTITIONDATE, MONTH) -- 月初１日目のみ抽出... 2022-06-10
技術 SQLプログラムbigquery [biguqery]PARTITIONから曜日単位のデータのみ抽出する方法 SELECT * FROM dataset.table WHERE _PARTITIONDATE = DATE_TRUNC(_PARTITIONDATE, WEEK(MONDAY)) -- 月曜日のP... 2022-06-10
技術 SQLプログラムbigquery [biguqery]CURRENT_DATE()でJST指定する方法 SELECT DATE_SUB(CURRENT_DATE('Asia/Tokyo'), INTERVAL 1 DAY)... 2022-06-10
技術 SQLプログラムbigquery [bigquery]時間差分を取得する方法 bigqqueryで日時情報が入った２つの項目の差分から、時間差分(xx:xx:xx)を表示する時のサンプルコード SELECT CONCAT ( CAST(DATETIME_DIFF(CAST(en... 2022-05-08
技術 SQLプログラムbigquery [bigquery]繰り返し処理(LOOP)でパーティションテーブルを一気に作成する方法 bigqueryのコンソール上のみでパーティションテーブルを作成して、日付ループ処理を記述することで、過去分のパーティション情報などを一気に作成するコードの紹介をします。 本番環境などでは、pytho... 2022-03-13
技術 SQLpython 【SQLとPython】データ変換・抽出まとめ 用途 SQLでのデータ抽出は慣れてるけど、Pythonでのデータ抽出方法がわからない。（データアナリスト職の方） 逆にPythonは得意だけど、SQLは触ったことない。（エンジニア職でデータ分析やって... 2021-11-30
技術 SQLbigquery 【bigquery】ランダムサンプリングする方法 bigqqueryでデータをランダムサンプリングするコードメモです。 SELECT * FROM dataset.table WHERE -- 以下を指定することでテーブルの10%のデータをランダムに... 2021-11-30
技術 SQLbigquery 【bigquery】四分位数の求め方 bigqqueryで四分位数を算出するコードがあまりなかったのでメモ投稿です SELECT key , min -- 配列にしたpercent情報からoffsetで割合算出 , percent... 2021-11-29
技術 SQLbigqueryデータ不備 [bigquery]データ不備による抽出失敗例→between編 betweenを利用する項目は日付型にする必要がありますが、文字型の日付データをDATE関数などでCASTしてから利用する場合にハマるときがありましたのでメモ残します。 ▼ between対象項目にn... 2021-09-27
技術 SQLbigquery [bigquery]累積値を算出する SELECT id , date , price -- 累積金額の算出 id単位でdate順に並べ替えて、priceを累積していく , SUM(price) OVER (PARTITION BY id... 2021-09-18
技術 SQLbigquery [bigquery]テーブルの差集合を出す方法 NOT EXISTS ： table1のレコードからtable2に存在する情報をKEYで比較して抽出対象外にする方法 SELECT t1.id FROM dataset.table AS t1 W... 2021-09-17
技術 SQLbigquery [bigquery]テーブルのJOIN JOIN ： table1のidとtable2のidが一致するもののみを結合して結果を返す SELECT t1.id , t2.sales FROM dataset.table AS t1 JOIN... 2021-09-16
