技術 SQLbiguqery [bigquery]_PARTITION日時をSELECTで表示する方法 PR 2021-08-28 2022-05-09 SELECT _PARTITIONDATE AS target_date -- AS指定しないとエラーになるので注意 , _PARTITIONTIME AS target_time -- AS指定しないとエラーになるので注意 FROM dataset.table WHERE _PARTITIONDATE >= DATE_ADD(current_date(), INTERVAL -3 DAY) -- 3日分のPARTITIONデータ この記事が気に入ったら『目黒で働く分析担当の作業メモ』にご支援をお願いします! ※OFUSEに飛びます
技術 [linux]CRONジョブの実行履歴の確認方法 grep CRON /var/log/syslog CRONジョブが実行された日付、時間、ユーザーなどの情報を含むエントリが書き込まれたログ...
技術 【dbt】レビュー負荷をCIで解決!SQLFluff × AWS CodeBuild連携について はじめに AWS CodeCommit環境において、SQLFluffとAWS CodeBuildを組み合わせて、PR時にSQLのフォーマット...
技術 Google OAuth 2.0 開発でハマった!ログイン画面に過去のアプリ名が表示される問題の解決策 Google OAuth 2.0 を利用したアプリケーションを開発・切り替えする際、「新しいアプリのクライアントIDを設定したのに、Goog...
技術 [python]データフレームの特定項目でグルーピングして最小値、最大値を算出する方法 ## idでグルーピングし、その中でsalesが最も小さいレコードを抽出する df.loc.idxmin()] なお、上記の、idxminの...
技術 [python]LGBMでValueError: DataFrame.dtypes for data must be int, float or bool. Did not expect the data types in fields xxxx が出た時の対処方法メモ # 項目のタイプが処理できないというエラーのため、astypeで変換してあげればOK df = df.astype(float) # 対象項...
技術 【トレジャーデータ】prestoでgroup by時に対象項目以外を抽出する方法 他のSQLでは利用できないが、PRESTOで使えるナイスなUDFです。 -- shohin_idでgroup byしつつ、group by ...