技術 プログラム [linux]ファイル名称に日付が入っているものを指定してコピーする方法 PR 2016-03-03 2021-10-25 # 前日日付を設定 before_ymd=`date --date "1 day ago" "+%Y-%m-%d"` #ファイル名称に日付が入っている場合、それをカレントディレクトへコピーする cp /home/user/test_data_${before_ymd}.csv ./ 毎日データが生成されて保存されているものから、対象日付(上記では前日)のデータのみ取得したい場合に利用。 この記事が気に入ったら『目黒で働く分析担当の作業メモ』にご支援をお願いします! ※OFUSEに飛びます
技術 [biguqery]PARTITIONから曜日単位のデータのみ抽出する方法 SELECT * FROM dataset.table WHERE _PARTITIONDATE = DATE_TRUNC(_PARTITI...
技術 [linux]サーバ上の容量をチェック→自動メール配信 ログの多いアプリを扱う時、クラウドサービス(AWSやGCP)使っていれば気にならないのですが、自前でサーバ持ってる場合だと毎日確認>自動チェ...
技術 【トレジャーデータ 】特定曜日や月初1日のデータのみを抽出する方法 日々集計してテーブルを作っているが、BIツールなどに表示するデータは週1回とか月1回で良い といった場合、以下のようにして、対象データを絞る...
技術 [python]pandaDataFrameをnumpy配列に変更する方法 ## データ型の確認 print(type(data)) > <class 'pandas.core.frame.DataFrame'...
技術 dbtプロジェクトにSQLFluffを導入してSQLの品質管理を自動化する方法(ローカルからCIまで) はじめに dbt(Data Build Tool)を活用したデータマネジメントにおいて、データウェアハウス(DWH)内に構築するモデルの数が...
技術 [bigquery]timestamp項目の年月日変換(FORMAT_TIMESTAMPを利用) -- 事前にDECLAREで変数定義 DECLARE timestamp_date TIMESTAMP; -- 変数に値を設定 SET ti...