技術 プログラム [linux]ファイル名称に日付が入っているものを指定してコピーする方法 PR 2016-03-03 2021-10-25 # 前日日付を設定 before_ymd=`date --date "1 day ago" "+%Y-%m-%d"` #ファイル名称に日付が入っている場合、それをカレントディレクトへコピーする cp /home/user/test_data_${before_ymd}.csv ./ 毎日データが生成されて保存されているものから、対象日付(上記では前日)のデータのみ取得したい場合に利用。 この記事が気に入ったら『目黒で働く分析担当の作業メモ』にご支援をお願いします! ※OFUSEに飛びます
技術 [SQL]データ内の文字コード変換してテーブルへアップロードする方法 文字化けしたデータ例(utf8) これをsjis変換して取込むコマンド(mysqlを利用) use test; set character_...
技術 【dbt】レビュー負荷をCIで解決!SQLFluff × AWS CodeBuild連携について はじめに AWS CodeCommit環境において、SQLFluffとAWS CodeBuildを組み合わせて、PR時にSQLのフォーマット...
技術 [bigquery]平均値と中央値を算出する方法 SELECT AVG(price) as avg_value, -- 平均値 APPROX_QUANTILES(price, 2) as m...
技術 DuckDB × dbtで始める、クラウド不要のモダンデータエンジニアリング入門 はじめに 「dbtを試したいけれど、BigQueryやAWSの設定は面倒…」「まずは自分のPCの中だけで完結させたい」 そんな方に最適なのが...