技術 SQLbigquery 【bigquery】ランダムサンプリングする方法 PR 2021-11-30 2022-05-09 bigqqueryでデータをランダムサンプリングするコードメモです。 SELECT * FROM dataset.table WHERE -- 以下を指定することでテーブルの10%のデータをランダムに抽出する RAND() < 0.1 この記事が気に入ったら『目黒で働く分析担当の作業メモ』にご支援をお願いします! ※OFUSEに飛びます
技術 【python】jupyter notebookからmysqlを利用する方法 # mysql接続用のライブラリを入れる !pip install ipython-sql !pip install pymysql # マ...
技術 DuckDB × dbtで始める、クラウド不要のモダンデータエンジニアリング入門 はじめに 「dbtを試したいけれど、BigQueryやAWSの設定は面倒…」「まずは自分のPCの中だけで完結させたい」 そんな方に最適なのが...
技術 【Git】リモートで消えた古いブランチがローカルに残る問題は「git fetch --prune」で解決!自動化のおすすめ設定も解説 チーム開発でGitを使っていると、「リモート(GitHubなど)ですでに削除されたはずのブランチが、手元の環境にいつまでも残り続けている」と...
技術 [python]dfから数値型の項目のみを表示する方法 ## dfから数値型のみを表示 ## ここではfloat64とint64を指定しているがnumeric型などが必要であればリストの中に追加す...
技術 [bigquery]テーブルの作成日時を確認する方法 SELECT table_name, creation_time FROM dataset.INFORMATION_SCHEMA.TABLE...
技術 [bigquery]JST時刻をUTC時刻へ変換する方法 日本のサービスを利用する限りはあんまりないと思うのですが、JST時刻をUTC時刻に変換したい時のコード SELECT created_at,...