技術 SQLbigquery 【bigquery】ランダムサンプリングする方法 PR 2021-11-30 2022-05-09 bigqqueryでデータをランダムサンプリングするコードメモです。 SELECT * FROM dataset.table WHERE -- 以下を指定することでテーブルの10%のデータをランダムに抽出する RAND() < 0.1
技術 [python]xfeatを使って数値項目のみを抽出する ## ライブラリのインストール pip install xfeat, sklearn >> /dev/null ## ライブラリのインポート...
技術 [linux]サーバ上の容量をチェック→自動メール配信 ログの多いアプリを扱う時、クラウドサービス(AWSやGCP)使っていれば気にならないのですが、自前でサーバ持ってる場合だと毎日確認>自動チェ...
技術 【linux】前日更新したファイル情報一覧を取得する方法 更新日付が一致するモジュール情報等をぽんっと取り出すコマンド find . -mtime -1 -ls ↓↓↓ 1234567 4 -rw...
技術 【mysql】プロシージャーを使った繰返し処理について 繰返し処理でテーブルに何度もレコードを挿入する場合等に使います。 例えば、日別でデータ集計する処理を作った場合、過去3年分同じように集計する...
技術 [google colab]yahooから株価データをスクレイピングしてローカルにCSV保存する方法 ## やりたい事 google colabからpythonを利用した処理で、 1)yahooの株価情報をスクレイピングしてきて、データフレー...