技術 プログラムpython [python]不要なメモリを解放して最適化するコード PR 2023-11-25 2023-11-25 # ガーベージコレクターのライブラリをインポート import gc # 不要なオブジェクトを解放し、メモリ最適化する。 gc.collect() google colabなどメモリに限りがある環境を利用してる場合は、このコードを適所に入れることで最適化する。 この記事が気に入ったら『目黒で働く分析担当の作業メモ』にご支援をお願いします! ※OFUSEに飛びます
技術 [python]データフレームの項目を%表示に変えるコード # 0.05などの項目を 5%に変換する import pandas as pd ## データを読込む df = pd.read_csv('...
技術 DuckDB × dbtで始める、クラウド不要のモダンデータエンジニアリング入門 はじめに 「dbtを試したいけれど、BigQueryやAWSの設定は面倒…」「まずは自分のPCの中だけで完結させたい」 そんな方に最適なのが...
技術 [時短]YouTubeの動画要約を10秒で行う方法 最近の情報収集はYouTubeで行うことが増えてきてます。 その際に動画視聴の時間がかかります。 自分は、概ね再生速度1.75倍で視聴してる...
技術 [biguqery]複数のフラグ項目を一気に判定する方法 SELECT * FROM dataset.table WHERE 1 IN (flg1, flg2, flg3) -- flg1, flg...
技術 GitHubで直接編集した後の push エラー解決法 手動でgithub上のREADMEなどを修正した後、ローカルでgit pull せずに開発進めてしまった時の対策についてメモ 事象 GitH...
技術 [SQL]mysqlで項目名称をもっているテーブルの一覧を検索する方法 テーブルのカラム名取得 select table_schema , table_name, column_name , column_com...