技術 プログラムpython [python]不要なメモリを解放して最適化するコード PR 2023-11-25 2023-11-25 # ガーベージコレクターのライブラリをインポート import gc # 不要なオブジェクトを解放し、メモリ最適化する。 gc.collect() google colabなどメモリに限りがある環境を利用してる場合は、このコードを適所に入れることで最適化する。 この記事が気に入ったら『目黒で働く分析担当の作業メモ』にご支援をお願いします! ※OFUSEに飛びます
技術 【GitHub】forkしたリポジトリをローカルで開発する手順まとめ オープンソースやチーム開発でよく使われる「fork」。でも「fork した後にどうやってローカルで開発環境を整えればいいの?」と迷う方も多い...
技術 [bigquery]特定項目のみをSELECT対象外にする方法 SELECT * EXCEPT(item_id) ## EXCEPTで指定した項目をSELECT対象外にする FROM dataset.ta...
技術 [linux]あるディレクトリ以下を再帰的に検索する 現在のディレクトリ以下に存在するファイル全ての中身に、検索文字列を探す処理。 find ./ -name '*' | xargs grep ...
技術 DuckDB × dbtで始める、クラウド不要のモダンデータエンジニアリング入門 はじめに 「dbtを試したいけれど、BigQueryやAWSの設定は面倒…」「まずは自分のPCの中だけで完結させたい」 そんな方に最適なのが...
技術 [SQL]mysqlで項目名称をもっているテーブルの一覧を検索する方法 テーブルのカラム名取得 select table_schema , table_name, column_name , column_com...