技術 プログラムpython [python]特定パターンにマッチするファイルを一覧取得する PR 2022-12-26 2022-12-27 ### ライブラリのインポート from glob import glob ### inputフォルダ内にあるファイルのリストを取得 pathsList = glob('input/*') 上記は、inputフォルダ内にあるファイルのpath情報をリストで取得してます。ファイル名称をリストで取得して、for文でループさせて処理する場合などに利用します。便利。 この記事が気に入ったら『目黒で働く分析担当の作業メモ』にご支援をお願いします! ※OFUSEに飛びます
技術 【トレジャーデータ】PRESTOにおけるパフォーマンスチューニングメモ 大量データの処理を行う場合などで処理効率を上げるのに使うコードを書いていきます。 SMART_DIGEST() : 文字列を短いハッシュ値に...
技術 [python]colabやnotebookで処理の実行時間を表示する方法 ## pandasを使ってhtml情報を取得して表示する処理 import pandas as pd # Kabutanの株価上昇率ランキン...
技術 [bigquery]特定のカラム名を持っているテーブル情報を探す方法 SELECT CONCAT(table_catalog, '.', table_schema, '.', table_name) as ta...
技術 [python]xfeatを使って数値項目のみを抽出する ## ライブラリのインストール pip install xfeat, sklearn >> /dev/null ## ライブラリのインポート...
技術 [biguqery]複数のフラグ項目を一気に判定する方法 SELECT * FROM dataset.table WHERE 1 IN (flg1, flg2, flg3) -- flg1, flg...
技術 【トレジャーデータ】PRESTOで差集合を取得する -- 差集合の取得 idを基準にして、 table1に存在して、table2に存在しないレコードを取得 SELECT id FROM tab...