技術 プログラムpython [python]xfeatを使って数値項目のみを抽出する ## ライブラリのインストール pip install xfeat, sklearn >> /dev/null ## ライブラリのインポート from xfeat import SelectNumer... 2023-01-15
技術 プログラムpython [python]xfeatを使ってカテゴリ変数のみを抽出する ## ライブラリのインストール pip install xfeat, sklearn >> /dev/null ## ライブラリのインポート from xfeat import SelectCateg... 2023-01-14
技術 プログラムpython [python]項目から重複するリストを取得する unique: SQLでいうところのdistinctをpythonコードで ### unique関数を利用して一意な項目を出力する df.unique() nunique: こちらは count(di... 2023-01-06
技術 プログラムpython [python]特定パターンにマッチするファイルを一覧取得する ### ライブラリのインポート from glob import glob ### inputフォルダ内にあるファイルのリストを取得 pathsList = glob('input/*') 上記は、i... 2022-12-26
技術 プログラムbigquery [bigquery]functionの作成手順 bigqueryで定義関数を作成する方法 まずは、プロジェクト名の横３点リーダーをクリックすると、「データセットを作成」が表示されるのでそこをクリック次に以下のようなウインドウが出るので、作成したいデ... 2022-12-19
技術 プログラムgoogleスプレッドシート 【スプレッドシート】複数シートから集めた項目をユニークにして昇順に並び替える方法 - unique関数で取得したい項目を選択する- 複数シートの指定をする- 取得した項目を昇順で並び替える # コード例 =SORT(UNIQUE({'シートA'!A1:A100; 'シートB'!A1... 2022-12-09
技術 プログラムpython [python]LGBMでValueError: DataFrame.dtypes for data must be int, float or bool. Did not expect the data types in fields xxxx が出た時の対処方法メモ # 項目のタイプが処理できないというエラーのため、astypeで変換してあげればOK df = df.astype(float) # 対象項目が複数ある場合は、同じように変換する... 2022-12-05
技術 プログラムSQLbigquery [bigquery]テーブルの項目情報を取得 SELECT column_name, data_type, is_nullable FROM dataset.schema.INFORMATION_SCHEMA.COLUMNS -- データセットと... 2022-10-20
技術 プログラムSQLRedash [Redash]出力結果にフィルタを設定する方法 RedashではSQLの抽出結果に対して、AS句で項目名に「__multiFilter」と追加するだけで、簡単にフィルタを設定することができます。 SELECT Id as Id__multiFilt... 2022-10-18
技術 プログラムpythonGCE [python]GCE(debian環境)でpyenv設定先へモジュールをインストールする方法 GCEにpyenvを入れてpythonのバージョンを変えている場合で、新しくモジュールをインストールするには、以下コマンドで対応可能 pyenv exec pip3 install tweepy==4... 2022-08-15
技術 プログラムSQLbigquery [bigquery]配列項目をグルーピングする方法 bigqueryでは配列をGROUP BYしようとすると、以下のようなエラーになります。 SELECT status, count(1) as COUNT FROM dataset.table GRO... 2022-08-09
技術 プログラムSQLbigquery [bigquery]時間差分を取得する SELECT -- start_time から end_time までの秒差分を取得 TIMESTAMP_DIFF(TIMESTAMP(end_time), TIMESTAMP(start_time)... 2022-07-25
