unique: SQLでいうところのdistinctをpythonコードで ### unique関数を利用して一意な項目を出力する df.unique() nunique: こちらは count(di...

### ライブラリのインポート from glob import glob ### inputフォルダ内にあるファイルのリストを取得 pathsList = glob('input/*') 上記は、i...

bigqueryで定義関数を作成する方法 まずは、プロジェクト名の横３点リーダーをクリックすると、「データセットを作成」が表示されるのでそこをクリック次に以下のようなウインドウが出るので、作成したいデ...

- unique関数で取得したい項目を選択する- 複数シートの指定をする- 取得した項目を昇順で並び替える # コード例 =SORT(UNIQUE({'シートA'!A1:A100; 'シートB'!A1...

# 項目のタイプが処理できないというエラーのため、astypeで変換してあげればOK df = df.astype(float) # 対象項目が複数ある場合は、同じように変換する...

SELECT column_name, data_type, is_nullable FROM dataset.schema.INFORMATION_SCHEMA.COLUMNS -- データセットと...

RedashではSQLの抽出結果に対して、AS句で項目名に「__multiFilter」と追加するだけで、簡単にフィルタを設定することができます。 SELECT Id as Id__multiFilt...

GCEにpyenvを入れてpythonのバージョンを変えている場合で、新しくモジュールをインストールするには、以下コマンドで対応可能 pyenv exec pip3 install tweepy==4...

bigqueryでは配列をGROUP BYしようとすると、以下のようなエラーになります。 SELECT status, count(1) as COUNT FROM dataset.table GRO...

SELECT -- start_time から end_time　までの秒差分を取得 TIMESTAMP_DIFF(TIMESTAMP(end_time), TIMESTAMP(start_time)...

SELECT CONCAT(SUBSTR(FORMAT_TIMESTAMP('%Y-%m-%d %H:%M:%S', TIMESTAMP(time), 'Asia/Tokyo'), 0, 15), '...

<details><summary>▼文章を隠しています</summary><div> 長くてみづらくなった文章はこのコードで隠しましょう 隠すことでスッキリします。 <...