技術 SQLPrestoトレジャーデータ [トレジャーデータ]PRESTOで文字列の中から複数の値をワイルドカード検索する -- 普通のLIKE指定だと文字列が含むもののみだが、この指定だと複数範囲の値も抽出可能 SELECT * FROM table1 WHERE REGEXP_LIKE(ID, '' ) -- # ID... 2021-07-17
技術 SQLPrestoトレジャーデータ [トレジャーデータ]PRESTOで対象項目にnullが入っていた場合、別値を取得する -- 2つのテーブルからflg情報を取得し、値が存在したものを設定する。 SELECT ID -- # 左から参照し、値にnull以外が入っていたものを設定する , COALESCE(t1.flg, ... 2021-07-17
技術 SQLPrestoトレジャーデータ [トレジャーデータ]PRESTOでテーブル項目や属性情報を参照する -- テーブルの項目の属性とコメントを確認する SHOW COLUMNS FROM table1... 2021-07-17
技術 SQLPrestoトレジャーデータ [トレジャーデータ]PRESTOで日付を年や月に変換する SELECT target_date , SUBSTR(target_date, 1, 4) AS y -- target_dateを年に変換 , SUBSTR(target_date, 1, 7) ... 2021-07-08
技術 SQLPrestoトレジャーデータ [トレジャーデータ]PRESTOで基準日をベースにして日付操作を行う SELECT target_date , CAST(target_date AS timestamp) -- timestamp型に変換 , DATE_ADD('hour' , 9 , CAST(ta... 2021-07-08
技術 SQLPrestoトレジャーデータ [トレジャーデータ]PRESTOでVARCHARの日付項目を日付型変換して、差分を取得する SELECT -- VARCHAR→日付型へ DATE_PARSE(start_date,'%Y/%m/%d') AS start_date , DATE_PARSE(end_date,'%Y/%m/... 2021-07-08
技術 pythonpyenvシンボリックリンク pyenvでpythonのPATHを切り替えられない時の対策(シンボリックリンクの設定) pythonのバージョンをアップデートするだけなのですが、かなり苦戦したので、備忘を残します。 そして、詳しくは以下記事に対策含めて事細かに書かれていますので、詳細はそちらにお任せして、タイトルの通り... 2021-07-05
技術 SQLPrestoトレジャーデータ [トレジャーデータ ]PRESTOで曜日指定してデータを取得する SELECT * FROM table1 WHERE -- # 毎週日曜日のデータを取得 # 1:月/ 2:火 / 3:水 / 4;木 / 5:金 / 6:土 / 7:日 DAY_OF_WEEK(DA... 2021-07-05
技術 SQLPrestoトレジャーデータWindow関数 [トレジャーデータ ]PRESTOで指定項目ごとに連番を設定する コード例 -- 以下ではid毎に連番をつける、その際にid, typeで並び替えてから連番をつける SELECT id , type , ROW_NUMBER() OVER( PARTITION BY... 2021-07-05
技術 SQLPrestoトレジャーデータ [トレジャーデータ ]jsonデータの抽出コード -- JSON形式で保存されたデータ(json_info)からデータを抽出するサンプルコード SELECT json_info , JSON_EXTRACT_SCALAR(json_info, '$... 2020-03-04
技術 pythongooglecolab [google colab]yahooから株価データをスクレイピングしてローカルにCSV保存する方法 ## やりたい事 google colabからpythonを利用した処理で、 1)yahooの株価情報をスクレイピングしてきて、データフレームに格納 2)株価コードを追加したり、銘柄名を補正するなどの... 2019-08-28
技術 プログラムSQLPrestoWindow関数 【トレジャーデータ】PRESTOで累積和を算出する 日別、商品別での価格とその累積和を取得するSQL SELECT target_date , shohin_id , price , SUM(price) OVER (PARTITION BY shoh... 2019-08-23