技術 プログラムlinux効率化 [linux]ターミナルに入力した行を消す方法 内容コマンドカーソル位置から行末までを削除control + Kカーソル位置から行頭までを削除control + U contrl+Uで行頭までコードを消してさらに行頭に一瞬で戻れるのが神機能... 2022-06-05
技術 プログラムdocker [docker]よく使うコマンド 基本コマンド ## dockerのバージョン確認 docker version ## docker hub にloginする docker login ## コンテナを１つ起動(hello-world... 2022-05-31
技術 プログラムpythongoogle [python]colabからgoogleドライブへ接続する方法 from google.colab import drive drive.mount('/content/drive') この後、googleドライブへの認証を求められるので「googleドライブに接... 2022-05-30
技術 プログラムpython [python]colabやnotebookで処理の実行時間を表示する方法 ## pandasを使ってhtml情報を取得して表示する処理 import pandas as pd # Kabutanの株価上昇率ランキングのURLを指定 url = "https://kabuta... 2022-05-21
技術 プログラムgit [git]GitHubに色々な絵文字を追加する方法 slackを使っているとスタンプでのコミュニケーションが結構盛り上がるのですが、githubのissueやプルリクでも同様なことができないか探してみたら、色々絵文字が使えることがわかったので、メモ。 ... 2022-05-08
技術 プログラムSQLbigquery [bigquery]時間差分を取得する方法 bigqqueryで日時情報が入った２つの項目の差分から、時間差分(xx:xx:xx)を表示する時のサンプルコード SELECT CONCAT ( CAST(DATETIME_DIFF(CAST(en... 2022-05-08
技術 プログラムSQLbigquery [bigquery]繰り返し処理(LOOP)でパーティションテーブルを一気に作成する方法 bigqueryのコンソール上のみでパーティションテーブルを作成して、日付ループ処理を記述することで、過去分のパーティション情報などを一気に作成するコードの紹介をします。 本番環境などでは、pytho... 2022-03-13
技術 プログラムpythongoogle [Google]colabで自動切断されないようにするコード Google colabでは一定時間何もしないでいると、自動切断されますが、このコードを打込んでおけば定期的（以下のコードでは60,000ミリ秒に１回）にアクセスすることで、自動切断をある程度防げます... 2022-03-09
技術 プログラムpythongoogle 【slack】api tokenを利用してコロナ感染者数の推移グラフを特定チャンネルに投稿してみた(2022/1/30時点) ・slackにBotsアプリを追加してAPIトークンを取得する・厚生省のコロナ感染者情報をpythonで取得してグラフ化する slackにBotsアプリを追加してAPIトークンを取得する チワちゃんこ... 2022-01-31
技術 プログラムSQLPrestoWindow関数 【トレジャーデータ】PRESTOで累積和を算出する 日別、商品別での価格とその累積和を取得するSQL SELECT target_date , shohin_id , price , SUM(price) OVER (PARTITION BY shoh... 2019-08-23
技術 プログラムSQLPresto 【トレジャーデータ】prestoでgroup by時に対象項目以外を抽出する方法 他のSQLでは利用できないが、PRESTOで使えるナイスなUDFです。 -- shohin_idでgroup byしつつ、group by されたshohin_idの shohin_nameも取得する... 2019-08-05
技術 プログラムSQLPresto 【トレジャーデータ】PRESTOにおけるパフォーマンスチューニングメモ 大量データの処理を行う場合などで処理効率を上げるのに使うコードを書いていきます。 SMART_DIGEST() : 文字列を短いハッシュ値に変えるUDF。数値型ではなく文字列型でのJOINを行う際には... 2019-07-17
