技術 プログラムpython [python]データの変換による特徴量の作成方法 データの確認 df.head() apply関数 # 1)datetimeから年を取得して、yearという項目を追加する(spilitで-毎に分割して、一番最初) df = df.apply(lamb... 2019-01-06
技術 プログラムpython機械学習 [python]欠損値に関する処理例 分析用に収集したデータに欠損値(null)が入っている場合、そのまま利用すると、正しい分析結果が得られない場合がある。 その為、この欠損値が含まれるデータを除外したり、欠損値を0や対象項目の平均値に変... 2019-01-05
技術 SQLPrestoトレジャーデータ 【トレジャーデータ 】テーブル名称やカラムが存在するテーブルを検索する便利コード information_schemaからいろいろ抽出するときによく使うコード 対象テーブル名が存在するものをすべて抽出する SELECT CONCAT(table_schema, '.', table... 2018-12-21
技術 Prestoトレジャーデータ 【トレジャーデータ 】よく使うUDFのメモ(随時更新) トレジャーデータ で高速検索を行う場合は、 パーティションの切られているtimeを利用する。また、日付関数はUDFが用意されており、 それを使うことで効率よく処理を行える。 対象日付のレコードを抽出す... 2018-12-13
技術 SQLPrestoトレジャーデータ 【トレジャーデータ】timeを使わない場合での日付操作コマンドメモ ◆特徴 トレジャーデータでパーティションされるのは、デフォルト設定のtimeのみである。それ以外の項目に対して、検索をしてもインデックスがない為、高速な検索ができない。 ◆課題点 過去分のデータを手動... 2018-12-07
技術 システムBI 【分析】BIツール導入&運用してみて、事前に考慮しておいた方が良い事 BIツール導入して分析してガンガン成果を出していく! という思想のもと、導入する事は最近珍しくなくなってきましたが、 何も考えずに導入すると運用フェーズ以降で色々課題が出てきて、あー事前にこうしておけ... 2018-12-05
技術 SQLPresto 【Presto】よく使うコマンドのメモ Prestoで利用するコマンドでよく使うものをまとめていきます。 テーブルの項目の属性とコメントを確認する SHOW COLUMNS FROM table1 >Column, Type, Ext... 2018-12-04
技術 システム 【windows】デバイスマネージャーを直接表示するコマンド win10以降は開くのが面倒になった為、コマンド記載。 ①windowsマークを左クリック ②ファイル名を指定して実行から、 「devmgmt.msc」と入力し「OK」をクリックする ... 2018-10-02
技術 SQLbigquery 【bigquery】パーティションテーブルの対象を絞る方法 bigqueryのstandardSQLでパーティションされたテーブルがある場合、 対象日付のテーブルのみを検索対象にする場合のコード例は以下。(クエリ課金の節約用) #standardSQL WIT... 2018-10-01
技術 分析 【アソシエーション分析】勉強会で使った資料共有 2016年位に作ったもので、かなり古めですが、 アソシエーション分析に関して、理解を深める為にグループワークで利用した資料です。 なんとなくイメージ伝わる位のものですが、ご参考迄。 ... 2018-09-25
技術 IoT 【IOT】勉強会で使った資料共有 2016年位に作ったもので、かなり古いですが、 IoTに関して、理解を深める為にグループワークで利用した資料です。 あんまり深い事は書いてないですが、IoTってこういうものか?といったイメージがなんと... 2018-09-25
技術 セミナー 【セミナー】Google for Mobile I/O RECAP 2017参加メモ 1年以上前のメモですが、スライド化してたので、アップしておきます。 やや古い情報になってますが、データ面は参考になると思います。... 2018-09-25