日本データサイエンティスト協会によると、 データサイエンティストは以下のように、３つのスキルが必要と言われています。 １：ビジネス力 ２：エンジニアリング力 ３：データサイエンス力 これらのスキ...

確定申告対応用 https://leemanparadise.com/neta/amazon-purchase-history-csv-download/...

slackのメンバー削除方法が結構わかりにくいところにあるので、手順メモ残します。 1. slackの画面左上にあるワークスペース名をクリック 2. 設定と管理をクリック 3. メンバーを管理するをク...

jupyterでpandas-tdをインストールする !pip install pandas-td 必要なライブラリの読み込み import os import pandas as pd import...

データの確認 df.head() apply関数 # 1)datetimeから年を取得して、yearという項目を追加する(spilitで-毎に分割して、一番最初) df = df.apply(lamb...

分析用に収集したデータに欠損値（null）が入っている場合、そのまま利用すると、正しい分析結果が得られない場合がある。 その為、この欠損値が含まれるデータを除外したり、欠損値を0や対象項目の平均値に変...

information_schemaからいろいろ抽出するときによく使うコード 対象テーブル名が存在するものをすべて抽出する SELECT CONCAT(table_schema, '.', table...

トレジャーデータ で高速検索を行う場合は、 パーティションの切られているtimeを利用する。また、日付関数はUDFが用意されており、 それを使うことで効率よく処理を行える。 対象日付のレコードを抽出す...

◆特徴 トレジャーデータでパーティションされるのは、デフォルト設定のtimeのみである。それ以外の項目に対して、検索をしてもインデックスがない為、高速な検索ができない。 ◆課題点 過去分のデータを手動...

BIツール導入して分析してガンガン成果を出していく！ という思想のもと、導入する事は最近珍しくなくなってきましたが、 何も考えずに導入すると運用フェーズ以降で色々課題が出てきて、あー事前にこうしておけ...

Prestoで利用するコマンドでよく使うものをまとめていきます。 テーブルの項目の属性とコメントを確認する SHOW COLUMNS FROM table1 　　 >Column, Type, Ext...

win10以降は開くのが面倒になった為、コマンド記載。 ①windowsマークを左クリック ②ファイル名を指定して実行から、 「devmgmt.msc」と入力し「OK」をクリックする ...