技術 プログラムSQLbigquery [biguqery]アソシエーション分析用のデータ抽出クエリ with association1 as ( -- 合計購入者数 select count(distinct userId) as allPu from dataset.table ) , assoc... 2023-09-29
技術 プログラムSQLbigquery [bigquery]商品IDから組合わせレコードを作る方法 WITH pairs AS ( SELECT a1.productId AS productId_1, a2.productId AS productId_2, COUNT(*) AS cnt FRO... 2023-09-26
技術 プログラムpython [python]pandasでobject型をfloat型に変換する方法 import pandas as pd # DataFrameの作成 df = pd.DataFrame({'col1': }) # '判断A'を0に、 '判断B'を1に変換する mapping = ... 2023-09-25
技術 プログラムpython生成AI [python]Open InterpreterでCode Llamaを利用してみた 話題になっていた、Open Interpreterを触ってみたので手順メモ残します。 Open Interpreterとは ・GPT-3.5や4.0, Llamaなどの大規模言語モデル活用して開発され... 2023-09-18
技術 プログラムpythoncolab統計 [python]google colab上でカイ２乗検定を行う方法 カイ２乗検定では、２群の割合の差が意味のある差なのかどうか？を検定する 例えばABテストを行った場合にちゃんと効果があったかどうか？を検証していて、その差分が微差だった場合で誤差範囲ではないか？などの... 2023-09-16
技術 プログラムpython [python]データをいろいろな表形式で表示する方法 ## インストール pip install tabulate ## pythonでのコード例 from tabulate import tabulate data = [ , , , ] ## テーブ... 2023-08-28
技術 プログラムpython [python]ディレクトリの一覧を取得する ## 初期状態のgoogle colabで実行すると以下のような結果が表示 import os os.listdir(".") >... 2023-08-27
技術 プログラムpythongoogle [GCP]Search Console API利用時に、"User does not have sufficient permission for site 'https://xxxxxx.com'.が出た時の対処方法 このエラーの対処が結構ややこしかった為、blogに備忘として残します。(2023/8/19時点の環境) 事前準備 まず、エラーメッセージを見る限り、サイトへのアクセス権限が足りてないことが問題なのは英... 2023-08-19
技術 プログラム [linux]CRONジョブの実行履歴の確認方法 grep CRON /var/log/syslog CRONジョブが実行された日付、時間、ユーザーなどの情報を含むエントリが書き込まれたログファイルから、CRONに関する情報をフィルタリングし、表示す... 2023-08-19
技術 プログラムSQLbigquery [bigquery]平均値と中央値を算出する方法 SELECT AVG(price) as avg_value, -- 平均値 APPROX_QUANTILES(price, 2) as median_value -- 中央値 FROM datase... 2023-08-14
技術 プログラムSQLbigquery [bigquery]2023/1/1などの文字列型を日付型に変換する方法 スプレッドシート上で、2023/1/1などで登録されている日付情報（STRING型になってる）をbigquery上にコネクトした後に、日付型として処理する場合に使ったコードです。 SELECT PAR... 2023-08-08
技術 プログラムSQLbigquery [bigquery]モードがREPEATEDの項目をSELECTする方法 例えば、注文単位で複数商品を同時発注可能な場合、ordersテーブルを設計した場合は以下のような構造に。 フィールド名種類モードidSTRINGNULLABLEcreated_timeTIMESTAM... 2023-08-04
