技術 プログラムpython [python]不要なメモリを解放して最適化するコード # ガーベージコレクターのライブラリをインポート import gc # 不要なオブジェクトを解放し、メモリ最適化する。 gc.collect() google colabなどメモリに限りがある環境を... 2023-11-25
技術 プログラムSQLbigquery [bigquery]件数を絞ってランダム抽出するクエリ 対象データをランダムに100件取得する SELECT * FROM dataset.table ORDER BY rand() LIMIT 100... 2023-11-13
技術 プログラムSQLbigquery [bigquery]特定項目のみをSELECT対象外にする方法 SELECT * EXCEPT(item_id) ## EXCEPTで指定した項目をSELECT対象外にする FROM dataset.table 項目をたくさん持っているテーブルの中から、特定項目を... 2023-11-03
技術 プログラムpython機械学習 [python]google colab上で、Lightgbmの2値分類タスク実行時のベースコード 2023/10/25時点でのgoogle colabのバージョンでのlightgbmベースコードメモです。 githubにも同じコード置いてあります 今回blog作成のモチベーションは以下。 ligh... 2023-10-25
技術 プログラムpython [python]pandaDataFrameをnumpy配列に変更する方法 ## データ型の確認 print(type(data)) > <class 'pandas.core.frame.DataFrame'> ## numpy配列に変換する data = data.... 2023-10-23
技術 プログラムSQLbigquery [biguqery]アソシエーション分析用のデータ抽出クエリ with association1 as ( -- 合計購入者数 select count(distinct userId) as allPu from dataset.table ) , assoc... 2023-09-29
技術 プログラムSQLbigquery [bigquery]商品IDから組合わせレコードを作る方法 WITH pairs AS ( SELECT a1.productId AS productId_1, a2.productId AS productId_2, COUNT(*) AS cnt FRO... 2023-09-26
技術 プログラムpython [python]pandasでobject型をfloat型に変換する方法 import pandas as pd # DataFrameの作成 df = pd.DataFrame({'col1': }) # '判断A'を0に、 '判断B'を1に変換する mapping = ... 2023-09-25
技術 プログラムpython生成AI [python]Open InterpreterでCode Llamaを利用してみた 話題になっていた、Open Interpreterを触ってみたので手順メモ残します。 Open Interpreterとは ・GPT-3.5や4.0, Llamaなどの大規模言語モデル活用して開発され... 2023-09-18
技術 プログラムpythoncolab統計 [python]google colab上でカイ2乗検定を行う方法 カイ2乗検定では、2群の割合の差が意味のある差なのかどうか?を検定する 例えばABテストを行った場合にちゃんと効果があったかどうか?を検証していて、その差分が微差だった場合で誤差範囲ではないか?などの... 2023-09-16
技術 プログラムpython [python]データをいろいろな表形式で表示する方法 ## インストール pip install tabulate ## pythonでのコード例 from tabulate import tabulate data = [ , , , ] ## テーブ... 2023-08-28
技術 プログラムpython [python]ディレクトリの一覧を取得する ## 初期状態のgoogle colabで実行すると以下のような結果が表示 import os os.listdir(".") >... 2023-08-27