機械学習

時系列データ解析についてのページ

時系列データ分析全般 http://elsur.jpn.org/202004MMM/chap5.pdf ランダムウォーク Random Walks Have Never Been Funnier | by Vladimir Ilievski | Towards Data Science 【Python】株価をランダムウォークでシミュレートしてみる - turtlechanのブログ …

XGBoostingの最適化(Optuna)と特徴量

作成中ですが、暫定で投稿。 ちなみに、xgboostでは欠損値のnanはそのまま取り扱えるようです。 最適化 試行錯誤的に、動く条件を探索しました。 import xgboost as xgb def objective_xgb(trial): # if trial.number == 0 : learning_rate = trial.suggest_…

pythonで回帰分析【xgb,lgbm,voting】

XGBoost、LightGBM、アンサンブル学習(Voting regressor)についての情報整理 kaggleはこちら。 www.kaggle.com XGBoost Python: XGBoost を使ってみる - CUBE SUGAR CONTAINER XGBoostハイパーパラメータチューニング Optunaを使ったxgboostの設定方法 - Q…

Optuna【機械学習のパラメータ最適化】

Optunaを使ってハイパーパラメータを調整します。kaggleにまとめました。 www.kaggle.com Optunaの基本 github.com optuna.readthedocs.io 公式のチュートリアルは下。 import ... # Define an objective function to be minimized. def objective(trial): #…

pythonでカンマ入りの数値の修正

pythonのデータ解析をやっていた時 ValueError: Input contains NaN, infinity or a value too large for dtype('float64'). のエラーがでたので、 np.where( np.isnan(X) ) ひとまずNaNの場所を確認。値を参照したところ、数値データのハズなのにカンマ入り…

VIFによる変数選択

重回帰分析をやっていると、多重共線性(マルチコ)ので変数選択が必要になりますが、評価指標として分散拡大係数:Variance Inflation Factorというものがあるそうで。 numpyで直接計算する。 corr_mat = np.array(df.corr()) inv_corr_mat = np.linalg.inv…

【python】マルチページtiffの読み込み

マルチページtiff画像を読み込んで、配列に画像データ(輝度値データ )を格納していきます。 from PIL import Image im = Image.open('gazou.tif') # imgはからの配列。追加していく。 img = np.arange(0) for i in range(im.n_frames): # マルチページtiff…

fortran-keras bridge【インストール】

arxiv.org Fortranからkerasが使えるようです。すごいなぁ。。 ここからインストールしてみます。 github.com 本家指示に従います。 $ git clone https://github.com/scientific-computing/FKB 次はビルド $ sh build_steps.sh /buildが作成されます。 実行…

Bayesian Optimization【インストール】

pythonでベイズ最適化するためのライブラリです。 github.com インストールは $ pip install bayesian-optimization condaの場合には $ conda install -c conda-forge bayesian-optimization でインストールのようです。 関数は最大化のみに対応?のようなの…

PyTorch【インストール】

PyTorchをインストールします。基本的には、下記サイトに行ってインストールのコマンドをゲットして実行するだけです。 pytorch.org nvidiaのドライババージョンを確認します。 nVidiaのグラフィックドライババージョンを確認する – Born Digital サポート …

Pythonでガウス過程回帰【GPyとか】

ガウス過程回帰をやるpythonライブラリとして、いくつかあったのでとりあえずインストールしました。 $ pip install GPy $ pip install GPyOpt $ pip install GPyTorch 参考なページ Gpy・GPyOpt Pythonでベイズ最適化を行うパッケージ GPyOpt - Qiita ベイ…

TensorFlow【GPUの利用】

TensorFlowは、自動的に(優先的に)GPUを利用しているらしいですが、自分の環境でGPUを利用できているかを確認します。 www.tensorflow.org import tensorflow as tf x = tf.random.uniform([3, 3]) print("利用できるGPUはあるか: "), print(tf.config.exp…

kaggle【kaggle-api】

見つけたのでインストールしました。 github.com www.currypurin.com サイト通りにやれば、特に方法は難しくなく。 pip install kaggleでインストール ユーザープロフィールから Create API Tokenでjsonファイルを取得 jsonファイルを~/.kaggleに移動 kaggle…

scikit-learn【インストール】

機械学習用のpythonライブラリです。インストールしました。 scikit-learn.org こちらを参考にしました。 qiita.com $ pip install scikit-learn 使い方はこれから勉強します。 qiita.com

TensorFlow【VSCodeの設定】

WSL環境で実行しています。 setting.jsonの設定 ここを参照しました。仮想環境を構築しているので、参照先に注意です。 logixsquare.com { "files.eol": "\n", "terminal.integrated.env.windows": { "PATH": "${env:PATH};/${workspaceRoot}/venv/bin;" }, …

TensorFlow【インストール】

WSL環境へのインストールです。公式を参考にすすめます。やったことはほぼそのままです。 www.tensorflow.org $ python3 --version $ pip3 --version $ virtualenv --version vertualenvが入ってはいっていなかったようなので、追加でインストールします。 $…

機械学習の参考書

お友達に紹介されたので。 Pattern Recognition and Machine Learning (Information Science and Statistics)作者:Bishop, Christopher M.発売日: 2010/02/15メディア: ハードカバー Convex Optimization作者:Boyd, Stephen,Vandenberghe, Lieven発売日: 200…