python
時系列データ分析全般 http://elsur.jpn.org/202004MMM/chap5.pdf ランダムウォーク Random Walks Have Never Been Funnier | by Vladimir Ilievski | Towards Data Science 【Python】株価をランダムウォークでシミュレートしてみる - turtlechanのブログ …
作成中ですが、暫定で投稿。 ちなみに、xgboostでは欠損値のnanはそのまま取り扱えるようです。 最適化 試行錯誤的に、動く条件を探索しました。 import xgboost as xgb def objective_xgb(trial): # if trial.number == 0 : learning_rate = trial.suggest_…
XGBoost、LightGBM、アンサンブル学習（Voting regressor）についての情報整理 kaggleはこちら。 www.kaggle.com XGBoost Python: XGBoost を使ってみる - CUBE SUGAR CONTAINER XGBoostハイパーパラメータチューニング Optunaを使ったxgboostの設定方法 - Q…
多項式で近似する場合 numpyの機能で実行できます。 import numpy as np x = np.arange(0, 1000, 1) y_target = xxx ndim = 3 # Coeffs=np.polyfit(x,y_target,3) # plt.plot( x, np.poly1d(Coeffs)(x) ) 一般の関数で近似する場合 scipyのoptimize, curve_f…
penguinitis.g1.xrea.com 春日氏作成のpythonプログラムblockMesh.pyを使ってみました。ので、簡単なメモ（OpenFOAMも久しぶりなので）。 $ wget http://penguinitis.g1.xrea.com/study/OpenFOAM/blockMeshPython/blockMeshPython-v1912-20200612.tar.gz $ t…
試験結果のデノイズのためにフーリエ解析に基づくローパスフィルタをかけます。 まずは、周波数解析。fftpackを使います。fsには周波数を入れます。 import scipy.fftpack as spfft X = spfft.fft(data) amp = [np.sqrt(c.real ** 2 + c.imag ** 2) for c in…
日本語交じりのファイルをnp.loadtxtで読み込みます。 data = np.loadtxt('data.CSV',delimiter=',',skiprows=1, encoding="utf-8_sig") エラーが発生 UnicodeDecodeError: 'cp932' codec can't decode byte 0xef in position 0: illegal multibyte sequence…
久しぶりに操作すると忘れるのでメモです。 $ conda info -e $ conda activate xxx $ pip install yyy 以上
pythonのデータ解析をやっていた時 ValueError: Input contains NaN, infinity or a value too large for dtype('float64'). のエラーがでたので、 np.where( np.isnan(X) ) ひとまずNaNの場所を確認。値を参照したところ、数値データのハズなのにカンマ入り…
重回帰分析をやっていると、多重共線性（マルチコ）ので変数選択が必要になりますが、評価指標として分散拡大係数：Variance Inflation Factorというものがあるそうで。 numpyで直接計算する。 corr_mat = np.array(df.corr()) inv_corr_mat = np.linalg.inv…
マルチページtiff画像を読み込んで、配列に画像データ（輝度値データ ）を格納していきます。 from PIL import Image im = Image.open('gazou.tif') # imgはからの配列。追加していく。 img = np.arange(0) for i in range(im.n_frames): # マルチページtiff…
特に難しくはないですが、anaconda prompt上でインストール。 $ conda create -n venv_cv2 python=3.8 $ conda activate venv_cv2 $ pip install opencv-python $ pip install opencv-contrib-python
pythonで回帰分析（重回帰分析）をするときのまとめ。結果の出力まで。 scikitlearnを使う 後述のstatsmodelsが機能は充実しているが、サクッと使いたいor他のモデルを使っている場合はこちら。係数の比較などをしたいので、データは規格化しています。 from…
実行位置から相対パスで外部ファイルを指定します。 import sys sys.path.append(r'..\dir') from aaa import bbb windows環境なので、ファイル名の指定法に注意。 参考にしました。 Python 3でのファイルのimportのしかたまとめ - Qiita 【python】外部ファ…
やりたかったこと flaskでwebアプリ開発中、wsl環境で構築したプログラムを実行したかった。 import subprocess cmd = "wsl /home/matsuo/... .../a.out" subprocess.call(cmd.split(),shell=True) subprocess を使ってコマンドを実行します。ポイントは、 w…
matplotlibでよく検索する情報のまとめ。逐次更新。 フォント https://hogeocraft.blogspot.com/2017/09/matplotlibpyplot.html 軸の文字 上付き・下付きにはmathdefaultを使うとよい（数式フォントを使う）。 [$\mathdefault{cm^3}$/g] グラフ Matplotlib …
jfly.uni-koeln.de https://www.fukushihoken.metro.tokyo.lg.jp/kiban/machizukuri/kanren/color.files/colorudguideline.pdf 資料を作成時に色使い困ったときによく参照にしています。詳細はHPを参照してください。色コードは下にべた書き。 #ff2800, #faf…
pythonで簡単GUI環境を目指します。 インストール flask環境として、適当な名前（xxx）の仮想環境を設定します。 $ conda create --name xxx flask sqlalchemy numpy pandas 環境を起動。 $ conda activate xxx ここまででインストールok。 簡単チュートリア…
matplotlibのチートシートです。なんて便利！！ github.com
詳細化学反応機構を解析するオープンソースなソフトウェアです。 cantera.org 化学反応速度、熱力学、移動現象を解析できるらしいですよ。（本家の説明を和訳） インストール(anaconda) 今回はanaconda環境にインストールします。本家の指示通りに進みます。…
pythonでベイズ最適化するためのライブラリです。 github.com インストールは $ pip install bayesian-optimization condaの場合には $ conda install -c conda-forge bayesian-optimization でインストールのようです。 関数は最大化のみに対応？のようなの…
PyTorchをインストールします。基本的には、下記サイトに行ってインストールのコマンドをゲットして実行するだけです。 pytorch.org nvidiaのドライババージョンを確認します。 nVidiaのグラフィックドライババージョンを確認する – Born Digital サポート …
ガウス過程回帰をやるpythonライブラリとして、いくつかあったのでとりあえずインストールしました。 $ pip install GPy $ pip install GPyOpt $ pip install GPyTorch 参考なページ Gpy・GPyOpt Pythonでベイズ最適化を行うパッケージ GPyOpt - Qiita ベイ…
本家はこちらです。インストールします。 Installing Intel® Performance Libraries and Intel® Distribution for Python* Using APT Repository | Intel® Software MKLのインストール $ sudo apt install -y wget apt-transport-https $ wget https://apt.r…
pythonのライブラリバージョンが大変になってくるので、仮想化を図ります。venvを使います。まず、venvのインストール。 $ sudo apt-get install python3-venv 自分が使用したいpythonのバージョンでvenvコマンドを実施。 $ python3.6 -m venv .venv （今回…
機械学習用のpythonライブラリです。インストールしました。 scikit-learn.org こちらを参考にしました。 qiita.com $ pip install scikit-learn 使い方はこれから勉強します。 qiita.com
WSL環境で実行しています。 setting.jsonの設定 ここを参照しました。仮想環境を構築しているので、参照先に注意です。 logixsquare.com { "files.eol": "\n", "terminal.integrated.env.windows": { "PATH": "${env:PATH};/${workspaceRoot}/venv/bin;" }, …
WSL環境へのインストールです。公式を参考にすすめます。やったことはほぼそのままです。 www.tensorflow.org $ python3 --version $ pip3 --version $ virtualenv --version vertualenvが入ってはいっていなかったようなので、追加でインストールします。 $…
大変参考にしました。 kaisk.hatenadiary.com scipy.stats.normを使います。 from scipy.stats import norm 出てくる変数は loc：期待値≒平均値 scale：標準偏差 これに加えて、 x：正規分布のx軸の値 確率密度→pdf norm.pdf(x=1.0, loc=0, scale=1) x以下の…
計測データのノイズをとって平滑化したかったので。移動平均でもそれなりに平滑化できるのですが、データのとり始めが非常に重要なので、移動平均はとりたくなかったのです。 watlab-blog.com 大変参考になりました。説明されているバターワースフィルタを知…
