【Python】コピーペースト用メモ | 合同会社ムジンケイカクプロ

【Python】コピーペースト用メモ

python Python

Pythonでよく使うコードをコピーペースト用に。

isnull

print(df['labelnum'].isnull())
print(df.isnull().any())

PandasでCSVをデータフレームに

df = pd.read_csv(f'{folder_path}2019-03-10.csv', dtype = None, delimiter = ",")

dfとしてPandasで読み込む。
後で分割してtrainとvaliとtestに3分割。

指定列の文字列の置換とNanの0埋め

df['着順1'] = df['着順1'].str.replace('失', '0')
df['着順1'] = df['着順1'].str.replace('欠', '0')
df['着順1'] = df['着順1'].str.replace('故', '0')
df['着順1'] = df['着順1'].str.replace('落', '0')
df['着順1'] = df['着順1'].fillna(0)

ValidationDataで予測結果を見る

多値分類 multiclass classification

va_pred = model.predict_classes(va_x)
va_pred = pd.Series(va_pred)
va_pred.to_csv(f'{folder_path}va_pred.csv')

ValidationDataで予測結果を確認する時。
よく2行目で、NumPyからDataFrameへ変換したことでエラーに遭遇してしまうのでメモ。

予測と結果のズレ「予測に0がない」

score = log_loss(va_y_check, va_pred, eps=1e-7)

ValueError: y_true and y_pred contain different number of classes 10, 2. Please provide the true labels explicitly through the labels argument. Classes found in y_true: [0 1 2 3 4 5 6 7 8 9]

print(va_y_check.unique())
[5 0 2 8 6 7 4 1 3 9]

print(va_pred.unique())
[7 3 4 1 5 2 9 6 8]

score = log_loss(va_y_check, va_pred, eps=1e-7)

0の発生確率が低すぎるので、予測結果に0がない。
そのため、ラベル数が違うのでエラーになる。

pred = model.predict_classes(test_x)
pred = model.predict_proba(x_test)
上記の差でもなる。
log_lossを使用する際に、確率を与える必要がある。
(誤認識かもしれないので継続して調べる)

よく忘れる実行時間の計測用

import datetime
print(datetime.datetime.now())

時間がかかる処理の前と後に挿入。
経過時間を出すプログラムは、あまり入れていない。

データ型を確認する

print(df['列名'].dtype)

型変換とエラー

print(df['result'].astype(int))

ValueError: Cannot convert non-finite values (NA or inf) to integer
非有限値(NAまたはinf)を整数に変換できません

NaNがあると考えて、

print(df.unique())

などでチェックする。その後、

NaNの0埋め

df['result'].fillna(0,inplace=True)

うちでよくあるパターン

年月日の列をdate型に変換

print(pd.to_datetime(df['年月日の列の名前']))

型変換

print(pd.to_datetime(df['年月日']))
#型をチェック
print(df['result'].dtype)

df['result'] = df['result'].replace('置換文字', -1)
df['result'].fillna(0,inplace=True)
print(df['result'].unique())

#型をintに。
print(df['result'].astype(int))
#型が上書きされない。
print(df['result'].dtype)

#上書き
df['result'] = df['result'].astype(int)
print(df['result'].dtype)

1次元のリスト

#Series シリーズに変換
df= pd.Series(df)
#一列だけのデータ

DataFrameデータフレーム

df= pd.DataFrame(df)

プリント

#プリント
print(df)

フォルダパス

folder_path = '/content/drive/My Drive/XXXXXXXXXXXX/'

ユニークな要素のカウント

#要素のリストができる。
print(df.nunique())
#値をCSVにして、EXCELで眺める
df.to_csv(f'{folder_path}df.csv')
#print(df.unique())
print(df[0].unique())

置換

#複数条件 特定範囲 数値置換 サンプル
train_x.loc[(train_x['date_flag'] < 2000) & (train_x['date_flag'] >= 0), 'date_flag'] = 1
print(train_x["date_flag"])
print(train_x["date_flag"].nunique())

複数条件の時に、()で括ってやるルールがわからなくて、ハマってしまったことも備忘。

Pythonでの機械学習時のGPU利用

from keras import backend as K

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.4
sess = tf.Session(config=config)
K.set_session(sess)

参考にしたサイトさん、失念中。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Tue Jan 21 06:29:32 2020

@author: mkp
"""

import pandas as pd
import numpy as np

#A,B,Cの名前で3列、2行のデータ(DataFrame)を作成
df = pd.DataFrame([[1,2,3], [4,5,6]], columns=list('ABC'))

#同じ列数でデータ(DataFrame)を作成
df2 = pd.DataFrame([[7,8,9]], columns=list('ABC'))

#それを結合させる
df3 = df.append(df2)


#更に1行追加する
df.loc['add'] = [df.loc[0][0],11,12]
print(df)

データ(DataFrame)への行追加、データ(DataFrame)の結合例

タイトルとURLをコピーしました