CSV登録されているデータをループ処理し、スクレイピングしていく際にCSVの読み込み方が問題になることがあります。
主に文字コードなどが原因になると思いますが、そこで役立つCSVの読み込み方を一覧化しておきます。
覚えきれませんからね…。
読み込むCSVはなんでもいいのですが、Python上でダミーデータが作れるとプログラムでエラーが出た時のテストにも便利です。
そのためダミーデータの作成方法もメモしています。
codecs — Codec registry and base classes — Python 3.9.7 documentation
PandasによるCSV読み込み｜shift-jis
文字コードの指定読み込み、shift-jis版。
Windows環境からデータを受け取るとこの形式かと。
import pandas as pd
df = pd.read_csv('1m.csv', encoding='shift-jis')
print(df)
print(df.columns)
PandasによるCSV読み込み｜utf-8
df = pd.read_csv('1m.csv', encoding='utf-8')
print(df)
PandasによるCSV読み込み｜euc_jp
df = pd.read_csv('1m.csv', encoding='euc_jp')
print(df)
データの区切り文字を指定する方法
カンマ区切りの場合。
df = pd.read_csv('1m.csv', sep=',')
print(df)
ヘッダー（見出し）がないデータを読み込む場合
ヘッダーがあるデータでこの指定をすると、本来のヘッダーであった一行目がデータ一行目になり、ヘッダーとしては新しく連番のヘッダーが付与される。
df = pd.read_csv('1m.csv', header=None)
print(df)
0 1 2 0 NaN ID Name 1 0.0 0 aq4bZUmJsA 2 1.0 1 98u4efc3pi 3 2.0 2 aOtVV3Jccb 4 3.0 3 R4ZXxjtqY8 ... ... ... ... 96 95.0 95 P8UgtD3HtK 97 96.0 96 T8V9KLDKQs 98 97.0 97 pM8QhicUel 99 98.0 98 rOSK9raOYj 100 99.0 99 P1dJeTREPa 101 rows × 3 columns
インデックスを指定する
大量のデータを扱う際に、インデックス名を指定することがあります。
df = pd.read_csv('to_csv.csv', index_col=2)
print(df)
Unnamed: 0 ID Name aq4bZUmJsA 0 0 98u4efc3pi 1 1 aOtVV3Jccb 2 2 R4ZXxjtqY8 3 3 sQIobE08kz 4 4 ... ... ... P8UgtD3HtK 95 95 T8V9KLDKQs 96 96 pM8QhicUel 97 97 rOSK9raOYj 98 98 P1dJeTREPa 99 99 100 rows × 2 columns
PandasによるCSV読み込み｜速度面の問題解決
後日