Python

Python

【Python】PandasによるCSV読み込みのパターン集

CSV登録されているデータをループ処理し、スクレイピングしていく際にCSVの読み込み方が問題になることがあります。主に文字コードなどが原因になると思いますが、そこで役立つCSVの読み込み方を一覧化しておきます。覚えられませんからね…。 ...
Python

【Python】note記事のバックアップ|Webスクレイピングプログラムの作成例

Webスクレイピングとは? 様々なWebサイトから情報を抽出・取得する技術です。Googleの検索エンジンが、あなたのサイトを巡回して情報を取得していくのも、Webスクレイピングといっていいでしょう、きっと。Webサイトの特定の情報...
Python

【Python】Google検索の結果をスクレイピングでコピペしやすくする方法

既に以下で紹介するような良い作例や記事があったんですが、手元で調べている間に作ってしまったので公開します。 ▼参考記事 【初心者向け】Pythonでスクレイピングする環境を作る⑤ Google検索をしてみる|Naruhiko|...
Python

【Python】GPU認識の確認とGPU情報の表示

確かLightgbmでGPU利用をしようとした時に、GPUを認識しているかの確認に使ったはずです。 from tensorflow.python.client import device_lib device_lib.list_local...
Python

【Python】データフレームのカラム名単位でループ処理【pandas】

pandasデータフレームのカラム名を確認。 リストにある名前のカラムであれば、名前表示後の削除。 drop_col = def dc(df) for i in df.columns: if i in drop_c...
Python

【Python】Googleスプレッドシートのワークシート名を指定後、指定セルに値を書き込む【JSON】

Google Colaboratoryでワークシート名を指定して書き込むことだけ紹介してあっても、このページの存在価値がない~利用価値がないと思うので、何に使っているかとその参考まで。 ▼最終的に書き込みに関して調べた時に、非常にわかりや...
Python

【Python】文字列と数値の混在するリスト処理

競輪データで実際に困った、文字列と数値の混在するデータの処理で困った事例です。 みなさん、ギャンブル予想がんばってますか? プログラムをリファクタリング+整理し始めた中で、思い出したノウハウがありましたのでご紹介。 ▼Pandasで1から...
Python

【Python】欠損値NaN判定|欠損値の個数を列(カラム)単位でカウントして確認する方法【pandas】

列単位で欠損値(NaN)があるか確認するなら 全てNaNの列がないか確認します。 私はこれをNaNを列にひとつでも含んでいる場合の命令だと勘違いし、ハマったことがあります。 print(df.isnull().all()) 欠損値(Na...
タイトルとURLをコピーしました