【Python】GPT-2のファインチューニングに向けての準備

Colaboratory環境でテストが終わり、意図せず何度もgit cloneを繰り返したりしたので、データ永続化のためにローカルへ作業を移行。

ただ、Linux環境をカットしたので、Windows環境にて以降実施。

!git clone https://github.com/huggingface/transformers
%cd transformers
!pip install .

!pip install sentencepiece
!pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu

!pip install -r python\gpt2\transformers/examples/pytorch/language-modeling/requirements.txt
#ファイルパスはご自身の環境へ変更

MKPのムジン社長

当サイトはリンクフリーです。
ご自身のブログでの引用、TwitterやFacebook、Instagram、Pinterestなどで当サイトの記事URLを共有していただくのは、むしろありがたいことです。
事前連絡や事後の連絡も不要ですが、ご連絡いただければ弊社も貴社のコンテンツを紹介させていただく可能性がございます。