無料版colabのGPUなしランタイムでrinna modelを動かす

省メモリにrinna_modelパラメータ変換してredpajama_cppを動かす.ipynb

https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-ppo を動かすためのツールとして https://github.com/togethercomputer/redpajama.cpp があります。
transformersの形式からggmlの形式に変換するスクリプトが付属していますが、これはモデルを一度メモリにロードする際メモリ使用量が多く、無料版のColabではメモリオーバーしてしまいます。
それの対策として、メモリ使用量を抑えながらモデルを読み込むように修正パッチを当てました。
結果として、GPUなしの無料版Colabでrinnaモデルをggmlに変換できました。