Shift-JIS から UTF-8 (with BOM) に変換するスクリプト (perl, shell script)

dos2unix.sh

perl -MEncode -pe 'BEGIN{print "\xEF\xBB\xBF"} s/\r\n/\n/g;Encode::from_to($_,"shiftjis","utf-8");' $1 > $2

misc.sh

$ # リポジトリに登録されているファイルから改行コードにCRLFが含まれているものを取り出す
$ git grep --cached --full-name --name-only -I $'\r'
path/to/hoge.txt
path/huga.txt
...

$ # filelist内に記されたファイルの改行コードをCRLF->LFに変換
$ cat filelist | while read line; do perl -i -pe 's/\r\n/\n/g;' "$file"; done

usage.md

$ cat input.txt
aaaa
あああ
いいい

$ file input.txt
input.txt: Non-ISO extended-ASCII text, with CRLF line terminators
$ ./dos2unix.sh input.txt output.txt
$ file output.txt
output.txt: UTF-8 (with BOM) text

• clang-format
• auto crlf false