文字コード変換

文字コードを調べる

$ nkf --guess duplicate_link.joblog.txt
Shift_JIS (CRLF)

UTF-8 LFに変換する

nkf -Luxw 

$ nkf -Lu -w duplicate_link.joblog.txt >duplicate_link_job.log
-Lu : 改行コードをLFに変換(unix)
-Lw: CRLFに変換(Windows)
-w: UTF-8に変換(worldwide)
-s: shiftjis
-x: 半角カタカナを維持
-Z4: 全角カタカナを半角に変換
--overwrite: 変換結果を上書きする

     $ nkf -Lu -w --overwrite duplicate_link.joblog.txt

$ nkf --guess duplicate_link_job.log
UTF-8 (LF)