编码
批量文件里的中文姓名变成了乱码,怎么修
把 Excel 存成 CSV 再上传,最容易出的问题不是格式,是编码。上传后姓名变成
寮犱笁 这种字样,说明文件是 GBK/GB18030,而服务端按 UTF-8 解码。
三种典型症状
| 症状 | 成因 | 修法 |
|---|---|---|
| 姓名出现不常见汉字(寮犱笁) | GBK 被当 UTF-8 解 | 转成 UTF-8 |
| 首行多一个不可见字符 | UTF-8 BOM | 去掉 BOM |
| 证件号少几位 | Excel 转科学计数 | 列格式设文本 |
判断当前编码
file -i data.csv
# charset=iso-8859-1 ← 多半是 GBK
# charset=utf-8 ← 正常
转成 UTF-8
iconv -f GB18030 -t UTF-8 data.csv -o data.utf8.csv
报 illegal input sequence 说明文件混了多种编码,需要分段处理。
去 BOM
sed -i '1s/^\xEF\xBB\xBF//' data.csv
Python 读文件用 encoding="utf-8-sig" 也能自动吃掉 BOM。
Excel 导出时预防
- 另存为 → 选
CSV UTF-8(逗号分隔),不要选普通CSV - 证件号那列先设为「文本」格式再粘贴
- 导出后不要留空行在开头
验证
python3 -c "open('data.utf8.csv', encoding='utf-8').read(); print('utf-8 OK')"
相关内容
结果行号错位怎么定位
批量核验返回的行号与原始文件不一致的常见原因:空行、表头、引号内换行、CRLF 混用,含逐步排查方法。
校验位 X 的含义与处理
身份证最后一位 X 代表罗马数字 10,含计算来源、大小写规范、系统不接受 X 时的处理方式。
Excel 导出 CSV 会踩的六个坑
Excel 转 CSV 时身份证号变科学计数、末尾数字变 0、日期被改写、前导 0 丢失等问题的成因与正确做法。
BOM 头导致第一行丢失
UTF-8 BOM 的成因、检测方法、批量去除命令,以及对 CSV 表头与首行数据的影响。