nujacha.today · 身份信息校验
编码

批量文件里的中文姓名变成了乱码,怎么修

把 Excel 存成 CSV 再上传,最容易出的问题不是格式,是编码。上传后姓名变成 寮犱笁 这种字样,说明文件是 GBK/GB18030,而服务端按 UTF-8 解码。

三种典型症状

症状成因修法
姓名出现不常见汉字(寮犱笁)GBK 被当 UTF-8 解转成 UTF-8
首行多一个不可见字符UTF-8 BOM去掉 BOM
证件号少几位Excel 转科学计数列格式设文本

判断当前编码

file -i data.csv
# charset=iso-8859-1  ← 多半是 GBK
# charset=utf-8       ← 正常

转成 UTF-8

iconv -f GB18030 -t UTF-8 data.csv -o data.utf8.csv

报 illegal input sequence 说明文件混了多种编码,需要分段处理。

去 BOM

sed -i '1s/^\xEF\xBB\xBF//' data.csv

Python 读文件用 encoding="utf-8-sig" 也能自动吃掉 BOM。

Excel 导出时预防

  1. 另存为 → 选 CSV UTF-8(逗号分隔),不要选普通 CSV
  2. 证件号那列先设为「文本」格式再粘贴
  3. 导出后不要留空行在开头

验证

python3 -c "open('data.utf8.csv', encoding='utf-8').read(); print('utf-8 OK')"

相关内容

结果行号错位怎么定位

批量核验返回的行号与原始文件不一致的常见原因:空行、表头、引号内换行、CRLF 混用,含逐步排查方法。

校验位 X 的含义与处理

身份证最后一位 X 代表罗马数字 10,含计算来源、大小写规范、系统不接受 X 时的处理方式。

Excel 导出 CSV 会踩的六个坑

Excel 转 CSV 时身份证号变科学计数、末尾数字变 0、日期被改写、前导 0 丢失等问题的成因与正确做法。

BOM 头导致第一行丢失

UTF-8 BOM 的成因、检测方法、批量去除命令,以及对 CSV 表头与首行数据的影响。

在 Telegram 里完成核验、反查与批量处理,支持 txt/csv 上传与 CSV 结果下载。

打开机器人 工具更新频道