编码
BOM 头导致第一行丢失
文件开头多出三个不可见字节 EF BB BF,会让第一个字段变成带 BOM 的「姓名」,
按表头匹配就匹配不上,第一行直接被判格式错误。
检测
head -c 3 data.csv | xxd
# efbb bf ← 有 BOM
# e5bc a0 ← 无 BOM
去除
sed -i '1s/^\xEF\xBB\xBF//' data.csv
批量处理整个目录:
python3 - <<'PY'
import pathlib
for p in pathlib.Path('.').glob('*.csv'):
raw = p.read_bytes()
if raw.startswith(b'\xef\xbb\xbf'):
p.write_bytes(raw[3:]); print('strip BOM:', p)
PY
避免产生 BOM
- Excel 的
CSV UTF-8导出会带 BOM,这是微软的兼容做法 iconv或 Python 以encoding="utf-8"写出不会带 BOM- 读用
utf-8-sig、写用utf-8,可吃掉 BOM 且不重新产生
为什么服务端不自动兼容
BOM 在 XML 与部分模板里是合法内容,自动去掉会破坏文件。所以批量工具严格按 UTF-8 解析, 去 BOM 的责任放在提交前。
一条命令统一清洗
for f in *.csv; do
sed -i '1s/^\xEF\xBB\xBF//' "$f"
iconv -f UTF-8 -t UTF-8 "$f" > /dev/null || echo "编码异常: $f"
done
相关内容
批量文件里的中文姓名变成了乱码,怎么修
批量核验时中文姓名乱码的三个成因(GBK/UTF-8 误判、缺少 BOM、编辑器默认编码),含转换命令与验证方法。
结果行号错位怎么定位
批量核验返回的行号与原始文件不一致的常见原因:空行、表头、引号内换行、CRLF 混用,含逐步排查方法。
校验位 X 的含义与处理
身份证最后一位 X 代表罗马数字 10,含计算来源、大小写规范、系统不接受 X 时的处理方式。
Excel 导出 CSV 会踩的六个坑
Excel 转 CSV 时身份证号变科学计数、末尾数字变 0、日期被改写、前导 0 丢失等问题的成因与正确做法。