nujacha.today · 身份信息校验
编码

BOM 头导致第一行丢失

文件开头多出三个不可见字节 EF BB BF,会让第一个字段变成带 BOM 的「姓名」, 按表头匹配就匹配不上,第一行直接被判格式错误。

检测

head -c 3 data.csv | xxd
# efbb bf   ← 有 BOM
# e5bc a0   ← 无 BOM

去除

sed -i '1s/^\xEF\xBB\xBF//' data.csv

批量处理整个目录:

python3 - <<'PY'
import pathlib
for p in pathlib.Path('.').glob('*.csv'):
    raw = p.read_bytes()
    if raw.startswith(b'\xef\xbb\xbf'):
        p.write_bytes(raw[3:]); print('strip BOM:', p)
PY

避免产生 BOM

为什么服务端不自动兼容

BOM 在 XML 与部分模板里是合法内容,自动去掉会破坏文件。所以批量工具严格按 UTF-8 解析, 去 BOM 的责任放在提交前。

一条命令统一清洗

for f in *.csv; do
  sed -i '1s/^\xEF\xBB\xBF//' "$f"
  iconv -f UTF-8 -t UTF-8 "$f" > /dev/null || echo "编码异常: $f"
done

相关内容

批量文件里的中文姓名变成了乱码,怎么修

批量核验时中文姓名乱码的三个成因(GBK/UTF-8 误判、缺少 BOM、编辑器默认编码),含转换命令与验证方法。

结果行号错位怎么定位

批量核验返回的行号与原始文件不一致的常见原因:空行、表头、引号内换行、CRLF 混用,含逐步排查方法。

校验位 X 的含义与处理

身份证最后一位 X 代表罗马数字 10,含计算来源、大小写规范、系统不接受 X 时的处理方式。

Excel 导出 CSV 会踩的六个坑

Excel 转 CSV 时身份证号变科学计数、末尾数字变 0、日期被改写、前导 0 丢失等问题的成因与正确做法。

在 Telegram 里完成核验、反查与批量处理,支持 txt/csv 上传与 CSV 结果下载。

打开机器人 工具更新频道