Python中高效统计文本列与人名列表的单词匹配数量（Pandas教程）
本文详解如何使用Pandas对两列文本进行逐词精确匹配并计数，解决因正则转义错误（如o）导致的报错问题，提供简洁、健壮且无需正则的纯字符串处理方案。
本文详解如何使用pandas对两列文本进行逐词精确匹配并计数，解决因正则转义错误（如`o`）导致的报错问题，提供简洁、健壮且无需正则的纯字符串处理方案。
在实际数据处理中，常需判断一段自然语言文本（如句子）中有多少个词“精确出现在”另一列的逗号分隔名单中——例如从描述性语句中统计提及了哪些指定人员。原始尝试使用 re.search(f'\b{p}\b', o) 不仅引入了不必要的正则开销，还因误写 o（应为 s 或直接避免）触发 error: bad escape o 错误。更优解是绕过正则，采用基于空格分词 + 集合/列表成员检查的轻量逻辑。
核心思路如下：
- 将 people 列按 ', ' 安全拆分为姓名列表（注意处理 NaN）；
- 将 original 列按空白字符（空格、制表符等）默认 split() 拆分为单词列表；
- 对每个句子中的每个单词，检查其是否完整等于 people 列中任一姓名（区分大小写、无子串误匹配）；
- 统计满足条件的单词总数，赋值给 result 列。
以下是完整可运行代码：
import pandas as pd
# 构建示例数据
df = pd.DataFrame({
"original": [
"John is a good friend",
"Mary and Peter are going to marry",
"Bond just met the Bond girl",
"Chris is having dinner",
"All Marys are here"
],
"people": ["John, Mary", "Peter, Mary", "Bond", None, "Mary"]
})
# 关键步骤：填充 NaN 并执行逐行匹配计数
df["people"] = df["people"].fillna("") # 防止 str.split() 报错
df["result"] = [
sum(word in person_list for word in sentence.split())
for sentence, person_list in zip(
df["original"],
df["people"].str.split(", ")
)
]
print(df)
输出结果：
ChatGPT
最最强大的AI聊天机器人程序，ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。
下载
original people result 0 John is a good friend John, Mary 1 1 Mary and Peter are going to marry Peter, Mary 2 2 Bond just met the Bond girl Bond 2 3 Chris is having dinner 0 4 All Marys are here Mary 0
✅ 关键说明与注意事项：
- sentence.split() 默认按任意空白符分割，并自动忽略首尾及连续空格，比手动正则更鲁棒；
- person_list 是 str.split(", ") 返回的列表（如 ["John", "Mary"]），word in person_list 是 O(n) 线性查找——对中小规模数据完全足够；若性能敏感且 people 列词汇固定，可预转换为 set 提升至 O(1)；
- 本方法严格匹配完整单词："Mary" 匹配 "Mary"，但不匹配 "Marys"（因 "Marys".split() 得 "Marys"，而非 "Mary"），符合题设中 "All Marys are here" → 0 的预期；
- 若需忽略大小写，可统一转小写：word.lower() in [p.lower() for p in person_list]；
- 切勿使用 str.contains() 或模糊正则（如 .*Mary.*），否则会导致 "Marys" 被误计为匹配。
该方案简洁、可读性强、无外部依赖，是处理此类“词级跨列匹配计数”任务的推荐实践。