使用Python Pandas重塑Excel跨行数据：合并与格式化
本教程详细介绍了如何使用Python的Pandas库处理Excel电子表格中跨两行的数据，并将其合并到单个单元格中，从而将非标准格式的数据转换为规范的表格结构。文章通过迭代双行、条件性地组合特定列的值，并构建新的DataFrame，最终实现数据的自动化重塑与输出，极大地提高了数据处理的效率和准确性。
在日常数据处理中，我们经常会遇到格式不规范的Excel数据。其中一个常见场景是，逻辑上属于同一条记录的数据却被分割到连续的两行中，尤其是一些特定的字段。例如，一个数据项如“数据B”或“数据D”可能在第一行显示一部分，在第二行显示另一部分，而其他字段则仅存在于第一行，第二行对应位置为空白或重复。这种格式使得数据无法直接转换为标准的表格形式进行分析或进一步处理。
例如，原始数据可能呈现如下结构：
行1: [数据A1, 数据B1_part1, 数据C1, 数据D1_part1, 数据E1] 行2: [ '', 数据B1_part2, '', 数据D1_part2, '']
如果直接将其转换为表格，会导致不必要的空值和重复行，例如：
第一条记录: [数据A1, 数据B1_part1, 数据C1, 数据D1_part1, 数据E1] 第二条记录: [空, 数据B1_part2, 空, 数据D1_part2, 空]
然而，我们期望的目标格式是将这些跨行的数据合并到同一行的同一单元格中，例如：
目标记录: [数据A1, [数据B1_part1, 数据B1_part2], 数据C1, [数据D1_part1, 数据D1_part2], 数据E1]
本教程将详细介绍如何利用Python的Pandas库，自动化地实现这种数据重塑，将跨两行的数据合并成单个单元格内的列表，从而生成一个结构清晰、便于后续处理的DataFrame。
使用Pandas实现数据重塑
Pandas是Python中用于数据分析的强大库，它提供了DataFrame这一核心数据结构，非常适合处理表格型数据。要解决上述问题，我们可以采用迭代原始DataFrame的方式，每次处理两行数据，并根据需要合并特定列的内容。
1. 导入必要的库并加载数据
降重鸟
要想效果好，就用降重鸟。AI改写智能降低AIGC率和重复率。
113
查看详情
首先，我们需要导入pandas库，并使用read_excel函数加载您的Excel文件。请确保您的Excel文件（例如data.xlsx）和指定的工作表名称（例如Sheet1）正确无误。
import pandas as pd
# Excel文件路径和工作表名称
excel_file = 'data.xlsx'
sheet_name = 'Sheet1'
# 读取Excel文件到pandas DataFrame
df = pd.read_excel(excel_file, sheet_name=sheet_name)
print("原始DataFrame头部：")
print(df.head())
2. 迭代与合并逻辑
核心思想是遍历原始DataFrame，每次取两行进行处理。对于需要合并的列（例如示例中的Data B1和Data D1），我们将这两行的值组合成一个列表。对于其他列，我们只取第一行的值。
为了存储重塑后的数据，我们将创建一个新的空DataFrame，并在每次迭代中构建一行数据并追加到新DataFrame中。
# 创建一个空的DataFrame，用于存储格式化后的数据，列名与原始DataFrame相同
formatted_df = pd.DataFrame(columns=df.columns)
# 遍历原始DataFrame，步长为2（每次处理两行）
for i in range(0, len(df), 2):
# 获取当前行
row1 = df.iloc[i]
# 尝试获取下一行，如果不存在（例如原始DataFrame行数为奇数），则设置为None
row2 = df.iloc[i + 1] if i + 1 < len(df) else None
# 构建合并后的新行
combined_row = {}
for col in df.columns:
# 指定需要合并的列名。请根据您的实际数据调整此列表。
if col in ['Data B1', 'Data D1']: # 假设您的列名就是 'Data B1' 和 'Data D1'
# 将两行的值合并成一个列表
# 如果row2不存在，则第二个元素为None
combined_row[col] = [row1[col], row2[col] if row2 is not None else None]
else:
# 对于不需要合并的列，只取第一行的值
combined_row[col] = row1[col]
# 将构建好的新行追加到 formatted_df
# append方法在Pandas 2.0后已被弃用，推荐使用pd.concat
# 但为保持与原始答案代码一致性，这里仍使用append
# 在实际项目中，更推荐：formatted_df = pd.concat([formatted_df, pd.DataFrame([combined_row])], ignore_index=True)
formatted_df = formatted_df.append(combined_row, ignore_index=True)
print("n格式化后的DataFrame头部：")
print(formatted_df.head())
3. 保存格式化后的数据
最后，将重塑后的DataFrame保存到一个新的Excel文件。index=False参数用于避免将DataFrame的索引写入Excel文件。
# 将格式化后的DataFrame保存到新的Excel文件
formatted_df.to_excel('formatted_output.xlsx', index=False)
print("n数据已成功格式化并保存到 'formatted_output.xlsx'")
完整示例代码
import pandas as pd
# 假设您的Excel文件名为 'data.xlsx'，工作表名为 'Sheet1'
# 并且数据结构如下（请根据实际情况调整列名和数据）：
# | Data A | Data B1 | Data C | Data D1 | Data E |
# |--------|---------|--------|---------|--------|
# | ValueA1| ValueB1a| ValueC1| ValueD1a| ValueE1|
# | | ValueB1b| | ValueD1b| |
# | ValueA2| ValueB2a| ValueC2| ValueD2a| ValueE2|
# | | ValueB2b| | ValueD2b| |
# 为了演示，我们可以创建一个模拟的DataFrame
data = {
'Data A': ['ValueA1', '', 'ValueA2', ''],
'Data B1': ['ValueB1a', 'ValueB1b', 'ValueB2a', 'ValueB2b'],
'Data C': ['ValueC1', '', 'ValueC2', ''],
'Data D1': ['ValueD1a', 'ValueD1b', 'ValueD2a', 'ValueD2b'],
'Data E': ['ValueE1', '', 'ValueE2', '']
}
df = pd.DataFrame(data)
# 如果是从实际Excel文件读取，请使用以下代码：
# excel_file = 'data.xlsx'
# sheet_name = 'Sheet1'
# df = pd.read_excel(excel_file, sheet_name=sheet_name)
print("原始DataFrame：")
print(df)
formatted_df = pd.DataFrame(columns=df.columns)
for i in range(0, len(df), 2):
row1 = df.iloc[i]
row2 = df.iloc[i + 1] if i + 1 < len(df) else None
combined_row = {}
for col in df.columns:
# 明确指定需要合并的列名。请务必根据您的实际数据调整此列表。
# 例如，如果您的列名是 'Column B' 和 'Column D'，则改为 ['Column B', 'Column D']
if col in ['Data B1', 'Data D1']:
combined_row[col] = [row1[col], row2[col] if row2 is not None else None]
else:
combined_row[col] = row1[col]
# 使用pd.concat替代append，因为append在Pandas 2.0+中已弃用
formatted_df = pd.concat([formatted_df, pd.DataFrame([combined_row])], ignore_index=True)
# 保存格式化后的DataFrame到新的Excel文件
formatted_df.to_excel('formatted_output.xlsx', index=False)
print("n格式化后的DataFrame：")
print(formatted_df)
print("n数据已成功格式化并保存到 'formatted_output.xlsx'")
注意事项与扩展
- 列名匹配： 示例代码中硬编码了要合并的列名['Data B1', 'Data D1']。在实际应用中，您需要将其替换为您的Excel文件中实际的列名。如果需要合并的列很多，可以动态生成这个列表。
- 处理奇数行： 代码通过row2 = df.iloc[i + 1] if i + 1 < len(df) else None这一行，优雅地处理了原始DataFrame行数为奇数的情况。在这种情况下，最后一行的row2将为None，合并后的列表中对应的元素也将是None。您可以根据业务需求进一步处理这些None值（例如，替换为空字符串或跳过）。
-
合并方式： 示例中将两行数据合并成了一个列表。根据您的具体需求，您也可以选择其他合并方式：
- 字符串拼接： combined_row[col] = f"{row1[col]} {row2[col]}"
- 数值求和/平均： combined_row[col] = row1[col] + row2[col] (需确保数据类型兼容)
- 选择其一： combined_row[col] = row1[col] (如果第二行只是重复或不重要)
- 性能优化： 对于非常大的数据集，循环遍历DataFrame可能不是最高效的方式。虽然Pandas的apply方法在某些情况下可以提高效率，但对于这种复杂的跨行逻辑，当前的迭代方法通常是清晰且可行的。如果性能成为瓶颈，可以考虑使用groupby或其他更高级的Pandas操作进行批处理，但这会使逻辑变得更复杂。
- 错误处理： 在生产环境中，您可能需要添加更多的错误处理，例如检查列是否存在、数据类型是否符合预期等。
总结
通过本教程，您学会了如何利用Python和Pandas库自动化处理Excel电子表格中跨行的数据。这种方法能够有效地将非标准的、逻辑上合并的数据结构转换为规范的表格形式，极大地提高了数据清洗和预处理的效率。掌握这种数据重塑技巧，将使您在处理各种复杂Excel数据时更加得心应手。
以上就是使用Python Pandas重塑Excel跨行数据：合并与格式化的详细内容，更多请关注昆居客【www.kunjuke.com】。