KDnuggets
·
10个实用的Python一行代码用于数据清理
内容提要
本文概述了常见的数据清理任务及其对应的Python一行代码，包括字符串格式化、数据类型转换、缺失值处理、日期标准化和去除重复项等。这些方法有助于提升数据质量，便于后续分析。
关键要点
-
数据清理是分析数据前的重要步骤，常见问题包括重复、格式错误、超出范围的值和缺失条目。
-
生成示例数据以便进行数据清理操作。
-
使用Python代码将字符串格式化为一致的格式，例如将名字首字母大写。
-
确保数据类型一致，必要时将年龄转换为整数。
-
验证数值范围，确保年龄在18到60之间，超出范围时使用默认值。
-
检查电子邮件格式，确保包含'@'和'.'，不合格时替换为默认地址。
-
处理缺失值，缺失的薪资用默认值替代。
-
标准化日期格式，将不同格式的日期转换为统一格式，处理无效日期。
-
确保数值字段为非负值，例如将负薪资替换为零。
-
检查并移除重复记录，确保数据集中的条目唯一。
-
对数值进行缩放，以便进行一致的分析，例如将薪资标准化为最大薪资的百分比。
-
去除字符串中的多余空格，清理数据。
-
通过这些数据清理步骤，最终得到干净且一致的数据集，便于后续分析。
延伸问答
如何使用Python进行字符串格式化以保持一致性？
可以使用一行代码将名字首字母大写，例如：data = [{**d, 'name': d['name'].title()} for d in data]。
如何处理数据中的缺失值？
可以用默认值替代缺失的薪资，例如：data = [{**d, 'salary': d['salary'] if d['salary'] is not None else 30000.00} for d in data]。
如何确保数据类型的一致性？
可以将年龄转换为整数，若转换失败则使用默认值，例如：data = [{**d, 'age': int(d['age']) if isinstance(d['age'], (int, float)) else 25} for d in data]。
如何验证电子邮件格式的正确性？
可以检查电子邮件是否包含'@'和'.'，不合格时替换为默认地址，例如：data = [{**d, 'email': d['email'] if '@' in d['email'] and '.' in d['email'] else 'invalid@example.com'} for d in data]。
如何处理数据中的负值？
可以将负薪资替换为零，例如：data = [{**d, 'salary': max(d['salary'], 0)} for d in data]。
如何去除数据集中的重复记录？
可以使用集合来确保唯一性，例如：data = {tuple(d.items()) for d in data}，然后再转换回列表。
