本关任务:完成泰坦尼克号遇难数据的清洗。
案例背景
泰坦尼克号遭遇的灾难震惊世界,如何避免灾难甚至预测灾难呢? 要实现首先要做好泰坦尼克号的损失数据统计,才能为数据分析打下基础。
编程要求
根据提示,你需要完成:
- 缺失值填充
- 离群点检测
import numpy as np import pandas as pd #读取数据 df=pd.read_csv('/data/workspace/myshixun/step1/train.csv')##### begin ##### #查看列中是否存在空值 temp=df.isnull().any() print(temp)#使用SimpleImputer取出缺失值所在列的数值,sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维 age=df['Age'].values.reshape(-1,1) #导入模块 from sklearn.impute import SimpleImputer #实例化,均值填充,可改变strategy参数,实现其他填充方式 imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean') #fit_transform一步完成调取结果 imp_mean=imp_mean.fit_transform(age) #填充好的数据传回到 data['Age']列 df_fillna=df df_fillna['Age']=imp_mean #检验是否还有空值,为0即说明空值均已被填充 print(df_fillna['Age'].isnull().sum()) ##### end ##### imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean') imp_mean=imp_mean.fit_transform(age) df_fillna=df df_fillna['Age']=imp_mean #正太分布离群点检测 ##### begin ##### #计算均值 u=df['Age'].mean() #计算标准差 std=df['Age'].std() #识别异常值 error = df[np.abs(df['Age'] - u) > 3 * std ] ##### end ##### print(error)
来源地址:https://blog.csdn.net/qq_63438638/article/details/128165355