文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

R语言 出现矩阵/缺失值的解决方案

2024-04-02 19:55

关注

缺失值处理一般包括三步:

1. 识别缺失数据;

2. 检查导致数据缺失的原因;

3. 删除包含缺失值的实例或用合理的数值代替(插补)缺失值。

1.判断缺失值

函数is.na()、is.nan()和is.infinite()可分别用来识别缺失值、不可能值和无穷值。每个返回结果都是

TRUE或FALSE

na表示缺失值

nan表示NOT A NUMBER

infinite表示+-Inf

一定要亲手试x = 0/0,以及x = 1/0


>x <- NA
> is.na(x)
[1] TRUE
> is.nan(x)
[1] FALSE
> is.infinite(x)
 [1] FALSE

函数complete.cases()可用来识别矩阵或数据框中没有缺失值的行

超级好用


#加载数据集
>data(sleep,package = "VIM")
#没有缺失值的行
>sleep[complete.cases(sleep),]
#列出有一个或多个缺失值的行
>sleep[!complete.cases(sleep),]

2.图形探究缺失数


#自己生成图形
>library("VIM")
>aggr(sleep,prop = FALSE,numbers = TRUE)

matrixplot()函数可生成展示每个实例数据的图形


#自己生成图形
marginplot(sleep[c("Gest","Dream")],phc=c(20),col=c("darkgray","red","blue"))

3.删除缺失值

函数complete.cases()可以用来存储没有缺失值的数据框或者矩阵形式的实例(行):


#可以把mydata替换成sleep,延续上面的代码
>newdata <- mydata[complete.cases(mydata),]

同样的结果可以用na.omit函数获得:


#可以把mydata替换成sleep,延续上面的代码
>newdata <- na.omit(mydata)

两行代码表示的意思都是:mydata中所有包含缺失数据的行都被删除,然后结果才存储到newdata中,以后拟合就用新数据newdata.

处理含缺失值的数据集时,成对删除常作为行删除的备选方法使用。对于成对删除,观测只是当它含缺失数据的变量涉及某个特定分析时才会被删除:


>cor(sleep,use = "pairwise.complete.obs")

3.1补全缺失值

函数mice()首先从一个包含缺失数据的数据框开始,然后返回一个包含多个(默认为5个)完整数据集的对象。

每个完整数据集都是通过对原始数据框中的缺失数据进行插补而生成的。

由于插补有随机的成分,因此每个完整数据集都略有不同。

然后,with()函数可依次对每个完整数据集应用统计模型(如线性模型或广义线性模型),最 后 ,pool()函数将这些单独的分析结果整合为一组结果。

最终模型的标准误和p值都将准确地反映出由于缺失值和多重插补而产生的不确定性。


>library(mice)
>data("sleep",package = "VIM")
>imp <- mice(sleep,seed = 1234)
#imp <- mice(sleep)
>fit <- with(imp,lm(Dream~Span+Gest))
fit
>pooled <- pool(fit)
>summary(pooled)
imp
>dataset2 <- complete(imp,action = 2)
>cor(sleep,use = "pairwise.complete.obs")

dataset2 is the newData

下图为完整缺失值处理图片:

补充:R语言读取数据空值

一、Txt文件

1. 文件中的内容有双引号,空值的时候是一对双引号

filename.txt 文件内容形如:

"ID" "ITEM"

"1080254842" "汉字"

"1080254842" "中文"

"1080594798" ""

"1080594798" ""

导入数据:


test <-read.table("filename.txt",header=TRUE)

空值部分并不是NA,R语言不会把他识别为NA,改为下面的语句,即可解决。


test <-read.table("filename.txt",header=TRUE,na.strings = "")

2. 文件中内容无双引号,空值即直接空白,形如下面:

ID ITEM

1080254842 汉字

1080254842 中文

1080594798

1080594798

导入数据:


test <-read.table("filename.txt",header=TRUE)

会出现错误:Error in scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :3行没有2元素

第三行第二元素没有。

修改为如下即可:


test <-read.table("filename.txt",header=TRUE,fill=TRUE)

导入数据成功,但是,空值仍然不是NA,还需加上na.strings = "",


test <-read.table("filename.txt",header=TRUE, fill=TRUE, na.strings = "")

成功导入。

二、csv文件


test <-read.csv("test.csv",header=TRUE,sep=",",na.strings = "")

其中:

header =TRUE,表示把第一行作为。

sep=",",因为csv文件的列是用逗号分开的,加上sep=",",帮助R通过识别逗号来分割列。如果没加,会出现原本多列数据导入后变为一列的情况。

na.strings = "":处理缺失值问题。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。如有错误或未考虑完全的地方,望不吝赐教。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯