由网友(落爺英雄遲暮)分享简介:我的问题与中提出的问题非常相似caret: combine createResample and groupKFold唯一的区别是:我需要在分组后创建分层折叠(也重复10次),而不是引导重采样(据我所知它不是分层的),以便与插入的Train Control一起使用。下面的代码使用10倍重复的简历,但我不能包括基于"...我的问题与中提出的问题非常相似
caret: combine createResample and groupKFold
唯一的区别是:我需要在分组后创建分层折叠(也重复10次),而不是引导重采样(据我所知它不是分层的),以便与插入的Train Control一起使用。
下面的代码使用10倍重复的简历,但我不能包括基于"ID"(
df$ID
)的数据分组。
# creating indices
cv.10.folds <- createMultiFolds(rf_label, k = 10, times = 10)
# creating folds
ctrl.10fold <- trainControl(method = "repeatedcv", number = 10, repeats = 10, index = cv.10.folds)
# train
rf.ctrl10 <- train(rf_train, y = rf_label, method = "rf", tuneLength = 6,
ntree = 1000, trControl = ctrl.10fold, importance = TRUE)
这是我的实际问题:我的数据包含许多组,每个组由20个实例组成,每个实例具有相同的"ID"。因此,当使用10倍的CV重复10次时,我在训练中得到了一些组的实例,在验证集中得到了一些实例。我希望避免这种情况,但总的来说,我需要对预测值(df$Label
)进行分层分区。(具有相同ID的所有实例也具有相同的预测/标签值。)
在上面链接提供并接受的答案中(请参阅以下部分),我想我必须修改folds2
行,以包含分层的10倍简历,而不是引导的
folds <- groupKFold(x)
folds2 <- lapply(folds, function(x) lapply(1:10, function(i) sample(x, size = length(x), replace = TRUE)))
但不幸的是,我想不出具体是怎么回事。你能帮我吗?
推荐答案
这里提供了一种使用阻塞执行分层重复K重CV的方法。
library(caret)
library(tidyverse)
一些虚假数据,其中id将是阻止因素:
id <- sample(1:55, size = 1000, replace = T)
y <- rnorm(1000)
x <- matrix(rnorm(10000), ncol = 10)
df <- data.frame(id, y, x)
按阻塞系数总结观察结果:
df %>%
group_by(id) %>%
summarise(mean = mean(y)) %>%
ungroup() -> groups1
根据分组数据创建分层折叠:
folds <- createMultiFolds(groups1$mean, 10, 3)
将原始DF反向联接到组数据,并获取DF行ID
folds <- lapply(folds, function(i){
data.frame(id = i) %>%
left_join(df %>%
rowid_to_column()) %>%
pull(rowid)
})
检查测试中的数据ID是否不在列车中:
lapply(folds, function(i){
sum(df[i,1] %in% df[-i,1])
})
输出是一串零,这意味着测试折叠中没有ID在序列折叠中。
如果您的组ID不是数字,有两种方法可以实现此目的: 1将它们转换为数字:
先了解一些数据
id <- sample(1:55, size = 1000, replace = T)
y <- rnorm(1000)
x <- matrix(rnorm(10000), ncol = 10)
df <- data.frame(id = paste0("id_", id), y, x) #factor id's
df %>%
mutate(id = as.numeric(id)) %>% #convert to numeric
group_by(id) %>%
summarise(mean = mean(y)) %>%
ungroup() -> groups1
folds <- createMultiFolds(groups1$mean, 10, 3)
folds <- lapply(folds, function(i){
data.frame(id = i) %>%
left_join(df %>%
mutate(id = as.numeric(id)) %>% #also need to convert to numeric in the original data frame
rowid_to_column()) %>%
pull(rowid)
})
2根据文件夹索引筛选分组数据中的ID,然后按ID连接
df %>%
group_by(id) %>%
summarise(mean = mean(y)) %>%
ungroup() -> groups1
folds <- createMultiFolds(groups1$mean, 10, 3)
folds <- lapply(folds, function(i){
groups1 %>% #start from grouped data
select(id) %>% #select id's
slice(i) %>% #filter id's according to fold index
left_join(df %>% #join by id
rowid_to_column()) %>%
pull(rowid)
})
它是否适用于脱字符?
ctrl.10fold <- trainControl(method = "repeatedcv", number = 10, repeats = 3, index = folds)
rf.ctrl10 <- train(x = df[,-c(1:2)], y = df$y, data = df, method = "rf", tuneLength = 1,
ntree = 20, trControl = ctrl.10fold, importance = TRUE)
rf.ctrl10$results
#output
mtry RMSE Rsquared MAE RMSESD RsquaredSD MAESD
1 3 1.041641 0.007534611 0.8246514 0.06953668 0.009488169 0.05934975
我还建议你查阅库mlr
,它有很多很好的功能,包括阻止-here is one answer on SO。它在许多things上有非常好的教程。在很长一段时间里,我认为您要么使用caret
,要么使用mlr
,但它们非常好地互补。相关推荐
最新文章