数据集可以在这里找到： https ://www.kaggle.com/mlg-ulb/creditcardfraud
我正在尝试使用 tidymodels 在此数据集上运行具有 5 折交叉验证的游侠。
我有 2 个代码块。第一个代码块是包含完整数据的原始代码。第二个代码块几乎与第一个代码块相同，只是我有一部分数据的子集，因此代码运行得更快。第二个代码块只是为了确保我的代码在我在原始数据集上运行之前可以正常工作。
这是包含完整数据的第一个代码块：
#load packages
library(tidyverse)
library(tidymodels)
library(tune)
library(workflows)
#load data
df <- read.csv("~creditcard.csv")
#check for NAs and convert Class to factor
anyNA(df)
df$Class <- as.factor(df$Class)
#set seed and split data into training and testing
set.seed(123)
df_split <- initial_split(df)
df_train <- training(df_split)
df_test <- testing(df_split)
#in the training and testing datasets, how many are fraudulent transactions?
df_train %>% count(Class)
df_test %>% count(Class)
#ranger model with 5-fold cross validation
rf_spec <-
rand_forest() %>%
set_engine("ranger", importance = "impurity") %>%
set_mode("classification")
all_wf <-
workflow() %>%
add_formula(Class ~ .) %>%
add_model(rf_spec)
cv_folds <- vfold_cv(df_train, v = 5)
cv_folds
rf_results <-
all_wf %>%
fit_resamples(resamples = cv_folds)
rf_results %>%
collect_metrics()
这是具有 1,000 行的第二个代码块：
#load packages
library(tidyverse)
library(tidymodels)
library(tune)
library(workflows)
#load data
df <- read.csv("~creditcard.csv")
###################################################################################
#Testing area#
df <- df %>% arrange(-Class) %>% head(1000)
###################################################################################
#check for NAs and convert Class to factor
anyNA(df)
df$Class <- as.factor(df$Class)
#set seed and split data into training and testing
set.seed(123)
df_split <- initial_split(df)
df_train <- training(df_split)
df_test <- testing(df_split)
#in the training and testing datasets, how many are fraudulent transactions?
df_train %>% count(Class)
df_test %>% count(Class)
#ranger model with 5-fold cross validation
rf_spec <-
rand_forest() %>%
set_engine("ranger", importance = "impurity") %>%
set_mode("classification")
all_wf <-
workflow() %>%
add_formula(Class ~ .) %>%
add_model(rf_spec)
cv_folds <- vfold_cv(df_train, v = 5)
cv_folds
rf_results <-
all_wf %>%
fit_resamples(resamples = cv_folds)
rf_results %>%
collect_metrics()
1.) 使用第一个代码块，我可以在控制台中分配和打印 cv 折叠。全球环境数据显示 cv_folds 有 5 个 obs。2个变量。当我查看（cv_folds）时，我有标记为拆分和 id 的列，但没有行也没有数据。当我使用 str(cv_folds) 时，我得到了 R 正在“思考”的空白加载行，但没有我可以推动的红色 STOP 图标。我唯一能做的就是强制退出 RStudio。也许我只需要等待更长的时间？我不确定。当我用较小的第二个代码块做同样的事情时， str() 工作正常。
2）我对这个项目的总体目标是将数据集分成训练集和测试集。然后用 5 折交叉验证对训练数据进行分区，并在其上训练一个游侠模型。接下来，我想检查我的模型在训练数据上的指标。然后我想在测试集上测试我的模型并查看指标。最终，我想将 ranger 换成 xgboost 之类的东西。请就我可以添加/修改代码的哪些部分来改进给我建议。我仍然缺少在测试集上测试我的模型的部分。
I think the Predictions portion of this article might be what I'm aiming for.
https://rviews.rstudio.com/2019/06/19/a-gentle-intro-to-tidymodels/
3) 当我使用 rf_results %>% collect_metrics() 时，它只显示准确率和 roc_auc。如何获得灵敏度、特异性、精确度和召回率？
4）我如何绘制重要性？我会用这样的东西吗？
rf_fit <- get_tree_fit(all_wf)
vip::vip(rf_fit, geom = "point")
5) 如何大幅减少模型训练的时间？上次我在这个数据集上使用插入符号运行 ranger 进行 5 折交叉验证，花费了 8 多个小时（6 核，4.0 ghz，16gb RAM，SSD，gtx 1060）。我对任何事情都持开放态度（即重构代码、AWS 计算、并行化等）
编辑：这是我尝试设置的另一种方式
#ranger model with 5-fold cross validation
rf_recipe <- recipe(Class ~ ., data = df_train)
rf_engine <-
rand_forest(mtry = tune(), trees = tune(), min_n = tune()) %>%
set_engine("ranger", importance = "impurity") %>%
set_mode("classification")
rf_grid <- grid_random(
mtry() %>% range_set(c(1, 20)),
trees() %>% range_set(c(500, 1000)),
min_n() %>% range_set(c(2, 10)),
size = 30)
all_wf <-
workflow() %>%
add_recipe(rf_recipe) %>%
add_model(rf_engine)
cv_folds <- vfold_cv(df_train, v = 5)
cv_folds
#####
rf_fit <- tune_grid(
all_wf,
resamples = cv_folds,
grid = rf_grid,
metrics = metric_set(roc_auc),
control = control_grid(save_pred = TRUE)
)
collect_metrics(rf_fit)
rf_fit_best <- select_best(rf_fit)
(wf_rf_best <- finalize_workflow(all_wf, rf_fit_best))