图片
图片
图片
图片
图片
图片
图片
图片
SHAP（SHapley Additive exPlanations）是一种模子无关的讲明标准，因此它适用于任何模子。前边依然先容过屡次这个SHAP了，在R话语中杀青SHAP也长短常肤浅的。
R话语SHAP模子讲明R话语shapviz杀青SHAP可视化R话语SHAP模子讲明之kernelshapfastshap基于Rcpp和foreach，是以它的速率绝顶快（比之前先容的几种齐快），何况fastshap既不错杀青局部讲明，又能杀青全局讲明，还不错无缝对接shapviz的可视化。
色情网站装配# Install the latest stable version from CRAN:install.packages("fastshap")# Install the latest development version from GitHub:if (!requireNamespace("remotes")) { install.packages("remotes")}remotes::install_github("bgreenwell/fastshap")准备数据和R包咱们使用经过缺失值插补的泰坦尼克号数据集t1，该数据有1309行，6列，其中survived是效果变量，二分类，1代表死字，2代表存活。
library(fastshap)t1 <- titanic_mice[[1L]]dim(t1)## [1] 1309 6str(t1)## 'data.frame': 1309 obs. of 6 variables:## $ survived: Factor w/ 2 levels "no"，"yes": 2 2 1 1 1 2 2 1 2 1 ...## $ pclass : int 1 1 1 1 1 1 1 1 1 1 ...## $ age : num 29 0.92 2 30 25 48 63 39 53 71 ...## $ sex : Factor w/ 2 levels "female"，"male": 1 2 1 2 1 2 1 2 1 2 ...## $ sibsp : int 0 1 1 1 1 0 1 0 2 0 ...## $ parch : int 0 2 2 2 2 0 0 0 0 0 ...
把pclass变为有规则的因子型：
t1$pclass <- as.ordered(t1$pclass) # makes more sense as an ordered factor
本次使用ranger建立当场丛林模子，对于其他模子，fastshap齐是营救的。
library(ranger)set.seed(2053) # for reproducibility(rfo <- ranger(survived ~ .， data = t1， probability = TRUE))## Ranger result## ## Call:## ranger(survived ~ .， data = t1， probability = TRUE) ## ## Type: Probability estimation ## Number of trees: 500 ## Sample size: 1309 ## Number of independent variables: 5 ## Mtry: 2 ## Target node size: 10 ## Variable importance mode: none ## Splitrule: gini ## OOB prediction error (Brier s.): 0.1337358局部讲明
为了证实若何最肤浅地使用Shapley值来量化特征孝敬，咱们需要一个新的不雅测值来预见。底下咱们将为新建一个不雅测值，给这个不雅测取个名字叫jack.dawson：
jack.dawson <- data.frame( #survived = 0L， # in case you haven't seen the movie pclass = 3L， # third-class passenger age = 20.0， # twenty years old sex = factor("male"， levels = c("female"， "male"))， # male sibsp = 0L， # no siblings/spouses aboard parch = 0L # no parents/children aboard)使用fastshap进行模子讲明和DALEX同样，领先亦然需要建立一个讲明器，用来领路模子和数据的各式信息。
在DALEX中，预见函数默许会从模子对象中索求（默许使用predict()），然则在fastshap中需要咱们自界说预见函数，用于告成复返数值（转头任务）概况类别概率（分类任务）。
# 自界说预见函数pfun <- function(object， newdata) { # prediction wrapper unname(predict(object， data = newdata)$predictions[， "yes"])}# 策画Jack's的生涯概率(jack.prob <- pfun(rfo， newdata = jack.dawson))## [1] 0.1314723要是告成使用以下代码得到的并不是类别概率：
predict(rfo， jack.dawson)## Ranger prediction## ## Type: Probability estimation ## Sample size: 1 ## Number of independent variables: 5
用这个函数不错得到统统t1不雅测的平均生涯概率：
# 策画统统东说念主的平均生涯概率(baseline <- mean(pfun(rfo， newdata = t1))) ## [1] 0.3821045
# Difference between Jack and average(difference <- jack.prob - baseline)## [1] -0.2506322
不错发现Jack的生涯可能性低于平均值。底下咱们就使用SHAP来讲明为什么会这么。
底下就不错建立讲明器了，和DALEX同样，亦然使用explain()函数，亦然需要提供只含预见变量的数据框：
X <- subset(t1， select = -survived) # 只含预见变量set.seed(2113)# 建立讲明器(ex.jack <- explain(rfo， X = X， pred_wrapper = pfun， newdata = jack.dawson))## pclass age sex sibsp parch## [1，] 0 -0.005012306 0 0.02174902 0## attr(，"baseline")## [1] 0## attr(，"class")## [1] "explain" "matrix" "array"
fastshap包使用高效版块的蒙特卡洛（Monte-Carlo，MC）算法。因此，为了清爽性和准确性，应屡次策画特征孝敬，并将效果取平均值。为此，只需将nsim参数缔造为一个相比大的值即可（默许是1）。底下咱们策画Jack的1000个基于Shapley的特征孝敬，并获得平均效果：
set.seed(2129) (ex.jack <- explain(rfo， X = X， pred_wrapper = pfun， newdata = jack.dawson， nsim = 1000))## pclass age sex sibsp parch## [1，] -0.07554003 -0.01240914 -0.1414107 0.001836116 -0.01103988## attr(，"baseline")## [1] 0## attr(，"class")## [1] "explain" "matrix" "array"
fastshap使用的MC标准策画的Shapley值的加和不会就是相应预见和基线（即平均预见值）之间的差值。然则借用Python的shap库的手段，咱们不错使用基于转头的调整来更正总额。为此，只需在调用explain()中缔造为adjust = TRUE：
set.seed(2133) (ex.jack.adj <- explain(rfo， X = X， pred_wrapper = pfun， newdata = jack.dawson， nsim = 1000， adjust = TRUE))## pclass age sex sibsp parch## [1，] -0.0697378 -0.02354202 -0.1485205 0.003980237 -0.01281207## attr(，"baseline")## [1] 0.3821045## attr(，"class")## [1] "explain" "matrix" "array"
这个效果的加和与difference是不同样的：
sum(ex.jack.adj) # 和jack.prob - baseline的效果不同样哦## [1] -0.2506322
构建好讲明器之后，就不错使用shapviz包进行可视化了。
咱们先创建一个肤浅的瀑布图来可视化这几个特征是若何让Jack的预见生涯概率较低的：
library(shapviz)shv <- shapviz(ex.jack.adj， X = jack.dawson， baseline = baseline)sv_waterfall(shv)
图片
显着，Jack是又名男性三等舱乘客，这两个变量对他的较低生涯概率孝敬最大。
然后是瀑布图的另一种神态：
sv_force(shv)
图片
从图形清爽方面来看，这个图天然和瀑布图抒发的情理完全同样，然则不如瀑布图读起来肤浅。
全局讲明SHAP除了用于局部讲明外，还不错用于全局讲明。
要是对数据兼并统统的不雅测齐进行一遍SHAP讲明，然后团员它们的效果，就不错得到全局的SHAP讲明。这个标准和CP团员成为PDP的标准绝顶访佛。
底下的代码使用1000次MC重迭策画检修数据中每个乘客的Shapley讲明，并将生成的矩阵强制调理为tibble（以便更好地打印）。缔造shap_only=FALSE不错便捷shapviz使用。
这个历程很慢哈~
set.seed(2224) ex.t1 <- explain(rfo， X = X， pred_wrapper = pfun， nsim = 100， adjust = TRUE， shap_only = FALSE)tibble::as_tibble(ex.t1$shapley_values)## # A tibble: 1，309 × 5## pclass age sex sibsp parch## <dbl> <dbl> <dbl> <dbl> <dbl>## 1 0.228 0.00994 0.312 0.0208 -0.00916## 2 0.138 0.331 -0.0717 0.0113 0.0712 ## 3 0.156 0.0213 0.116 -0.0240 -0.0189 ## 4 0.212 -0.0212 -0.183 0.0171 0.00782## 5 0.201 -0.0308 0.282 -0.0149 -0.0369 ## 6 0.168 -0.0393 -0.199 -0.000779 -0.00240## 7 0.177 -0.127 0.346 -0.00829 0.00371## 8 0.153 -0.0644 -0.186 -0.00392 -0.00976## 9 0.234 0.00345 0.296 0.0398 0.00432## 10 0.106 -0.115 -0.212 0.000223 -0.00402## # ℹ 1，299 more rows
可视化全局变量关键性（防御和基于重排的变量关键性分辩），这个其实是各个变量的多个Shapley值完全值的平均值：
shv.global <- shapviz(ex.t1)sv_importance(shv)
图片
变量关键性图的另一种阐述神态，蜂窝图，在Python中被称为shap summary plot：
sv_importance(shv.global， kind = "beeswarm")
图片
变量依赖图，访佛于部分依赖图。在这里，咱们将望望特征孝敬age对其输入值的依赖性：
sv_dependence(shv.global， v = "age")
图片
其他可视化函数可参考对于shapviz的推文：R话语shapviz可视化SHAP
要是你的数据量很大，fastshap还营救使用并行化色中色电影，借助doParallel包即可杀青，全球我方尝试下即可。
本站仅提供存储管事，统统骨子均由用户发布，如发现存害或侵权骨子，请点击举报。
