0
点赞
收藏
分享

微信扫一扫

评估模型预测结果好坏,需要的是ground-truth label,比如预测用户的优惠敏感度,其实无法评估


y_train, X_train, treatment_train, _, _, _ = synthetic_data(mode=1, n=1000, p=5, sigma=1.0)

lr_s_regressor = LRSRegressor()

lr_s_regressor.fit(X_train, treatment_train, y_train)


_, X_test, treatment_test, _, _, _ = synthetic_data(mode=1, n=1000, p=5, sigma=1.0)

# treatment_test 的值应都是1

predict_treatment_effect = lr_s_regressor.predict(X_test, treatment_test)

print(predict_treatment_effect[0])

的​​predict_treatment_effect​​即为预测的用户的优惠敏感度,

然后

模型圈定的​​predict_treatment_effect​​高的用户 认为优惠敏感度高,如何评估?

没法评估,因为 优惠敏感度程度 没有 ground truth。(下单多少有label,但是发优惠券后下单多少没有label)

同理,item选品 / item候选池 圈定,也需要有 ground truth items/label 才能 评估 选品的好坏:

如果我们训练一个 user-item match/喜好 模型,模型学习了user对于 现有item候选池 里的items偏好,那么我们可以 用这个模型预测 新增item或者剔除item的 user-item match score(对于全部相关user),但其实这时也是没有 test dataset 的 ground truth 的。


举报

相关推荐

0 条评论