首页 推荐 热点 专题 PHPJavaPythonAndriodIOSC#前端数据库人工智能程序开发架构安全运维资讯微课资源
0
点赞
收藏
分享

微信扫一扫

一文搞懂KL散度+信息熵

杰克逊爱学习 2022-04-15 阅读 47
pythonKL散度nlp知识蒸馏

文章目录

      • KL散度
        • 含义
        • 计算公式
        • 举例
        • 结论

KL散度

含义

相对熵,又被称为Kullback-Leibler散度(Kullback-Leibler divergence)或信息散度(information divergence),是两个概率分布间差异的非对称性度量。

计算公式

设 P ( x ) 、 Q ( x ) P(x)、Q(x)

举报
0 条评论
杰克逊爱学习
关注
  • 利用 PHP 爬虫按关键字搜索 1688 商品:实战指南
  • 个人CLA(贡献者许可协议)签署后通常‌无需额外等待‌,具体生效规则如下:
  • 广州与深圳机器学习算法岗薪资及选择建议
  • 地理空间计算的触觉革命:从视觉分析到多模态感知的交互跃迁
  • fluent 数据导入 python
  • js ios浏览器自带返回事件
  • LLM也能做 embedding:从BERT到大语言模型的演变
  • Vector 容器
  • Hbase整合Mapreduce案例1 hdfs数据上传至hbase中——wordcount
  • 浅谈——Linux命令入门之前奏