模型论，语义信息论和词嵌入

这是我2016年6月24日在CCF天津知识图谱研讨会上的分享。这我在RPI最后一年和BBN访问时期的工作。后来在实体链接、信息压缩上有些应用。最近在尝试把这个方法用在问答系统里。

报告提要：何为符号的语义？如何在数学上精确地刻画语义，以及在工程中以有限的成本近似地表达语义？逻辑、信息论、分布式表示从不同的角度来解决这个问题。在这个讲座中我们探讨这三个领域之间的关系。1）在逻辑中，我们用“模型”（model）来赋予表达式精确的语义。在概率逻辑中，模型本身被关联以概率分布，表达式之间存在概率一致性的约束。2）经典信息论仅衡量符号本身的语法熵。如果我们考虑符号之间的推理关系，则扩展经典信息论为语义信息论。经典信息论研究消息自身出现的概率及其语法形式在通讯中的保真，而语义信息论研究消息为“真”的概率及其真伪在通讯中的保真（语法表达本身可以改变）。我们以概率模型论作为语义信息论的数学基础，介绍语义信源和信道编码的两个核心定理。3）但严格的基于概率模型论的语义信息论在工程上是难以计算的。我们发现基于概率命题逻辑的语义信息，和基于分布式表示的词嵌入模型，有明显的对应关系。因而，词嵌入模型如word2vec可以看作语义信息的近似。我们展望基于张量方法的分布式表示也许可以视为概率一阶逻辑及其语义信息的近似。

录音 （mp3下载）

PPT讲义

[pdf-embedder url=”http://blog.memect.cn/wp-content/uploads/2016/06/2016-06-24_语义信息.pdf”]

PDF下载链接 http://blog.memect.cn/wp-content/uploads/2016/06/2016-06-24_语义信息.pdf