AI产品经理必修课:知识图谱的入门与应用

  • 日期:09-30
  • 点击:(1125)


原标题:AI产品经理必修课:知识图谱的介绍与应用

知识地图是人工智能的基本功能。作者在本文中的知识地图是什么?如何建立知识地图?如何申请?讨论并分析并与您分享。

首先,人工智能时代已经到来

随着全球智能手机销量的首次下滑,移动互联网不可避免地进入了下半年。

与此同时,智能扬声器的销量也在爆炸式增长,ZAO已经改变了面向应用屏幕的朋友.人工智能技术正日益影响着人们的日常生活。

作为人工智能领域的核心技术之一,知识地图已成为AI产品经理必须掌握的基本技能。

二,什么是知识地图? 1.什么是知识?

在我们谈论知识地图之前,让我们简要地了解什么是知识。

下图是Quora(外国版)的信息和知识的比较。

信息是一个混乱点,知识相对更合乎逻辑。在当今信息爆炸的时代,人们理解和记忆的知识显然更容易。

图1,图像来源:

2.什么是知识地图?

知识图(KG)的概念是由Google于2012年5月提出的。其初衷是通过使用由网络多源数据构建的知识库来提高语义搜索的效率和质量。

根据谷歌知识绘图团队负责人阿米特辛格尔的说法,“世界不是由字符串构成的,而是由事物构成的。”

知识地图的主要作用是以结构化的方式描述客观世界实体之间的复杂关系。通过在信息和信息之间建立联系,人类更容易获得他们所需的知识。

3.维基百科上的知识映射简介

知识地图是Google用于增强其搜索引擎功能的知识库。

本质上,知识地图旨在描述现实世界中存在的各种实体或概念及其关系。它构成了一个巨大的语义网络图。节点表示实体或概念,而边缘由属性或关系组成。

三,如何建立知识地图?

知识地图的构建主要分为六个步骤:知识系统构建,知识获取,知识融合,知识存储与检索,知识推理和知识应用。

以下是从产品角度出发的知识地图构建流程图:

1.知识体系建构(建模)

1.1定义

知识系统的构建,也称为知识建模,是指表达知识的方式。它的核心是构建一个本体来描述目标知识。

在这个本体中,有必要定义知识的类别系统,每个类别所属的概念和实体,某类概念和实体的属性,以及概念和实体之间的语义关系,还包括这个本体论。一些推理规则在顶部。

知识地图是随着语义网的发展而出现的一个概念。语义网的核心目标是使计算机能够理解文档中的数据以及数据与数据之间的语义关系,从而使计算机能够自动、智能地处理这些信息。

1.2 RDF三元群

语义web技术涉及的主题非常广泛。本文只介绍了与知识图数据建模密切相关的核心概念资源描述框架(rdf)。rdf基本数据模型包括三种对象类型:资源、谓词和语句。

资源:可以使用RDF表示的对象称为资源,包括Internet上的实体、事件和概念;

谓词:谓词主要描述资源本身的特性和资源之间的关系;

语句:语句由三部分组成,通常称为rdf三元组(主题:所描述的资源,谓词:可以表示主语的属性,也可以表示主语和宾语的关系,对象:属性值)。

知识地图使用三元组作为知识存储和表示的基本单元。三元组有两种表现形式:“实体-关系-实体”、“实体-属性-属性值”。

这些实体中的每一个都表示现实世界中的一个唯一对象,并对应于一个全局唯一的id。

1.3示例

下图包含多组三元组:

陶力面包作为一个实体,其属性为公司名称,属性值为陶力面包有限公司;

作为一个实体,吴志刚与陶力面包是一种股权关系,属性值是特定的持股比例;

作为一个实体,吴志刚与盛亚丽是一种血缘关系,其属性价值是夫妻。

2.知识获取

2.1目标

知识获取的目的是通过信息提取从大量文本数据中获取知识,并且该方法根据要处理的数据源而有所不同。

2.2数据类型

知识图中的主要数据来源包括结构化数据,半结构化数据和非结构化数据(纯文本)。

其中,非结构化文本的信息提取是构建知识图谱的核心技术。

2.3知识获取的基本任务

实体识别:指从文本中识别实体信息;

实体歧义消除:指消除给定实体的歧义;

关系提取:是指获取两个实体之间的语义关系;

事件提取:从描述事件信息的文本中提取用户感兴趣的事件信息,并以结构化形式显示。

3.知识融合

知识融合是对来自不同来源,不同语言或不同结构的知识的融合,以补充,更新和强调现有的知识图谱。

从对象融合的角度来看,包括知识系统的融合和实例的融合;

从融合图的类型来看,它可以分为垂直融合和水平融合。

4.知识存储

知识存储是对现有知识图的存储方式的研究。

4.1储存方式

目前,知识图谱主要基于图的数据结构。存储方法通常以RDF格式和图形数据库存储。前者是,例如,由Google打开的Openbase知识图。后者是例如开源图形数据库Neo4j。

4.2质量评估

有效的质量评估可以通过丢弃不太自信的知识来量化知识的可信度并确保知识地图的质量。

4.3知识更新

(1)更新类型

逻辑上,知识地图的更新包括概念层的更新和数据层的更新。

概念层的更新是指在添加数据之后获得的新概念,并且有必要将新概念自动添加到知识地图的概念层。

数据层的更新主要是添加或更新实体,关系和属性值。要更新数据层,您需要考虑数据源的可靠性,数据的一致性等,并在每个数据源中选择高频率的事实和属性。加入知识库。

(2)更新方法

完全更新:指从头开始构建知识地图,并将所有更新的数据作为输入。

增量更新:使用当前新数据作为输入,将新知识添加到现有知识地图。

相对而言,前者相对简单,但资源消耗大,而后者资源消耗小。

5.知识推理

为了解决数据的不完整性和稀疏性,有必要采用推理的方法来发现现有知识中隐含的知识。

目前的研究重点是挖掘两个实体之间的隐含语义关系。

两种推理方法:

基于传统的逻辑规则方法,研究重点是如何自动学习推理规则以及如何在推理过程中解决规则冲突;

基于学习的推理,即学习方式,将传统的推理过程转化为基于分布式表示的语义向量相似度计算任务。

四,如何应用知识地图?

随着人工智能的浪潮,知识图谱已广泛应用于搜索引擎,智能问答,推荐等领域。

1.智能搜索(实体关系)

在智能搜索方面,基于知识图谱的搜索引擎存储了大量实体和实体时间之间的关系,可以根据用户的问题准确返回答案。

在下图中,当用户询问Ma Yun时,机器人可以准确地给出Ma Yun的个人介绍。

当有多个同名人员时,知识图谱可以根据实体的唯一ID进行歧义消除,以帮助用户更准确地找到答案。

2.自动问答(实体关系推理)

在自动提问中,我们可以使用知识图中的实体及其关系来推断答案。

在下图中,百度“马化腾从哪里来?”百度将根据知识图直接给出马化腾的出生地。

3.建议(实体关系)

在推荐方面,知识图中实体之间的关系可以用来向用户推荐相关产品。

在下图中,用户要求CTU讯飞的市盈率。机器人判断迅联讯飞是A股股票,然后给出具有相同属性的其他实体的推荐。

4.决策支持

知识图谱可以通过信息提取,数据挖掘,语音匹配,语义计算,知识推理等过程准确地描述该领域的复杂知识,并可以描述知识的演化过程和发展规律,从而提供准确,可追溯,可解释和合理的信息用于研究和决策的知识数据。

在下图中,用户输入Bilibili,天雁茶企业地图可以准确地返回上市公司的股东,董建高,外商投资等完整信息,协助用户做出决策。

#参考文章#

《智能问答》,段楠,周明

《知识图谱》,赵军,刘康,何世柱,陈玉波

《人工智能产品经理:人机对话系统设计逻辑探究》,朱鹏宇

《自然语言处理实践:聊天机器人技术原理与应用》,王玉芬,邵昊等

本文最初由