在信息化建设的过程中,数据分为三种类型: 结构化数据、非结构化数据、半结构化数据.随着互联网、物联网、云计算、3G、4G等技术的出现与普及,产生数据的设备也越来越多范围越来越广,大量非结构化数据,每时每刻都在产生并且传播开来.如视频、图片、交互网站等,这些海量的数据显然不能被存储在预定义的结构化表格中,相反,这些数据甚至来不及用传统的数据管理模式来分析、存储和管理,这就是大数据.如何从海量的数据中分析和获取特定的需求信息,这就是研究大数据的意义。
大数据,又称海量数据,即所涉及到的数据量无法通过人工,在一定时间内收集、管理、处理和整理出人们所需要的信息.其数据规模巨大,资料海量复杂,难以整理成为人类所能解读的信息.其挑战包括采集、管理、存储、搜索、共享、分析和可视化。
大数据无孔不入,对人们生活的影响是全方位的,不仅改变生活和思维方式,也促使我们重新考虑最基本的准则.我们在享受大数据技术带来便利的同时,也不得不面临大数据产业链中形形色色的安全问题,如何保障大数据安全,并在信息安全领域有效利用,是摆在全民面前的一个重要 课题.我们要利用大数据技术, 也要防范大数据安全,才能做到物尽其用.
北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。
其中KGB(Knowledge Graph Builder)知识图谱引擎是我们自主研发的知识图谱构建与推理引擎,基于汉语词法分析的基础上,采用KGB语法实现了实时高效的知识生成,可以从非结构化文本中抽取各类知识,并实现了从表格中抽取指定的内容等。KGB同时可以定义不同的动作,如抽取动作,并能自定义各类后处理程序。利用KGB知识图谱引擎可以抽取到产品的详细报价信息,方便进行下一步的数据挖掘与图谱构建。
例如KGB语法:
Knowledge: { [/LE;/w]+[采购方;甲方;发包方; 需方]} +1+{[-(/LE;/w)]20}s+{[(/LE;/w)]}
Action: Extract
Argument:甲方单位
表示的是:
如果 句首或者标点后,跟了{采购方;甲方;发包方};后面1步内跟的不是标点也不是是句尾,20个单元内的部分,将选中的词抽取为甲方单位。
因此,数据挖掘技术是一个发展十分快的领域, 随着对数据挖掘技术在各领域日益广泛的应用,实现了数据资源共享及技术发展的跨域,从而大大提高了工作效率,并带来巨大的成功。21世纪是信息时代的社会,“信息不仅是资源,更是财富”,要实现经济的腾飞,需依赖高新尖科技的发展,故利用提供的信息,充分进行数据挖掘,则将为数据库的应用开辟了广阔的前景,也为人类的文明开辟了一个崭新的时代。同时NLPIR大数据语义智能技术将对中文数据挖掘技术进行深入研究,必将提供出高质量、多功能的中文数据挖掘算法并促进自然语言理解系统的广泛应用。