随着人们对计算机自动化和智能化的渴望,人工智能的发展和研究应运而生。自然语言处理作为人工智能的重要研究方向之一,在对语言处理的高效性和准确性方面有很大的发展和提高空间。进行自然语言处理的头等任务,就是对语句进行分词处理。在世界上主流的自然语言中,由于中文句子的词汇没有像英文句子中对单词使用空格以示区分,所以对中文词汇的处理和识别具有很高的难度。并且中文具有一词多义和句子歧义等现象,这些都是中文分词面临的问题和挑战。

　　词是最小的能够独立活动的有意义的语言成分 。在中文中,词与词之间不存在分隔符,词 本身也缺乏明显的形态标记,因此,中文信息处理 的特有问题就是如何将汉语的字串分割为合理的词语序列,即中文分词,因而分词是中文自然语言处理的第一步,这是不同于其他语言的自然语言处理系统的重要特点,也是影响自然语言处理在中文信息处理中应用的重要因素。分词系统是中文信息处理中的一个主要组成部分,是中文自然语言理解、文献检索、搜索引擎以及文本挖掘系统中最基本的一部分。汉字的简体/繁体转换、信息检索和信息抽取、搜索引擎、Web文本挖掘、文本分类、文本校对等中文信息处理系统都首先需要分词作为其最基本的模块,因而对汉语词法分析技术的研究就显得至关重要。

　　而中文分词技术也影响着数据挖掘和分析的众多方面，如什么是词、词如何组成句子、词的意义是什么、词的意义对句子意义有什么贡献等，但这些却还是远远不够的。比如一个系统如果要回答提问或者直接参与对话，它不仅需要知道很多语言结构的知识，而且还要知道人类世界的一般性知识并具备人类的推理能力。因此许多语言学家通常把对语言的分析和理解分成如下几个主要层次：词法分析、句法分析、语义分析、篇章分析。

　　首先，词法分析——主要包括分词、词性标注、词义消歧、新词识别等——是通过分词、词频和位置统计等手段获得相关语言信息。其次，句法分析通过使句子成分特征化来分析句子结构特征，通过对句子和短语结构的分析找出词、短语等的相互关系以及各自在句中的作用，并以一定结构来表达诸如从属关系、成分关系等，目的是判定句子中各种结构性成分。第三，为了理解一个提问，一般还需要更多的语义和语用知识来帮助理解句子的意思，通过分析找出词义、结构意义及其结合意义，从而确定句子所表达的真正含义，而语义信息的标记需要包含概念完全集与关系图的支持，需要对句法成分做出细致的语义分类，它一般应包括语言层面(即反映语言表面现象的知识，如同义词关系、层次关系等)、本体论层面(描述概念之间复杂的语义关系)、常识层面等。虽然这项工作浩繁，但目前已经取得了一些初步成果。最后，篇章分析用于对多个语句、段落之间在结构或者语义上的相互关系进行分析。

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

　　NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。

　　随着云计算、移动互联网以及物联网等技术的发展和完善，相信大数据在各个领域的应用会越来越广泛和深入，相关的研究也会越来越全面和深入，在信息管理领域，综合应用数据挖掘技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。