百度中文分詞算法:指搜索引擎為了更好的辨別用戶的需求,并且為了快速提供給用戶需求性信息而使用的算法。
搜索引擎要在單位時(shí)間內(nèi)處理千萬億級(jí)的頁面數(shù)據(jù)量,因此搜索引擎擁有一個(gè)中文詞庫。比如百度現(xiàn)在大約有9萬個(gè)中文詞,那么搜索引擎就可以對(duì)千億級(jí)的頁面進(jìn)行分析,按照中文詞庫進(jìn)行了分類。
百度分詞基本有三種分法
1、基于理解:傻瓜式匹配,小于等于3個(gè)中文字符百度是不進(jìn)行切詞的,比如搜索“大學(xué)堂”。

2、基于統(tǒng)計(jì):百度把一個(gè)詞標(biāo)紅的原因:標(biāo)紅的詞一般是一個(gè)關(guān)鍵詞,你搜索“學(xué)”字的時(shí)候,百度它自認(rèn)的把“學(xué)習(xí)”也當(dāng)成了一個(gè)關(guān)鍵詞,所以出現(xiàn)“學(xué)習(xí)”這個(gè)詞標(biāo)紅,這就是百度分詞法:基于統(tǒng)計(jì)分詞。

3、基于字符串匹配(百度的分詞法:正向最大切詞法)
最大與最?。ㄗ畲笃ヅ洌阂恢逼ヅ涞?jīng)]詞可配;最小匹配:匹配出詞了就停止匹配,再從另一個(gè)詞開始匹配)比如:百度搜索“湖南大學(xué)堂屋頂”,百度的一個(gè)分詞算法我們把它當(dāng)成一個(gè)黑盒子,我們通過一些輸入關(guān)鍵詞,根據(jù)百度的輸出結(jié)果來判定百度的分詞算法。正向與反向(正向:從前往后配;反向:從后往前配)(湖南大學(xué)堂屋頂)正向分法:湖南大學(xué) 堂屋 頂 (劉強(qiáng)大地方法)正向分法:劉 強(qiáng)大 地方 法。反向分法:方法 大地 劉 強(qiáng)。而在這個(gè)詞語當(dāng)中“大地”不是一個(gè)詞。

另外,切詞原理:百度有專有詞庫(是不可分割的)比如杰出人物(如:毛澤東)明星(如:劉德華)檢索量大的詞(如:買票難) 。
當(dāng)然這些只是百度中文分詞原理的一部分,也不是全對(duì)。因?yàn)榘俣人惴ㄊ遣豢赡芡嘎冻鰜?,商業(yè)機(jī)秘如果讓你知道,那豈不是有N多的百度了。