大規模文献集合に対して階層的クラスタ分析法を適用するための単連結法アルゴリズム

概要

論文の詳細を見る
短報In　the　1960s　and　1970s，　techniques　for　clustering　a　set　of　documents，　in　order　to　improvethe　effectiveness　or　efficiency　of　information　retrieval　systems，　have　been　widely　explored．Similar　attempts　have　recently　been　made　by　many　researchers　to　allow　the　visualisation　ofsearch　results，　to　provide　browsing　based　search　modes　or　to　enhance　performance　in　searchingvery　large　collections．　The　purpose　of　this　paper　is　to　develop　an　algorithm　for　hierarchicalclustering　that　can　work　for　very　large　document　collections．　The　algorithm　is　based　on　acombination　of　two　ideas　proposed　by　other　researchers　to　save　time　and　space　in　the　processof　hierarchical　clustering；　（1）　the　use　of　an　inverted　file　for　reducing　the　number　of　documentpairs　for　which　a　similarity　degree　is　calculated，　and　（2）　a　procedure　for　constructing　adendrogram　based　on　single－link　method　from　similarity　data　recorded　on　disk　and　not　themain　memory．　ln　this　paper，　the　algorithm　is　experimentally　applied　to　a　documentset　consisting　of　about　10，000　bibliographic　records，　and　the　processing　time　is　analyzedempirically．　ln　addition，　the　effects　of　removing　words　frequently　appearing　in　documents　areexamined．　As　a　result，　we　find　that　removing　such　words　enable　us　to　greatly　reduce　theprocessing　time　without　significant　change　in　．the　resulting　set　of　clusters．　Finally，　an　empiricalcomparison　between　the　single－link　method　and　the　single－pass　algorithm　（leader－followeralgorithm）　is　attempted．
三田図書館・情報学会の論文

大規模文献集合に対して階層的クラスタ分析法を適用するための単連結法アルゴリズム

スポンサーリンク

概要

著者

関連論文

スポンサーリンク