部分文字列情報の利用による日本語単語の高速検索
スポンサーリンク
概要
- 論文の詳細を見る
自然言語処理において,形態素解析はべた書き文からあらゆる可能な単語を抽出しなければならないので,日本語単語の高速辞書検索は必要不可欠なことである.そこで本検索法では,まず登録する単語を部分文字列にわけ,それぞれわけられた文字列に単語の長さ情報をもたせて登録していくことを考えた.これにより辞書検索を部分文字列で行なうことができ,素早く単語の長さ情報を得て目的とする単語までスキップすることができるので,むだな辞書引き動作をなくすことができた.したがって,部分文字列を利用する簡単なシステムとなり,データ構造にはパトリシアを用いてまたデータの検索・挿入・削除にはハッシュ法を用いた高速な検索方法を提案する.なお,本検索法を用いた日本語形態素解析システム(JUMAN-NK)で,従来のシステム(JUMAN-mcc)との解析処理時間を比べると,かなり高速化できたことを確認した.
- 一般社団法人情報処理学会の論文
- 1994-05-27
著者
関連論文
- 6.言語・画像のデータ依存情報処理(情報処理技術の未来地図,50周年記念特集号)
- 国立国会図書館 館長対談(第13回)前フランス国立図書館長 ジャン-ノエル・ジャンヌネー氏 文化の多様性と知の伝承
- 国立国会図書館 館長対談(第7回)デジタル時代のスウェーデン国立図書館の挑戦 (デジタル時代のスウェーデン国立図書館の挑戦--スウェーデン国立図書館長 グンナー・サーリン氏)
- 本の森を歩く(特別篇)館長 長尾真が読書週間に選ぶ9冊
- 絵画解説文の対象情報・感性的情報の抽出
- キャプションと記事テキストの文字列照合による報道番組と新聞記事との対応づけの自動化
- キャプションと記事テキストの最長一致文字列照合による報道番組と新聞記事との対応づけの自動化
- IPAL辞書と分類語語彙を用いた単語意味辞書の作成
- 単語の共起頻度と出現位置による新聞の関連記事の検索手法
- 表層的手がかりによる六法全書法律文での要件部・効果部の抽出手法
- 形態素の共起頻度と出現位置による新聞関連記事の検索手法
- 日本語文生成における語彙選択に必要な要因とその性質
- 巻頭対談 国立国会図書館長・長尾真氏 VS.東京理科大学理事長・塚本桓世氏 これからの図書館のあり方と利用について
- nグラム統計によるコーパスからの未知語抽出
- 構文情報を利用した電子ニュース記事のクラスタリングシステムの作成と評価
- 国立国会図書館 館長対談(第12回)児童文学者 松岡享子氏 読書は本とのコミュニケーション
- 国立国会図書館 館長対談(第11回)立命館大学教授、京都大学特任教授 佐和隆光氏 持続可能で豊かな社会を
- 国立国会図書館 館長対談(第10回)慶應義塾学事顧問、慶應義塾大学教授 安西祐一郎氏 知識は力である
- 国立国会図書館 館長対談(第9回)国際図書館連盟会長 クラウディア・ルクス氏 主張する図書館へ
- 国立国会図書館 館長対談(第8回)大阪大学名誉教授 伊井春樹 古典と現代
- 国立国会図書館 館長対談(第6回)文字・活字文化推進機構会長 福原義春氏 読書の力、本の力
- 国立国会図書館 館長対談(第5回)東京大学教授 上野千鶴子氏 本の未来、図書館の未来
- 国立国会図書館 館長対談(第4回)カナダ国立図書館公文書館長 イアン・ウィルソン氏 デジタル情報社会が求める国立図書館の役割
- 国立国会図書館 館長対談(第3回)米国議会図書館副館長 ディアナ・マーカム氏 図書館の役割と未来
- 国立国会図書館 館長対談(第2回)印刷博物館館長 樺山紘一氏--人間の知的資産と図書館
- 国立国会図書館 館長対談(第1回)文化庁長官 青木保氏 グローバルで多文化な時代における図書館
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 連語登録による形態素解析システムJUMANの精度向上
- 表層表現を手がかりとした日本語名詞句の指示性と数の推定
- 日本語名詞における間接照応
- 表層表現を利用した日本語文章における後方照応表現の自動抽出
- 表層表現を利用した日本語文章における後方照応表現の自動抽出
- 日本語表層表現を手がかりとした名詞の指示性と数の推定
- 日本語表層表現を手がかりとした名詞の指示性と数の推定
- キャプションと記事テキストの最長一致文字列照合による報道番組と新聞記事との対応づけの自動化
- 形態素クラスタリングによる形態素解析精度の向上
- タグ付きコーパスからの統語規則の獲得
- 新春対談 彫刻家、東京藝術大学名誉教授・顧問 澄川喜一氏 国立国会図書館長 長尾真 日本の文化力再発見
- 電子出版と国立国会図書館
- 「AIマップ-自然言語へのアプローチ」に対するコメントと回答
- nグラム統計によるコーパスからの未知語抽出
- nグラム統計によるコーパスからの未知語抽出
- 対訳文章を利用した専門用語対訳辞書の自動作成 : 訳語対応における両立不可能性を考慮した手法について
- 専門用語辞典の自動的ハイパーテキスト化の方法
- 談話管理理論を用いた対話処理 : 名詞句の解析と生成について
- マルチエージェントシステムに対する期待
- AIマップ : 自然言語へのアプローチ
- 京都大学統合情報通信システムKUINSの基本概念とシステム設計
- 電子図書館Ariadneの開発 (5) : —電子図書館をめぐる諸問題—
- 16. 自然言語の一般理論の試み
- 特別対談 新たな文化創造とクラウド化を展望する (特集 クラウド時代における電子ブックと流通問題)
- 図解辞書とLDOCEの分野コードに基づく場面知識による英語名詞の多義性解消
- 3. 座談会 : 未来に向けての技術展望(あの技術は今… : 技術の変遷と21世紀への展望)
- 電子図書館Ariadneの開発 (2) : —データの入力と編集—
- 坂井利之先生の文化功労者顕彰を祝して
- 高等教育における教育改革と経営改善(挨拶)
- 大学教育評価をどうするか : 評価からFDへ(挨拶)
- 大学教員の教育能力をどう開発するか(挨拶)
- 21世紀社会を支える情報処理学会になるために : 会長就任にあたって
- 異分野の人との対話
- 出現密度分布を用いた語の重要説明箇所の特定
- 出現密度分布を用いた語の重要説明箇所の特定
- 情報学の明日を考える (特集 情報学の第4ステージ)
- 漢字対応の利用による日中対訳テキストの文対応付け
- 類似性に基づいた日韓対訳テキストの文対応
- 用例検索による韓日・日韓翻訳支援システム
- 日英対訳文間の構造照合
- 目次情報を利用した図書検索システム
- 日本語構文解析システム「KNP」のハングル化とそれを用いた日本語から韓国語への対照分析
- 部分文字列情報の利用による日本語単語の高速検索
- 大規模日本語テキストのnグラム統計の作り方と語句の自動抽出
- 電子図書館Ariadneの開発 (4) : —読書支援機能—
- 基調講演「電子図書館の構築」 (電子図書館時代の大学図書館の生産性(平成9年11月13日〜14日、会場:京都産業大学))
- 雑誌「自然言語処理」の発刊にあたって
- 新春対談 国立国会図書館蔵書のデジタル化とJIIMAの取組み
- 新春エッセー 国民読書年を迎えて
- ディジタルアーカイブの現状と課題
- 世界電子図書館にようこそ
- 語彙化マルコフモデルによる英語品詞タグ付け
- 形態素bi-gramと品詞bi-gramの重ね合わせによる形態素解析
- 統計によるタグ付きコーパスからの統語規則の獲得
- 国立国会図書館の現状と将来[含 質疑応答] (特集 日本図書館研究会第52回(2010年度)研究大会) -- (シンポジウム 次代を切りひらく図書館の挑戦)
- 電子図書館Ariadneの開発 (3) : —検索支援機能—
- 大震災の記録保存に努力しよう
- 類似度からの検索質問生成による効率的類似用例検索
- 分類語彙表からの韓国語シソーラスの作成
- 国立国会図書館の現状と将来(発表4,シンポジウム「次代を切りひらく図書館の挑戦」,第52回(2010年度)研究大会)
- 科学技術コモンズと情報知識学への期待
- 京都大学テキストコーパス・プロジェクト
- ITUクラブ講演 電子書籍と読書端末
- 日英対訳文間の構造照合
- デジタル・ネット時代の知の基盤を考える
- 新年のごあいさつ : 震災アーカイブの構築と新しいサービス
- 電子図書館Ａｒｉａｄｎｅの開発（１） システム設計の方針:—システム設計の方針—
- 人工知能とは(4)(人工知能とは〔第4回〕)
- 並列構造の検出に基づく長い日本語文の構文解析
- 表層表現中の情報に基づく文章構造の自動抽出
- 動詞の語彙的知識獲得における類義語の用例を用いた多義性の類別