大規模日本語テキストのnグラム統計の作り方と語句の自動抽出
スポンサーリンク
概要
- 論文の詳細を見る
シャノンによる情報理論の確立により,自然言語をマルコフ過程としてとらえ,言語のもつ性質を明らかにしようという立場が提案された.この立場は,あるn文字の組合せがどのような頻度で生じるか(nグラム)を調べることにその中心があったが,計算機の性能やテキストデータの不足などにより,大規模なテキストに対して,あるいは大きなnに対して言語統計を取ることが行われなかった.我々は,今日の計算機を用いるとこれが実現できると考え,大規模なテキストの任意のnについてのnグラムを簡単にとる方法を考案し,200万文字から3000万文字の中規模の日本語テキストデータに対し,nグラム統計をワークステーションを使って比較的短時間でとることに成功した.その結果,種々のnに対するnグラム統計を比較して調べることによって言葉として有意義なものが取り出せるということが明らかになった.同時にさらに大きいテキストを用いることの心要性と,可能性が明らかになった.
- 1993-07-09
著者
関連論文
- 6.言語・画像のデータ依存情報処理(情報処理技術の未来地図,50周年記念特集号)
- 国立国会図書館 館長対談(第13回)前フランス国立図書館長 ジャン-ノエル・ジャンヌネー氏 文化の多様性と知の伝承
- 本の森を歩く(特別篇)館長 長尾真が読書週間に選ぶ9冊
- 絵画解説文の対象情報・感性的情報の抽出
- キャプションと記事テキストの文字列照合による報道番組と新聞記事との対応づけの自動化
- キャプションと記事テキストの最長一致文字列照合による報道番組と新聞記事との対応づけの自動化
- IPAL辞書と分類語語彙を用いた単語意味辞書の作成
- 単語の共起頻度と出現位置による新聞の関連記事の検索手法
- 表層的手がかりによる六法全書法律文での要件部・効果部の抽出手法
- 確率的モデルによる仮名漢字変換
- nグラム統計によるコーパスからの未知語抽出
- 国立国会図書館 館長対談(第12回)児童文学者 松岡享子氏 読書は本とのコミュニケーション
- 国立国会図書館 館長対談(第11回)立命館大学教授、京都大学特任教授 佐和隆光氏 持続可能で豊かな社会を
- 国立国会図書館 館長対談(第10回)慶應義塾学事顧問、慶應義塾大学教授 安西祐一郎氏 知識は力である
- 確率的モデルによる仮名漢字変換
- 確率的モデルによる仮名漢字変換
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 日本語の情報量の上限の推定
- 連語登録による形態素解析システムJUMANの精度向上
- 日本語名詞における間接照応
- 表層表現を利用した日本語文章における後方照応表現の自動抽出
- 表層表現を利用した日本語文章における後方照応表現の自動抽出
- 日本語表層表現を手がかりとした名詞の指示性と数の推定
- 日本語表層表現を手がかりとした名詞の指示性と数の推定
- キャプションと記事テキストの最長一致文字列照合による報道番組と新聞記事との対応づけの自動化
- 形態素クラスタリングによる形態素解析精度の向上
- タグ付きコーパスからの統語規則の獲得
- 新春対談 彫刻家、東京藝術大学名誉教授・顧問 澄川喜一氏 国立国会図書館長 長尾真 日本の文化力再発見
- 電子出版と国立国会図書館
- 「AIマップ-自然言語へのアプローチ」に対するコメントと回答
- nグラム統計によるコーパスからの未知語抽出
- nグラム統計によるコーパスからの未知語抽出
- 対訳文章を利用した専門用語対訳辞書の自動作成 : 訳語対応における両立不可能性を考慮した手法について
- 談話管理理論を用いた対話処理 : 名詞句の解析と生成について
- マルチエージェントシステムに対する期待
- AIマップ : 自然言語へのアプローチ
- 京都大学統合情報通信システムKUINSの基本概念とシステム設計
- 電子図書館Ariadneの開発 (5) : —電子図書館をめぐる諸問題—
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 16. 自然言語の一般理論の試み
- 特別対談 新たな文化創造とクラウド化を展望する (特集 クラウド時代における電子ブックと流通問題)
- 図解辞書とLDOCEの分野コードに基づく場面知識による英語名詞の多義性解消
- Pictorial Dictionaryに基づく場面情報の結束性によるそれ自身の語義の自動付与
- LDOCE上の分野分けを用いたPictorial Dictionaryに基づく場面情報の解析
- 3. 座談会 : 未来に向けての技術展望(あの技術は今… : 技術の変遷と21世紀への展望)
- 電子図書館Ariadneの開発 (2) : —データの入力と編集—
- 坂井利之先生の文化功労者顕彰を祝して
- 「理論」について
- 確率的単語分割コーパスからの単語N-gram確率の計算(音声言語)
- 生コーパスからの単語N-gram確率の推定(仮名漢字変換・形態素構文解析)
- 高等教育における教育改革と経営改善(挨拶)
- 大学教育評価をどうするか : 評価からFDへ(挨拶)
- 大学教員の教育能力をどう開発するか(挨拶)
- 21世紀社会を支える情報処理学会になるために : 会長就任にあたって
- 異分野の人との対話
- クラスに基づく言語モデルのための単語クラスタリング
- 情報学の明日を考える (特集 情報学の第4ステージ)
- 漢字対応の利用による日中対訳テキストの文対応付け
- 類似性に基づいた日韓対訳テキストの文対応
- 用例検索による韓日・日韓翻訳支援システム
- 日英対訳文間の構造照合
- 日本語構文解析システム「KNP」のハングル化とそれを用いた日本語から韓国語への対照分析
- 部分文字列情報の利用による日本語単語の高速検索
- 大規模日本語テキストのnグラム統計の作り方と語句の自動抽出
- 電子図書館Ariadneの開発 (4) : —読書支援機能—
- 基調講演「電子図書館の構築」 (電子図書館時代の大学図書館の生産性(平成9年11月13日〜14日、会場:京都産業大学))
- 雑誌「自然言語処理」の発刊にあたって
- 新春対談 国立国会図書館蔵書のデジタル化とJIIMAの取組み
- 新春エッセー 国民読書年を迎えて
- 語彙化マルコフモデルによる英語品詞タグ付け
- 形態素bi-gramと品詞bi-gramの重ね合わせによる形態素解析
- 統計によるタグ付きコーパスからの統語規則の獲得
- クラスに基づく可変長記憶マルコフモデル
- 自然言語処理 : 基礎と応用, (社)電子情報通信学会(編), 田中穂積(監修), "自然言語処理 : 基礎と応用", (社)電子情報通信学会(1999-03), A5判, 定価(本体5,400円+税)
- 国立国会図書館の現状と将来[含 質疑応答] (特集 日本図書館研究会第52回(2010年度)研究大会) -- (シンポジウム 次代を切りひらく図書館の挑戦)
- 電子図書館Ariadneの開発 (3) : —検索支援機能—
- 大震災の記録保存に努力しよう
- 類似度からの検索質問生成による効率的類似用例検索
- 単語リストと生コーパスによる確率的言語モデルの分野適応
- 無限語彙の仮名漢字変換(単語,文法)
- 分類語彙表からの韓国語シソーラスの作成
- 国立国会図書館の現状と将来(発表4,シンポジウム「次代を切りひらく図書館の挑戦」,第52回(2010年度)研究大会)
- 科学技術コモンズと情報知識学への期待
- 係り受けを用いた確率的言語モデル
- クラスbigram言語モデルの補間
- DFAによる形態素解析の高速化
- DFAによる形態素解析の高速化
- ITUクラブ講演 電子書籍と読書端末
- 日英対訳文間の構造照合
- デジタル・ネット時代の知の基盤を考える
- 新年のごあいさつ : 震災アーカイブの構築と新しいサービス
- 電子図書館Ａｒｉａｄｎｅの開発（１） システム設計の方針:—システム設計の方針—
- 人工知能とは(4)(人工知能とは〔第4回〕)
- 並列構造の検出に基づく長い日本語文の構文解析
- 表層表現中の情報に基づく文章構造の自動抽出
- 動詞の語彙的知識獲得における類義語の用例を用いた多義性の類別