高性能計算環境を用いたWebからの大規模格フレーム構築

スポンサーリンク

概要

論文の詳細を見る
本稿では、高性能計算環境を利用して、Webから大規模テキストコーパスを抽出し、格フレームを構築する方法について述べる。格フレームは人間のもっている常識的な知識のうちもっとも基本的なものであり、これを自動構築するには大規模かつ偏りのないテキストが必要となる。そこで、Webから日本語文を抽出することによって大規模コーパスを作成し、それを用いて格フレームを構築するということを行う。約4億Webページから約5億文からなるテキストコーパスを作成し、さらにこのコーパスから約9万用言からなる格フレームを構築した。これらのプロセスは、巨大なデータを扱うため1つの計算機で行えば数年を要し現実的ではないことから、約350CPUからなる高性能計算環境を利用することによって実現した。
2006-01-12

著者

関連論文

もっと見る

スポンサーリンク