Windows NT SMPクラスタでのSORB+JavaPM/Myrinetによる並列類似文書検索システムの評価
スポンサーリンク
概要
- 論文の詳細を見る
文書間の類似度を計算することによって検索を行う類似文書検索は、一般的な全文検索と比べると検索結果を求めるための計算量がかなり多くなる。そのため、大規模なデータに対してこの類似文書検索を適用する場合には、応答時間が問題になってくる。そこで我々は類似文書検索の並列化を行い、5台のデュアルプロセッサPCを利用した並列類似文書検索システムを構築し、応答時間の短縮を目指した。構築にあたっては、高速通信ミドルウェアSORB+JavaPM/Myrinetと類似文書検索ライブラリK-Tech Search IIを用いた。一定の時間間隔で検索を実行する検索クライアントを作成し、応答時間の計測によって本システムの評価を行った。99年の全分野の公開特許データ9.7GB,382,113件において、類似文書検索サーバー1台の類似文書検索システムと比較した場合、約51倍から1321倍の応答時間の向上を得られた。
- 一般社団法人情報処理学会の論文
- 2001-03-08
著者
-
岡崎 史裕
産業技術総合研究所情報技術研究部門
-
佐藤 三久
技術研究組合新情報処理開発機構
-
松田 元彦
新情報処理開発機構
-
松田 元彦
産業技術総合研究所 グリッド研究センター
-
松田 元彦
東京大学大学院情報理工学系研究科
-
入口 浩一
技術研究組合新情報処理開発機構並列分散システムパフォーマンスつくば研究室
-
岡崎 史裕
技術研究組合新情報処理開発機構並列分散システム住友金属
-
松田 元彦
技術研究組合新情報処理開発機構並列分散システム住友金属
関連論文
- ネットワークテストベッドGtrcNET-10p3におけるパケットキャプチャおよびルータ機能の実装(応用2)
- 10ギガビットイーサネットを用いた精密なパケットスケジューリング機構の開発(ポストIPネットワーキング,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク,NW安全性及び一般)
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- トラフィックの性質情報に基づいた動的ネットワーク選択手法 (ネットワークシステム)
- ソフトウェアによる精密ペーシング方式を用いたTCP通信性能の改善((フォトニック)IPネットワーク技術, (光)ノード技術, WDM技術, 一般)
- ソフトウェア分散共有メモリ上のOpenMP Omni/SCASHのSPLASH2による性能評価
- ソフトウエア分散共有メモリ上のOpenMP Omni/SCASHにおけるNPBの最適化と性能評価
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- Parallel STLによる並列プログラミング
- GridMPI^ Version 1.0の概要(HPC-10: 通信ライブラリ)
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ヒープ中の同期ロックの整合性に関するモデル検査
- グリッド上のコレクティブ通信アルゴリズム
- ストリーミング配信に対するソフトウェアペーシング方式の効果(有線/無線シームレスネットワーク,ネットワーク制御,無線通信一般)
- ギャップパケットを用いたソフトウェアによる精密ペーシング方式(ネットワーク)
- MPIライブラリと協調するTCP通信の実現(ネットワーク)
- IBM pSeriesにおけるGridMPIの実装と性能評価(通信ライブラリ, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- IBM pSeries における GridMPI の実装と性能評価
- GridMPIのためのTCP/IP輻輳制御実装方式の検討(OS-3:ネットワーク)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- GNU MPを用いたFortranコンパイラomf77の多倍精度浮動小数拡張
- GNU MPを用いたFortranコンパイラomf77の多倍精度浮動小数拡張
- 資源予約と連携した階層型分散資源モニタリングシステムの設計(クラスタとグリッド技術)
- 経路が動的に接続/解放されるネットワークにおけるユーザ単位の経路切替手法(HPC-15 : ネットワーク)
- LinuxのTCP/IP通信における高帯域高遅延ネットワーク上で性能低下を引き起こす通信中断の原因解析と改良 (インターネットコンファレンス2007論文集)
- GridMPI^の性能評価(HPC-6 : 通信ライブラリ)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- Windows NT SMPクラスタでのSORB+JavaPM/Myrinetによる並列類似文書検索システムの評価
- Windows NT SMPクラスタでのSORB+JavaPM/Myrinetによる並列類似文書検索システムの評価
- Windows NTクラスタでの類似文書検索システムの構築
- 大規模システムソフトウェアのモデル検査器の設計と実装
- ネットワーク転送時におけるノード消費電力削減
- ネットワーク転送時におけるノード消費電力削減
- プライベートアドレスを有するクラスタ群のための高性能MPI通信リレー機構
- SMPクラスタ向けネットワーク・インタフェースAM通信 (並列処理)
- COMPaS : Pentium Proを用いたSMPクラスタとその評価 (並列処理)
- トラフィックの性質情報に基づいた動的ネットワーク選択手法(ポストIPネットワーキング,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク, NW安全性,及び一般)
- SMPクラスタ向けネットワーク・インタフェース上AM通信
- SMPクラスタでの共有/分散融合プログラミング
- Knapsack問題における共有メモリ型/分散メモリ型並列計算機の性能比較
- MPI通信モデルに適した非同期通信機構の設計と実装(クラスタソフトウェア)
- VLANを用いた複数パスを持つクラスタ向きL2 Ethernetネットワーク(ネットワーク)
- VLANを用いた複数パスを持つL2 Ethernetネットワーク(高性能システム)
- VLANを用いた複数パスを持つL2 Ethernetネットワーク
- MP1通信モデルに適した通信APIの設計と実装(HPC-7 : 通信ライブラリ)(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- GridMPI-通信遅延を考慮したMPI通信ライブラリの設計(HPC-7 : 通信ライブラリ)(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- WAN上の複数クラスタによる単一MPIアプリケーションの性能評価
- ネットワーク転送時におけるノード消費電力削減
- ネットワーク転送時におけるノード消費電力削減
- C++テンプレート・ライブラリを用いた行列解法の並列化
- ソフトウェア分散共有メモリ上のOpenMP Omni/SCASHのSPLASH2による性能評価
- SMPクラスタにおけるコレスキー分解の並列化
- SMPクラスタ上でのリモートメモリ転送を用いた通信と計算のオーバーラップによる性能改善
- SMPクラスタCOMPaSの性能評価
- JavaPM/MyrinetとSORBの性能評価
- ソフトウエア分散共有メモリ上のOpenMP Omni/SCASHにおけるNPBの最適化と性能評価
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- Windows NTクラスタ上でのMyrinetによる通信の実現
- C++テンプレートを使ったデータ並列ライブラリの効率化手法
- 分散環境におけるシームレス並列コンピューティングシステムの構想
- テンプレート・クロージャによる並列アレイ・ライブラリ
- IBM pSeriesにおけるGridMPIの実装と性能評価(通信ライブラリ, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- NSI相互運用試験のためのGridARSによるネットワーク資源管理(網監視・運用)