ATM 結合 PC クラスタ上での並列関係データベースサーバの構築
スポンサーリンク
概要
- 論文の詳細を見る
近年, マイクロプロセッサや標準バスの高速化によってパーソナルコンピュータの性能は著しい向上を続けており, また10 Mbps Ethernet に代わる次世代標準 LAN の候補として幾つかの方式が提案され, 急速に技術開発が進められている. このような状況から, 安価な PC を標準的なネットワークで結合した PC クラスタは, 商用超並列計算機はもちろん, ワークステーションクラスタと比べても価格対性能比で圧倒的に有利であり, 研究が活発化しつつある. しかし, これまでに行われた PC クラスタに関する研究ではノード数が十数台以下の小規模なシステムが対象であり, アプリケーションも数値演算に限られていた. 一方, 社会的なニーズとしては, 企業を始めとする様々な組織において電算化が浸透した結果蓄積された膨大な量のデータを多角的に分析することへの需要が高まっており, 高いデータ処理性能を持つシステムを安価に構築することは極めて重要な課題であると考えられる. 我々はこれまで関係データベースにおける大規模問合せ処理の高速化を目指し, 高並列関係データベースサーバ SDC-II の開発を行ってきた. SDC-II においては, 共有バス, 磁気ディスク I/F, 相互結合網などをボードレベルから設計し, 専用のシステムソフトウェアと高性能な並列関係演算アルゴリズムを実装することで, マイクロプロセッサによる並列関係データベース処理の有効性を実証することができた. 今回, この研究で得られた成果を更に大規模な問題に対して適用し, PC クラスタによる超並列関係データベースサーバ実現の可能性を示すため, 100台規模の PC を ATM スイッチを介して結合した大規模 PC クラスタを構築し, 並列関係データベース処理系を作成したのでその概要を報告する.
- 一般社団法人情報処理学会の論文
- 1997-03-12
著者
-
田村 孝之
三菱電機株式会社情報技術総合研究所
-
喜連川 優
東京大学生産技術研究所
-
田村 孝之
東京大学生産技術研究所
-
小口 正人
お茶の水女子大学理学部
-
小口 正人
東京大学 生産技術研究所
-
小口 正人
東京大学生産技術研究所
関連論文
- 多周期的更新アクセスに適した二次記憶管理技法 : 連続的Webクローリングへの適用(ファイル編成,情報爆発論文)
- 編集にあたって(平成21年度長尾真記念特別賞紹介)
- グリーンレプリケーション : 二次系ディスクストレージの省電力化(ストレージ 並列分散データベース,データ工学論文)
- 編集にあたって(平成21年度論文賞の受賞論文紹介)
- 大規模ウェブテキストからの片仮名用言の自動獲得(テキストマイニング,データ工学論文)
- ATM結合PCクラスタにおける動的リモートメモリ利用方式を用いた並列データマイニングの実行
- 並列DBMSに於ける動的負荷分散機構の実装
- 一般化相関ルールマイニングの並列処理方式における統計情報を用いた候補分割負荷分散手法の評価
- 大規模PCクラスタにおける並列相関ルールマイニング処理方式の評価
- ATM結合PCクラスタにおける並列データマイニングの実装とTCP再送機構の性能解析
- トレンドを考慮した検索クエリの分類手法の一検討
- 2.50年後の情報社会を支えるIT基盤(情報処理技術の未来地図,50周年記念特集号)
- 情報爆発時代における情報大航海プロジェクト
- 情報大航海
- ウェブコミュニティチャートとウェブディレクトリの比較に関する一考察
- IFIP-情報処理国際連合-近況報告(委員会から)
- ボーンデジタル時代におけるウェブアーカイブとその活用基盤としてのSocio-Sense(Webアーカイビングの現状と課題)
- IFIP-情報処理国際連合-近況報告
- iSCSIネットワークストレージにおけるファイルアクセス性能に関する考察(ストレージ2, 夏のデータベースワークショップDBWS2005)
- iSCSIネットワークストレージにおけるファイルアクセス性能に関する考察(ストレージ2, 夏のデータベースワークショップ2005)
- SAN結合PCクラスタにおけるストレージ仮想化機構を用いた動的負荷分散並びに動的資源調整の提案とその評価(データベース)
- ITの進展と法制度の非想定領域 : 著作権法一部改正,47-6,47-7による検索エンジンの合法化について(研究開発における情報利用と著作権)
- 情報爆発時代における情報管理・融合・活用基盤(情報爆発時代に向けた新しいIT基盤技術の研究)
- 情報爆発時代に向けた新しいIT基盤技術の研究(情報爆発時代に向けた新しいIT基盤技術の研究)
- コンテンツの生産・活用に関する研究 : 科研「情報学」プロジェクトのコンテンツ研究を振り返って(「情報学を創る」-科研プロジェクトがめざしたもの)
- 大規模Webアーカイブ更新クローラにおけるスケジューリング手法の評価(Web検索・Webアーカイブ,データ工学論文)
- 50周年記念全国大会を振り返って : 7,150人もの多のくの方々にご参加いただきお礼申し上げます(記念大会が示した情報処理の未来-情報処理学会創立50周年記念(第72回)全国大会報告-)
- 1.SlothLib/EaRDB : マイサーチエンジン開発環境支援(パートII:情報分野研究者のためのオンリーワン共有イノベーションプラットフォーム,情報爆発時代におけるわくわくするITの創出を目指して)
- グリーンレプリケーション : 二次系ディスクストレージの省電力化
- 最近の二次記憶装置 : ディスクアレイ (<連載講座> 計算機の記憶システム 7)
- 多周期的更新アクセスに適した二次記憶管理技法 : 連続的 Web クローリングへの適用
- コラボラティブグリーンストレージ : データベースシステムとの連携によるディスクストレージ省電力化の構想(インターネットと環境・エコロジー,インターネットと環境・エコロジー,一般)
- 地球水循環データアーカイブシステムとユーザインタフェースの構築(データ可視化, 夏のデータベースワークショップDBWS2005)
- AIRSデータ可視化システムにおける多種データ重ね合わせ表示機能の開発(データ可視化, 夏のデータベースワークショップDBWS2005)
- 地球水循環データアーカイブシステムとユーザインタフェースの構築(データ可視化, 夏のデータベースワークショップ2005)
- AIRSデータ可視化システムにおける多種データ重ね合わせ表示機能の開発(データ可視化, 夏のデータベースワークショップ2005)
- 情報爆発論文特集の発行にあたって
- 部分マイグレーション機構を有する3次記憶ファイルシステムPFSの8ミリテープアーカイブ装置への実装とその性能評価
- 2ウェイマージ機能を有するオメガネットワーク
- Webアクセスログとその利活用(ソーシャルネットワーク時代のWebインタラクション)
- ATM結合PCクラスタのTCP再送機構の解析と並列データマイニングの性能向上
- 大規模日本語Webアーカイブの構築とその分析 (特集 データマネジメント技術)
- 10.Socio Sense : 過去9年に及ぶWebアーカイブから社会の動きを読む(第2部:情報の高信頼蓄積・検索技術等の開発,学と産の連携による基盤ソフトウェアの先進的開発)
- 5L-5 大規模Webアーカイブにおけるコンテンツ解析支援機構(リーディングプロジェクト e-society:WebアーカイブとWebデータ解析技術,一般セッション,リーディングプロジェクト e-society)
- 大規模Webアーカイブのための更新クローラの設計と実装
- 特定言語で記述されたwebページの選択的収集手法とその評価(Web マイニング・Web情報検索,データ工学論文)
- 共有ストレージプールを用いた並列データベース処理に於けるオンデマンド資源調節
- 共有ストレージプールを用いた並列データベース処理に於けるオンデマンド資源調節
- 4K-5 並列DBMS: DBKernelにおける動的負荷分散機構の評価
- 並列DBMSに於ける動的負荷分散機構の実装
- 並列SQLによる大規模PCクラスター上の相関ルールマイニング : C実装プログラムとの性能比較
- 並列DBMSにおける動的負荷分散機構 : 負荷情報収集方式の検討
- 概念階層を考慮した相関ルールマイニングの関係データベース管理システム上での実現
- 並列DBMSにおける動的負荷分散機構 : 負荷情報収集に関する一考察
- 並列関係データベース処理システムに於ける動的負荷分散:実装設計
- アウトオブオーダー型データベースエンジンOoODEの構想と初期実験
- 9.ストレージフュージョン : ストレージシステムとデータベース管理システムの融合(第2部:情報の高信頼蓄積・検索技術等の開発,学と産の連携による基盤ソフトウェアの先進的開発)
- 6L-3 Storage Fusion : 自己再編成ストレージシステムの高度化に関する一考察(リーディングプロジェクト e-society: Strage Fusion,一般セッション,リーディングプロジェクト e-society)
- 6L-2 データベース処理を意識したディスクアレイ省電力化のための電力消費モデルの構築(リーディングプロジェクト e-society: Strage Fusion,一般セッション,リーディングプロジェクト e-society)
- 6L-1 Storage Fusion : データベース処理を意識したディスクストレージ省電力化の一考察(リーディングプロジェクト e-society: Strage Fusion,一般セッション,リーディングプロジェクト e-society)
- オンライン構造劣化モニタを用いたデータベース再編成支援(夏のデータベースワークショップ2007(データ工学,一般))
- オンライン構造劣化モニタを用いたデータベース再編成支援(データベース技術,夏のデータベースワークショップ2007(データ工学,一般))
- データベースにおけるリアルタイム構造劣化監視機構の試作(ストレージ)
- データベース更新差分を用いた範囲検索のIOコスト推定(高性能システム, 夏のデータベースワークショップDBWS2005)
- 分散共有メモリ計算機上におけるデータスキューに対する結合演算の性能解析
- 分散共有メモリ計算機上におけるデータスキューに対する結合演算の性能解析
- 分散共有メモリ計算機における並列ハッシュ結合演算処理の性能解析 (高度データベース論文特集)
- 分散共有メモリ並列計算機における関係結合演算の性能
- 共有メモリ型計算機上でのトランスポーズドファイルを用いた並列関係問合せ処理の実装方式とその評価
- 分散共有メモリ計算機における並列ハッシュ結合演算処理方式の設計と実装
- 共有メモリマルチプロセッサ上でのトランスポーズドファイルを用いた並列関係問合せ処理
- 分散共有メモリ計算機における並列ハッシュ結合演算処理方式の設計と実装
- 共有メモリマルチプロセッサ上でのトランスポーズドファイルを用いた並列関係問合せ処理
- トランスポーズドファイル上での並列結合演算処理方式に関する一考察
- 分散共有メモリ計算機における並列ハッシュ結合演算方式の実装
- 分散共有メモリ計算機上における並列ハッシュ結合演算処理方式の一考察
- 並列関係データベースシステムにおけるバッチ問合せ処理最適化技法の検討
- 並列計算機AP1000DDVにおける多重結合演算の実装とその評価
- 並列関係データベースシステムにおける多重問合せ最適化に関する一考察
- 並列データベースシステムにおける多重結合演算処理の最適化とその評価
- 並列SQLサーバSDC-IIにおけるトランスポーズ型ファイル編成適用の検討
- 並列SQLサーバSDC-IIにおけるバッチ問合せ処理方式
- スーパーデータベースコンピュータSDC-IIのバケット平坦化ネットワークにおける負荷特性の評価
- スーパーデータベースコンピュータSDC-IIにおける不均一データ分布での結合演算処理に対する性能評価
- 大規模Webアーカイブ更新のための階層的スケジューリング手法
- 5K-7 大規模Webアーカイブにおける時間分解能向上手法の検討(情報爆発時代におけるWeb解析,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 通信プロトコルのパラメータチューニングによる大規模PCクラスタの性能向上
- 大規模PCクラスタにおける並列集約演算の高速化
- ATM結合型大規模PCクラスタにおける並列データマイニングとTCP再送機構の解析
- 大規模PCクラスタ仁おける並列関係問合せ実行方式とその評価
- 大規模PCクラスタ仁おける並列関係問合せ実行方式とその評価
- 大規模PCクラスタにおけるトランスポーズドファイルを用いた並列関係問合せ処理
- ATM結合PCクラスタにおける並列関係問合せ処理系の設計と実装
- ATM 結合 PC クラスタ上での並列関係データベースサーバの構築
- ATM結合型PCクラスタにおける並列相関関係抽出
- ATM結合型PCクラスタによる並列データマイニング (時空間データベースおよび一般)
- 並列SQLサーバSDC-IIのTPC-Dベンチマークによる性能評価
- 並列 SQL サーバ SDC-IIのTPC-Dベンチマークを用いた性能評価
- 並列SQLサーバSDC-IIのTPC-Dベンチマークを用いた性能評価
- 表値型ユーザ定義関数を用いた問合せにおける関数出力オーバヘッド削減手法(実世界情報・データベース,ビッグデータを対象とした管理・情報検索・知識獲得及び一般)