揮発性資源上での並列分散計算を支援するオブジェクト指向ライブラリ(OS-4 : ミドルウェア)
スポンサーリンク
概要
- 論文の詳細を見る
本研究では実行時に動的に計算資源が変化するような環境で有効な,分散オブジェクト指向ライブラリを設計し,これを用いて簡潔な記述で大規模な計算資源で処理を並列するフレームワークを実装した.近年計算資源が着実に増えているが,決まった資源を継続的に使えることは少なく,実行時に追加・削除が出来ることが求められている.このような環境で並列分散計算を手軽に行うライブラリは稀である.既存の多くの実装は各拠点へのインストール,複雑な設定ファイルの記述などを必要とする.その中,大量なデータファイルに対して大規模な計算資源で並列に処理をしたいという要望が多い.このような要望に対し,従来のライブラリでは敷居が高く,生産性も低い.我々はPythonスクリプト言語に分散オブジェクトライブラリ拡張を施した.このライブラリはインストール,設定ファイルの記述などは全く必要とせず,スクリプト言語で透過的に分散環境での計算を可能にする.また,このライブラリを用いて大量のファイルを入力に取り,並列に実行する処理の記述を容易にするようなフレームワークを実装した.このフレームワークでは,ユーザーは希望する処理のみを記述し,ネットワーク,資源の増減などの煩雑さから開放することで高い生産性を与えることが出来る,このフレームワークの有用性を実アプリケーションを用い,評価を行った.
- 2007-08-03
著者
-
田浦 健次朗
東大 大学院情報理工学系研究科
-
田浦 健次郎
東京大学
-
田浦 健次朗
東京大学情報理工学系研究科
-
弘中 健
東京大学
-
澤井 省吾
東京大学
-
弘中 健
東京大学情報理工学系研究科
-
澤井 省吾
東京大学情報理工学系研究科
-
田浦 健次朗
東京大学情報基盤センター|東京大学大学院情報理工学系研究科
関連論文
- メッセージ衝突を防止する適応的な収集操作アルゴリズム(並列分散処理,情報爆発論文)
- 並列分散環境におけるファイル共有システムの負荷原因探索システム(ストレージアクセス技術,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ(SWoPP仙台2009))
- 大規模クラスタを用いた高精度なGait認識(一般セッション(2),文字認識・文書理解)
- 大規模クラスタを用いた高精度なGait認識(一般セッション(2), 文字認識・文書理解)
- 複数拠点に分散配置されたクラスタの効率的な管理手法(セッション6:分散システム)
- GAとTD(λ)学習の組み合わせによるゲーム局面評価パラメータの調整(学習1)
- グリッド用シェルGXPの長時間計算のための拡張(HPC-17 : グリッド)
- 揮発性資源上での並列分散計算を支援するオブジェクト指向ライブラリ(OS-4 : ミドルウェア)
- 対訳辞書のグラフ表現を用いた日英対訳テキストの発見(文書処理,質問応答)
- CHLAC特徴とGridコンピューティングを併用したリアルタイム動作認識(一般セッション(2),文字認識・文書理解)
- CHLAC特徴とGridコンピューティングを併用したリアルタイム動作認識(一般セッション(2), 文字認識・文書理解)
- 5K-2 実世界情報並列計算基盤の開発(情報爆発時代における分散システム技術,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 並列処理のための効率的なトポロジ推定(HPC-10 : 適応環境での通信)
- DisC : ごみ集め機構を備えたC++の分散記憶並列拡張言語
- 3.Javaにおける並列プログラミングサポート(マルチコアを活かすお手軽並列プログラミング)
- グリッドチャレンジテストベッドの構築と運用 : グリチャレテストベッドの作り方(HPC-3 : 大規模運用システム(1))
- 情報爆発時代における安全・安心ITシステム基盤(情報爆発時代に向けた新しいIT基盤技術の研究)
- 並列オブジェクト指向言語のマルチコンピュータ上における効率的な実装法
- DMI:計算資源の動的な参加/脱退をサポートする大規模分散共有メモリインタフェース
- データ集約的ワークフローの高精度なシミュレーター
- XQueryによる柔軟な問い合わせが可能な大規模分散環境モニタリングフレームワーク
- "Bare Metal" Cloud: 実マシンを提供するクラウドサービス
- 広域分散ワークフローのための耐遅延性の高い分散ファイルシステム
- 分散共有メモリ環境におけるUCTの並列実行
- 接続を動的に制御するメッセージパッシングシステム(HPC-11 : グリッド(3))(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 並列アプリケーションのトレースログの効率的なオンライン圧縮アルゴリズムの評価
- トポロジ情報を用いた効率的かつ漸近安定な大容量ブロードキャスト
- 高いヒープ使用率の下で高速なインクリメンタルGC
- 排他的なメソッドの並行な呼び出しを融合する機構を持つ言語
- 同期ボトルネックが存在する並列プログラムの効率的実行(並列処理)
- 明示的なタスク配置指定が可能な遅延タスク生成に基づく動的負荷分散方法
- 動的なスレッド生成をサポートする言語のコンパイル技法
- XQuery による柔軟な問い合わせが可能な大規模分散環境モニタリングフレームワーク
- 6ZA-2 XQueryを用いたプログラマブルかつ軽量な大規模分散環境におけるモニタリングフレームワーク(システム蓮用・管理(2),学生セッション,ネットワーク,情報処理学会創立50周年記念)
- 低負荷で多数の計算機をリアルタイムに監視するシステムVGXPの実装(大規模システム,SWoPP2006)
- Virtual Private Grid(VPG) : 遠隔計算機を効率的に利用するシェル
- 6ZA-8 広域環境におけるRTTを用いたネットワークトポロジー推定(システム蓮用・管理(2),学生セッション,ネットワーク,情報処理学会創立50周年記念)
- 5W-9 計算機トラブルシュートドメインにおける固有表現抽出(言語情報抽出,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 4T-2 学習を用いた枝刈の新手法の提案(ゲーム,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 3L-2 NUMAにおけるメモリローカリティと負荷分散を同時に考慮した並列GCのシミュレーションによる性能評価(分散・並列OS,学生セッション,アーキテクチャ,情報処理学会創立50周年記念)
- ネットワークトポロジーを考慮した効率的なバンド幅推定手法(HPC-11:通信,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 自動取得したネットワーク構成情報に基づくMPI集合通信(HPC-1:MPI,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 6W-2 画像群中の物品発見における計算量削減手法の提案(画像データベース,学生セッション,人工知能と認知科学)
- 4U-5 Webフォーラムの構文情報を用いたトラブルシュート文書抽出(文書の分類と検索,学生セッション,人工知能と認知科学)
- 2U-3 UCTを用いた訓練初期局面の多様化によるTD学習法の改善(ゲーム・知識ベース,学生セッション,人工知能と認知科学)
- 細粒度マルチスレッディングのための言語処理系技術(2)
- 細粒度マルチスレッディングのための言語処理系技術(1)
- 自己責任の時代 (インタラクティブ・エッセイ)
- 6ZA-7 大規模ネットワークにおける効率的なバンド幅マップ構築アルゴリズム(システム蓮用・管理(2),学生セッション,ネットワーク,情報処理学会創立50周年記念)
- 高速なトポロジ推定 : ネットワークを考慮した並列計算のための基盤として(グリッド)
- 研究の世界に飛び込んで(平成18年度論文賞の受賞論文紹介)
- 6ZB-4 メッセージ衝突を防止した適応的な集合通信(ネットワーク応用(2),学生セッション,ネットワーク,情報処理学会創立50周年記念)
- 2L-1 並列分散環境上のファイル共有システムの負荷原因探索システム(並列システムソフトウェア,学生セッション,アーキテクチャ,情報処理学会創立50周年記念)
- 並列アプリケーションの性能を損なわないポーリング型のモニタリング
- メッセージ衝突を防止する適応的な集合通信
- プロセスとチャネルに基づく並列言語のための部分計算
- InTrigger : 柔軟な構成変化を考慮した多拠点に渡る分散計算機環境(HPC-14 : 分散処理)
- 多拠点に渡る分散計算機環境を効率的にモニタリングするための情報収集と表示(管理機構)
- 論理式の充足可能性問題における変数の依存関係に基づく効率的な変数決定順序(HPC-5: 数値計算アルゴリズム(2))
- 論理式の充足可能性問題の並列化におけるClause共有の効果について(CPSY-2 並列分散プログラミング)(2004年並列/分散/協調処理に関する「青森」サマーワークショップ(SWoPP青森2004))
- 耐故障並列計算を支援する自律的な故障検知機構(高信頼)
- 複数サブネット環境における自律的な故障検知機構(OS-4: 通信システム, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- Phoenixプログラミングモデルにおける故障検知ライブラリ(HPC-11 : グリッド(3))(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- ハッシングに基づく大規模探索問題の耐故障分散処理手法
- 3ZL-2 ネットワークトポロジを考慮したバンド幅推定の高速化手法(情報爆発時代における安全,安心ネットワーク技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 複雑なグリッド環境で柔軟なプログラミングを実現するフレームワーク
- トポロジを考慮しソース選択を行うデータ転送スケジューラ
- マイグレーションを支援する分散集合オブジェクト
- Javaバイトコード変換による細粒度CPU資源管理
- 共有メモリ並列計算機上の並列ガーベージコレクタの性能予測
- 分散記憶並列計算機における局所ごみ集めのスケジュール方式について(並列処理)
- 分散メモリ並列計算機上での参照カウントと分散マーキングの実装および性能比較(並列処理)
- 最小限のコンパイラサポートによる細粒度マルチスレッディング : 効率的なマルチスレッド言語を実装するためのコスト効率の良い方法(並列処理)
- OpenMPにおけるネストした並列性の実装と評価
- 3ZL-1 自動取得したネットワーク構成情報に基づくMPI集合通信アルゴリズムの改良(情報爆発時代における安全,安心ネットワーク技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 6ZJ-1 並列分散システムにおける異常動作の原因特定のためのログ解析(情報爆発時代における並列分散処理技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 動的にチャネルが増減する環境下での分散スナップショットアルゴリズム
- 広域TCPオーバレイにおけるデッドロックフリールーティング(OS-1:オーバレイネットワーク,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- MPI/GXP : 広域環境用の適応的なメッセージパッシングシステム(HPC-2 : 通信方式)
- 適応スパニングツリーを用いた広域メッセージパッシングシステム用の集合通信(ネットワーク)
- 広域メッセージパッシングシステム用の遅延を考慮した接続管理(HPC-10: 通信ライブラリ)
- Phoenixプログラミングモデル用の集団通信(HPC-11 : グリッド(3))(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- Collective Operations for the Phoenix Programming Model (2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004)--研究会・連続同時開催)
- インクリメンタルPageRankによる重要Webページの効率的な収集戦略(WWW)
- 並列オブジェクト指向言語ABCL/fによるRNAの2次構造予測
- Mogami:高遅延環境において広帯域を達成する分散ファイルシステム
- 重心ボロノイ分割を用いた並列粒子法のための動的負荷分散法
- PARP:プロファイル比較に基づく並列アプリケーションの性能解析
- 高い耐遅延性を持つガウス消去法(HPC-7: 並列数値計算ライブラリ)
- Portableでrobustなglobal garbage collectorの構築について
- 適応的並列計算を支援するプロトコルの設計と正当性の証明(HPC-10 : 適応環境での通信)
- CプログラムにおけるLazy Task Creation
- 分散メモリ並列計算機におけるReference count GCとMark and Sweep GCの比較
- 世代GC方式におけるキャッシュを意識した殿堂入り時期調節手法の提案
- 2A1-B34 100時間ワークショップによる融合教育研究プラットフォームの開発
- 実行時依存解析に基づく半自動並列化の効率的実装
- 4.InTrigger : オープンな情報処理・システム研究プラットフォーム(パートII:情報分野研究者のためのオンリーワン共有イノベーションプラットフォーム,情報爆発時代におけるわくわくするITの創出を目指して)
- 0.前書き : 研究者が作る研究基盤(パートII:情報分野研究者のためのオンリーワン共有イノベーションプラットフォーム,情報爆発時代におけるわくわくするITの創出を目指して)
- Phoenix:動的な資源の増減をサポートする並列計算プラットフォーム
- 並列オブジェクト指向言語ABCL/fによる並列数値計算 : 有限要素法と多体問題による評価