グリッドデータファームによる太陽地球系物理分野における分散データ型データインテンシブ処理モデルの構築と評価
スポンサーリンク
概要
- 論文の詳細を見る
太陽地球系物理データは,近年の増大化・大規模化に伴い,大規模データ処理が期待されている.大規模データ処理にはデータインテンシブ処理が行われる場合が多いが,分散データ管理下においてはデータ管理・共有の問題が生じるため,有効なデータインテンシブ処理モデルが求められている.本研究では,メタデータ利活用システム(STARS)とグリッドデータファーム(Gfarm)による分散データ型データインテンシブ処理モデルを提案し,8台の計算ノードによる実装を行った.さらに,構築したシステムで衛星観測データと計算機シミュレーションデータの並列分散処理の性能評価を行った.その結果,ファイルサイズが小さい場合はメタデータの階層化が有効であり,ファイルごとにデータ処理量が異なる場合はFIFO型スケジューリングが有効であることを検証した.
- 2009-02-26
著者
-
建部 修見
筑波大学大学院システム情報工学研究科
-
宮地 英生
株式会社ケイ・ジー・ティー ビジュアリゼーション事業部
-
木村 映善
愛媛大学総合情報メディアセンター
-
木村 映善
愛媛大学大学院医学系研究科
-
山本 和憲
愛媛大学大学院医学系研究科
-
松岡 大祐
海洋研究開発機構
-
村田 健史
独立行政法人情報通信研究機構電磁波計測研究センター
-
松岡 大祐
独立行政法人海洋研究開発機構地球シミュレータセンター
-
村田 健史
情報通信研究機構
-
木村 映善
愛媛大学医学部附属病院医療情報部
-
Murata Takeshi
Graduate School Of Science Chiba University
-
山本 和憲
愛媛大学大学院理工学研究科
-
宮地 英生
株式会社ケイ・ジー・ティー
-
宮地 英生
(株)ケイジーティーavsグループ
-
村田 健史
独立行政法人情報通信研究機構
-
木村 映善
愛媛大学大学院医療情報部
-
宮地 英生
(株)サイバーネット
-
松岡 大祐
独立行政法人海洋研究開発機構 地球シミュレータセンター
関連論文
- 大規模P2Pグリッドでの大容量コンピューティングのためのスケーラブルなプログラミング環境の検討(HPC-7 : 分散環境(1))
- タイルディスプレイへの高解像度可視化表示のためのミドルウエアの開発(一般,ネットワーク研究開発テストベッド運用・利用,一般)
- タイルディスプレイへの高解像度可視化表示のためのミドルウエアの開発
- テレ・イマーシブ・カンファレンスのための基盤ソフトウエアの開発
- ビデオアバタを用いた多地点間CAVEコミュニケーション
- ビデオアバタを用いた多地点間CAVEコミュニケーション(人工現実感)
- 並列ファイル転送のためのスケジューリングアルゴリズム(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 診療情報の外部保存手段としてのストレージクラウドに関する検討(アイデンティティ・マネージメントとネットワーク法)
- グリッドデータファームによる太陽地球系物理分野における分散データ型データインテンシブ処理モデルの構築と評価
- 点字用XML(BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 点字用XML (BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- RSS1.0を利用した科学衛星・地上観測データのメタデータ自動収集(宇宙利用システム)
- 福祉地理情報データベースの設計と福祉シティマップの提案(福祉と知能・認知障害/一般)
- 広域ファイルシステムにおける分散メタデータサーバの検討(並列/分散アーキテクチャ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- T2K筑波システムにおけるLinpack性能評価(HPC-4:性能評価,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 固体推進薬スラリ流のX 線可視化計測
- 2方向からのX線撮影によるスラリーの流れの可視化
- 宇宙科学研究のためのクラウドコンピューティング環境:OneSpaceNet : 高速ネットワークを使ったバーチャルラボの取り組み(e-Science及びData Intensive Science)
- UDPによるファイアウォール越えを用いたP2Pオーバーレイネットワーク(HPC-7 : 分散環境(1))
- バーチャルリアリティによるデータ同化システムの提案
- VR空間をリッチにする FusionVR の紹介
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発
- 移動携帯端末による自閉症児のための多機能タイムエイドの開発(福祉と知能・認知障害/一般)
- 可視化とPSE
- 先進的情報通信技術の活用 RDFを用いたデータ収集技法による太陽地球系科学セマンティックWeb構築の試み (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- 先進的情報通信技術の活用 グリッドデータファームによる並列分散処理 (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- 3ZL-4 仮想IPアドレスを用いたプライベートネットワーク内のノードへの透過的アクセス(情報爆発時代における安全,安心ネットワーク技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- プライベートネットワーク内のノードをサーバとして外部に公開するための機構(HPC-15 : ネットワーク)
- 愛媛県での取り組み
- 遠隔ファイルアクセスにおけるアクセスパターンと遅延の影響
- 遠隔ファイルアクセスにおけるアクセスパターンと遅延の影響
- Open source software for the medical field and its cultivation in Japan (Special issue: Open source policy and promotion of IT industries in East Asia)
- PCクラスタ間ファイル複製スケジューリング
- クラウドにおける高性能ファイルサービスの検討
- 広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理
- 広域ファイルシステムHGFSのための分散メタデータサーバの実装と性能評価
- 広域ファイルシステムにおける分散メタデータサーバの検討(並列/分散アーキテクチャ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 広域分散ファイルシステムGfarmのMPI-IOの実装と評価
- RSS/RDFを利用した太陽地球系物理観測データのメタデータ配信の検討(ネットワークシステム運用管理技術,再考 分散システム/インターネットの運用・管理)
- マルチグリッド環境における効率的な監視システムに関する研究
- ビデオアバタを用いた多地点間CAVEコミュニケーション
- ネットワーク上のデータ統合化と可視化
- 広域分散ファイルシステム Gfarm 上での MapReduce を用いた大規模分散データ処理
- Grid RPCにおける広域データ管理レイヤの利用(グリッド)
- 1ZC-2 クラウドコンピューティングにおける高性能ファイルシステムの検討(クラウドコンピューティング,学生セッション,ネットワーク,情報処理学会創立50周年記念)
- 可視化汎用インターフェイス
- 医療ECM視座での電子化紙文書と電子文書統合に向けた課題 (特集 紙文書電子化後の活用と保管のあり方)
- e-サイエンス推進のための広域分散ファイルシステムの適用と評価
- 14^ビジュアリゼーションカンファレンス開催報告 : 日本から発信する"見える化"文化の創造 Part 2
- 2L-2 MapReduceにおけるファイルシステムの性能評価(並列システムソフトウェア,学生セッション,アーキテクチャ,情報処理学会創立50周年記念)
- 地域医療連携のための患者ID運用の考察--IHE XDSプロファイル実装と周産期医療への適用を想定して (JTTA 2009 in KUMAMOTO 日本遠隔医療学会学術大会--少子高齢化社会を支援する遠隔医療) -- (遠隔医療とICT)
- HISリプレイス時に何をするか (総特集 HISリプレイス--成功のための具体策)
- 病院(CIO)とベンダーの関係における将来像 (特集 私のシステムベンダー選択術)
- 電子化された診療記録の移行を巡る法的環境に関する考察(ソーシャル・ネットワーク)
- 外来医師補助による診療報酬請求や部門間運用への影響調査
- レセプト電算化における電子カルテ上の病名管理問題とその検討
- がん登録の Casefinding の試みで判明した問題点
- VPNを用いた動画像ストリーミング配信による遠隔パソコン要約筆記(聴覚補助,情報福祉論文)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 第36回可視化情報シンポジウム報告
- Grid Datafarmにおける太陽地球系観測データの大規模統計解析の試み
- 3次元可視化ツールの多地点双方向通信を実現するツールの開発
- 英語俳句データベース構築の試み
- 可視化フロンティア「PIV/LIF計測とポストプロセッシング」開催報告
- 研究者と科学技術インタープリターの連携による出張授業モデル開発 : 高校生を対象とした「デジカメでわかるCTスキャンのしくみ」の事例
- MPEG-7による遠隔コミュニケーションと3次元コンテンツ作成・閲覧システム(セッション2:マルチメディア)
- MPEG-7による遠隔コミュニケーションと3次元コンテンツ作成・閲覧システム
- OpenGL Fusion によるCGと工学の統合
- 九州測量専門学校におけるビジュアライゼーション教育
- 152 ボリュームレンダリングの応用
- クラスタ間高速ファイル転送方式の提案と評価
- 並列ファイル転送のためのスケジューリングアルゴリズム(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 汎用可視化ソフト AVS/Express の並列化
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 点字用XML(BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 広域分散ファイルシステムGfarm v2の実装と評価(グリッドI)
- 広域ファイルシステムのための分散メタデータサーバの設計
- 広域分散ファイルシステムGfarmのMPI-IOの実装
- リソースネームスペース管理サービスの負荷分散手法の提案(HPC-6:グリッド,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 6ZJ-4 リソースネームスペース管理サービスの実装(情報爆発時代における並列分散処理技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- OpenGL Fusion によるビデオアバタと物体合成の性能評価
- OpenGL Fusion によるビデオアバタと物体合成の性能評価
- OpenGL Fusionによるビデオアバタと物体合成の性能評価(人工現実感)
- 「サイエンティフィックアート」特集の企画にあたって
- 広域分散環境を提供するHPCIシステムソフトウェア基盤の設計概要と共有ストレージ構築
- 分散ファイルシステムの性能監視とボトルネック特定
- Cephのメタデータサーバの冗長性の調査
- 「情報の可視化」連載にあたって
- 汎用可視化アプリケーションAVSに見る 1990年代の可視化技術について
- インターネット上におけるアプリケーション統合フレームの開発
- タイルドディスプレイを用いた協調作業支援環境
- ビジュアリゼｰションカンファレンスの歩み
- 日本の可視化ソフトの老舗 : (株)ケイ・ジー・ティーの紹介
- 第12回ビジュアリゼーションカンファレンス報告
- Foreword
- 並列可視化システム AVS/Express PCE