NICTサイエンスクラウドによる大規模シミュレーションデータ分散可視化処理(宇宙科学情報解析論文誌 第三号)
スポンサーリンク
概要
- 論文の詳細を見る
現在,欧米や日本において,科学研究向けクラウドとしてサイエンスクラウドが提案され,システムや利活用についての議論が進められている.サイエンスクラウドはビッグデータ時代のデータ指向型科学研究基盤として提案されている.クラウド上でのビッグデータ処理では, CPUの並列分散化だけではなくネットワークや I/Oの並列分散が重要である.本研究ではクラウド環境で高い計算効率を得るための基礎研究として, CPUおよび I/Oを同時に分散処理するシステムを提案する. 8コアを有する 6台のクラスタ計算機で基礎実験を行った結果,ノード内のプロセス数が少ない場合はほぼ 100%の並列化効率が達成され,100台を超える大規模クラスタ環境でも高いスケーラビリティーが予測された.一方,ノード内で複数プロセスが処理を行う場合にはディスクアクセスの輻輳が発生し,必ずしも高いスケーラビリティーを得ることができない. 8コアを有する 6台の計算サーバで最も高い並列化効率を得たのは 6プロセス並列の場合であり,高速化率は 20.6であった.今後は,同ノード内の I/O処理を分散化することで,並列化効率をさらに向上させることが期待される.
著者
-
村田 健史
情報通信研究機構
-
建部 修見
筑波大学計算科学研究センター
-
渡邉 英伸
情報通信研究機構
-
山本 和憲
情報通信研究機構
-
深沢 圭一郎
九州大学情報基盤研究開発センター
-
磯田 総子
株式会社サイエンス・サービス
-
田中 昌宏
筑波大学計算科学研究センター
-
木村 映善
愛媛大学医学部
関連論文
- NICT科学情報可視化プロジェクト(可視化セッション)
- 大規模P2Pグリッドでの大容量コンピューティングのためのスケーラブルなプログラミング環境の検討(HPC-7 : 分散環境(1))
- 並列ファイル転送のためのスケジューリングアルゴリズム (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- グリッドデータファームによる太陽地球系物理分野における分散データ型データインテンシブ処理モデルの構築と評価
- 点字用XML(BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 点字用XML (BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- RSS1.0を利用した科学衛星・地上観測データのメタデータ自動収集(宇宙利用システム)
- 福祉地理情報データベースの設計と福祉シティマップの提案(福祉と知能・認知障害/一般)
- T2K筑波システムにおけるLinpack性能評価(HPC-4:性能評価,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 宇宙科学研究のためのクラウドコンピューティング環境:OneSpaceNet : 高速ネットワークを使ったバーチャルラボの取り組み(e-Science及びData Intensive Science)
- 磁気圏 Global MHD シミュレーションによるビジュアルデータマイニング : 磁力線の時間追跡と磁気リコネクション発生領域の抽出
- 磁気圏 Global MHD シミュレーションにおけるビジュアルデータマイニング : 磁力線トポロジーの3次元可視化解析
- UDPによるファイアウォール越えを用いたP2Pオーバーレイネットワーク(HPC-7 : 分散環境(1))
- 先進的情報通信技術の活用 3次元可視化とビジュアルデータマイニング (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- 3次元可視化とバーチャルリアリティシステムによる宇宙プラズマシミュレーションの新しい解析手法
- バーチャルリアリティによるデータ同化システムの提案
- 3次元可視化とバーチャルリアリティによる地球磁気圏研究
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発
- 移動携帯端末による自閉症児のための多機能タイムエイドの開発(福祉と知能・認知障害/一般)
- Grid Datafarmにおけるスケジューリング・複製手法の性能評価(グリッド基盤ソフト)
- ペタバイトスケールデータインテンシブコンピューティングのためのGrid Datafarmアーキテクチャ
- Grid Datafarmにおけるスケジューリング・複製手法の性能評価
- Grid環境における大規模クラスタ向けジョブマネージメントアーキテクチャの実装及び性能評価
- 広域大規模データ解析のためのGrid Datafarmアーキテクチャ
- ヘテロなクラスタ環境における並列LINPACKの最適化
- 先進的情報通信技術の活用 RDFを用いたデータ収集技法による太陽地球系科学セマンティックWeb構築の試み (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- 先進的情報通信技術の活用 グリッドデータファームによる並列分散処理 (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- プライベートネットワーク内のノードをサーバとして外部に公開するための機構(HPC-15 : ネットワーク)
- 広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理
- Grid環境における大規模クラスタ向けジョブマネージメントアーキテクチャの実装及び性能評価
- GNU MPを用いたFortranコンパイラomf77の多倍精度浮動小数拡張
- GNU MPを用いたFortranコンパイラomf77の多倍精度浮動小数拡張
- 並列プログラム自動最適化ツールTEA Expertの実並列計算機における評価
- 計算素粒子物理学分野の国際データグリッドILDGと国内グリッドJLDG(グリッドI)
- ウェーブフロント型並列処理における分散メモリ型並列計算機の通信機構の評価 (並列処理)
- リモートメモリ書き込みを用いたMPIの効率的実装 (並列処理)
- RSS/RDFを利用した太陽地球系物理観測データのメタデータ配信の検討(ネットワークシステム運用管理技術,再考 分散システム/インターネットの運用・管理)
- マルチグリッド環境における効率的な監視システムに関する研究
- XMLデータを対象としたファセット検索インタフェースの生成(セッション1,XML応用技術特集および一般)
- Network Enabled ServerのWorld-wide Gridにおける性能
- 電子文書点字化のための前処理フィルタを活用した遠隔点字印刷システム(福祉と言語処理/一般)
- 電子文書点字化のための前処理フィルタを活用した遠隔点字印刷システム(福祉と言語処理/一般)
- 高性能並列計算用ネットワークRHiNET-1の実装と評価
- 高性能並列計算用ネットワークRHiNET-1の実装と評価
- VPNを用いた動画像ストリーミング配信による遠隔パソコン要約筆記(聴覚補助,情報福祉論文)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 3P-134 腸内連鎖球菌V型ATPaseの膜内在性サブユニット(NtpI)の発現と精製(分子モーター,第47回日本生物物理学会年会)
- 2P-188 腸球菌ナトリウム輸送性V型ATPaseの膜内在性ローターリングのエンジニアリング(分子モーター(2),第46回日本生物物理学会年会)
- 1P-144 腸内連鎖球菌V型ATPaseの外周ストークのサブユニット構成とその溶液構造(分子モーター(1),第46回日本生物物理学会年会)
- Grid Datafarmにおける太陽地球系観測データの大規模統計解析の試み
- 3次元可視化ツールの多地点双方向通信を実現するツールの開発
- MPEG-7による遠隔コミュニケーションと3次元コンテンツ作成・閲覧システム(セッション2:マルチメディア)
- MPEG-7による遠隔コミュニケーションと3次元コンテンツ作成・閲覧システム
- Tributyltin sensitivity of vacuolar-type Na^+-transporting ATPase from Enterococcus hirae
- 磁気圏プラズマ波動スペクトルにおける低域カットオフ周波数の自動検出法の開発(計測・探査)
- H.263符号化による手話動画像実時間配信(聴覚補助,情報福祉論文)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 点字用XML(BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 遠隔パソコン要約筆記の入力者間での遅延による影響
- JGN2による宇宙天気情報ネットワークの構築 (研究開発ネットワーク特集) -- (アプリケーション)
- Deletion Analysis of the Subunit Genes of V-Type Na^+-ATPase from Enterococcus hirae
- 地域における大学の役割の捉え直しに伴う地域IXの構想について(一般、インターネット制度論)
- 文書作成アプリケーションに統合された点字文書作成支援システムの開発と評価(研究速報)
- 点字プリンタのLAN共有システムの開発(福祉と知能・認知障害/一般)
- 聴覚障害者へのテレメンタリング手段としての遠隔パソコン要約筆記の評価--複数の人が協同出来るネットワークの必要性能とは (JTTA 2007 in OKAYAMA 日本遠隔医療学会学術大会--少子高齢化時代にいのちと健康を護る遠隔医療) -- (一般演題 感覚器系の遠隔医療)
- 遠隔パソコン要約筆記システムの開発(福祉と知能・認知障害/一般)
- 遠隔パソコン要約筆記システムの開発(福祉と知能・認知障害/一般)
- 移動携帯端末による自閉症児のための多機能タイムエイドの開発(福祉と知能・認知障害/一般)
- アスペルガー症候群の子どもに対する情報機器を用いた時間管理支援に関する研究
- 福祉地理情報データベースの設計と福祉シティマップの提案(福祉と知能・認知障害/一般)
- 福祉地理データベースを活用したカーナビゲーションシステムの開発(福祉と言語処理/一般)
- 福祉地理情報データベースの設計とバーチャル福祉シティの提案(福祉と言語処理/一般)
- 福祉地理データベースを活用したカーナビゲーションシステムの開発(福祉と言語処理/一般)
- 福祉地理情報データベースの設計とバーチャル福祉シティの提案(福祉と言語処理/一般)
- 点字用XML(BrailleML)の研究(福祉と知能・認知障害/一般)
- 点字用XML(BrailleML)の研究(福祉と知能・認知障害/一般)
- 自閉症児への携帯型タイムエイド(RAINMAN Toolkit)の適用(福祉と知能・認知障害/一般)
- 自閉症児への携帯型タイムエイド(RAINMAN Toolkit)の適用(福祉と知能・認知障害/一般)
- BREWアプリを用いた自閉症児のための生活支援ツールの研究開発(福祉と知能・認知障害/一般)
- BREWアプリを用いた自閉症児のための生活支援ツールの研究開発(福祉と知能・認知障害/一般)
- 遠隔点字印刷システム
- 三次元可視化パラメータ共有による多地点遠隔ボリュームコミュニケーションシステム (インターネット技術とその応用論文特集)
- 三次元可視化パラメータ共有による多地点遠隔ボリュームコミュニケーションシステム(ネットワーク技術,インターネット技術とその応用論文)
- 三次元可視化パラメータ共有による多地点遠隔ボリュームコミュニケーションシステム
- Gfarm/PwrakeによるNICTサイエンスクラウドの並列分散処理技法
- 宇宙天気情報サービスとサイエンスクラウド(宇宙科学情報解析論文誌 第二号)
- 広域分散ファイルシステムにおける時刻認証を用いたファイル改竄検証システム(インターネットセキュリティ,ヒト・モノ・データをつなげるインターネットアーキテクチャ論文)
- NICTサイエンスクラウド : 科学研究用クラウドの有効性と基本性能(セッション1:ビッグデータ・サイエンスクラウド,「Webサービス及びクラウドの構築・運用・管理」及び一般)
- NICTサイエンスクラウド : 広域分散ファイルシステムのセキュリティ機能拡張の要件(セッション1:ビッグデータ・サイエンスクラウド,「Webサービス及びクラウドの構築・運用・管理」及び一般)
- UDTを用いた並列ファイル転送ツール基本性能評価(R&Eネットワークを活用した研究開発実証実験,ネットワーク研究開発テストベッド運用・利用,一般)
- 科学研究用クラウドシステム(NICTサイエンスクラウド)の提案(宇宙科学情報解析論文誌 第三号)
- NICTサイエンスクラウドによる大規模シミュレーションデータ分散可視化処理(宇宙科学情報解析論文誌 第三号)
- NICTサイエンスクラウド : 科学データのRSSを用いたクローリングとLinked Open Dataに向けた取り組み(Linked Data, Linked Service,一般)
- NICTサイエンスクラウド : 科学データのRSSを用いたクローリングとLinked Open Dataに向けた取り組み(Linked Data, Linked Service,一般)
- NICTサイエンスクラウド : 地球科学・宇宙科学ビッグデータ分散処理技術(テーマセッション,大規模データとパターン認識・メディア理解,地球をとらえる,CEATEC連携)
- NICTサイエンスクラウド : 地球規模観測ネットワークからのデータ収集・データベース・データ処理(テーマセッション,大規模データとパターン認識・メディア理解,地球をとらえる,CEATEC連携)