Gfarm/PwrakeによるNICTサイエンスクラウドの並列分散処理技法
スポンサーリンク
概要
- 論文の詳細を見る
NICT サイエンスクラウドは,情報通信研究機構が科学研究目的のために構築したクラウドシステムであり,特にビッグデータサイエンスを主対象の一つとしている.10TB を超えるデータ処理 (例えば大規模可視化) や 100TB を超えるデータ検索 (たとえば特徴検出) などの大規模データ処理は,これからのデータ指向型科学研究では重要である.近年の CPU 処理速度の向上に伴いこれらのデータ処理は処理時間とデータ読み書き (I/O) 時間が同規模となることがある.そのため,レガシーな HPC 型数値計算環境ではなく I/O の高速化がなされているクラウド環境が有効となる.本稿では,NICT サイエンスクラウドにおいて分散ストレージシステム (Gfarm) と Gfarm のためのワークフローシステム (Pwrake) を用いた並列分散処理実験結果について報告する.
- 2013-05-22
著者
-
木村 映善
愛媛大学総合情報メディアセンター
-
木村 映善
愛媛大学大学院医学系研究科
-
村田 健史
情報通信研究機構
-
建部 修見
筑波大学計算科学研究センター
-
Kimura Eizen
School Of Medicine Ehime University
-
Kimura Eizen
Center For Information Technology Ehime University
-
村永 和哉
株式会社セック
-
田中 昌宏
筑波大学計算科学研究センター : 独立行政法人科学技術振興機構 Crest
-
渡邉 英伸
情報通信研究機構
-
山本 和憲
情報通信研究機構
-
深沢 圭一郎
九州大学情報基盤研究開発センター
-
久保田 康文
情報通信研究機構
-
鵜川 健太郎
株式会社セック
-
鈴木 豊
株式会社セック
-
磯田 総子
株式会社サイエンス・サービス
-
田中 昌宏
筑波大学計算科学研究センター
関連論文
- NICT科学情報可視化プロジェクト(可視化セッション)
- 診療情報の外部保存手段としてのストレージクラウドに関する検討(アイデンティティ・マネージメントとネットワーク法)
- グリッドデータファームによる太陽地球系物理分野における分散データ型データインテンシブ処理モデルの構築と評価
- 点字用XML(BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 点字用XML (BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- RSS1.0を利用した科学衛星・地上観測データのメタデータ自動収集(宇宙利用システム)
- 福祉地理情報データベースの設計と福祉シティマップの提案(福祉と知能・認知障害/一般)
- 宇宙科学研究のためのクラウドコンピューティング環境:OneSpaceNet : 高速ネットワークを使ったバーチャルラボの取り組み(e-Science及びData Intensive Science)
- 磁気圏 Global MHD シミュレーションによるビジュアルデータマイニング : 磁力線の時間追跡と磁気リコネクション発生領域の抽出
- 磁気圏 Global MHD シミュレーションにおけるビジュアルデータマイニング : 磁力線トポロジーの3次元可視化解析
- 先進的情報通信技術の活用 3次元可視化とビジュアルデータマイニング (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- 3次元可視化とバーチャルリアリティシステムによる宇宙プラズマシミュレーションの新しい解析手法
- バーチャルリアリティによるデータ同化システムの提案
- 3次元可視化とバーチャルリアリティによる地球磁気圏研究
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発
- 移動携帯端末による自閉症児のための多機能タイムエイドの開発(福祉と知能・認知障害/一般)
- 先進的情報通信技術の活用 RDFを用いたデータ収集技法による太陽地球系科学セマンティックWeb構築の試み (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- 先進的情報通信技術の活用 グリッドデータファームによる並列分散処理 (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- 愛媛県での取り組み
- Open source software for the medical field and its cultivation in Japan (Special issue: Open source policy and promotion of IT industries in East Asia)
- RSS/RDFを利用した太陽地球系物理観測データのメタデータ配信の検討(ネットワークシステム運用管理技術,再考 分散システム/インターネットの運用・管理)
- 電子文書点字化のための前処理フィルタを活用した遠隔点字印刷システム(福祉と言語処理/一般)
- 電子文書点字化のための前処理フィルタを活用した遠隔点字印刷システム(福祉と言語処理/一般)
- 医療ECM視座での電子化紙文書と電子文書統合に向けた課題 (特集 紙文書電子化後の活用と保管のあり方)
- 地域医療連携のための患者ID運用の考察--IHE XDSプロファイル実装と周産期医療への適用を想定して (JTTA 2009 in KUMAMOTO 日本遠隔医療学会学術大会--少子高齢化社会を支援する遠隔医療) -- (遠隔医療とICT)
- HISリプレイス時に何をするか (総特集 HISリプレイス--成功のための具体策)
- 病院(CIO)とベンダーの関係における将来像 (特集 私のシステムベンダー選択術)
- 電子化された診療記録の移行を巡る法的環境に関する考察(ソーシャル・ネットワーク)
- 外来医師補助による診療報酬請求や部門間運用への影響調査
- レセプト電算化における電子カルテ上の病名管理問題とその検討
- がん登録の Casefinding の試みで判明した問題点
- VPNを用いた動画像ストリーミング配信による遠隔パソコン要約筆記(聴覚補助,情報福祉論文)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 3P-134 腸内連鎖球菌V型ATPaseの膜内在性サブユニット(NtpI)の発現と精製(分子モーター,第47回日本生物物理学会年会)
- 2P-188 腸球菌ナトリウム輸送性V型ATPaseの膜内在性ローターリングのエンジニアリング(分子モーター(2),第46回日本生物物理学会年会)
- 1P-144 腸内連鎖球菌V型ATPaseの外周ストークのサブユニット構成とその溶液構造(分子モーター(1),第46回日本生物物理学会年会)
- Grid Datafarmにおける太陽地球系観測データの大規模統計解析の試み
- 3次元可視化ツールの多地点双方向通信を実現するツールの開発
- 英語俳句データベース構築の試み
- MPEG-7による遠隔コミュニケーションと3次元コンテンツ作成・閲覧システム(セッション2:マルチメディア)
- MPEG-7による遠隔コミュニケーションと3次元コンテンツ作成・閲覧システム
- Tributyltin sensitivity of vacuolar-type Na^+-transporting ATPase from Enterococcus hirae
- 磁気圏プラズマ波動スペクトルにおける低域カットオフ周波数の自動検出法の開発(計測・探査)
- H.263符号化による手話動画像実時間配信(聴覚補助,情報福祉論文)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 点字用XML(BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 遠隔パソコン要約筆記の入力者間での遅延による影響
- JGN2による宇宙天気情報ネットワークの構築 (研究開発ネットワーク特集) -- (アプリケーション)
- Deletion Analysis of the Subunit Genes of V-Type Na^+-ATPase from Enterococcus hirae
- 一般口演II-8 医用波形解析ツール及び医療情報システムの基盤としてのMFERパーサの開発(第28回中国四国支部大会抄録)
- 地域における大学の役割の捉え直しに伴う地域IXの構想について(一般、インターネット制度論)
- 文書作成アプリケーションに統合された点字文書作成支援システムの開発と評価(研究速報)
- Development of a Tele-echography System by Using an Echographic Diagnosis Robot (特集:遠隔医療)
- TWO-DIMENSIONAL IMAGE OF OXYGEN SATURATION OF BLOOD IN MICROVESSELS BY COLOR VIDEO CAMERA
- 点字プリンタのLAN共有システムの開発(福祉と知能・認知障害/一般)
- 聴覚障害者へのテレメンタリング手段としての遠隔パソコン要約筆記の評価--複数の人が協同出来るネットワークの必要性能とは (JTTA 2007 in OKAYAMA 日本遠隔医療学会学術大会--少子高齢化時代にいのちと健康を護る遠隔医療) -- (一般演題 感覚器系の遠隔医療)
- Development of the Virtual Earth's Magnetosphere System (VEMS)
- 地域医療情報交換ネットワークのためのVPN設計について
- 遠隔パソコン要約筆記システムの開発(福祉と知能・認知障害/一般)
- 遠隔パソコン要約筆記システムの開発(福祉と知能・認知障害/一般)
- 移動携帯端末による自閉症児のための多機能タイムエイドの開発(福祉と知能・認知障害/一般)
- アスペルガー症候群の子どもに対する情報機器を用いた時間管理支援に関する研究
- 学校での運動器検診からみた成長期のスポーツ外傷・障害
- 福祉地理情報データベースの設計と福祉シティマップの提案(福祉と知能・認知障害/一般)
- 福祉地理データベースを活用したカーナビゲーションシステムの開発(福祉と言語処理/一般)
- 福祉地理情報データベースの設計とバーチャル福祉シティの提案(福祉と言語処理/一般)
- 福祉地理データベースを活用したカーナビゲーションシステムの開発(福祉と言語処理/一般)
- 福祉地理情報データベースの設計とバーチャル福祉シティの提案(福祉と言語処理/一般)
- 点字用XML(BrailleML)の研究(福祉と知能・認知障害/一般)
- 点字用XML(BrailleML)の研究(福祉と知能・認知障害/一般)
- 自閉症児への携帯型タイムエイド(RAINMAN Toolkit)の適用(福祉と知能・認知障害/一般)
- 自閉症児への携帯型タイムエイド(RAINMAN Toolkit)の適用(福祉と知能・認知障害/一般)
- 電子カルテ導入病院で医療クラークが果たす役割 (ITクラーク導入の効果を説く)
- 病院の情報管理の変遷とセキュリティ
- BREWアプリを用いた自閉症児のための生活支援ツールの研究開発(福祉と知能・認知障害/一般)
- BREWアプリを用いた自閉症児のための生活支援ツールの研究開発(福祉と知能・認知障害/一般)
- 小・中学校における運動器の直接検診の現状と課題
- 遠隔点字印刷システム
- 三次元可視化パラメータ共有による多地点遠隔ボリュームコミュニケーションシステム (インターネット技術とその応用論文特集)
- USBメモリの利便性と職員モラルの相克 : 暗号化技術による解決策を中心に (特集 医療情報漏えいと職員モラル)
- 三次元可視化パラメータ共有による多地点遠隔ボリュームコミュニケーションシステム(ネットワーク技術,インターネット技術とその応用論文)
- 三次元可視化パラメータ共有による多地点遠隔ボリュームコミュニケーションシステム
- k-匿名性を利用した医療保健情報の利用可能性についての考察 : 国内外の医療情報利用に関する事例から(セキュリティシステム,インターネットと情報倫理教育,一般)
- k-匿名性を利用した医療保健情報の利用可能性についての考察 : 国内外の医療情報利用に関する事例から(セキュリティシステム,インターネットと情報倫理教育,一般)
- Gfarm/PwrakeによるNICTサイエンスクラウドの並列分散処理技法
- 臨床調査個人票の有効活用及び臨床データベースの構築
- 宇宙天気情報サービスとサイエンスクラウド(宇宙科学情報解析論文誌 第二号)
- A PIM tool to support children and people with development disabilities: RAINMAN 3
- 広域分散ファイルシステムにおける時刻認証を用いたファイル改竄検証システム(インターネットセキュリティ,ヒト・モノ・データをつなげるインターネットアーキテクチャ論文)
- NICTサイエンスクラウド : 科学研究用クラウドの有効性と基本性能(セッション1:ビッグデータ・サイエンスクラウド,「Webサービス及びクラウドの構築・運用・管理」及び一般)
- NICTサイエンスクラウド : 広域分散ファイルシステムのセキュリティ機能拡張の要件(セッション1:ビッグデータ・サイエンスクラウド,「Webサービス及びクラウドの構築・運用・管理」及び一般)
- UDTを用いた並列ファイル転送ツール基本性能評価(R&Eネットワークを活用した研究開発実証実験,ネットワーク研究開発テストベッド運用・利用,一般)
- 科学研究用クラウドシステム(NICTサイエンスクラウド)の提案(宇宙科学情報解析論文誌 第三号)
- NICTサイエンスクラウドによる大規模シミュレーションデータ分散可視化処理(宇宙科学情報解析論文誌 第三号)
- NICTサイエンスクラウド : 科学データのRSSを用いたクローリングとLinked Open Dataに向けた取り組み(Linked Data, Linked Service,一般)
- NICTサイエンスクラウド : 科学データのRSSを用いたクローリングとLinked Open Dataに向けた取り組み(Linked Data, Linked Service,一般)