NICTサイエンスクラウド : 地球科学・宇宙科学ビッグデータ分散処理技術(テーマセッション,大規模データとパターン認識・メディア理解,地球をとらえる,CEATEC連携)
スポンサーリンク
概要
- 論文の詳細を見る
データ指向型科学は第4の科学と言われており,観測・実験や数値シミュレーションによる膨大なデータを解析することによる新しい科学を目指している.NICTサイエンスクラウドは科学研究を主目的としたクラウドシステムであり,特に宇宙環境科学や地球環境科学といった自然科学のビッグデータサイエンスを主対象の一つとしている.10TBを超えるデータ処理(例えば大規模可視化)や100TBを超える観測データ検索(たとえば特徴検出)などはこれからの地球および宇宙科学ではますます重要になる.本研究では,NICTサイエンスクラウドにおいて,Gfarmにより実装した広域分散ストレージ上のデータファイルを30ノード・320コアから構成されるクライアントノードにより高速に読み出す技術開発を行った.Pwrakeによるタスクスケジューリングを用い,データ読み込みプロセス数を最適化し,さらにファイル配置を工夫することにより,約19GB/s(150Gbps)でのデータ読み出しに成功した.
- 一般社団法人電子情報通信学会の論文
- 2013-09-26
著者
-
笠井 康子
情報通信研究機構
-
佐藤 晋介
情報通信研究機構
-
村田 健史
情報通信研究機構
-
建部 修見
筑波大学計算科学研究センター
-
村永 和哉
株式会社セック
-
渡邉 英伸
情報通信研究機構
-
山本 和憲
情報通信研究機構
-
深沢 圭一郎
九州大学情報基盤研究開発センター
-
久保田 康文
情報通信研究機構
-
鵜川 健太郎
株式会社セック
-
鈴木 豊
株式会社セック
-
磯田 総子
株式会社サイエンス・サービス
-
田中 昌宏
筑波大学計算科学研究センター
-
木村 映善
愛媛大学医学部
-
黒澤 隆
株式会社日立ソリューションズ東日本
関連論文
- NICT科学情報可視化プロジェクト(可視化セッション)
- 国際宇宙ステーション搭載超伝導サブミリ波リム放射サウンダ(JEM/SMILES)の開発結果と観測運用(宇宙応用シンポジウム-観測・通信衛星の軌道上評価と将来衛星搭載機器開発-)
- B301 RASS観測データを用いた沖縄本島における小規模降水帯の同化・予報実験(降水システムIII)
- 2008年秋季オゾン研究連絡会・極域寒冷域研究連絡会合同研究会の報告(研究会報告)
- グリッドデータファームによる太陽地球系物理分野における分散データ型データインテンシブ処理モデルの構築と評価
- 火星気象学,あるいは水文学への挑戦(MELOS火星複合探査の科学検討)
- 点字用XML(BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 点字用XML (BrailleML)の提案ODFからBrailleMLへの変換(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- RSS1.0を利用した科学衛星・地上観測データのメタデータ自動収集(宇宙利用システム)
- 福祉地理情報データベースの設計と福祉シティマップの提案(福祉と知能・認知障害/一般)
- アジア-オセアニア地球科学会(AOGS)第1回大会・アジア太平洋水文水資源協会(APHW)第2回国際会議合同大会報告
- サブミリ波によるHO_2の日変化観測
- P412 低騒音型RASS用アレイスピーカーシステムの開発(ポスターセッション)
- P326 夏季北米アラスカにおける対流圏界面直上域のオゾン変動(2)
- P420 夏季北米アラスカにおける対流圏界面直上域のオゾン変動
- D409 台風0704号におけるCOBRA偏波パラメータと降水粒子分布特性(台風)
- C261 COBRA観測による台風0704号の眼の壁雲の構造(降水システムIII)
- B302 COBRA観測による対流性降水域の融解層高度 : 沖縄地方の梅雨前線事例について(降水システムI)
- P144 沖縄地方の梅雨期の寒冷前線に伴う対流性降水のCOBRA偏波特性
- P351 梅雨期の東シナ海における対流性降水のCOBRA偏波特性 : 孤立タイプと層状埋め込みタイプの偏波特性の比較
- P169 降水の特徴とCOBRA偏波パラメータの3次元特性
- 宇宙科学研究のためのクラウドコンピューティング環境:OneSpaceNet : 高速ネットワークを使ったバーチャルラボの取り組み(e-Science及びData Intensive Science)
- D356 JEM/SMILES観測リトリーバルアルゴリズム(観測手法II)
- 磁気圏 Global MHD シミュレーションによるビジュアルデータマイニング : 磁力線の時間追跡と磁気リコネクション発生領域の抽出
- 磁気圏 Global MHD シミュレーションにおけるビジュアルデータマイニング : 磁力線トポロジーの3次元可視化解析
- P110 小型ラマンライダーによる沖縄亜熱帯域下部対流圏の水蒸気分布の観測
- C157 CO_2濃度計測用コヒーレント差分吸収ライダーの開発と展望(大気リモートセンシングデータ解析技術における工夫,専門分科会)
- 先進的情報通信技術の活用 3次元可視化とビジュアルデータマイニング (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- 3次元可視化とバーチャルリアリティシステムによる宇宙プラズマシミュレーションの新しい解析手法
- バーチャルリアリティによるデータ同化システムの提案
- 3次元可視化とバーチャルリアリティによる地球磁気圏研究
- P317 400MHz帯WPR・RASSによる亜熱帯域気温連続観測の精度検証
- P177 443MHzウインドプロファイラを用いた沖縄亜熱帯域における水蒸気プロファイルの推定
- B160 443MHzウインドプロファイラ・RASSを用いた沖縄亜熱帯域における孤立積乱雲に関する研究(降水システムI)
- P240 400MHz帯WPR・RASSを用いた亜熱帯域気温高度分布の定常観測
- P132 400MHz帯ウインドプロファイラ・RASSを用いた沖縄亜熱帯域の対流雲の観測
- C460 400MHz帯ウィンドプロファイラ・RASS観測による亜熱帯域温度微細構造の観測(観測手法)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発
- 移動携帯端末による自閉症児のための多機能タイムエイドの開発(福祉と知能・認知障害/一般)
- 衛星搭載マイクロ波放射計降水リトリーバルアルゴリズムに関するレビュー : PART III : 確率論的降水リトリーバルアルゴリズム
- 衛星搭載マイクロ波放射計降水リトリーバルアルゴリズムに関するレビュー : PART II : 決定論的降水リトリーバルアルゴリズム
- 衛星搭載マイクロ波放射計降水リトリーバルアルゴリズムに関するレビュー : PART I : 降水リトリーバルの概要
- 先進的情報通信技術の活用 RDFを用いたデータ収集技法による太陽地球系科学セマンティックWeb構築の試み (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- 先進的情報通信技術の活用 グリッドデータファームによる並列分散処理 (宇宙天気予報特集) -- (宇宙天気と情報処理・情報通信技術)
- P185 沖縄における443MHzウインドプロファイラ-RASS連続観測による温度プロファイルの長期間解析(ポスター・セッション)
- RSS/RDFを利用した太陽地球系物理観測データのメタデータ配信の検討(ネットワークシステム運用管理技術,再考 分散システム/インターネットの運用・管理)
- D108 JEM/SMILES大気観測性能の検討(大気化学・物質輸送)
- P301 テラヘルツ時間領域分光法による水蒸気のスペクトルの圧力広がり係数測定
- 2008年秋季オゾン研究連絡会・極域寒冷域研究連絡会合同研究会の報告
- C161 アラスカ州ポーカーフラットに設置したFTIRによる温暖化物質/汚染物質の観測(大気リモートセンシングデータ解析技術における工夫,専門分科会)
- A154 テラヘルツ波リモートセンシングによる水蒸気と氷雲の高感度観測 : JEM/SMILES観測では何が分かるのか(グローバルな雲・降水システムの研究の現状と将来,専門分科会)
- 国際宇宙ステーション搭載サブミリ波サウンダ--データ処理アルゴリズム開発とSMILESシミュレータの構築 (テラヘルツ技術特集) -- (テラヘルツ波リモートセンシング)
- A360 静止衛星からのマイクロ波・テラヘルツ波放射観測の可能性(スペシャルセッション「静止衛星観測II:静止衛星リモートセンシング観測の新展開」)
- C154 テラヘルツ波衛星リモートセンシング観測のデータ解析アルゴリズム開発(大気リモートセンシングデータ解析技術における工夫,専門分科会)
- P311 アラスカ州・ポーカーフラットにおけるメタンの季節変動と年々変動
- D110 大気化学モデル(CHASER)を用いたシベリア森林火災とアラスカ上空対流圏COの増加イベントに関する研究(大気化学・物質輸送)
- 電子文書点字化のための前処理フィルタを活用した遠隔点字印刷システム(福祉と言語処理/一般)
- 電子文書点字化のための前処理フィルタを活用した遠隔点字印刷システム(福祉と言語処理/一般)
- C168 成層圏・対流圏におけるH_2O-O_2錯体の存在量とそのふるまい(物質循環II)
- VPNを用いた動画像ストリーミング配信による遠隔パソコン要約筆記(聴覚補助,情報福祉論文)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- P155 スプライト放電による窒素酸化物の生成に関して
- 3P-134 腸内連鎖球菌V型ATPaseの膜内在性サブユニット(NtpI)の発現と精製(分子モーター,第47回日本生物物理学会年会)
- 2P-188 腸球菌ナトリウム輸送性V型ATPaseの膜内在性ローターリングのエンジニアリング(分子モーター(2),第46回日本生物物理学会年会)
- 1P-144 腸内連鎖球菌V型ATPaseの外周ストークのサブユニット構成とその溶液構造(分子モーター(1),第46回日本生物物理学会年会)
- P276 TRMM/TMI標準アルゴリズムによる陸上の降雨強度推定値の偏差
- Grid Datafarmにおける太陽地球系観測データの大規模統計解析の試み
- 3次元可視化ツールの多地点双方向通信を実現するツールの開発
- MPEG-7による遠隔コミュニケーションと3次元コンテンツ作成・閲覧システム(セッション2:マルチメディア)
- MPEG-7による遠隔コミュニケーションと3次元コンテンツ作成・閲覧システム
- Tributyltin sensitivity of vacuolar-type Na^+-transporting ATPase from Enterococcus hirae
- 磁気圏プラズマ波動スペクトルにおける低域カットオフ周波数の自動検出法の開発(計測・探査)
- H.263符号化による手話動画像実時間配信(聴覚補助,情報福祉論文)
- BREWアプリを用いた発達障害児のための生活支援ツールの研究開発(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 遠隔パソコン要約筆記の入力者間での遅延による影響(福祉と知能・情動・認知障害,福祉と音声処理,一般)
- 日本における気象レーダーの発展(創立125周年記念解説)
- バイスタティック・ドップラーレーダー・ネットワーク
- C302 アラスカ・ポーカーフラットでFTIRを用いて1999年から観測された成層圏オゾン,HNO_3,HCl,HF(物質循環III)
- C165 対流圏COの大陸間輸送 : アラスカ州ポーカーフラットからの後方流跡線解析(物質循環II)
- 電磁波伝搬モデル テラヘルツ電磁波大気伝搬モデル (テラヘルツ技術特集)
- テラヘルツ時間領域分光法による気体分子の分光--水蒸気スペクトルの圧力広がり係数測定 (特集 テラヘルツ分光・イメージングの計測への応用)
- C156 沖縄本島の降水予報におけるRASS観測データのインパクト(WPRの高度利用について,ウィンドプロファイラの現状と将来,専門分科会)
- P129 東京都市域における夜間の鉛直流擾乱(ポスター・セッション)
- 第11回 大気成分のリモートセンシング
- 311 金星大気大循環のモデリング(オーラルセッション10 惑星気象・惑星大気)
- 112,P005 地球流出O^+の同位体分別の量子化学計算 : Earth wind仮説の検証(オーラルセッション2 最優秀発表賞選考,最優秀発表賞選考エントリーポスター,ポスターセッション1)
- 国際宇宙ステーション搭載超伝導サブミリ波リム放射サウンダ(JEM/SMILES)の開発結果と観測運用
- 3D1326 国際宇宙ステーションからの大気環境観測ミッションAPOLLO提案 : 科学的意義(4過程-1排出,一般研究発表)
- A153 国際宇宙ステーションからの大気環境観測ミッションAPOLLO提案(スペシャル・セッション「大気微量気体およびエアロゾルの同化とその気候研究への利用」,口頭発表)
- 国際オゾンシンポジウム2012報告
- P109 COBRAにより観測された対流性降水に関連する風速場および偏波パラメータの変動(ポスター・セッション)
- NICTサイエンスクラウド : 科学研究用クラウドの有効性と基本性能(セッション1:ビッグデータ・サイエンスクラウド,「Webサービス及びクラウドの構築・運用・管理」及び一般)
- みんなでふたたび木星へ,そして氷衛星へ その2 : サブミリ波分光計JUICE-SWIの挑戦
- 衛星・探査機に搭載するサブミリ波帯ヘテロダイン受信機の開発(超伝導センシング基盤技術及びその応用,一般)
- P199 周波数の有効利用を目的とした協調制御型気象レーダシステムの検討 : その2 レーダ同期技術の検討(ポスター・セッション)
- 気象用フェーズドアレイレーダにおける最小二乗平均誤差法による信号処理結果
- NICTサイエンスクラウド : 地球科学・宇宙科学ビッグデータ分散処理技術(テーマセッション,大規模データとパターン認識・メディア理解,地球をとらえる,CEATEC連携)
- NICTサイエンスクラウド : 地球規模観測ネットワークからのデータ収集・データベース・データ処理(テーマセッション,大規模データとパターン認識・メディア理解,地球をとらえる,CEATEC連携)