MapReduce処理系SSS上のSawzall処理系の実装(システムパフォーマンス,2011年並列/分散/協調処理に関する『鹿児島』サマー・ワークショップ(SWoPP鹿児島2011))
スポンサーリンク
概要
- 論文の詳細を見る
Sawzallは、Googleが2006年に発表した大容量データの並列バッチ処理に適した言語である。Sawzallの計算モデルはMapReduce型の分散演算であるが、リダクション操作を組み込みのAggregatorに限定することで、エンドユーザによる容易な記述を可能にしている。われわれはHadoopおよびわれわれが現在開発中のMapReduce処理システムSSSを対象として、Scala言語によるSawzall言語処理系SawzallCloneを、Javaをターゲットコードとするコンパイラとして実装した。SSSのNative APIで直接プログラムを記述した場合と比較を行い、言語オーバヘッドを見積もった。また、Googleによる逐次処理系Szlとの比較を行った。その結果、一定の言語オーバヘッドはあるもののメリットを考えれば許容範囲であること、Sz1と比較して遜色ない逐次性能を示すことを確認した。
- 2011-07-21
著者
-
工藤 知宏
独立行政法人産業技術総合研究所情報技術研究部門
-
工藤 知宏
産業技術総合研究所グリッド研究センター
-
中田 秀基
産業技術総合研究所
-
中田 秀基
独立行政法人産業技術総合研究所
-
工藤 知宏
産業技術総合研究所情報技術研究部門
-
工藤 知宏
(株)日立製作所中央研究所内
-
小川 宏高
独立行政法人産業技術総合研究所
-
中田 秀基
電子技術総合研究所
-
中田 秀基
電総研
-
工藤 知宏
産業技術総合研 情報技術研究部門
-
工藤 知宏
独立行政法人産業技術総合研究所
-
中田 秀基
産業技術総合研
-
工藤 知宏
独立行政法人産業技術総合研究所グリッド研究センター
-
井上 辰彦
独立行政法人産業技術総合研究所|株式会社創夢
-
井上 辰彦
株式会社創夢
-
工藤 知宏
独立行政法人 産業技術総合研究所
-
中田 秀基
独立行政法人 産業技術総合研究所
-
小川 宏高
独立行政法人 産業技術総合研究所
関連論文
- 5.データセンター及びクラウドと光ネットワーク技術(グリーンICTに向けた光ネットワーク技術)
- 10GbE対応ネットワークテストベッドGtrcNET-10の構成と評価(HPC-6: 高速ネットワークとその応用)
- IPフロー単位のトラフィック制御設定の自動化機構(次世代・新世代ネットワークアーキテクチャ,トラヒック計測・制御,サービス品質,ネットワーク管理,一般)
- 10ギガビットイーサネットを用いた精密なパケットスケジューリング機構の開発(ポストIPネットワーキング,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク,NW安全性及び一般)
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ネットワーク帯域予約とOS仮想化機構を用いた分散アプリケーション実行環境に向けて(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 予約利用可能なオブジェクトベース・ストレージの設計(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 光ネットワーク超低エネルギー化技術の研究開発(省エネルギーと超高速インターネット-デバイス,省エネルギーと超高速インターネット,一般)
- 多様な資源を事前予約で同時確保するためのグリッドコアロケーションシステムフレームワークGridARS(グリッド)
- ソフトウェアによる精密ペーシング方式を用いたTCP通信性能の改善((フォトニック)IPネットワーク技術, (光)ノード技術, WDM技術, 一般)
- LAN領域での高性能並列処理に適したネットワークスイッチ用ASIC(システムLSIのための先進アーキテクチャ論文)
- グリッドにおける計算資源と光パスネットワーク資源のコアロケーション実験(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- グリッドにおける計算資源と光パスネットワーク資源のコアロケーション実験(グリッド, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- 複数拠点にまたがるe-Scienceアプリケーション環境構築を目的としたソフトウェア導入・管理機構(並列・分散システム,システム開発論文)
- WSRFに基づく情報サービスのXACMLによるアクセス制御(HPC-17 : グリッド)
- 複数拠点にまたがるe-Scienceアプリケーション環境構築を目的としたソフトウェア導入・管理機構 (システム開発論文特集)
- グリッドアプリケーションのためのGMPLSネットワーク資源の管理制御(MPλ(Lambda)S,フォトニックネットワーク/制御,光波長変換,スイッチング,PON,一般)
- レイヤの異なる複数ドメインを跨いだ動的ネットワークパス構築技術の実証実験(ネットワーク管理/制御/設計)
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- 複数ドメイン環境でQoSを保証するクラウドのための資源管理フレームワーク(クラウド、グリッド・P2P)
- ネットワーク帯域予約を用いた分散アプリケーション実行環境の構築(クラウド、グリッド・P2P)
- GridMPI^ Version 1.0の概要(HPC-10: 通信ライブラリ)
- ミドルウェア連携による計算・ネットワーク資源の日米間グリッドコアロケーション実験(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式 (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 事前予約機構のポリシ記述による制御(グリッドと数値計算)
- グローバルスケジューリングのためのローカル計算資源管理機構
- 事前予約機能を持つローカルスケジューリングシステムの設計と実装(ジョブスケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- クラスタの温度分布について
- ソフトウェアによる精密ペーシング機構の提案と評価
- 並列アプリケーション実行におけるTCP/IP通信挙動の解析 (インターネットコンファレンス2003論文集)
- 高バンド幅高遅延ネットワークにおけるマルチパスを用いた高信頼通信手法の実現(ディペンダブルネットワーク・分散システム,ディペンダブルコンピューティング論文)
- グリッド上のコレクティブ通信アルゴリズム
- ストリーミング配信に対するソフトウェアペーシング方式の効果(有線/無線シームレスネットワーク,ネットワーク制御,無線通信一般)
- ギャップパケットを用いたソフトウェアによる精密ペーシング方式(ネットワーク)
- MPIライブラリと協調するTCP通信の実現(ネットワーク)
- IBM pSeriesにおけるGridMPIの実装と性能評価(通信ライブラリ, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- IBM pSeries における GridMPI の実装と性能評価
- GridMPIのためのTCP/IP輻輳制御実装方式の検討(OS-3:ネットワーク)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 高速フラッシュメモリに適したキーバリューストアの予備的評価
- 性能を保証する分散実行環境のためのオンラインコアロケーション手法
- 高速フラッシュメモリ向けMapReduceフレームワークの実現に向けて
- 資源予約と連携した階層型分散資源モニタリングシステムの設計(クラスタとグリッド技術)
- 経路が動的に接続/解放されるネットワークにおけるユーザ単位の経路切替手法(HPC-15 : ネットワーク)
- GridMPI^の性能評価(HPC-6 : 通信ライブラリ)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- ネットワーク帯域予約とOS仮想化機構を用いた分散アプリケーション実行環境に向けて(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 新しい不揮発性機能デバイスと革新的計算機システム実現の可能性について
- 新しい不揮発性機能デバイスと革新的計算機システム実現の可能性について
- プライベートアドレスを有するクラスタ群のための高性能MPI通信リレー機構
- ミドルウェア連携による計算・ネットワーク資源の日米間グリッドコアロケーション実験(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- WSRFに基づく情報サービスのXACMLによるアクセス制御
- アクセス性能を保証する並列ファイルシステムの提案とストレージサーバの設計
- 予約利用可能なオブジェクトベース・ストレージの設計(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- トラフィックの性質情報に基づいた動的ネットワーク選択手法(ポストIPネットワーキング,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク, NW安全性,及び一般)
- VLANイーサネットを用いたPCクラスタ向け大規模ネットワーク構築法
- LC-011 イーサネットを用いた大規模クラスタネットワーク構築法(ハードウェア・アーキテクチャ)
- 大規模資源の管理・制御に関する技術の実証実験 : 新世代ネットワークプラットフォームの実現に向けて(ネットワーク品質,トラヒック計測,サービス品質,一般)
- 超高精細映像配信サービスのためのストレージ・ネットワーク統合資源管理方式の提案(ブロードバンドアクセス,ホームネットワーク,ネットワークサービス,通信利用アプリケーション,一般)
- MPI通信モデルに適した非同期通信機構の設計と実装(クラスタソフトウェア)
- VLANを用いた複数パスを持つクラスタ向きL2 Ethernetネットワーク(ネットワーク)
- VLANを用いた複数パスを持つL2 Ethernetネットワーク(高性能システム)
- VLANを用いた複数パスを持つL2 Ethernetネットワーク
- MP1通信モデルに適した通信APIの設計と実装(HPC-7 : 通信ライブラリ)(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- GridMPI-通信遅延を考慮したMPI通信ライブラリの設計(HPC-7 : 通信ライブラリ)(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- WAN上の複数クラスタによる単一MPIアプリケーションの性能評価
- グリッドデータファームとGNET-1による日米間高速ファイル複製(グリッド基盤システム)
- AISTスーパークラスタP-32のLinpackによる性能評価(HPC-8 : クラスタ)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 性能を保証する計算・ネットワーク資源のコアロケーション手法の評価
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- スイッチでタグ付けを行うVLANルーティング法(ネットワーク)
- スイッチでタグ付けを行うVLANルーティング法の提案と評価(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- スイッチでタグ付けを行うVLANルーティング法の提案と評価(ネットワーク, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- VLANを用いたマルチパスEthernetにおける経路構築法(ARC-7: ネットワークインタフェースとルーティング, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- ネットワークテストベッドGNET-1のSNMPツール(HPC-10 : ネットワークとスケジューリング)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- ファンの振動が計算機内のハードディスクに与える影響について(アーキテクチャ)
- PVFS-PMの実装と性能評価
- PluS予約機構のCondorへの適用(通信とグリッドII)
- 合成ベンチマークによるMapReduce処理系SSSの性能評価
- 仮想計算機モニタ・バイパス型ネットワークに対する通信制御方式
- 仮想計算機モニタ・バイパス型ネットワークに対する通信制御方式
- 合成ベンチマークによるMapReduceのI/O性能評価手法
- 多種資源を対象とするオンラインコアロケーション手法の提案
- クラウドを利用した電力可視化システムの構築
- クラウドを利用した電力可視化システムの構築
- パケット交換方式のネットワークの電力消費の評価(省エネルギーと超高速ネットワーク,省エネルギーと超高速ネットワーク,一般)
- マルチドメインクラウド資源管理フレームワーク(スマートな社会を支えるインターネットアーキテクチャ論文)
- インターネット上のコンテンツ分布を考慮した光回線交換方式及びCDN方式の採用による省電力化の評価(スマートな社会を支えるインターネットアーキテクチャ論文)
- MapReduce処理系SSS上のSawzall処理系の実装(システムパフォーマンス,2011年並列/分散/協調処理に関する『鹿児島』サマー・ワークショップ(SWoPP鹿児島2011))
- MapReduce処理系SSSのPrefixSpan法による評価
- MapReduce処理系SSSの実アプリケーションによる評価(数値解析,ネットワーク,クラウド及び一般)
- MapReduce処理系SSSにおけるContinuous MapReduceの実装
- MapReduce処理系SSSにおけるKey Value Storeアクセス手法の改良 (コンピュータシステム・2012年並列/分散/協調処理に関する『鳥取』サマー・ワークショップ(SWoPP鳥取2012))
- 省電力化のためのマッチングに基づく仮想計算機パッキングアルゴリズム
- 学術ネットワークにおけるオンデマンドネットワーク制御と国際接続
- 1-D-3 消費電力削減のための仮想計算機パッキング問題に対する解法(節電)
- 仮想マシンに対して透過的なClient Mobile IPv6トンネリング機構(多様な社会要請に適応可能なインターネットアーキテクチャ論文)
- インタークラウドにおける仮想インフラ構築システムの提案
- NSI相互運用試験のためのGridARSによるネットワーク資源管理(網監視・運用)
- 動的ネットワークパス構築と連携したエッジオーバレイ帯域制御(フロー制御)