Hadoop上で動作するSawzallサブセットの実装
スポンサーリンク
概要
- 論文の詳細を見る
Sawzallは,Google が 2006 年に発表した大容量データの並列バッチ処理に適した言語である.Sawzall の計算モデルは MapReduce 型の分散演算であるが,リダクション操作を組み込みの Aggregator に限定することで,エンドユーザによる容易な記述を可能にしている.我々は現在開発中の並列データ処理機構上の言語処理系を開発するための 1 ステップとして,Scala 言語による Sawzall 言語のサブセット処理系を実装した.文法やセマンティクスに関しては明確な定義がなかったため,2006 年の論文をベースに推測した.その結果,最近公開された Sawzall 処理系とは機能的に若干の相違がある.構文解析にScala言語の Parser Combinator を用いることで,処理系の記述量が削減できた.現在の実行対象処理系は Hadoop である. Hadoop の Mapper 上で言語インタプリタを動作させ,Reducer 上では我々の提供する Aggregater を動作させる.Scala は Java VM 上で動作することから,Java で記述される Hadoop 上での実行は容易である.本発表では,本処理系の実装について詳しく述べる.さらに,Hadoop で直接記述した場合と,プログラム量および実行速度の点で比較を行う.比較の結果,プログラム量は大幅に小さくなる一方,実行速度の面でも一定のオーバヘッドがあることが確認された.
- 2011-06-29
著者
-
中田 秀基
(独)産業技術総合研究所情報技術研究部門インフラウェア研究グループ
-
中田 秀基
独立行政法人産業技術総合研究所
-
工藤 智宏
独立行政法人産業技術総合研究所
-
井上 辰彦
独立行政法人産業技術総合研究所|株式会社創夢
-
井上 辰彦
独立行政法人産業技術総合研究所:株式会社創夢
関連論文
- 異機種大規模クラスタ対応型ホンダグリッドシステム
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ネットワーク帯域予約とOS仮想化機構を用いた分散アプリケーション実行環境に向けて(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 多様な資源を事前予約で同時確保するためのグリッドコアロケーションシステムフレームワークGridARS(グリッド)
- 複数拠点にまたがるe-Scienceアプリケーション環境構築を目的としたソフトウェア導入・管理機構(並列・分散システム,システム開発論文)
- 複数拠点にまたがるe-Scienceアプリケーション環境構築を目的としたソフトウェア導入・管理機構 (システム開発論文特集)
- グリッドアプリケーションのためのGMPLSネットワーク資源の管理制御(MPλ(Lambda)S,フォトニックネットワーク/制御,光波長変換,スイッチング,PON,一般)
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- 複数ドメイン環境でQoSを保証するクラウドのための資源管理フレームワーク(クラウド、グリッド・P2P)
- ネットワーク帯域予約を用いた分散アプリケーション実行環境の構築(クラウド、グリッド・P2P)
- B-6-17 グリッドアプリケーションのためのGMPLSネットワーク資源の管理制御(B-6.ネットワークシステム,一般講演)
- 2.Googleのクラウド技術(クラウドの事例紹介,クラウドコンピューティング)
- 既存VMMへの適用が容易でゲスト透過なポストコピー型仮想マシン再配置機構
- 高速マイグレーションを利用した仮想マシン配置最適化システムの検討
- 高速フラッシュメモリに適したキーバリューストアの予備的評価
- 性能を保証する分散実行環境のためのオンラインコアロケーション手法
- クラウドコンピューティングの性能評価
- クラウドコンピューティングの性能評価
- 高速フラッシュメモリ向けMapReduceフレームワークの実現に向けて
- 仮想計算機パッキングへの最適化手法の適用(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- 仮想計算機メモリの遅延再配置による高速ライブマイグレーション
- 仮想計算機遠隔ライブマイグレーションのための透過的なストレージ再配置機構
- グリッドRPCシステムのクラウド環境への適用
- WSRFに基づく情報サービスのXACMLによるアクセス制御
- 大規模資源の管理・制御に関する技術の実証実験 : 新世代ネットワークプラットフォームの実現に向けて(ネットワーク品質,トラヒック計測,サービス品質,一般)
- 性能を保証する計算・ネットワーク資源のコアロケーション手法の評価
- 異機種大規模クラスタ対応型ホンダグリッドシステム
- マルチドメインクラウド資源管理フレームワークの実証実験 (ネットワークシステム)
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- 合成ベンチマークによるMapReduce処理系SSSの性能評価
- MapReduce処理系SSS上のSawzall処理系の実装 (コンピュータシステム)
- 「情報処理学会論文誌 : プログラミング」の編集について
- Hadoop上で動作するSawzallサブセットの実装
- グローバルコンピューティング(5)グローバルコンピューティングにおけるセキュリティ
- MapReduce処理系SSS上のSawzall処理系の実装(システムパフォーマンス,2011年並列/分散/協調処理に関する『鹿児島』サマー・ワークショップ(SWoPP鹿児島2011))
- 省電力化にむけた仮想計算機パッキングアルゴリズムの提案(仮想マシン,2011年並列/分散/協調処理に関する『鹿児島』サマー・ワークショップ(SWoPP鹿児島2011))
- MapReduce処理系SSSのPrefixSpan法による評価
- MapReduce処理系SSSの実アプリケーションによる評価(数値解析,ネットワーク,クラウド及び一般)
- MapReduce処理系SSSにおけるContinuous MapReduceの実装
- PrefixSpan法のMapReduce実装の改良 (コンピュータシステム)
- 仮想マシンに対して透過的なClient Mobile IPv6トンネリング機構(多様な社会要請に適応可能なインターネットアーキテクチャ論文)
- MapReduce処理系SSSに向けたKVSの改良(ディペンダブルコンピューティングシステム及び一般)
- MapReduce処理系SSSに向けたKVSの改良(ディペンダブルコンピューティングシステム及び一般)
- 多数の動画像を対象とするリアルタイム異常値検出の検討
- MapReduce処理系SSSにおけるKey Value Storeアクセス手法の改良(クラウド,2012年並列/分散/協調処理に関する『鳥取』サマー・ワークショップ(SWoPP鳥取2012))
- PrefixSpan法のMapReduce実装の改良(ソフトウェア最適化,クラウド、ネットワーク及び一般)
- PrefixSpan法のMapReduce実装の改良