Content-Defined Chunkingを用いた重複除外キャッシュ機構の実装と評価
スポンサーリンク
概要
- 論文の詳細を見る
データインテンシブサイエンスにおけるアプリケーションにはその実行時に重複するデータを含む多くのファイルを生成するものが存在する. Gfarm は,大規模データの効率的な利用を可能にする分散ファイルシステムである.本稿では, Content-Defined Chunking (CDC) による重複除外キャッシュ機構の設計と実装および,その機構を Gfarm へ適用した際の実験結果について報告する. CDC はファイルをその中身に基づき可変長のブロック (チャンク) に分割する方式のことである.クライアントはファイルの読み込み時にチャンクデータをキャッシュ内に保存し,以降のファイルアクセスで再利用する.書き込み時には書き込み処理の裏でデータをチャンクに分割し,その結果をサーバに返す.本研究の実験を通じて,提案機構によりファイル読み込み性能が向上し,またファイル書き込み時のオーバーヘッドが 30% 程度であることを確認した.
- 2012-12-06
著者
関連論文
- オンラインストレージと仮想マシンを利用した広域分散バックアップシステム(ストレージ)
- 準パススルー型仮想マシンモニタBitVisorの設計と実装(OS-4:仮想化,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 実行コンテキストに応じたポリシー指定が可能なサンドボックス(セキュリティ)
- カーネルレベルルートキットの検知システムの構築(セッション3:高セキュア・高信頼化)
- 異なる計算機間で正常動作情報を共有する異常検知システム(セキュリティ)
- 仮想マシンモニタによる仮想マシン内プロセスの制御(OS-2 : セキュリティ)
- サーバの透過的な移動のためのOS拡張(OS (1))
- B-033 SoftwarePotへのチェックポイント機構の導入(B.ソフトウェア)
- OCamlによるOSの実装
- VMMによるアプリケーションを意識したカーネル内の振舞い制御
- デバイスドライバのための障害回復機構(セッション3:高セキュア・高信頼化)
- プロセスレベルの仮想化を用いた大規模分散システムテストベッド
- 仮想マシンモニタを用いたOSコードの秘匿化
- サンプリングベース侵入検知システム
- LL-007 OS資源ビューの仮想化を用いた分散システムテストベッド(ネットワーク・セキュリティ)
- System Service監視によるWindows向け異常検知システム機構(オペレーティングシステム)
- 単一システムイメージを提供するための仮想マシンモニタ(オペレーティングシステム)
- 柔軟性と拡張性を備えた大規模多人数オンラインゲームのための枠組み(応用システム, SWOPP武雄2005 (2005年並列/分散/協調処理に関する「武雄」サマー・ワークショップ))
- 仮想実行環境を管理するためのライブラリ(ポスターセッション)
- サンドボックスシステムにおける投機的な安全性検査(セキュリティ)
- 準パススルー型VMMのマルウェア検出機能による拡張
- 準パススルー型VMMのマルウェア検出機能による拡張
- アプリケーションデータを保護するためのVMMに基づくアーキテクチャ
- システムコール制御に基づく仮想マシン間サンドボックスシステム
- ネイティブコードのためのサンドボックスの技術
- 排他的なメソッドの並行な呼び出しを融合する機構を持つ言語
- 同期ボトルネックが存在する並列プログラムの効率的実行(並列処理)
- 明示的なタスク配置指定が可能な遅延タスク生成に基づく動的負荷分散方法
- 動的なスレッド生成をサポートする言語のコンパイル技法
- B-029 ハイパバイザによる広告表示(B分野:ソフトウェア,一般論文)
- 仮想マシン間におけるcovert timing channelの評価
- 仮想マシン間におけるcovert timing channelの評価
- SPA 2005の報告
- HyperShield:動作中のOSを安全な仮想マシン上に移行するための仮想マシンモニタ(コンピュータシステム技術,先端的コンピュータシステム技術及び一般)
- 仮想マシンモニタを用いたOSコードの秘匿化 (情報通信システムセキュリティ)
- 仮想マシンモニタを用いたOSコードの秘匿化 (技術と社会・倫理)
- 仮想マシンモニタを用いたOSコードの秘匿化 (情報セキュリティ)
- コールスタック情報を利用したモデル分割に基づく異常検知システム
- サンプリングベース侵入検知システム (情報通信システムセキュリティ)
- サンプリングベース侵入検知システム (技術と社会・倫理)
- サンプリングベース侵入検知システム (情報セキュリティ)
- 仮想マシン技術の応用(仮想マシン道しるべ)
- 重複除外によるGfarmの性能向上に関する検討
- ADvisor:ゲストOSの操作に連動した広告を表示するハイパバイザ
- Gfarmのためのカーネルドライバへのキャッシュ機構導入の検討
- アプリケーションの実行を指定した時間に制限するためのLinuxの拡張
- アプリケーションの実行を指定した時間に制限するためのLinuxの拡張
- 仮想マシンモニタを用いたSoftware Fault Injection
- 広域分散ファイルシステムGfarmにおけるローカルストレージのファイルアクセスの高速化
- 広域分散ファイルシステムGfarmにおけるローカルストレージのファイルアクセスの高速化
- 広域分散ファイルシステムGfarmにおけるローカルストレージのファイルアクセスの高速化
- 広域分散ファイルシステムGfarmにおけるローカルストレージのファイルアクセスの高速化
- 無害なバグを大量に含ませるプログラム変換器(セキュリティ関係,一般)
- 無害なバグを大量に含ませるプログラム変換器(セキュリティ関係,一般)
- 無害なバグを大量に含ませるプログラム変換器(セキュリティ関係,一般)
- 無害なバグを大量に含ませるプログラム変換器(セキュリティ関係,一般)
- VMMを用いたマルウェア検出システムのためのシグネチャデータ更新機能とメモリデータ検査機能
- Content-Defined Chunkingを用いた重複除外キャッシュ機構の実装と評価
- Content-Defined Chunkingを用いた重複除外キャッシュ機構の実装と評価
- 状況をつぶやくセキュリティシステム(サービス管理,運用管理技術,セキュリティ管理,及び一般)
- ページ回収に伴うOSノイズの除去
- GfarmファイルシステムへのCooperative Cachingの実装
- InfiniBandを利用したCooperative Cachingの実装と評価