TCPによる長距離ディスク間データ転送の高速化
スポンサーリンク
概要
- 論文の詳細を見る
我々は長距離ディスク間データ転送システム ICDC ? InterContinental Disk Copy を構築した.ICDC は背景トラフィックの存在する Long Fat-pipe Network(LFN) を経由して大量のデータをディスク間で高速に遠距離に転送することを目的とし,単一 TCP ストリームによるデータ転送を行うことで,一般回線上でも安定して高性能で動作するロバスト性を実現する,小型汎用 PC で構成されるシステムである.ICDC は IPG の調整によってネットワークの高速化を行い,SSD および Direct I/O を組み合わせることでストレージの高速化を行っている.我々は ICDC-1Gbps モデルを用いて日欧間のボトルネック帯域が 1Gbps である LFN 上でデータを転送し,860Mbps のスループットを得た.また,ストレージ性能が 10Gbps ネットワーク世代に対応可能であることを,ICDC-10Gbps モデルを用いて 7Gbps で 180 秒間ネットワーク経由のディスク書き込みを行い実証した.既に我々は 10Gbps LFN におけるメモリ間転送で理論限界に近い速度でのデータ転送を達成済みであり,10Gbps LFN での超高速ディスク間転送を実現する予定である.
- 一般社団法人情報処理学会の論文
- 2009-07-28
著者
-
平木 敬
東京大学大学院情報理工学系研究科
-
稲葉 真理
東京大学大学院情報理工学系研究科
-
平木 敬
東京大学情報理工学系研究科
-
平木 敬
東京大学理学部情報科学科
-
今井 浩
東京大学
-
今井 浩
九州大学
-
今井 浩
Erato今井量子計算機構プロジェクト Jst:東京大学情報理工学系研究科コンピュータ科学専攻
-
稲葉 真理
東大
-
平木 敬
東大
-
稲葉 真理
東京大学情報理工学系研究科
-
稲葉 真理
東京大学理学系研究科
-
稲葉 真理
東京大学
-
平木 敬
東京大学
-
谷田 直輝
東京大学
-
稲葉真理
東京大学
-
今井 浩
Jst‐erato
-
平木 敬
東京大学情報科学科平木研究室
-
平木 敬
電子技術総合研究所電子計算機部計算機方式研究室
-
今井 浩
東京大学理学系研究科情報科学専攻 Erato今井量子計算機構プロジェクト 科学技術振興事業団
-
谷田 直輝
東京大学情報理工学系研究科コンピュータ科学専攻
関連論文
- パケット喪失履歴に基づいたTCP輻輳制御方式 (コンピュータシステム)
- CellおよびGPGPUの性能比較評価(ARC-5:並列処理1,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- ハードウェア・エンジンを用いた10GbE上のTCP通信解析(HPC-17 : 高性能通信)
- 難読化コンパイラのユーザによる保護強度調整機構(コンピュータシステム技術,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ(SWoPP仙台2009))
- 命令フェッチ調節とサイズ可変なReservation Staionによる電力消費最適化(ARC-1:低電力アーキテクチャ,2006年並列/分散/強調処理に関する『高知』サマー・ワークショップ(SWoPP 高知2006))
- ソフトウェアDSMにおいてfetch-on-writeによる通信トラフィックを削減する手法
- 細粒度パケット間隔制御の実装と評価(OS-4: 通信システム, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- インテリジェントNICを用いた高帯域ネットワーク向けTCP通信方式(OS-3:ネットワーク)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 動的逆アセンブル手法の高速化(ハードウェアアクセラレーション,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- 高信頼性マルチホーミング通信方式(ネットワーク,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- プログラム実行時のキャッシュ連想度の需要予測方式(ARC-1:アーキテクチャ1,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 実時間用並列計算機アーキテクチャの検討
- 2. 情報科学技術戦略コア(21世紀卓越した情報研究拠点プログラムの目指す研究(前編))
- 情報科学技術戦略コア
- 5-2-1 東京大学「情報科学技術戦略コア」(5-2 情報・電気・電子分野の21世紀COE,3プロジェクトの拠点リーダーより)(5.大学での研究プロジェクト : 21世紀COEプログラム)(グローバル化時代の教育と研究)
- 高速HW-SW協調検証モデル向けCtoHDL変換コンパイラ(プロセッサ向け最適化と開発環境)
- 高速HW-SW協調検証モデル向けCtoHDL変換コンパイラ(プロセッサ向け最適化と開発環境,FPGA応用及び一般)
- 簡潔データ構造による全文検索のハードウェアを用いた高速化(ハードウェアアクセラレーション,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- 分散共有メモリアクセスの優先度制御(ARC-9:並列処理2,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- トランザクショナルメモリのための性能評価手法(ARC-9:並列処理2,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 実行時の分岐のふるまいに基づくスレッド間データ依存関係予測(ARC-12 : 投機実行,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- スラック予測を用いるメモリ制御アーキテクチャ(ARC-10 : アーキテクチャIII,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- TLBを用いるキャッシュ利用状況推定の高精度化(ARC-2 : キャッシュメモリ,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- ゲートウェイによる並列TCPのウィンドウサイズ平均化(HPC-15 : ネットワーク)
- Sakura-C : 超並列計算機向けC言語と最適化(HPC-1 : 最適化)
- サーバ性能向上の為のOSインタフェイスの実装と評価(OS-2 : OSの基本機能)
- レジスタ・ファイル書き込み時タイミング・エラーに関する脆弱性評価(ARC-11:高信頼性および応用システム,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- RDTネットワークにおける疑似フルマップ方式の評価
- ディレクトリキャッシュにおける疑似フルマップシステムの定量的評価
- データ駆動計算機のアーキテクチャ最適化に関する考察
- データ駆動計算機EM-4の負荷分散
- データ駆動計算機EM-4のパイプライン構成
- データ駆動計算機EM-4のプロトタイプの構成
- データ駆動計算機EM-4における待ち合せ機構
- データ駆動計算機EM-4における要素プロセッサのシングルチップ化の検討
- データ駆動型シングルチッププロセッサのアーキテクチャ
- データ駆動型シングルチップによる高並列計算機の実行制御方式
- プログラミング言語MLのCUDA向け拡張
- SIMD型計算機向けループ自動並列化手法
- 動的推定によるプリフェッチ量最適化
- Webブラウザを用いた長距離データ転送の高速化
- コヒーレントでないメモリシステムへのアーキテクチャ支援
- Ruby用仮想マシンにおけるAOTコンパイラ
- メニーコアプロセッサ向き共有キャッシュ配分方式
- マップ型履歴を用いたプリフェッチ方式とキャッシュ置換方式の協調動作
- 中粒度メモリベース通信を支援するMemory-Based Processor II
- オフライン環境における多様性の高い実行時自己改変ソフトウェア(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- 日米間QoSによるLFN高速化実験と分散KVSの構築(研究発表,ネットワーク研究開発テストベッド運用・利用,一般)
- TCPによる長距離ディスク間データ転送の高速化
- 省ハードウェア資源のフィードバックつきハイブリッドプリフェッチ方式
- 省ハードウェア資源のフィードバックつきハイブリッドプリフェッチ方式
- 部分的試行に基づく動的共有キャッシュ分割方式
- GeForce GTX 280 vs. Cell
- 置換データの性質に着目した動的キャッシュパーティショニング
- フィードバックを用いたハイブリッド・プリフェッチ方式
- 長距離広帯域ネットワークでのTCP/IP Acknowledge Packet受信の影響ついて(インターネット応用及び一般)
- 長距離広帯域ネットワークでのTCP/IP Acknowledge Packet受信の影響ついて(インターネット応用及び一般)
- 10ギガビットネットワーク上での高効率TCP/IP通信の実現(HPC-17 : 高性能通信)
- Real Long Fat NetworkにおけるTCP/IPv6の通信性能評価(インターネット及び一般)
- Real Long Fat NetworkにおけるTCP/IPv6の通信性能評価(インターネット及び一般)
- Java Grid Compiler
- FLASHを用いたリアルタイム講演中継システムとその特性(インターネット運用・管理技術,一般,インターネット運用・管理技術,一般)
- 擬似ネットワーク環境におけるTCP/IPの性能評価(インターネット及び一般)
- 擬似ネットワーク環境におけるTCP/IPの性能評価(インターネット及び一般)
- TCPストリームによる世界最長10ギガビット高速通信回線実験 : Internet2 Land Speed Recordへの挑戦(インターネット・フォトニックネットワークアプリケーション, 一般)
- TCPストリームによる世界最長10ギガビット高速通信回線実験 : Internet2 Land Speed Record への挑戦
- 高レイテンシ環境下におけるデータレゼボワールの性能評価
- 超高速ネットワーク用データ共有システム : データレゼボワールの性能評価
- Data Reservoirプロトタイプシステム : アプローチと実験結果
- Data Reservoir : 理学研究のための新しい超高速ネットワーク利用基盤
- 実行時再構成方式におけるバイナリトランスレーション支援
- 高速HW-SW協調検証モデル向けCtoHDL変換コンパイラ(プロセッサ向け最適化と開発環境,FPGA応用及び一般)
- 高速HW-SW協調検証モデル向けCtoHDL変換コンパイラ(プロセッサ向け最適化と開発環境,FPGA応用及び一般)
- 省ハードウェア資源のフィードバックつきハイブリッドプリフェッチ方式
- 省ハードウェア資源のフィードバックつきハイブリッドプリフェッチ方式
- GeForce GTX 280 vs. Cell
- SMP環境におけるLinuxスケジューラの評価
- SMP環境におけるLinuxスケジューラの評価
- TLBを用いたCPUキャッシュ利用分布の推定法(ARC-5:キャッシュ,2006年並列/分散/強調処理に関する『高知』サマー・ワークショップ(SWoPP 高知2006))
- プロセスの実行時情報を用いたスケジューラによる高速化手法(マルチスレッド)
- ハードウェア統計情報を用いたプロセスの動的な最適スケジューリング手法(ARC-4 : 実行スケジューリング)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- メモリアクセス列の最適化を行うメモリインタフェース
- 分散共有メモリ型超並列計算機JUMP-1におけるスケーラブルI/Oサブシステムの構成
- パケット喪失履歴に基づいたTCP幅輳制御方式(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- CometインテリジェントNICの応用(第1版)(ネットワーク・インターネット基礎,産学連携論文)
- Comet インテリジェントNICの応用(第1版)
- 実行パス履歴情報を利用した分岐予測手法(プロセッサアーキテクチャ)
- 命令ウインドウ拡張による命令レベル並列性の利用(ARC-1 : プロセッサアーキテクチャI)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 超並列準汎用計算機GRAPE-DRによる重力多体問題シミュレーションおよびLU分解
- 協調動作する並列TCPストリームへのPacket Spacingの適用とその評価(HPC-10 : ネットワークとスケジューリング)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- ギガビットイーサネット上での遠距離TCP通信におけるPacket Spacing(インターネット関連技術,及び一般)
- ギガビットイーサネット上での遠距離TCP通信におけるPacket Spacing(インターネット関連技術,及び一般)
- 二項順序関係により投機的メモリアクセスを制御するキャッシュシステム
- スレッドレベル投機における投機的メモリアクセス機構
- スレッドレベル投機における投機的メモリアクセス機構
- 転換する情報教育
- プロファイルを利用した値の局所性による高速化手法(ARC-1 : プロセッサアーキテクチャI)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- CPSY2000-51 ソフトウェア高レベルデータ値予測方式の予備評価
- 超並列SIMDマシン上でのMIMDプログラム実行スケジューリング最適化(大規模システム,SWoPP2006)
- 汎用細粒度並列計算機:お茶の水1号 : 構成と性能評価