Segmented Scan法のCUDA向け最適化実装
スポンサーリンク
概要
- 論文の詳細を見る
本稿では Segmented Scan 法を用いた疎行列ベクトル積の CUDA 向け最適化実装について述べる.我々は実装の再利用性に着目した自動チューニングインターフェース OpenATLib の提案を行い,また OpenATLib の提供する機能の一つである疎行列ベクトル積においては Segmented Scan 方式を元にスカラ計算機向けに改良を行った Branchless Segmented Scan 方式を提案している.本稿ではこれらの方式を元にして CUDA 向けの新たな Segmented Scan 方式を考案し実装した.GPU 上で高速実行可能なようにアルゴリズムの改良や各種の最適化を行った結果,偏りの大きな行列に対して NVIDIA GeForceGTX285 上で最大で 3.26GFLOPS の性能を達成した.
- 2010-07-27
著者
-
片桐 孝洋
東京大学情報基盤センター
-
中島 研吾
東京大学情報基盤センター
-
黒田 久泰
愛媛大:東大情
-
黒田 久泰
愛媛大学大学院理工学研究科電子情報工学専攻
-
直野 健
(株)日立製作所中央研究所
-
櫻井 隆雄
株式会社日立製作所中央研究所
-
直野 健
株式会社日立製作所中央研究所
-
猪貝 光祥
(株)日立超LSIシステムズ
-
大島 聡史
東京大学情報基盤センタースーパーコンピューティング研究部門
-
櫻井 隆雄
日立製作所中央研究所
-
直野 健
東京大学情報基盤センタースーパーコンピューティング研究部門
-
猪貝 光祥
日立超LSIシステムズ
-
伊藤 祥司
東京大学情報基盤センタースーパーコンピューティング研究部門
-
片桐 孝洋
東京大学情報基盤センタースーパーコンピューティング研究部門
-
大島 聡史
東京大学 情報基盤センター スーパーコンピューティング研究部門
-
伊藤 祥司
東京大学 情報基盤センター スーパーコンピューティング研究部門
-
伊藤 祥司
東京大学情報基盤センター
-
片桐 孝洋
東京大学情報基盤センター スーパーコンピューティング研究部門
-
大島 聡史
独立行政法人科学技術振興機構 Crest|東京大学
-
中島 研吾
東京大学情報基盤センター スーパーコンピューティング研究部門
-
黒田 久泰
愛媛大学大学院理工学研究科
-
櫻井 隆雄
日立製作所 中央研究所
-
大島 総史
東京大学情報基盤センター
-
大島 聡史
東京大学情報基盤センター
関連論文
- SC09(学術会合報告)
- SR11000/J2における4倍精度演算を改良したFFTの実装と評価(HPC-4:性能評価,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 複数多項式によるMBPSの改善とHITACHI SR11000/J2での実装評価(並列計算,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- マルチコアクラスタにおける有限要素法アプリケーションのための階層型領域間境界分割に基づく並列前処理手法(マルチコア,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 「行列・固有値問題の解法とその応用」研究部会活動報告(研究部会だより)
- SR11000モデルJ2における4倍精度積和演算の高速化(数値計算)
- 相乗り通信を利用したソフトウェアDSMの通信回数削減手法(ARC-9:メモリ管理,2006年並列/分散/強調処理に関する『高知』サマー・ワークショップ(SWoPP 高知2006))
- 「数値計算のための自動チューニング」特集号に寄せて (特集 数値計算のための自動チューニング)
- 1.ソフトウェア自動チューニングの枠組み(概論,科学技術計算におけるソフトウェア自動チューニング)
- 「Cellスピードチャレンジ2008」実施報告(ARC-6:通信およびコンテスト報告,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- ソフトウェア自動チューニングにおける標本点逐次追加型性能パラメータ推定法の疎行列計算への適用(数値計算)
- マルチコアプログラミングコンテスト「Cellスピードチャレンジ2007」実施報告(ARC-11 : シミュレータおよびコンテスト報告,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- Alphaアーキテクチャ用COINSマシン記述の実装とGCCとの比較
- ソフトウェア自動チューニングにおける標本点逐次追加型性能パラメータ推定法(数値計算,数理計画法)
- 通信量の密度に着目したS-DSM開発支援ツールS-CATの機能拡張(セッション2)
- ソフトウェアDSM MochaとMPIの並列ベンチマークを用いた性能評価(クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 電力的制約を考慮した低消費電力指向最適化コンパイラ(コンパイラ及びツール,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 量子i.i.d.状態における仮説検定の漸近特性に関する数値的アプローチ
- CPUとGPUを用いた並列GEMM演算の提案と実装(数値計算)
- MPIとの比較によるソフトウェアDSMの性能評価(ARC-9:メモリ管理,2006年並列/分散/強調処理に関する『高知』サマー・ワークショップ(SWoPP 高知2006))
- Effect on Run-time Auto-tuning for the Multi-section with Multiple Eigenvalues Method
- 不均質なクラスタ環境を対象とするデータ再配置による動的負荷分散機構の設計と実装(会場A)
- Multi-section with Multiple Eigenvalues Method for Computing Eigenvalues in Symmetric Tridiagonal Eigensolvers(並列数値計算,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- Multi-section with Multiple Eigenvalues Method for Computing Eigenvalues in Symmetric Tridiagonal Eigensolvers(並列数値計算, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- S-DSMシステムにおけるページ要求時の受信通知を削減する方式(ソフトウェア分散共有メモリ)
- 6.自動チューニング機能付き数値計算ライブラリ(ソフトウェア自動チューニング技術の応用,科学技術計算におけるソフトウェア自動チューニング)
- 「数値計算のための自動チューニング」特集号に寄せて(数値計算のための自動チューニング)
- SIAM PP10参加報告 : SIAM-JSIAM協力へ向けて必要なこと(学術会合報告)
- SIAM CSE09(Conference Reports)
- SIAM PP 08報告(学術会合報告)
- 「行列・固有値問題の解法とその応用」研究部会活動報告
- 8.並列反復法と自動チューニング : マルチコア時代の並列プログラミングモデル(ソフトウェア自動チューニング技術の応用,科学技術計算におけるソフトウェア自動チューニング)
- 超並列マルチコア環境での自動チューニング機能の有効性 : T2Kオープンスパコン上の固有値ソルバを例にして(並列数値計算)
- Segmented Scan法のCUDA向け最適化実装
- OpenATLib:数値計算ライブラリ向け自動チューニングインタフェース
- ペタフロップス環境における小規模行列用対称密行列固有値ソルバに向けて-逆変換の改良
- Xabclib : 汎用的自動チューニングインターフェースOpenATLibを利用した反復解法ライブラリの開発(数値計算のための自動チューニング(続))
- 並列プログラミングモデルと自動チューニング(数値計算のための自動チューニング(続))
- 行列計算ライブラリ向け数値計算ポリシーインターフェースの提案
- 自動チューニングインターフェースOpenATLibにおける疎行列ベクトル積アルゴリズム
- OpenATLibを利用した疎行列ライブラリの開発と評価
- OpenATLib:汎用的な自動チューニングインターフェースの設計と実装
- ソフトウェアDSM MochaとMPIの並列ベンチマークを用いた性能評価(クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 電力的制約を考慮した低消費電力指向最適化コンパイラ(コンパイラ及びツール,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- CPUとGPUの並列処理による行列積和演算方式の提案(ARC-8: 応用システム, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- 3次元津波伝搬シミュレーションにおけるコード最適化一手法
- M×N通信による大規模連成シミュレーション(数値計算と計算環境,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- M×N通信による大規模連成シミュレーション(数値計算と計算環境,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- OpenMP/MPIハイブリッド並列プログラミングモデルの多重格子法への適用
- 「Cellチャレンジ2009」実施報告
- 「Cell チャレンジ2009」実施報告
- SIAM AN10(Conference Reports)
- マルチコアプロセッサにおけるリオーダリング付き非構造格子向け前処理付反復法の性能
- Windowsクラスタにおける疎行列反復解法ソルバの自動チューニング(HPC-3:自動チューニングI,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 自動チューニングインターフェース OpenATLib における疎行列ベクトル積アルゴリズム
- 2008年度年会「若手研究者による学会への期待」報告
- Supercomputing 08(Conference Reports)
- 編集にあたって(科学技術計算におけるソフトウェア自動チューニング)
- 4.ソフトウェア自動チューニング記述のための計算機言語(ソフトウェア自動チューニングを支える基盤,科学技術計算におけるソフトウェア自動チューニング)
- T2Kオープンスーパーコンピュータと共用イノベーション
- T2Kオープンスパコンが創る新しい計算機環境
- SC08参加報告
- マルチコアクラスタにおける有限要素法アプリケーションのための階層型領域間境界分割に基づく並列前処理手法(マルチコア,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- APCOM07-EPMESC XI報告(学術会合報告)
- GeoFEMベンチマークによるHitachi SR11000/J2の性能評価(性能評価,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- GeoFEMベンチマークによるHitachi SR11000/J2の性能評価(性能評価,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- 階層型領域分割によるマルチステージ並列前処理手法へのハイブリッド並列プログラミングモデルの適用(グリッドと数値計算)
- 計算科学手法と原子力分野における応用 : 第9回 高速化技術(その2)
- ボクセル型背景格子を使用した大規模並列可視化手法(HPC-6 : 並列アプリケーション)
- GeoFEMベンチマークによるHitachi SR11000/J1およびIBM p5-595のノード性能評価(性能評価,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- 疎行列反復解法ライブラリにおける自動チューニング機能の開発 (科学技術計算アルゴリズムの数理的基盤と展開)
- マルチコア時代の並列前処理手法 (科学技術計算アルゴリズムの数理的基盤と展開)
- 自動チューニング処理記述言語ABCLibScript の組み込みシステムへの適用の一検討(HPC-12 : 自動チューニングII)
- 三次元有限要素法アプリケーションにおける行列生成処理のCUDA向け実装
- ヘテロ環境を目指した拡張階層型領域間分割に基づく高次フィルイン付き前処理手法の高速化
- 自動チューニング機構を有するアプリケーション開発・実行環境ppOpen-HPC
- 疎行列-ベクトル積における実行時データ変換のための自動チューニング方式
- 三次元有限要素法アプリケーションのCUDA向け実装と性能評価
- 自動チューニングインターフェースOpenATLibにおける自動チューニング機能の評価
- 六面体メッシュの適合型並列局所細分化と負荷分散(HPC-10:大規模計算,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- HxABCLibScript:非均質計算機向け自動チューニング記述言語拡張
- FEF09(15th International Conference on Finite Elements in Flow Problems)(Conference Reports)
- 国際クリロフ(Krylov)京都フォーラム(学術会合報告)
- 並列有限要素法のための新しい領域分割手法
- スパコンは本当にものづくりに役立つのか?
- 東京大学における「学際計算科学・工学人材育成プログラム」
- 地盤工学会地盤環境賞を受賞して(2)(学会の動き)
- 高精度行列-行列積アルゴリズムのスレッド並列化とABCLibScriptへの機能実装
- 大規模SMP並列スーパーコンピューター(HITACHI SR16000モデルM1)の性能評価
- 日本応用数理学会若手の会(研究部会だより)
- SC10参加報告
- SIAM CSE 11(学術会合報告)
- $ppOpen-AT$ : ポストペタスケール時代の数値シミュレーション基盤ソフトウェア$ppOpen-HPC$ のための自動チューニング基盤 (科学技術計算における理論と応用の新展開)
- 収束障害(Fault Convergence):数値計算ソフトウェアにおける新しい安全性の概念
- 量子i.i.d.状態の仮説検定に関する数値的手法とその誤差分析 (コンピューティングシステム Vol.4 No.4)
- レイテンシコアの高度化・高効率化による将来のHPCIシステムに関する調査研究のためのアプリケーションと性能評価
- レイテンシコアの高度化・高効率化による将来のHPCIシステムに関する調査研究のためのアプリケーションと性能評価
- BiCGStab法の前処理付きアルゴリズムに対する改善 (コンピューティングシステム Vol.5 No.3)
- 10th International Meeting on High-Performance Computing for Computational Science (VECPAR 2012) 参加報告
- 有限要素法係数行列生成プロセスのマルチコア・メニィコア環境における最適化