分散環境におけるL_1距離ベースLocality-Sensitive Hashingの通信回数削減手法とその実装評価(データ処理アルゴリズム,e-science and Big Data,一般)
スポンサーリンク
概要
- 論文の詳細を見る
Locality-Sensitive Hashing(LSH)は高次元データに対する近似最近接点探索アルゴリズムである.LSHは高速な反面,ハッシュテーブルを複数個使用するため空間計算量が非常に大きい.そのため,大規模なデータに適用するには,LSHを複数計算機に分散して実現する技術が必要になる.LSHを分散環境で実現する場合,単純には各ノードにハッシュテーブルを均等に固定数ずつ配置する手法が考えられる.しかし,この方法では検索時に全ハッシュテーブルへアクセスする際に多数のリモートアクセスが発生し,通信がボトルネックとなる分散環境では応答時間が長くなる.本研究ではハッシュバケツの配置を工夫し,同じデータを含む異なるハッシュテーブル上のハッシュバケツをなるべく同じノード上に配置する方式を提案する.提案方式ではクエリ処理時に1回のリモートアクセスで複数のハッシュバケツへアクセスできるので,リモートアクセス回数が削減される.
- 2011-12-09
著者
-
古賀 久志
電気通信大学大学院情報システム学研究科
-
渡辺 俊典
電気通信大学大学院情報システム学研究科
-
古賀 久志
(株)富士通研究所
-
古賀 久志
電気通信大学大学院情報システム学研究所情報システム設計学専攻
-
渡辺 俊典
電気通信大学
-
渡辺 俊典
電気通信大学 情報システム学研究科
-
古賀 久志
電気通信大学 大学院 情報システム学研究科
関連論文
- 頻出グラフマイニングを利用した動画像解析(データマイニング)
- テキスト化を介した画像分類手法の提案(企業・学生交流セッション「企業のAI・大学のAI」)
- スライディングウィンドウを考慮したDynamic TCP Acknowledgment問題
- スライディングウィンドウを考慮した Dynamic TCP Acknowledgment 問題
- 指向性アンテナを用いた無線アドホックネットワークにおける空間の有効利用を目指したパワーコントロール手法(省電力)
- MPEG動きベクトルを用いたグローバルモーション推定に基づく移動物体のリアルタイム抽出(一般セッション,システム・制御のためのパターン認識・メディア理解)
- グラフカットを用いた動画像からの自動移動物体抽出 (コミュニケーションクオリティ)
- MPEG動きベクトルを用いたグローバルモーション推定に基づく移動物体のリアルタイム抽出
- モバイルアドホックネットワークにおけるマルチパスロードアウェアルーティングを利用した優先制御ベースのQoSフレームワーク(モバイル・アドホックネットワーク(1))
- 将来の輻輳状態の予測に基づくアクティブキュー管理手法の提案(アクティブネットワーク, IP-VPN, ネットワークセキュリティ, 超高速ネットワーク, P2P通信, ネットワークソフトウェア, 一般)
- Comet Network Processorを用いたPM/Cometの実装と評価
- インターネットでの並列分散処理の実装検討
- インターネットでの並列分散処理の方式検討
- MPEGビデオデータの動きベクトルを用いた圧縮領域における移動物体の検出と追跡(画像認識,コンピュータビジョン)
- MPEGビデオデータの動きベクトルを用いた移動物体追跡手法(一般セッション4)
- MPEGビデオデータの動きベクトルを用いた移動物体追跡手法(一般セッション,事例ベースメディア解析)
- オプティカルフローを用いた複雑背景下における人物領域の抽出(学習理論とパターン認識メディア理解, 機械学習による自然言語処理・言語処理を利用したメディア理解, 一般)
- 情報システム担当組織のための総合運営モデルの提案(情報システムの開発と運用,社会的課題に挑む情報システム)
- 超解像処理を用いたブレ画像修復手法(画像・映像処理)
- オプティカルフローを用いた複雑背景下における人物領域の抽出(学習理論とパターン認識メディア理解, 機械学習による自然言語処理・言語処理を利用したメディア理解, 一般)
- TAMPOPO 学習機械を用いた自律化ネットワーク・オペレータ ANATA の適応能力の検証
- CometによるIEEE1394を利用した計算機ネットワークの構築
- パッシブRTT推定法を使用したAQMアルゴリズム
- グラフカットを用いた動画像からの自動移動物体抽出(一般セッション,クロスモーダル)
- グラフカットを用いた動画像からの自動移動物体抽出(一般セッション,クロスモーダル)
- グラフカットを用いた動画像からの自動移動物体抽出(一般セッション,クロスモーダル)
- グラフカットを用いた動画像からの自動移動物体抽出(一般セッション,クロスモーダル)
- 超高速ネットワーク用データ共有システム : データレゼボワールの性能評価
- Data Reservoirプロトタイプシステム : アプローチと実験結果
- Data Reservoir : 理学研究のための新しい超高速ネットワーク利用基盤
- 画像の最小全域木の局所構造に着目したアピアランスベース3D物体認識手法(画像認識,コンピュータビジョン)
- MSTを用いたアピアランスベース3D物体認識手法の画像スケール変換下での性能分析
- 多次元特徴量直方体を用いたアピアランスベースオブジェクト認識手法
- ユークリッド空間内の点分布の外郭を求めるアルゴリズム(一般セッション,クロスモーダル)
- ユークリッド空間内の点分布の外郭を求めるアルゴリズム(一般セッション,クロスモーダル)
- ユークリッド空間内の点分布の外郭を求めるアルゴリズム(一般セッション,クロスモーダル)
- ユークリッド空間内の点分布の外郭を求めるアルゴリズム(一般セッション,クロスモーダル)
- 多頻度グラフマイニングを利用した動画の解析(一般セッション1,移動カメラ画像処理におけるパターン認識とメディア理解)
- 近傍集合表現を利用した画像からのオブジェクト自動抽出(画像認識,コンピュータビジョン)
- 映像からの動作オブジェクト自動学習システムAMOR(一般セッション1,文字・文書の認識・理解)
- 異種の高速トランスポートプロトコルへの帯域公平性を考慮したUDTの改良(ネットワークモデルと通信プロトコル,インターネットトラヒック,TCP/IP,性能解析・評価,ネットワークモデル及び一般)
- 最小全域木の適応しきい値切断による画像分割方式(画像処理,画像パターン認識)
- 直交する2つの最小全域木(MST)を用いた画像特徴抽出可能性の検討
- 広域並列分散システムのための信頼できるマルチキャスト
- 広域並列分散システムのための信頼できるマルチキャスト
- 圧縮性とオブジェクトらしさ尺度に着目した画像からのオブジェクト自動抽出法(一般,日本・韓国におけるPRMU技術の産業応用)
- マルチフェーズハッシュを利用した部品ベースオブジェクト発見手法(一般セッション7)
- マルチフェーズハッシュを利用した部品ベースオブジェクト発見手法(一般セッション7,顔・ジェスチャの認識・理解)
- マルチフェーズハッシュを利用した部品ベースオブジェクト発見手法(一般セッション7,顔・ジェスチャの認識・理解)
- H-001 両方向ゼロ比較に基づくノイズベクトルの除去(H分野:画像認識・メディア理解,一般論文)
- 投票機構による動作オブジェクトのオンラインリアルタイム学習と認識(画像認識,コンピュータビジョン)
- 輸送問題の解法に基づく動き領域抽出手法
- 木編集距離を利用した木データの構造と内容の類似性を反映する分類手法(一般セッション(1),データ工学とメディア理解との融合)
- 木編集距離を利用した木データの構造と内容の類似性を反映する分類手法(一般セッション(1),データ工学とメディア理解との融合)
- 属性付きグラフマッチングアルゴリズムの効率的な実装(セッション4)
- 投票機構を用いた動作モデルのオンライン自動獲得(一般セッション)
- 投票機構を用いた動作モデルのオンライン自動獲得(一般セッション)
- CPSY2000-54 広域並列分散システムにおける通信特性の評価
- 競合度によるオンラインアルゴリズムの解析(学生のページ)
- 場との相互作用による群ロボットの協調搬送行動
- エンドホストでのAQMエミュレーションによるTCPコネクション間のスループット公平性改善 (情報ネットワーク)
- 最小全域木(MST)の深さ優先探索による画像分割方式
- 多次元特徴量直方体の相関関係を用いたオブジェクト認識方式FRCMの機能検証
- 多次元特徴量直方体の相関関係を用いたオブジェクト認識方式FRCMの機能検証
- 航空写真内オブジェクトに関する半自動観念抽出方式
- Locality-Sensitive Hashingを用いた階層的クラスタ解析手法の近似解法(文字とドキュメントの認識・理解)
- Locality-Sensitive Hashing を用いた階層的クラスタ解析手法の近似解法(文字とドキュメントの認識・理解))
- Locality-Sensitive Hashingを用いた階層的クラスタ解析手法の高速化
- 画像からのオブジェクト記述の自動抽出
- 画像からのオブジェクト定義自動抽出手法の研究
- 画像オブジェクトに関する概念抽出と認識手法
- 画像オブジェクトに関する概念抽出と認識手法
- 骨格線を利用したオブジェクト検索手法(一般セッション(3))
- 高次元圧縮空間の対話的手法による次元縮小(機械学習)
- LZ78の圧縮性を利用した文書検索手法の提案(情報検索・情報抽出・QA)
- LZ78の圧縮性を利用した文書検索手法の提案(情報検索・情報抽出・QA)
- 圧縮性に注目した文書の関係分析手法(文書分類・評判分析)
- 圧縮性に注目した文書の関係分析手法(文書分類・評判分析)
- 背景の分割に対応したグラフマイニングベースの動画像からの背景除去
- フラクタル符号に基づく圧縮領域における類似画像検索手法
- 木のDPマッチングによるオブジェクト類似度の解析(文字とドキュメントの認識・理解)
- 木のDPマッチングによるオブジェクト類似度の解析(文字とドキュメントの認識・理解))
- フラクタル符号の写像情報に基づいた圧縮領域における類似度(エンタテインメントのためのパターン認識・メディア理解)
- テンポラルテンプレートを用いた動画解析手法
- グラフカットを用いた動画像からの自動移動物体抽出
- ユークリッド空間内の点分布の外郭を求めるアルゴリズム
- エンドホストでのAQMエミュレーションによるTCPコネクション間のスループット公平性改善(TCP)
- ピット近似関数を用いた局所解集合探索(セッション4)
- ピット近似関数を用いた局所解集合探索(セッション4)
- ピット近似関数を用いた局所解集合探索
- SURF特徴点を用いたグラフカットによる動画像からの移動物体自動抽出結果の精度向上 (パターン認識・メディア理解)
- 時系列の圧縮性を用いたネットワークトラフィックの適応的パターン解析 (情報ネットワーク)
- 分散環境におけるL距離ベースLocality-Sensitive Hashingの通信回数削減手法とその実装評価 (データ工学)
- 分散環境におけるL_1距離ベースLocality-Sensitive Hashingの通信回数削減手法とその実装評価(データ処理アルゴリズム,e-science and Big Data,一般)
- SURF特徴点を用いたグラフカットによる動画像からの移動物体自動抽出結果の精度向上(一般セッション,実世界文字認識と理解)
- 時系列の圧縮性を用いたネットワークトラフィックの適応的パターン解析(オーバーレイネットワーク,P2Pネットワーク,自律分散制御及び一般)
- パッシブRTT推定法を使用したAQMアルゴリズム (特集 サイバーコミュニケーション環境を実現するネットワークサービス) -- (ネットワーク品質・制御)
- A Novel Image Feature Extraction Approach Using Enhanced Edge Information
- A Novel Image Feature Extraction Approach Using Enhanced Edge Information
- グラフの共起性に着目した複数オブジェクトを含む画像からの自動オブジェクト発見(一般セッション,文字・文書の認識と理解及びアルゴリズム・システム評価)