Identifying Heavy-Hitter Flows from Sampled Flow Statistics(<Special Section>Next Generation Network Management)
スポンサーリンク
概要
- 論文の詳細を見る
With the rapid increase of link speed in recent years, packet sampling has become a very attractive and scalable means in collecting flow statistics; however, it also makes inferring original flow characteristics much more difficult. In this paper, we develop techniques and schemes to identify flows with a very large number of packets (also known as heavy-hitter flows) from sampled flow statistics. Our approach follows a two-stage strategy: We first parametrically estimate the original flow length distribution from sampled flows. We then identify heavy-hitter flows with Bayes' theorem, where the flow length distribution estimated at the first stage is used as an a priori distribution. Our approach is validated and evaluated with publicly available packet traces. We show that our approach provides a very flexible framework in striking an appropriate balance between false positives and false negatives when sampling frequency is given.
- 社団法人電子情報通信学会の論文
- 2007-11-01
著者
-
UCHIDA Masato
Network Design Research Center, Kyushu Institute of Technology
-
Uchida Masato
Network Design Research Center Kyushu Institute Of Technology
-
Takine Tetsuya
Department Of Applied Mathematics And Physics Graduate School Of Informatics Kyoto University
-
Takine Tetsuya
Department Of Information And Communication Technology Graduate School Of Engineering Osaka Universi
-
Goto Shigeki
Dept. Of Information And Computer Science School Of Science And Engineering Waseda University
-
Pan Jianping
Department Of Computer Science University Of Victoria
-
Mori Tatsuya
Ntt Service Integration Laboratories Ntt Corporation
-
Kawahara Ryoichi
NTT Service Integration Laboratories NTT Corporation
-
Takine Tetsuya
Department Of Applied Mathematics And Physics Faculty Of Engineering Kyoto University
-
Kawahara R
Ntt Service Integration Laboratories Ntt Corporation
-
Kawahara Ryoichi
Ntt Service Integration Laboratories Nippon Telegraph And Telephone Corporation
-
MORI Tatsuya
NTT Service Integration Laboratories, NTT Corporation
関連論文
- P2Pファイル共有システムにおける高頻度流通ファイルの実時間計測(システム構成・評価,セッション管理,P2P通信,オーバーレイネットワーク,性能解析・評価,信頼性及び一般)
- 進化ゲーム理論を用いたユーザの多様性がP2Pファイル共有に与える影響に関する一検討(オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
- マルチソースネットワークコーディングを用いた無線ブロードキャストの性能改善(ネットワークコーディング,解析,マルチホップ,メッシュネットワーク,ネットワーク符号化,無線通信一般)
- 疎密度モバイルアドホック網におけるXOR演算を用いた転送方式(アドホック)
- 線形ネットワークコーディングとリードソロモン消失訂正符号を用いた高効率ロバスト無線マルチキャスト通信(NW管理,次世代NWアーキテクチャ,次世代NWのオペレーションアーキテクチャ,トラヒック計測・モデリング・品質,オーバレイネットワーク,次世代NWサービス品質,一般)
- マルチレートIEEE 802.11無線LANにおけるウインド制御法(NW管理,次世代NWアーキテクチャ,次世代NWのオペレーションアーキテクチャ,トラヒック計測・モデリング・品質,オーバレイネットワーク,次世代NWサービス品質,一般)
- 無線ブロードキャストのためのマルチソースネットワークコーディング(アドホック,分散制御,オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
- BMAP/D/c待ち行列における系内客数分布の幾何漸近特性のための十分条件(トラヒック,一般)
- ルータレベルトポロジの構造特性とそのモデル化手法の提案(IPバックボーンネットワーク, フォトニックネットワークの構成/管理/制御プロトコル技術及び一般)
- 「待ち行列」研究部会報告(待ち行列理論の動向)
- STATIONARY QUEUE LENGTH IN A FIFO SINGLE SERVER QUEUE WITH SERVICE INTERRUPTIONS AND MULTIPLE BATCH MARKOVIAN ARRIVAL STREAMS
- Enhanced Fallback+ : 複数のQoS要求を満たす効率的な経路選択アルゴリズム(映像通信, コンテンツ配信ネットワーク, マルチキャスト, 一般)
- SOJOURN TIME IN A QUEUE WITH CLUSTERED PERIODIC ARRIVALS
- B-11-7 ATM伝送系におけるトラヒックシェーピングによる MPEG 映像乱れ改善の適用性
- 2. 通信・放送機構 神戸多段接続リサーチセンターの研究紹介 : 多段接続されたCATV網による通信・放送統合技術に関する研究開発
- CQ2000-34 / TM2000-32 ATM伝送系におけるセルジッタによるMPEG映像乱れの改善手法
- ベストエフォート型サービス/資源予約型サービスにおけるユーザ効用の比較
- 複数のQoS要求を満たす経路選択アルゴリズムFallback+の提案
- Access Load Balancing with Analogy to Thermal Diffusion for Dynamic P2P File-Sharing Environments
- Dynamic and Decentralized Storage Load Balancing with Analogy to Thermal Diffusion for P2P File Sharing
- 一般トポロジを持つネットワークにおけるリンクロス率最尤推定法(トラヒック計測・異常検知・一般)
- CQ2000-34 / TM2000-32 ATM伝送系におけるセルジッタによるMPEG映像乱れの改善手法
- BitTorrentの実測に基づくユーザの振る舞いとシステム可用性の評価(ネットワーク品質2,QoS制御,ネットワーク品質,IPv6,IPバックボーンネットワーク,ディペンダブルネットワーク,ネットワークモデル及び一般)
- Performance Comparison of Task Allocation Schemes Depending upon Resource Availability in a Grid Computing Environment(Performance Evaluation, Parallel/Distributed Computing and Networking)
- Broadcasting with Randomized Network Coding in Dense Wireless Ad Hoc Networks
- Dynamic and Decentralized Storage Load Balancing with Analogy to Thermal Diffusion for P2P File Sharing
- Impact of Censoring on Estimation of Flow Duration Distribution and Its Mitigation Using Kaplan-Meier-Based Method
- TCP Flow Level Performance Evaluation on Error Rate Aware Scheduling Algorithms in Evolved UTRA and UTRAN Networks
- Access Load Balancing with Analogy to Thermal Diffusion for Dynamic P2P File-Sharing Environments
- B-7-43 On traffic optimization through cooperation of overlay and underlay networks
- Evolutionary Game Theoretic Approach to Self-Organized Data Aggregation in Delay Tolerant Networks
- Delay Analysis for CBR Traffic in Multimedia Enterprise Network
- Dynamic Contention Window Control Scheme in IEEE 802.11e EDCA-Based Wireless LANs
- An Efficient Agent Control Method for Time-Constrained Applications
- Enhanced Fallback+ : An Efficient Multiconstraint Path Selection Algorithm for QoS Routing(Internet)
- Network Map Architecture Using Inter-Agent Communication Techniques for Multiple QoS Routing
- 特集にあたって(待ち行列モデルで考える : 広がる領域)
- Inferring Traffic Flow Characteristics from Aggregated-flow Measurement(Special Issue on Selected Papers from SAINT 2002(The 2002 Symposium on Applications and the Internet))
- Inferring Link Loss Rates from Unicast-Based End-to-End Measurement (Special Issue on Internet Technology II)
- How do internet routing policies give rise to triangle inequality violations in latency measurements? (情報ネットワーク)
- QoS-Aware Overlay Routing with Limited Number of Alternative Route Candidates and Its Evaluation(Networking Technologies for Overlay Networks)
- Detection of TCP Performance Degradation Using Link Utilization Statistics(Network)
- Method of Bandwidth Dimensioning and Management for Aggregated TCP Flows with Heterogeneous Access Links(Internet)
- BS-9-2 Performance evaluation of QoS control to handle long-duration large flows(BS-9. Latest Trends on Information Networking Technologies)
- A Method of Bandwidth Dimensioning and Management Using Flow Statistics(Network Management/Operation)
- A Method of IP Traffic Management Using the Relationship between TCP Flow Behavior and Link Utilization(Network Management/Operation)
- Overload Control for the Intelligent Network and Its Analysis by Simulation
- Identifying Heavy-Hitter Flows from Sampled Flow Statistics(Next Generation Network Management)
- MAP/G/1 QUEUES UNDER N-POLICY WITH AND WITHOUT VACATIONS
- BS-4-14 How Incentive Helps in Making Peer-assisted CDN Deployable?(BS-4. System, control and design technologies for emerging network)
- Packet Sampling TCP Flow Rate Estimation and Performance Degradation Detection Method
- Traffic Matrix Estimation Using Spike Flow Detection(Internet Technology V)
- On the Characteristics of Internet Traffic Variability : Spikes and Elephants(Traffic Measurement and Analysis)(New Thechnologies and their Applications of the Internet)
- ANALYSIS OF A DISCRETE-TIME QUEUE WITH GEOMETRICALLY DISTRIBUTED GATE OPENING INTERVALS
- ABS-1-9 高信頼無線ネットワークのためのリンクロス率推定を用いたマルチパス経路制御方式(ABS-1.高信頼通信技術の実現に向けて-産業機器制御、医療及びヘルスケア応用への展開を探る-,シンポジウムセッション)
- ABS-1-9 高信頼無線ネットワークのためのリンクロス率推定を用いたマルチパス経路制御方式(ABS-1.高信頼通信技術の実現に向けて-産業機器制御、医療及びヘルスケア応用への展開を探る-,シンポジウムセッション)
- BS-3-15 Controlling Overlays with Overlay : Traffic Engineering through Cooperation between Overlay and Underlay
- Geometric overlay networks (ネットワークシステム)
- ON THE M/G/1 QUEUE WITH MULTIPLE VACATIONS AND GATED SERVICE DISCIPLINE
- Finding Cardinality Heavy-Hitters in Massive Traffic Data and Its Application to Anomaly Detection
- 持続的高パケットレートフローのオンライン検出手法(NW解析(2)・計測・検出)
- Hop-Value-Based Query-Packet Forwarding for Pure P2P(Autonomous Decentralized Systems)
- 階層型3次元水中センサネットワークにおける蓄積運搬転送型経路制御の性能評価(センサNW)
- BS-12-37 Identifying anomalous traffic sources using flow statistics(BS-12. Network Planning, Control, and Management)
- B-7-44 フロー数平均分散特性とトラヒック管理への応用(B-7. 情報ネットワーク,一般セッション)
- An Adaptive Load Balancing Method for Multiple Paths Using Flow Statistics and Its Performance Analysis(Network)
- チュートリアル招待講演 通信ネットワークのトポロジー構成のモデル化と性能評価への応用 (ネットワークシステム)
- 2-B-9 Working VacationをもつM^X/G/1待ち行列(特別セッション 待ち行列(2))
- チュートリアル招待講演 通信ネットワークのトポロジー構成のモデル化と性能評価への応用 (コミュニケーションクオリティ)
- チュートリアル招待講演 通信ネットワークのトポロジー構成のモデル化と性能評価への応用 (情報通信マネジメント)
- スパース制約を用いたネットワークトモグラフィにおける観測パス構築法 (情報ネットワーク)
- A NONPREEMPTIVE PRIORITY MAP/G/1 QUEUE WITH TWO CLASSES OF CUSTOMERS
- BS-3-1 Boosting IP reputation services(BS-3. Management and Control Technologies for Innovative Networks)
- Query-Trail-Mediated Cooperative Behaviors of Peers in Unstructured P2P File Sharing Networks
- 通信ネットワークのトポロジー構成のモデル化と性能評価への応用(ネットワーク管理,ネットワーク品質,一般)
- 通信ネットワークのトポロジー構成のモデル化と性能評価への応用(ネットワーク管理,ネットワーク品質,一般)
- 通信ネットワークのトポロジー構成のモデル化と性能評価への応用(ネットワーク管理,ネットワーク品質,一般)
- フェリー支援型DTNにおける平均配送遅延を最小化するクラスタ群グループ化手法(ネットワークソフトウェア(ソフトウェアアーキテクチャ、ミドルウェア),NWアプリケーション,SOA/SDP,NGN/IMS/API,分散制御・ダイナミックルーチング、グリッド,NW及びシステム信頼性,NW及びシステム評価,一般)
- Effects of Sampling and Spatio/Temporal Granularity in Traffic Monitoring on Anomaly Detectability
- Extended Darknet : Multi-Dimensional Internet Threat Monitoring System
- Nonlinear Integer Programming Formulation for Quasi-Optimal Grouping of Clusters in Ferry-Assisted DTNs
- Limit Theorems for the Average Distance and the Degree Distribution of the Threshold Network Model