大規模Webアーカイブ更新クローラにおけるスケジューリング手法の評価(Web検索・Webアーカイブ,<特集>データ工学論文)

スポンサーリンク

概要

論文の詳細を見る
Web情報に基づく社会動向の分析には,刻々と変化するWebを高い網羅性と高い時間分解能でとらえた大規模Webアーカイブが不可欠であり,各Webページの更新頻度を推定して適応的に再アクセスを行う更新クローラの実現が求められる.本論文ではWebページの更新有無の履歴に基づいて次回更新タイミングを推定するWebページ再アクセススケジューリング手法を提案し,実データを用いてその有効性の評価を行う.提案手法はPoisson過程における最ゆう推定を簡略化し, Webページごとに保持する状態変数を大幅に削減することにより,大規模Webページ集合への適用を可能にした.また,高い時間分解能をもつ評価用データとしてフィードURL集合をほぼ毎日アクセスした結果を用いたシミュレーションにより,提案手法がWebページの更新間隔に適応しつつ更新の90%程度をとらえられることが明らかになった.
2008-03-01

著者

関連論文

もっと見る

スポンサーリンク