Webページ移動先発見のための効率的なクローリング手法
スポンサーリンク
概要
- 論文の詳細を見る
近年,World Wide Webは社会における重要なメデイアの1つとして大きな役割を果たしている.Webの特徴の1つに分散管理があるが,これはしばしば内容の一貫性が維持されない原因となっている.我々はWebコンテンツの一貫性維持支援の1つとして,Webページの移動によってリンク切れが引き起こされたときに,移動先を発見する問題に取り組んでいる.これまでの実験の結果,多くのページが,同一Webサイト内で移動していることが分かった.したがって,Webサイト中のWebページをクローリングすることが,移動先発見の手法として有効である.しかし,大規模なWebサイト全体を網羅的にクローリングすることはコスト的に問題がある.本稿では,クローリングにおけるページ訪問の順序を工夫することにより,より少ないページ数で移動先ページを発見するための手法を提案する.実験の結果,提案手法が有効であることが分かった.
- 社団法人情報処理学会の論文
- 2007-06-15
著者
-
杉本 重雄
筑波大学大学院 図書館情報メディア研究科
-
北川 博之
筑波大学大学院システム情報工学研究科
-
森嶋 厚行
筑波大学大学院図書館情報メディア研究科
-
澤 菜津美
筑波大学大学院図書館情報メディア研究科
-
飯田 敏成
筑波大学大学院図書館情報メディア研究科
-
杉本 重雄
筑波大学・図書館情報学系知的コミュニティ基盤研究センター
-
森嶋 厚行
筑波大学大学院図書館情報メディア研究科|筑波大学知的コミュニティ基盤研究センター
-
飯田 敏成
筑波大学大学院図書館情報メディア研究科:(現)株式会社日立製作所
-
飯田 敏成
筑波大学大学院 図書館情報メディア研究科
-
森嶋 厚行
筑波大学大学院 図書館情報メディア研究科
-
杉本 重雄
筑波大学図書館情報学系
関連論文
- 異なる学問分野のコーパスを利用した専門用語抽出手法の提案
- 〈「ディジタル図書館」ワークショップ第38回 発表論文〉オブジェクト指向 FRBR を基礎としたマンガオントロジーの設計
- 〈「ディジタル図書館」ワークショップ第38回 発表論文〉複数の歴史文書ディジタルアーカイブを対象とする年表型ユーザインタフェースの開発
- RDF/OWLを利用した歴史情報閲覧システムの構築(セッション3)
- 護符の電子化構造分析 : 「道法會元」における護符を対象として(セッション1)
- 〈「ディジタル図書館」ワークショップ第37回 発表論文〉 ディジタル環境を指向したマンガの制作プロセスのモデル化とそれに基づく制作支援 （筑波大学東京キャンパス（秋葉原地区）. 2009年11月19日）
- Dublin Coreの現在
- 専門課程公共職業訓練生の職業と学習に関する意識調査とその分析 (e-Learningの実践と学習支援システム/一般)
- Webとファイル空間を対象とした情報空間ガバナンス技術(ウェブ情報とデータベースに関して(ポスター講演))
- 〈発表論文〉ストーリーの知的内容を表すメタデータ記述項目の提案 : Wikipedia上のマンガ・小説作品記事を対象として （「ディジタル図書館」ワークショップ 第35回）
- 〈原著論文〉 アジアにおける農産物の研究動向
- ストーリーの知的内容を表すメタデータ記述項目の提案 : Wikipedia上のマンガ・小説作品記事を対象として(一般発表)
- Webコンテンツ一貫性管理のための制約発見支援(セッション5a:Webマイニング)
- 世界のWebアーカイブ-IIPC (International Internet Preservation Consortium)を中心にして(Webアーカイビングの現状と課題)
- HTMLラッパ自動構築手法の提案
- 組織内Webアーカイブシステムにおけるアーカイブデータの整合性について
- ワンクリックアーカイビング : コンテンツ管理と記録管理のシステムを橋渡す
- 3ZK-8 Webコンテンツ一貫性管理支援ツールの開発(情報爆発時代におけるWeb技術およびWeb情報抽出,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 分割・統合可能な組織内Webアーカイブシステムの構成方法
- 公共図書館がWebで公開する情報資源とその特徴
- ＜発表論文＞ディジタルリソースの保存方式選択のためのガイドライン （情報処理学会 情報学基礎研究会（F1）第88回）
- ディジタルリソースの保存方式選択のためのガイドライン(第88回情報学基礎研究発表会の論文)
- 非定型Webコンテンツ管理のための軽量ラッピング言語(夏のデータベースワークショップ2007(データ工学,一般))
- 非定型Webコンテンツ管理のための軽量ラッピング言語(データ管理,夏のデータベースワークショップ2007(データ工学,一般))
- Webページ移動先発見のための効率的なクローリング手法
- メタデータスキーマの再利用を指向したスキーマ設計支援システム
- バックエンドDBを持たないWebコンテンツ管理のためのラッピング言語
- 国会図書館件名標目表（ＮＤＬＳＨ）のＳＫＯＳ化とそのグラフィカルブラウザの作成
- 国会図書館件名標目表(NDLSH)のSKOS化とそのグラフィカルブラウザの作成
- LL_011 コンテンツを組織化する知識コンテンツ構築システムの提案(L分野:ネットワークコンピューティング)
- Webページ移動先発見のためのクローリング手法の提案(データ応用,夏のデータベースワークショップDBWS 2006)
- Webページ移動先発見のためのクローリング手法の提案(データ応用)
- 協調学習のためのコンテンツ構築システムEduWikiの開発(セッション7: 社会システム・教育支援システム)
- ベンチマークによるデータ変換支援ツール評価の一手法
- 利用者の特性と環境に応じたリソース選択のためのメタデータスキーマモデル
- 地域図書館が発信する Web 上の電子化資料の主題とタイプの分析 （「ディジタル図書館」ワークショップ 第28回）
- 複数デバイスで記録されたコンテンツの分類・同期システムの提案(個人コンテンツ管理, 夏のデータベースワークショップDBWS2005)
- Webリンク切れ自動修正のための公開実験システムの開発(Webシステム, 夏のデータベースワークショップDBWS2005)
- 複数デバイスで記録されたコンテンツの分類・同期システムの提案(個人コンテンツ管理, 夏のデータベースワークショップ2005)
- 〈情報処理学会 第100回情報基礎とアクセス技術研究会（IFAT） 発表論文〉日本目録規則のApplication Profile化に関する研究（立命館大学 びわこ・くさつキャンパス エポック立命21. 2010年11月4日）
- Webリンク切れ自動修正のための公開実験システムの開発(Webシステム, 夏のデータベースワークショップ2005)
- Peer-to-Peer環境におけるユーザ間のインタラクションに基づく階層的知識の拡張手法(知識協創支援)(知の共有から知の協創へ)
- イベントの概念に基づいた異種デジタルコンテンツの分類システムの提案
- ルール記述に基づくXMLデータからの意味情報抽出手法(メタデータ1)(夏のデータベースワークショップDBWS2004)
- WWWにおける信頼度の高いリンクの発見(Webリンク)(夏のデータベースワークショップDBWS2004)
- ルール記述に基づくXMLデータからの意味情報抽出手法(セッション6B : メタデータ1)(夏のデータベースワークショップ : DBWS2004)
- WWWにおける信頼度の高いリンクの発見(セッション6A : Webリンク)(夏のデータベースワークショップ : DBWS2004)
- WWWリンク一貫性維持支援システムにおけるリンク切れ自動修復
- ユーザ定義ルールを用いたXMLデータからの概念モデル抽出
- 新たな電子図書館像の構築に向けて(電子図書館Part-2)
- 〈発表論文〉 情報発信組織主導のWebアーカイブシステム （「ディジタル図書館」ワークショップ 第24回）
- 情報発信組織主導のWebアーカイブシステム
- XMLとメタデータ : メタデータの基本概念
- WWWコンテンツ一貫性管理のためのリンク更新機構(セッション9A : Web(1))
- WWWコンテンツ一貫性管理のためのリンク更新機構(Web(1))(「夏のデータベースワークショップ(DBWS2003)」一般)
- ディジタルコンテンツのアーカイブとメタデータ(ディジタルアーカイブ)
- 解説 Dublin Coreについて(1)概要
- Dublin Coreについて 第2回 : ―より深い理解のために―
- Dublin Core : 最近の話題から
- ディジタル資料の保存について : 方針と制度の観点から
- 多様な利用者環境で多言語文書表示を可能にするXMLブラウザ
- メタデータについて : Dublin Coreを中心として
- Dublin Coreについて : 最近の動向、特にqualifierについて
- RDF Schemaに基づくメタデータレジストリ
- RDF Schema に基づくメタデータレジストリ
- Dublin Core について : 最近の動向,特に qualifier について
- メタデータのブラウジングシステムの構築
- 日本語漢字の異形字シソーラス
- Dublin Coreに関する最近の話題から : 第7回Dublin Coreワークショップほか
- Dublin Core Metadata Element Setにおける多言語への対応
- 図書館情報大学におけるディジタル図書館システム
- 電子図書館の研究開発の状況 : アメリカを中心として(電子図書館)
- Dublin Core Metadata Element Setに関して
- タグ付き文書を対象とした多言語全文検索システム
- 「係り受け句」による検索語の展開とそれに基づく文献選択
- Dublin Core Metadata Element Set について : 現在の状況と利用例
- メタデータについて : Dublin Coreを中心として(メタデータ)
- 招待講演:ネットワーク文化社会における図書館 (『1999年情報学シンポジウム』プログラム--WWW情報検索・電子図書館・セキュリティ・著作権・マルチメディア情報流通・感性情報処理) -- (セッション6:デジタルライブラリ)
- WWWブラウザからアクセス可能な多言語全文データベース構築システム
- ビットシグネチャを用いたWebページの包含従属性発見の効率化
- 児童図書館読書相談エキスパ-トシステムの試作
- 日本目録規則のApplication Profile化に関する研究
- 道法会元における符関連度の分析
- 3ZP-1 ヒューリスティクスを用いたWebコンテンツの包含従属性発見の効率化(情報爆発時代におけるデータマイニング・アルゴリズム,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- クライアントにフォントを必要としない多言語HTML文書ブラウジングシステム
- ブラウザ側にフォントを必要としない多言語HTML文書の提供システム
- インターネット上での児童図書選択支援システム
- WWW文書のための多言語ブラウザとそのゲートウェイサービス
- 海外利用者のための日本語OPAC
- 組み込みフォントを必要としないWWWのための多言語ブラウザ
- 分散環境を利用したCD-ROMオンライン目録システム
- 分散環境を利用したCD-ROMオンラインカタログシステム
- エキスパートシステムの諸事例-III : マルチメディア知識ベースシステムとその児童向き読書相談システムへの適用
- CommonLISP仕様に基づくConcurrentLISP処理系の実現
- 利用者の特性と環境に応じたリソース選択のためのメタデータスキーマモデル
- F-006 日本十進分類法とWikipediaのカテゴリを用いた蔵書検索クエリの拡張 : 蔵書検索結果を用いた語彙構造化(F分野:人工知能・ゲーム,一般論文)
- 1. 情報学の概要とその現状 ( 情報学とその課題)
- 3. わが国における情報学の課題 (情報学とその課題)
- 2. 情報化社会の規範 (<連載報告> 情報学とその課題)
- 図書館情報大学におけるLANの性能測定