06月12日(Tue) 10:00〜12:20 A会場(-山口県教育会館／大ホール(512))
| 演題番号 | １A1-OS-17a-2 |
|---|---|
| 題目 | ハイパフォーマンス・エラスティック・クローリング |
| 著者 | 藤井 秀明(独立行政法人 情報通信研究機構 ユニバーサルコミュニケーション研究所 企画室) 岩瀬 高博(株式会社神戸デジタル・ラボ) 原口 弘志(独立行政法人 情報通信研究機構 企画室 戦略的情報集積共通基盤チーム) 泥谷 誠(独立行政法人 情報通信研究機構) 岩爪 道昭(独立行政法人情報通信研究機構) |
| 時間 | 06月12日(Tue) 10:20〜10:40 |
| 概要 | 我々は、これまで情報分析システムのためのWebクローラを開発・運用し、10億ページ規模のWebアーカイブを構築してきた。現在、さらなる大規模化と多様なメディアに対応する超高性能クローラの開発を進めている。本発表では、これまでの取り組みについて概説するとともに、ビッグデータ時代に対応したクローラの実現に向けた諸課題のうち、特に大量のURLデータ管理に焦点をあてた性能検証の結果について紹介する。 |
| 論文 | PDFファイル |