RubyでWebスクレイピング 〜 HpricotとWWW::Mechanize

Webページから情報を取得する。
Webスクレイピングなんてキーワードが生まれるような分野らしいですが。

RSSがあれば、それも良し。そうでなければどうするか。
HTMLページ内容から情報を抜く必要があるのだが、HTMLのパーサーって、ありそうであまりない。

Rubyに、WebのHTMLページ内容に対する、パーサめいたライブラリ(Hpricot)と、 ページアクセスを操作出来るライブラリ(WWW::Mechanize)があったので、メモ。

gemからインストール。

$ sudo gem install -r hpricot
$ sudo gem install -r mechanize

以下のサイトを参考に、irbから簡単に試してみたが、強力過ぎる香りがする。
ある限定されたテーマのRSSフィードを収集し、データベース化してみているのだが、 HpricotとWWW::Mechanizeを使うと、もっと幅広いページの取得が可能になりそう。

データが膨大になるとやり切れないですが...

• Hpricot HTML・XMLを「Rubyらしく」扱うライブラリ。
• Mechanize ウェブサイトのアクセスを自動化するライブラリ。

• [ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize

• WWW::Mechanize API
• WWW::Mechanize examples
• WWW::Mechanize による Webアクセスの自動化

インストールログ

$ sudo gem install -r hpricot
$ sudo gem install -r mechanize

$ sudo gem install -r hpricot
Select which gem to install for your platform (i686-linux)
 1. hpricot 0.6 (jruby)
 2. hpricot 0.6 (mswin32)
 3. hpricot 0.6 (ruby)
 4. hpricot 0.5 (ruby)
 5. hpricot 0.5 (mswin32)
 6. Skip this gem
 7. Cancel installation
> 3
Building native extensions.  This could take a while...
Successfully installed hpricot-0.6
Installing ri documentation for hpricot-0.6...
Installing RDoc documentation for hpricot-0.6...

$ sudo gem install -r mechanize
Install required dependency hoe? [Yn]  Y
Install required dependency rubyforge? [Yn]  Y
Successfully installed mechanize-0.7.5
Successfully installed hoe-1.5.1
Successfully installed rubyforge-0.4.5
Installing ri documentation for mechanize-0.7.5...
Installing ri documentation for hoe-1.5.1...
Installing ri documentation for rubyforge-0.4.5...
Installing RDoc documentation for mechanize-0.7.5...
Installing RDoc documentation for hoe-1.5.1...
Installing RDoc documentation for rubyforge-0.4.5...
$