RubyでWebスクレイピング 〜 HpricotとWWW::Mechanize

Webページから情報を取得する。
Webスクレイピングなんてキーワードが生まれるような分野らしいですが。

RSSがあれば、それも良し。そうでなければどうするか。
HTMLページ内容から情報を抜く必要があるのだが、HTMLのパーサーって、ありそうであまりない。

Rubyに、WebのHTMLページ内容に対する、パーサめいたライブラリ(Hpricot)と、 ページアクセスを操作出来るライブラリ(WWW::Mechanize)があったので、メモ。

gemからインストール。

$ sudo gem install -r hpricot
$ sudo gem install -r mechanize

以下のサイトを参考に、irbから簡単に試してみたが、強力過ぎる香りがする。
ある限定されたテーマのRSSフィードを収集し、データベース化してみているのだが、 HpricotとWWW::Mechanizeを使うと、もっと幅広いページの取得が可能になりそう。

データが膨大になるとやり切れないですが...

• Hpricot HTML・XMLを「Rubyらしく」扱うライブラリ。
• Mechanize ウェブサイトのアクセスを自動化するライブラリ。

• [ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize

• WWW::Mechanize API
• WWW::Mechanize examples
• WWW::Mechanize による Webアクセスの自動化