Yet another Blosxom weblog.
by chihiro chihiro at dream dot com
こんにちわ。chihiroです。
Linuxとアニメ、マンガネタが多いかも?
イワタバコ科の植物も大好き。写真も撮るかなぁ〜。
そんな日常。
TOP
Message Board
Documents Archive
コンピュータ関連
| 1月 2009 | ||||||
|---|---|---|---|---|---|---|
| 日 | 月 | 火 | 水 | 木 | 金 | 土 |
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
プレジデントエスカの愛の小部屋
超人
「あ〜毎日素敵に暮らし...」 - グッチーBLOG
萌えキャラ♪WonderNet - 麻枝萌人のページ
おつかれサモア - iRA BLOG
IKAKICK - ラッキィ池田事務所
踊り放題! - ラッキィ池田BLOG
TOGETHER - ルー大柴BLOG
浅井企画
Slashdot Japan
CNET Japan
ZDNet
PC Watch
Nikkei BP Network
ケータイWatch
Japan internet.com
2ちゃんねる
AA大辞典(仮)
NHKラジオ
TBS R&C(954)
文化放送(1134)
AM HPリスト
日本のLinux情報
Linux Software Search(J)
もじら組
mozilla.org
Mozilla 日本語ローカライズ版リンク集
Mozilla 日本語インストーラ
Japanized Apache Server Project
The Apache Software Foundation
日本PHPユーザー会
PHPマニュアル
CPAN - Comprehensive Perl Archive Network
Qmail
Qmail(Jp1)
Qmail(Jp2)
Binc IMAP
Fedora Project(E)
Fedra JP Project(J)
Vine Linux(J)
Debian(J)
Debian JP Project(J)
Palm Fan
Muchy´s com
ProjectPalm
Simple-Palm
Visor Japan
CLIE User Club!
パルマガ(停止中)
パーム航空 (停止中)
iPAL-NEXT (停止中)
PalmComputing(J)
SONY(J)
HandSpring(J)
IBM(J)
PalmComputing(E)
SHARP - Zaurus(J)
Webページから情報を取得する。
Webスクレイピングなんてキーワードが生まれるような分野らしいですが。
RSSがあれば、それも良し。そうでなければどうするか。
HTMLページ内容から情報を抜く必要があるのだが、HTMLのパーサーって、ありそうであまりない。
Rubyに、WebのHTMLページ内容に対する、パーサめいたライブラリ(Hpricot)と、
ページアクセスを操作出来るライブラリ(WWW::Mechanize)があったので、メモ。
gemからインストール。
$ sudo gem install -r hpricot $ sudo gem install -r mechanize
以下のサイトを参考に、irbから簡単に試してみたが、強力過ぎる香りがする。
ある限定されたテーマのRSSフィードを収集し、データベース化してみているのだが、
HpricotとWWW::Mechanizeを使うと、もっと幅広いページの取得が可能になりそう。
データが膨大になるとやり切れないですが...
$ sudo gem install -r hpricot $ sudo gem install -r mechanize
$ sudo gem install -r hpricot Select which gem to install for your platform (i686-linux) 1. hpricot 0.6 (jruby) 2. hpricot 0.6 (mswin32) 3. hpricot 0.6 (ruby) 4. hpricot 0.5 (ruby) 5. hpricot 0.5 (mswin32) 6. Skip this gem 7. Cancel installation > 3 Building native extensions. This could take a while... Successfully installed hpricot-0.6 Installing ri documentation for hpricot-0.6... Installing RDoc documentation for hpricot-0.6...
$ sudo gem install -r mechanize Install required dependency hoe? [Yn] Y Install required dependency rubyforge? [Yn] Y Successfully installed mechanize-0.7.5 Successfully installed hoe-1.5.1 Successfully installed rubyforge-0.4.5 Installing ri documentation for mechanize-0.7.5... Installing ri documentation for hoe-1.5.1... Installing ri documentation for rubyforge-0.4.5... Installing RDoc documentation for mechanize-0.7.5... Installing RDoc documentation for hoe-1.5.1... Installing RDoc documentation for rubyforge-0.4.5... $
Posted at 2008/05/05 19:32 in /linux/ruby
ソーシャルブックマークへ登録