Backup of 日記/2014-10-08(No. 1)

Backup list
View the diff.
View the diff current.
View the diff for visual.
View the source.
Go to 日記/2014-10-08.
- 1 (2014-10-08 (Wed) 00:24:53)
- 2 (2014-10-09 (Thu) 18:34:22)

Dstarusers.orgのlist加工

USTRUST系のログサイトhttp://http://www.dstarusers.org/ の中で知りたい情報のみlist UPするプログラムを作成してみた。

Webページからの切り取り。最初っから時間でソートした画面を利用。

use strict;
use warnings;
use LWP::UserAgent;
use HTML::TreeBuilder;

# urlを指定する
my $url = 'http://www.dstarusers.org/?lastheardsort=4';

# IE8のフリをする
my $user_agent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1;  Trident/4.0)";

# LWPを使ってサイトにアクセスし、HTMLの内容を取得する
my $ua = LWP::UserAgent->new('agent' => $user_agent);
my $res = $ua->get($url);
my $content = $res->content;

# HTML::TreeBuilderで解析する
my $tree = HTML::TreeBuilder->new;
$tree->parse($content);

DOM操作してトピックの部分だけ抜き出す。
<div id='topicsfb'><ul><li>....の部分を抽出する

open (OUT, ">> dstarlist.txt");
my @items = $tree->look_down('class', 'systemtbl')->find('td');
print OUT $_->as_text.":" for @items;
close(OUT);

Backup of 日記/2014-10-08 (No. 1)

Dstarusers.orgのlist加工