日記/2014-10-08 のバックアップ(No.1)

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• 現在との差分 - Visual を表示
• ソース を表示
• 日記/2014-10-08 へ行く。
  • 1 (2014-10-08 (水) 18:24:53)
  • 2 (2014-10-10 (金) 12:34:22)

Dstarusers.orgのlist加工

USTRUST系のログサイトhttp://http://www.dstarusers.org/ の中で知りたい情報のみlist UPするプログラムを作成してみた。

1. Webページからの切り取り。最初っから時間でソートした画面を利用。

   use strict;
   use warnings;
   use LWP::UserAgent;
   use HTML::TreeBuilder;
   
   # urlを指定する
   my $url = 'http://www.dstarusers.org/?lastheardsort=4';
   
   # IE8のフリをする
   my $user_agent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1;  Trident/4.0)";
   
   # LWPを使ってサイトにアクセスし、HTMLの内容を取得する
   my $ua = LWP::UserAgent->new('agent' => $user_agent);
   my $res = $ua->get($url);
   my $content = $res->content;

# HTML::TreeBuilderで解析する
my $tree = HTML::TreeBuilder->new;
$tree->parse($content);

DOM操作してトピックの部分だけ抜き出す。
<div id='topicsfb'><ul><li>....の部分を抽出する

open (OUT, ">> dstarlist.txt");
my @items = $tree->look_down('class', 'systemtbl')->find('td');
print OUT $_->as_text.":" for @items;
close(OUT);

• Prev
• Next
• 日記