_ [Twitter][Perl] Togetter にまとめられた内容を TSV 化する Perl スクリプト

Togetter にまとめられたツイートを Excel で加工したくなったが、Togetter 自身には CSV 等でエクスポートする機能はないようだったので、スクリプト書いた。

#!/usr/bin/env perl
use strict;
use warnings;
use utf8;
binmode STDOUT, ':utf8';
binmode STDERR, ':utf8';
use LWP::UserAgent;
use HTML::TreeBuilder;
 
my $url = shift or die;
 
my $ua = new LWP::UserAgent;
$ua->env_proxy;
my $res = $ua->get($url) or die;
my $content = $res->decoded_content or die;
 
my $tree = new HTML::TreeBuilder;
$tree->parse($content) or die;
 
print join("\t", 'Date', 'User', 'Tweet'), "\n";
foreach my $item_tree ($tree->look_down('class' => 'list_item')) {
	my $tweet = $item_tree->look_down('class', 'tweet')->as_text;
	my $user = $item_tree->look_down('class', 'status')->look_down('_tag', 'a')->as_text;
	my $date = $item_tree->look_down('class', 'status')->look_down('_tag', 'span')->as_text;
	print join("\t", $date, $user, $tweet), "\n";
}

以上を togetter2tsv.pl として保存したうえ、

perl togetter2tsv.pl http://togetter.com/li/xxxxxx > result.txt

という感じで使う。