PCでEZweb公式サイトのカテゴリ順位を調べる

auのEZweb公式サイトのカテゴリで自社のサイトが何位なのか調べるために、わざわざ実機で調べていたけどau oneのPCサイトでEZweb公式サイトカテゴリが閲覧できた。

順位もちゃんと連動しているみたいなので、このページを自動で解析してやれば1つ定例作業が減る事になる。

着ムービー・着Flashの音楽カテゴリのサイト一覧を取得するPerlは以下のとおり。

1
2
3
4
5
6
7
8
9
10
use strict;
use warnings;
use utf8;
use Perl6::Say;
use URI;
use Web::Scraper;
 
my $uri = new URI('http://k-tai.auone.jp/ezweb/04/01/list_01.html');
my $res = scraper { process 'dt', 'sitename[]' => 'TEXT' }->scrape($uri);
do { s/^ *(.*?) .$/$1/; say } for @{$res->{sitename}};

Web::Scraperでdtタグに囲まれているサイト名を配列で取得して、前後の不要なスペースを除去するだけ。Windows環境で実行したら、行末によく分からん\x{00A0}が付いてたので、正規表現で消してお茶濁した。

もうちょっと改造して、自分のサイト名とマッチさせる処理入れたら順位も取れるけど、サイト数が多いカテゴリだと50サイトずつしか表示されないので後ろのページも取りに行くようにしなければいけない。

めんどくさいからまた今度。

Leave a reply

Your email address will not be published.

You may use these HTML tags and attributes:

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>