[B! scraping] penaltyのブックマーク

Casper.JSのススメ - After Coding

2013-08-17 Casper.JSのススメ Phantom.JSというヘッドレスブラウザがある。これが超便利なんだけど、セッション周りとか込み入った操作をしようと思うと途端に操作(JSファイルへの記述)が面倒になる。そこで、Casper.JSの出番だ。 CasperはPhantomと連携するライブラリで、簡単な記述で複雑な操作を実現することができる。また、Phantomのレンダリングエンジンはwebkitで、Gekkoで動いているSlimer.JSってのもあって、これらの上で動くCasperを使っているとレンダリングどっちも使えるので捗る(と思う)。今回はEnd-to-Endテストの実現を目的に、Casper.JSでwebサイトのHTMLを解析してみる。もちろん、スクレイピングなどにも応用可能だ。 ↑ヨルムンガンドに出てくる主人公(ココ・ヘクマティアル)の兄キ

penalty 2013/08/19

リンク

WWW::Mixi::Scraper 0.07 - Charsbar::Note

昨日のリニューアルに対応した0.07をCPANにアップしました。手元のlive testsは全部パスしていますが、環境によってはまだうまくとれないものがあるかもしれません。おかしなところを見つけた方はcodereposにコミットするか、立場上おおっぴらにコミットするわけにはいかないお方はCPANのメールアドレスあたりにパッチを投げていただけると助かります。 PlaggerでCustomFeed::Mixiを使っていた方は、代替品のCF::MixiScraperもあわせてどうぞ（ネームスペースの問題とかあるのでまだ本家にはコミット申請していませんが、どうしましょうね）。＃追記：本家にコミットしました。

penalty 2007/10/13

リンク

Web::Scraper - naoyaのはてなダイアリー

Today I've been thinking about what to talk in YAPC::EU (and OSCON if they're short of Perl talks, I'm not sure), and came up with a few hours of hacking with web-content scraping module using Domain Specific Languages. 使ってみたよ! #!/usr/local/bin/perl use strict; use warnings; use FindBin::libs; use URI; use Web::Scraper; use Encode; use List::MoreUtils qw/uniq/; my $links = scraper { process 'a.key

penalty 2007/05/10

リンク

進化する“Webスクレイピング”技術の世界 ― ＠IT

2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ

penalty 2007/02/23

scRUBYt!　スクレーピングフレームワーク

リンク

ruby のスクレイピングツールキット scrAPI - 川o・-・）＜2nd life

http://blog.labnotes.org/category/scrapi/ ruby でスクレイピングして web の情報を取得するのには、今まで正規表現か xpath でやってたので、わりと面倒でした。で、ふと scrAPI というスクレイピングツールキットを知ったのですが、これがかなり便利そう。このツールキットを使うと、CSS3 なセレクタを記述することで、要素を取得することができます。たとえばとあるサイトのリンクを全部取得したければ、 require 'rubygems' require 'scrapi' require 'open-uri' require 'nkf' require 'pp' $KCODE = 'u' links = Scraper.define do process "a[href]", "urls[]"=>"@href" result :urls e