December 29, 2003

FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション

[ FeedBack , Perl , XML , ウェブログに関すること ]

fb_logo_mini.png

ちょっと実験的に、FeedBack なるものを作っています。

FeedBack では、特定のキーワードにヒットするウェブログの最新記事を検索することができます。FeedBack は検索結果を RSS フィードとして出力します。この RSS フィードを RSS リーダーなどに登録することで、特定のキーワードに合致する最新記事を追いかけることができます。

要は FeedSterBulkfeeds のような RSS 検索エンジンに近い動きをするのですが、今のところ、あくまで RSS リーダーと連携させて使うウェブアプリケーションという位置づけなので、検索エンジンとしてはほとんど役に立ちません。( MySQL の where ... like ... limit 15 で検索している。)

NewsGlue などの RSS リーダーにはキーワードによる絞込みフィルタの機能がありますが、自分が登録しているウェブログに対してしかフィルタをかけることができないため、未知のウェブログをそのキーワードで捕まえることができません。また、FeedSter にも似た機能がありますが、巡回対象が世界中のサイトであり、キーワードによっては検索結果がすごい勢いで流れてしまうというのがありました。

そこで、国内のウェブログサイトに的を絞ったものを作ってみようということでこんなものができあがりました。

検索対象は、ping.bloggers.jpココログPingサーバ に Ping を飛ばしているサイトで、RSS フィードを吐き出しているサイトです。1時間に1度、更新のあったサイトを中心に巡回を行っています。

定期巡回は昨日の朝ぐらいから始めたので、まだまだ検索対象の母数は少ないです。

しかしながら、あまり巡回先を増やしてしまうと、記事が多くなりすぎて逆に役立たずになってしまうので、changes.xml を吐き出す国内の Ping サーバに Ping を飛ばしているウェブログに的を絞りたいと思います。(BlogPeople の changes.xml からも巡回しようと思ったのですが、なぜかうまく取得できませんでした。もう少し調査してみます。)

記事の作成日付は RSS の dc:date エレメントを参照して取得しているので、dc:date を出力していない記事は最新記事としては取得できません。

まだまだ実験的な段階ですが、とりあえず形になったのでお知らせ。ロボットが定期的に巡回しているのに、そのデータがどこで使われているか分からないというのは、よろしくないと思ったので。Ping サーバには FeedBack-ChangesXmlCrawler/1.0、各ウェブログサイトには FeedBack/0.1 という UserAgent のロボットが巡回に行きます。

Linux + Apache + MySQL + mod_perl、主な使用モジュールは Template-Toolkit、Class::DBI::AutoLoader、LWP::UserAgent、XML::RSS、WebService::ChangesXml、Parallel::ForkManager と言ったところです。

まだ検索結果のキャッシングをしていなかったりと、結構富豪な作りになっているので、その辺を解決していくのが今後の課題です。

あ、あとフィードが EUC-JP なのですが、いずれ UTF-8 に変更しようかなと思います。

追記

現在、検索対象になるのは、各ウェブログの RSS の title 要素と description 要素、つまり記事タイトルと概要です。ですので、概要を短く出力しているサイトは、たとえキーワードが含まれるエントリでも、ヒットしない確率が高いです。(かといって概要をたくさん出力した方が良いというわけではありません。) 他の RSS 検索エンジンでも同様の仕様になっている場合が多いのですが (Bulkfeeds は content:encoded の中も検索対象としている)、MT のように概要を編集できるツールの場合、記事の内容を的確に表すようにそれを編集することで、その辺りを意識している人はちょっぴり幸せになれるかもしれません。

追記2

FeedBack という名前の由来について

RSS や Atom といった、サイト概要を記述したメタデータは一般的に「RSSフィード」と呼ばれます。(feed とは "供給" の意味だそうです。) FeedBack は RSS フィード (Atom は現時点では未対応) をかき集めて、その中から検索するシステムです。検索結果もまた RSS フィードで出力するので、「フィードを集めてフィードで戻す」というところから "FeedBack" と名づけました。

FeedBack ロゴのハサミのイラストについて

FeedBack のロゴにはハサミを採用しました。これは、たくさんのフィードの中から特定の単語にマッチするものを「切り抜く」というイメージから、ハサミを連想したところに由来します。ロゴは、手元にあったハサミをデジカメで撮って、その写真を加工して作りました。

Posted by naoya at December 29, 2003 09:06 PM | トラックバック (39)  b_entry.gif
トラックバック [39件]
TrackBack URL: http://mt.bloghackers.net/mt/suck-tbspams.cgi/739
FeedBack なるもの
Excerpt: naoya氏がFeedBackなるものを作成中。 すでにあるウェブログの記事から検索することも可能ですが、これの面白いところは、検索キーワードにひっかかるものをRSS配信してくれること。いちいちサイトに行って検索しなくても、RSSリーダーで新着を読むことができます。 NDO::...
Weblog: StarChartLog @cocolog
Tracked: December 29, 2003 09:31 PM
FeedBackで興味のある話題を追いかける
Excerpt: NDO::Weblogのnaoyaさんがまた面白いものを実験しだした。FeedBack: というもので国内のウェブログサイトで検索語を入れておくとRSSで関連情報を引っ張ることができる。 たとえばipodの情報を気にしている人ならFeedBackによるipodを含む最新エントリが検索できる。これ...
Weblog: Going My Way
Tracked: December 29, 2003 09:34 PM
FeedBackって便利かも
Excerpt: NDO::Weblog: FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション Weblog初めて日が浅いなりに、何となく“こんなことできたらいいなぁ”と思っていたことが既に形になってました。 FeedBack かなり便利かも。
Weblog: ダンディのるつぼ
Tracked: December 29, 2003 10:46 PM
FeedBackで追っかけます。
Excerpt: おもしろいものを見つけました。 FeedBack: You can always get what you want. NDO::Weblog: FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーションFeedBack では、特定のキーワードにヒットするウェブログの最新記事を検索することができます。FeedBa...
Weblog: playwithmac : weblog(tp)
Tracked: December 29, 2003 11:06 PM
好みのキーワードでRSS Feedを出力する「Feed Back」
Excerpt: blogの巡回にRSSリーダーを利用している人は多いと思います。 (RSSリーダーってなんぞや?という方は文末にあるリンクを参照してください) 自分はOS X ユーザーなので NetNewsWire Lite を利用しています。お気に入りのblogの新着情報がすぐに閲覧出来てとても重宝して...
Weblog: BananaBlog
Tracked: December 29, 2003 11:54 PM
FeedBack
Excerpt: 便利なツールをありがとうございます。
Weblog: 閑話休題::Blog
Tracked: December 30, 2003 12:29 AM
「FeedBack」というサービスが開始
Excerpt: FeedBackというサービスを記事に利用する方法について
Weblog: IGALOG
Tracked: December 30, 2003 01:21 AM
キーワード追っかけ:FeedBack、Buzzwords
Excerpt: naoyaさんが、いい感じの実験を始めた。 FeedBack では、特定のキーワードにヒットするウェブログの最新記事を検索することができます。FeedBack は検索結果を RSS フィードとして出力します。この RSS フィードを RSS リーダーなどに登録することで、特定のキーワードに...
Weblog: いい感じ
Tracked: December 30, 2003 01:38 AM
FeedBackという機能! オーマイガーっ!
Excerpt: NDO:WeblogさんのところでFeedBackという機能が紹介されています。 今、まだ機能を理解していないのですが、激動のBLOG元年2003を締めくくるにふさわしい画期的機能!? -引用 FeedBack では、特定のキーワードにヒットするウェブログの最新記事を検索することができます...
Weblog: aranxp
Tracked: December 30, 2003 02:14 AM
特定のキーワードを追いかけるFeedBack
Excerpt: NDO::WeblogのnaoyaさんがFeedBackなるサービスを実験中。 特定キーワードのRSS出力という意味では、機能紹介したBulkfeedsもやっています(Search RSSからキーワード入力→結果ページの [RSS] リンク参照)。FeedBackはあえて作りをシンプルにしたところがイイところ...
Weblog: Nightnoise::doblog
Tracked: December 30, 2003 10:18 AM
blogサイトを検索するということ (2003/12/30)
Excerpt: blogで記事を書く時やその後に、他の人は目的の話題でどのように感じているのだろうかと、同じ話題をしている人はいないか、よく調べる。 その時には、Myblog japanや、livedoor BlogなどのWeblog serviceのサイト内検索を使ったり、Googleなどでblogを入れて検索している
Weblog: きままな写真雑記
Tracked: December 30, 2003 01:51 PM
「FeedBack」も便利!
Excerpt: 「MyblogList」のおかげで「playwithmac」さんの所に書いてあった便利なツールの事を知りました。 「NDO::Weblog」のnaoyaさんが作られた『FeedBack』 「RSSリーダと連携する、新着記事追いかけウェブアプリケーション」というモノ FeedBack では、特定のキーワード...
Weblog: Tokyo Forum
Tracked: December 30, 2003 03:34 PM
FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション(NDO::Weblog 12/29)
Excerpt: NDO::WeblogのnaoyaさんによるWebアプリケーション.特定のキーワードにヒットするウェブログの最新記事を検索して,結果を RSS フィードとして出力してくれる.「この RSS フィードを RSS リーダーなどに登録することで、特定のキーワードに合致する最新記事を追いかける...
Weblog: Almost Free Internet Security
Tracked: December 30, 2003 03:44 PM
FeedBack :キーワードで新着記事を検索できる
Excerpt: NDO::Weblog: FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション FeedBack では、特定のキーワードにヒットするウェブログの最新記事を検索することができます。 をを、これは便利に使えそうですな…。試しに ck/app/search?keyword=%C3%F6%CC%DA">...
Weblog: wolog
Tracked: December 30, 2003 04:19 PM
全文検索の RSS Feed を開始
Excerpt: Search2 の検索結果の RSS 出力をサポートしました。
Weblog: blog.bulknews.net
Tracked: December 30, 2003 04:52 PM
全文検索の RSS Feed を開始
Excerpt: Search2 の検索結果の RSS 出力をサポートしました。
Weblog: blog.bulknews.net
Tracked: December 30, 2003 04:54 PM
FeedBackためしてみました
Excerpt: NDO::Weblog: FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション  気になりつつも時間がなくて試せなかったFeedBack、ようやく試してみました。以下、キーワード「RSS」のフィードをNewsGrueで読み込んだ表示。  こんな具合に、興味のあるキーワ...
Weblog: 此処録
Tracked: December 30, 2003 10:38 PM
FeedBackって、blog用コクーン?(笑
Excerpt: 昨日の夜のことなのに、既に旧聞になってしまった感がある FeedBack(笑
Weblog: あそびをせんとやうまれけむ
Tracked: December 30, 2003 11:32 PM
未知のblogをキーワードで捕まえる!
Excerpt: FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション FeedBack では、特定のキーワードにヒットするウェブログの最新記事を検索することができます。FeedBack は検索結果を RSS フィードとして出力します。この RSS フィードを RSS リーダーなどに登...
Weblog: カズミックス
Tracked: December 31, 2003 01:12 AM
新着記事追いかけウェブアプリケーション:FeedBack
Excerpt: 「NDO::Weblog」のnaoyaさんがつくられた「FeedBack」 (FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション) これはかなり便利かも。 単なるblog記事の検索エンジンと思いきや、検索結果をRSS配信しているので、自分の興味、関心のあるキーワード...
Weblog: papativa.jp
Tracked: December 31, 2003 10:52 AM
新着記事をRSSで追いかける「FeedBack」
Excerpt: NDO::Weblogのnaoyaさんが、面白いものを作られました。「FeedBack」というウェブアプリケーションで、特定のキーワードにヒットするウェブログの最新記事を検索することができます。それだけだと既に実装されているサイトがあるのですが、面白いのはここから。 FeedBack ...
Weblog: [N]
Tracked: December 31, 2003 04:39 PM
RSS Reader Panel ver.1.61
Excerpt: Mozilla Firebird 0.7用のRSSリーダーであるRSS Reader Panelがver.1.61にUPした模様。今回のバージョンではBulkfeeds
Weblog: データバックアップメモ - extended -
Tracked: December 31, 2003 05:35 PM
FeedBackのライバル?
Excerpt: blog.bulknews.net: 全文検索の RSS Feed を開始  FeedBackのエントリーを上げたら、速攻でトラックバックが入りました(笑)そもそもFeedBackからして後追いで記事にしてるので、取り上げるのが遅れてすみません。  機能的には、FeedBackとほぼ同じですね。ただ、Bulkfee...
Weblog: 此処録
Tracked: December 31, 2003 06:22 PM
NDO::Weblog: FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション
Excerpt: NDO::Weblog: FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション...
Weblog: 此処録ANNEX : ココログTIPS
Tracked: December 31, 2003 10:56 PM
FeedBack:これは便利です
Excerpt: NDO::Weblog: FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション FeedBack では、特定のキーワードにヒットするウェブログの最新記事を検索することができます。FeedBack は検索結果を RSS フィードとして出力します この説明だけではよく分からな...
Weblog: Tatsuh's Stuff
Tracked: January 6, 2004 12:32 AM
Bulkfeeds と FeedBack を導入
Excerpt: RSS 検索サービスである「Bulkfeeds」と「FeedBack」は、検索結果の RSS を出力してくれます。僕は LEGO に関するエントリーを RSS で取得するためにこれらを使わせてもらってます。miyagawa & naoya 両氏グッジョブ!  Bulkfeeds のほうは、Weblog のほかに日記サイトや...
Weblog: bricklife.*
Tracked: January 10, 2004 03:47 AM
RSS検索エンジンとキーワードFeed
Excerpt: NDO::WeblogのnaoyaさんがFeedBack - Yet Another RSS Search というサービスを開始しています. FeedBack では、特定のキーワードにヒットするウェブログの最新記事を検索することができます。FeedBack は検索結果を RSS フィードとして出力します。この RSS フィードを...
Weblog: it
Tracked: January 12, 2004 01:18 PM
FeedBack
Excerpt: 面白い検索エンジン見つけた。「FeedBack」weblogに特化した検索エンジン。 mybloglistに登録しているweblogから検索単語を含んだweblogを出してくれる。 例えば昨日の「僕と彼女と彼女の生きる道」で検索すると、このドラマのエントリーを書いた人を検索できる。 FeedBac...
Weblog: kemlog
Tracked: January 16, 2004 03:08 PM
FeedBack
Excerpt: FeedBackなるとても便利なWebアプリがあります。 NDO::Weblog: FeedBack: RSSリーダと連携する、新着記事追いかけウェブアプリケーション FeedBack では、特定のキーワードにヒットするウェブログの最新記事を検索することができます。FeedBack は検索結果を RSS フィード...
Weblog: Feanor Fan Club
Tracked: January 16, 2004 03:38 PM
FEEDBACK
Excerpt: 公式声明のサイドメニューにSticky FeedBackを導入。 FeedBackは特定のキーワードにヒットするウェブログの最新記事を検索することができるウェブサイトで、Stickyはその結果を表示することができるスクリプト。 キーワード「浦和レッズ」で設置。検索結果を見ると、うち...
Weblog: RJ2001.NET 雑記帳
Tracked: January 17, 2004 07:31 PM
パンダのおかげでRSS検索
Excerpt: パンダ検索のおかげで知ったBlog検索、FeedBack。面白いですね。作者のnaoyaさんに大感謝!
Weblog: weblogわくわく
Tracked: January 23, 2004 10:38 PM
アグリケーションサイト?
Excerpt: ココログのリンク集にアグリケーション・サイトというジャンルがあります。 ココログや、その他のウェブログ(blog)が生成する RSS や Ping などの情報を収集・統合(アグリゲート)し、さまざまなサービスを提供しているサイトです。 例えば、GarageBandを購入したユー...
Weblog: 壁パス
Tracked: January 24, 2004 09:31 PM
ありがとう、Feedback
Excerpt: 本日、私の高校の同級生メーリングリストで話題になったネタを、GoogleでもYahoo! Japanでもなく、Feedbackが教えてくれました。ありがとう、Feedback & 中の人!...
Weblog: Sync A World You Want To Explore
Tracked: February 23, 2004 11:47 PM
ありがとう、Feedback
Excerpt: 本日、私の高校の同級生メーリングリストで話題になったネタを、GoogleでもYahoo! Japanでもなく、Feedbackが教えてくれました。ありがとう、Feedback & 中の人!...
Weblog: Sync A World You Want To Explore
Tracked: February 23, 2004 11:48 PM
RSS
Excerpt: FeedBack 〜 RSS リーダーと連携させて使うウェブアプリケーション † http://naoya.dyndns.org/~naoya/mt/archives/000793.html ↑RSS検索エンジン † FeedSter Bulkfeeds
Weblog: PukiWiki/TrackBack 0.1
Tracked: June 26, 2004 09:06 PM
RSS
Excerpt: FeedBack 〜 RSS リーダーと連携させて使うウェブアプリケーション † http://naoya.dyndns.org/~naoya/mt/archives/000793.html ↑ RSS検索エンジン † FeedSter Bulkfeeds ↑ 参考 † Google.jp:RSSリーダ ichisawaWiki...
Weblog: PukiWiki/TrackBack 0.1
Tracked: July 2, 2004 07:06 PM
FeedBack
Excerpt: 最近このページのアクセスログを見たら、FeedBackというサイトからのアクセス
Weblog: my sync
Tracked: November 26, 2004 12:09 AM
教えてください。雑誌のRSS利用
Excerpt: 上の週刊ポストの記事かいてて思ったんだけど、雑誌が記事の見出しだけでいいからRSS配信してくれないかなぁ。それをFeedBack: RSSリーダと連携する、新着...
Weblog: medicoの日記
Tracked: February 1, 2005 02:34 PM
BlogPeopleのRSS検索機能が利用できる検索窓
Excerpt: Modern Syntaxのこちらのエントリーに”BlogPeopleのRSS検索機能が利用できる検索窓の配布”という内容がありました。
Weblog: HORNET's TALK..
Tracked: March 21, 2005 08:09 PM
コメント [7件]

はじめまして。sinといいます。

これ面白いですね!!
今日私のエントリの「今日の富士山」ってヤツに友人がトラックバックをしてくれて、「ニュースなどの情報提供でつながるリンクはよくあるけれど、いろんな人の「今日の富士山」みたな写真とかがつながっても面白いな。PCの前でいろんなその日の富士山が見えるから。。。」と友人と話していたところでした。
これを利用させてもらえれば、もっと広い範囲で知らないところから見つけることができるんですねっ♪楽しそうです!!

# 富士山で検索したら、飛行機からの写真があった!!
# すごいっ!!(^^)

[1] Posted by: sin at December 29, 2003 10:00 PM [返信]

ありがとうございます。

まだまだ実験的な域を出ていないので、これからといった
ところなのですが、とりあえず調子は良さそうです。 :)

まずは負荷軽減を第一課題にしていこうかなと思います。

[2] Posted by: naoya at December 30, 2003 12:00 AM [返信]

RSSリーダーを見る楽しみが俄然湧いてきました^^
有難うございます

>まずは負荷軽減を第一課題にしていこうかなと思います。

賛成一票

[3] Posted by: 裸の王様 at January 2, 2004 01:20 AM [返信]

とりあえず検索結果のキャッシュは完了しているので、
頻繁に検索される語句についてはレスポンスは速いと
思います。

現状ですと、記事が増えていくにしたがって検索時間が
長くなってしまうような仕組みになっているので、そこの
改善が次の課題です。 ;)

[4] Posted by: naoya at January 3, 2004 11:20 AM [返信]

質問です。
FeedBackの検索フォームは、自分のページに設置しても良いのでしょうか?

[5] Posted by: 山口 at January 8, 2004 02:51 AM [返信]

>>5 山口 さん

あ、全然構いませんよ。

ただ、あくまで FeedBack は実験目的で作っているものなので、とつぜんインタフェースが変更になったり、ダウンしたりする可能性があることだけご了承いただければとも思います。

[6] Posted by: naoya at January 8, 2004 12:32 PM [返信]

お返事ありがとうございます!
上記の件、了解いたしました。まめに更新情報をチェックいたします。

[7] Posted by: 山口 at January 13, 2004 02:48 AM [返信]