Creazy!

WEBエンジニア・ヤガーのテック・ガジェットブログ

技術情報

mixi(ミクシィ)の RSS Crawler が新しくなったらしくて

投稿日:


mixi Engineers’ Blog にこんなエントリーがありました。

12月12日よりmixiのRSSのCrawlerが改善され、外部ブログの反映が今までと比べ格段にはやくなっているのに気付かれた方も多いかと思います。この改善されたRSS Crawlerの裏側について書きたいと思います

via: mixi Engineers’ Blog » 新RSS Crawlerの裏側

ほほーう、そうだったんだ。
ってかこれmixi上でアナウンスあったっけ?(バックエンドの改修はお知らせなしか?)


改修のポイントとして以下の点があげられています。

新しいCrawlerを構築するにあたって、

* 監視可能であること
* 管理・運用できること
* スケールすること

という念頭に具体的には

* 処理の分散を行う
* 処理途中でのスクリプトのデプロイを可能にする
* 長時間動作し続けるプログラムでDBへの接続はしない
* モダンなRSS解析エンジンを利用する

といったことも設計に含めました。

via: mixi Engineers’ Blog » 新RSS Crawlerの裏側

処理を分散する事で、以前は4時間ほどかかっていた全RSSの読み込みを、2時間でこなせるようになったようで、時間半減ですか。スバラシイですね。

気になる「RSS解析エンジンの変更」の効果

パフォーマンスの面と、スケーリングの面の他に個人的には「モダンなRSS解析エンジンを利用する」という項目は結構気になっています。
前に、ココログにお引っ越しした親バカブログのRSSが、mixiの外部ブログ設定をしても読み込まれないという問題がありました。ココログのベーシックタイプの場合、RSSテンプレートの変更もできないため、FeedBurnerに一旦RSSを食わせてから、mixiに読ませるとうまくいくという無駄な Tip’s を発見したりもしましたが(あ、これちゃんとエントリー書いてなかったな)、これ改善されたのかなぁ。
あと、変更前の解析エンジンってなんだったんだろ。

同日の重複表示OKになってますよね?

あと、いままでは同じ日付で複数のエントリーがあった場合、最新のエントリーだけしか表示されない「まとめ処理」がされていたような気がするんだけど、今は全エントリーが表示されますよね?これも、この改修の影響?
そんでもって、これもアナウンスなかったよね?多分。
外部ブログに限らずmixi日記も同じロジックのようだけど、すごい数の日記を更新するマイミクがいると、その人のエントリーで最新表示うまっちゃうからどうなのかなぁと思ったり。

まとめ・・・について

まとめとして書かれていましたが、

今後は巡回の速度をこれ以上あげるのではなく、pingサーバ等を用意が必要だと思っています。

via: mixi Engineers’ Blog » 新RSS Crawlerの裏側

そうでしょうね。
巡回サーバの分散でクロールのタイミングを短くする事もできるでしょうが、トラバ送ってもらう方が効率的だと思います。まあ、重複Pingとか、SPAMとか色々別の問題もあって難しいでしょうけど、頑張ってほしいですねぇ。

-技術情報

執筆者:


comment

メールアドレスが公開されることはありません。

関連記事

セミナーを共有する「セミッター」が新しくなって復活してた!

昨年参加して「爆発するソーシャルメディア」セミナーで、個人的にはものすごい衝撃を受けたセミッターというサービスがあるのですが、まさに今開催中のAMN主催ブロガー勉強会で実験しているようです。 本日のブ …

no image

SD-PIMってなに?携帯でminiSD/microSDカードをチェックディスク/フォーマットする方法

携帯Docomo P905iに機種変更してからというもの、PCから画像やら動画やら音楽やらのデータを携帯に転送する事がとても多いんだけど、基本的にはUSBカードリーダー経由でmicroSDに書き込む事 …

Google:Gmailが携帯からも使えます

日本語でも3キャリアに対応したようです。 メールの閲覧、返信 — いつでもどこでもメールを閲覧、作成できます。Gmail はお使いの端末に合わせて最適化されるので、どこからでもメールにアクセスできます …

twitterライクなwebサービス(Jaiku,もごもご,haru,Timelog,DooViiチャット)

twitter にハマりすぎて twitter のサーバメンテ中に似たようなサービスに移行してまで「つぶやき」を続けたい人々がたくさんいるようですね。実際、twitter 大当たりにあやかって類似サー …

no image

Amazon ウィジェット なるものを早速試してみました

Amazon ウィジェットを使うと、ブログをはじめとしたWebサイトでの商品紹介がもっと簡単に、ダイナミックになります。もちろん利用は無料です。 via: Amazon アソシエイト・プログラム ブロ …

スポンサードリンク

スポンサードリンク