Creazy!

WEBエンジニア・ヤガーのテック・ガジェットブログ

開発実績

Delicious被ブックマーク数画像取得APIへのアクセス状況

投稿日:


以前公開した、拙作APIの負荷が結構スゴいす。
Delicious2.0 の被ブックマーク数画像取得APIを作りました
Deliciousがオフィシャルに非ブックマーク数画像取得APIを用意する気がないみたいなので、色んなサイトやサービスで利用していただいているようです。それ自体は嬉しい事なんですが、想定以上にアクセスが増えています。

APIへのアクセス状況

  • リクエスト数
    • 35,000 req(/1日)
    • 1000,000 req(/1月)

月100万リクエストもきています・・・。
ってか、APIというサービス特性から考えればこのくらいは普通なんだろうけど、これほど使われるとは思っていなかったのです。
で、実際にやっている事は、DeliciousのAPIを叩いてAmazon S3にブックマーク数の画像を保存しているくらいなので、1リクエストあたりの負荷はそんなに大した事ないはずなんです。が、Delicious APIのレスポンスが遅い時もあるし、S3は平均的に遅かったりするので処理時間は結構かかったりしています。

キャッシュもたまりにたまって・・・

外部へのリクエストのオーバーヘッドがすごいので、内部的にAPIの結果や画像をキャッシュさせているのですが、レンサバでmemcachedとか使えないので普通にファイルに書き出していました。そしたら、いつのまにかキャッシュファイルだけで1.5GBとかになってレンサバのファイル上限を超しちゃったりしてました。
しかも、1フォルダに数十万ファイルとかできてて削除するもの一苦労っていう…。
そもそもキャッシュ削除を考えてなかったのが悪いんですけどね。

今後

とりあえず、キャッシュを定期的に削除する仕組みはすで入れてあるんですが、リクエスト数に応えきれていないのは変わりません。もうちょっとキャッシュを長くしたり、S3を使わない方法を考える必要がありそうです。
というか、今のレンサバ(Xrea)での運用は限界かもなぁ。
別のサーバー(CoreServer?)に引っ越すか、ラボ自体をGoogleAppEngineに移行していくってのが良いかもしんない。(けど、時間かかるだろな)

-開発実績

執筆者:


comment

メールアドレスが公開されることはありません。

関連記事

no image

YouTube HD Suite更新(2010/12/11 YouTube仕様変更、40万DL達成!)

YouTube HD Suite 公式ページ [C!] YouTube HD Suiteがうまく動かなくなっていたので久しぶりにアップデートしました。といっても、自動更新の機能を導入しているのでインス …

TwitGIFの不具合メンテナンスを行いました

Twitterの最新ツイート10件をアニメーションGIF形式で表示することができるTwitGIFですが、Twitter APIの変更の影響で最新情報を更新しないようになっていましたのでメンテナンスを行 …

no image

Gmailを固定ピッチの等幅フォント(MonoSpace)で表示する方法(新Gmail対応)

[追記:2009/03/04] GMailが内部HTMLを更新したようで、このエントリーで紹介したスクリプトは古くなりました。 最新版は下記エントリーで紹介していますのでご参考ください。 Gmailを …

no image

ブログのエントリーをmixi日記に自動投稿する「RSS2mixi」

自分が文章を書く場所はほとんどこのブログだけなのですが、mixiにも外部ブログ設定をしてエントリーを表示されていました。ただ、この外部ブログではリンクが表示されるだけで内容を読むためにはこのブログに飛 …

YouTube が公式にダウンロードリンクを表示!?

POLAR BEAR BLOGさんでこんなエントリーがありました。 まだ一部の政治系動画に限定されているようですが、YouTube で”Click to download”とい …

スポンサードリンク

スポンサードリンク