Creazy!

WEBエンジニア・ヤガーのテック・ガジェットブログ

開発実績

Delicious被ブックマーク数画像取得APIへのアクセス状況

投稿日:


以前公開した、拙作APIの負荷が結構スゴいす。
Delicious2.0 の被ブックマーク数画像取得APIを作りました
Deliciousがオフィシャルに非ブックマーク数画像取得APIを用意する気がないみたいなので、色んなサイトやサービスで利用していただいているようです。それ自体は嬉しい事なんですが、想定以上にアクセスが増えています。

APIへのアクセス状況

  • リクエスト数
    • 35,000 req(/1日)
    • 1000,000 req(/1月)

月100万リクエストもきています・・・。
ってか、APIというサービス特性から考えればこのくらいは普通なんだろうけど、これほど使われるとは思っていなかったのです。
で、実際にやっている事は、DeliciousのAPIを叩いてAmazon S3にブックマーク数の画像を保存しているくらいなので、1リクエストあたりの負荷はそんなに大した事ないはずなんです。が、Delicious APIのレスポンスが遅い時もあるし、S3は平均的に遅かったりするので処理時間は結構かかったりしています。

キャッシュもたまりにたまって・・・

外部へのリクエストのオーバーヘッドがすごいので、内部的にAPIの結果や画像をキャッシュさせているのですが、レンサバでmemcachedとか使えないので普通にファイルに書き出していました。そしたら、いつのまにかキャッシュファイルだけで1.5GBとかになってレンサバのファイル上限を超しちゃったりしてました。
しかも、1フォルダに数十万ファイルとかできてて削除するもの一苦労っていう…。
そもそもキャッシュ削除を考えてなかったのが悪いんですけどね。

今後

とりあえず、キャッシュを定期的に削除する仕組みはすで入れてあるんですが、リクエスト数に応えきれていないのは変わりません。もうちょっとキャッシュを長くしたり、S3を使わない方法を考える必要がありそうです。
というか、今のレンサバ(Xrea)での運用は限界かもなぁ。
別のサーバー(CoreServer?)に引っ越すか、ラボ自体をGoogleAppEngineに移行していくってのが良いかもしんない。(けど、時間かかるだろな)

-開発実績

執筆者:


comment

メールアドレスが公開されることはありません。

関連記事

「GYM Ranking」Google, Yahoo!, MSN Live Search の検索結果を総合評価するSEOツール

SEOに使える新しいマッシュアップサービスを公開します。 ・GYM Ranking : Google, Yahoo!, MSN Live Search の検索結果を総合評価 前に公開したGYM Sea …

no image

「SL.JS」が「SL友の会」に登録されました

こんばんわ、やまざきメソッドの中の人改め、SL.JSの中の人yagerですw さて、そのSL.JSですがTwitterに続いてブログでも豊田さんに紹介頂きました。 yagerさんという方がJavaSc …

Facebookにいいね!されたリンク先に長いパラメータが追加されるのを自動で短縮する方法

Facebookにいいね!された投稿などリンク先に遷移すると、上の画像のようにものすごく長いURLになってしまいますよね。Facebookのインサイト(解析)に使われているものと思われますが、このパラ …

動画を楽しもう!(Ustream.tvで録画した動画「Past Clips」のFLVをダウンロード可能にするブックマークレット)

【2012/01/03:更新】 Ust DLの公式ページができました。今後の最新情報はこちらをご確認ください。 Ust DL 公式ページ 【2010/04/13:追記】 スクリプトをアップデートしまし …

TwitGIFのTwitter API制限対策を行いました

だいぶ前に公開していた、TwitterのつぶやきをアニメーションGIFでパラパラ表示してくれるブログパーツ「TwitGIF」ですが、おかげさまでたくさんのユーザーに使って頂いており、今では海外からの利 …

スポンサードリンク

スポンサードリンク