Setsuna-0.0.2リリース~

SetsunaのVersion-0.0.2をリリースしました。 Github Sourceforge.jpダウンロードページ 今回のリリースで一番大きな追加機能はServerモードの追加です。 0.0.1の時は、Setsunaにデータを入れる方法はパイプ入力しかなかったので、 コマンドラインで何かの出…

ComplexEventProcessingエンジン Setsuna をリリースしました!!

やっとリリースできました!Sourceforge.jpダウンロードページ 名前はSetsuna(セツナ)としました。 時間の単位を表す言葉である刹那からきています。 刹那の短さでデータを処理出来ればいいなということでこの名前にしました。 このSetsunaですが、CEPといわ…

Complex Event Processing Engineをつくりはじめた

久しぶりの投稿だ。。 今まではokuyamaメインでOSS活動をしていたけども、新たにプロダクトを始めました。 新しいプロダクトはCEPと言われる種類のソフトウェアです。 そもそも、CEPってなんだ?? Complex Event Processingの略になります。 訳すと、複合イ…

Java7速攻テスト

というわけで、Java7がリリースされました。 色々と面白そうな機能がありますね。 僕はSCTPなどが結構注目なんですが、取り合えずJava7上で現行のokuyamaを動かして、 どれぐら単純比較で性能が違うのか検証してみました。 okuyama側は特にJava7に合わせて変…

「第1回分散処理ワークショップ in Tokyo」を開催しました

7/8に「第1回分散処理ワークショップ」を@doryokujinさんと共同で開催しました。 ※ATNDリンク 参加いただきました皆様ありがとうございましたm(_ _)m 当日の資料やその他の情報を可能な限りまとめてみます。 @understeerさんのよるToggetter http://togette…

okuyama-0.8.8リリースまとめ

okuyamaのバージョン0.8.8をリリースしたので、 今回の変更点をまとめておこうと思います。今回の主要な追加はSerializeMapなんですが、機能は前々回と、 前回の日記にまとめたとおりです。 あの時点では(デ)シリアライザはベタ実装だったんですが、 せっか…

okuyamaのSerializeMapを検証してみた(Get編)(番外編MessagePack for Javaも試してみた)

前回の記事でokuyamaに追加予定の機能である、 SerializeMapというメモリの効率化を考えて実装してみたMap実装の Set性能を図ってみましたが、Mapなので当然Getがいるので今回はその性能を計測してみます。 まず、その前にこのSerializeMapの構造を下手です…

okuyamaのSerializeMapを検証してみた

昨日@kumagi さんと@muga_nishizawa さんとtwitter上でやり取り(http://togetter.com/li/149955)をした時に話題に出した 次のokuyamaに入れようと思っている機能の一つのSerializeMapですが、 あの時、性能の話題になったのでまだ正式にはリリース前なんです…

okuyamaプロトコル仕様表

okuaymaのオリジナルプロトコルの仕様を表にまとめした。 からり表が大きく見にくくなってしまいました...orz 以降okuyama側に変更があった場合もこの表をメンテナンスしてきます。 事前説明ですが、 1.各要素間のセパレータは","になります。 2.Encode指定…

okuyamaプロトコル仕様表

okuaymaのオリジナルプロトコルの仕様を表にまとめした。 からり表が大きく見にくくなってしまいました...orz 以降okuyama側に変更があった場合もこの表をメンテナンスしてきます。 事前説明ですが、 1.各要素間のセパレータは","になります。 2.Encode指定…

okuyama-0.8.4リリース、0.8.5のことも。そして次の何か。。

また大分さぼってしまった。。ということで、okuyama-0.8.4をリリースしました。 0.8.4のことの前にここには、0.8.0以降のことを何も記していなので、 追加した機能をチョット軽く整理すると、 ■0.8.1 ・トランザクションログファイルを一定サイズで自動的に…

書くこと一杯。。取り合えずokuyama-0.8.0のことから

相当ここをサボってしまいました。 書くこと一杯あるんですが(gumiさん勉強会でしゃべりましたとか、OSC東京とか)、 取り合えずokuyamaの0.8.0のことを書きます。 前回0.7.0をリリースしてから2ヶ月半以上開発したのですが、それまでは もっと短期間にリリー…

OSC@名古屋に参加してきました

オープンソースカンファレンス@名古屋に参加してきました。 okuyamaのセミナーも実施させていただき、多くの方とお話でき とても楽しく、勉強になる時間をすごせました。 名古屋のコミュニティーの方々の盛り上がり方は凄いですね!! 圧倒されました。 後、…

OSC@Kansai-京都無事終了

オープンソースカンファレンス@Kansai-京都に参加してきました。 初日の1枠目のセミナーで講師を務めさせていただきましたが、 天気の悪い中多くのかたに参加頂きました。ありがとうございました。 冗長化のデモでは片側のサーバの電源を抜くというデモをし…

オープンソースカンファレンス関西@京都でセミナーします

7月9日、10日に開催される オープンソースカンファレンス関西@京都で okuyamaを題材にセミナーを開催させていただく ことになりました。 OSC関西のページ http://www.ospn.jp/osc2010-kyoto/ セミナーのページ http://www.ospn.jp/osc2010-kyoto/modules/egu…

okuyama-0.7.0リリースまとめ

okuyamaのバージョン0.7.0をリリースしたのでまとめを書きます。今回のリリースは結構大きい機能追加をしました。■1つ目 従来のokuyamaはマスターノードを複数で稼動させて冗長化をすることは出来たんですが、 その場合、どれか1つがメインマスターノードに…

分散キーバリューストアokuyamaバージョン0.6.6をリリース

okuyamaのバージョン0.6.6をリリースしました。 今回の変更点はokuyamaのデータノードを"データノード"、"スレーブデータノード"両方を 起動している場合に片側のノードがダウンして、起動してきた場合(ダウンしたノードと 同じIP、Portであれば当該ノードと…

分散キーバリューストアokuyamaの性能をまともなマシンで測ってみた(続)

この前okuyamaの性能測定の結果を書きましたが、 そこで"トランザクションログ+データファイルでの永続化モード"での性能で 5万QPS出ていたのですが、これって本当にファイルReadしてるのかって 怪しかったので、再度検証してみました。 [測定時の構成] そ…

分散キーバリューストアokuyamaの性能をまともなマシンで測ってみた

いままで分散キーバリューストアのokuyamaの性能を計測していたのは Dellのノートパソコンか、10年くらい前のPCか、AMD2Coreのデスクトップだった。 自由に触れるマシンがその程度しかなかったんだけど、今回DellのXeon搭載のマシン(PowerEdgeT110)を 触る機…

okuyama-0.6.3リリース&KVSを業務システムに使用したフィードバック

okuyama-0.6.3をリリースしました。 今回の変更ポイントは ■データノードをmemcacheのノードとして利用可能に okuyamaはマスターノード、データノード、トランザクションノードで 構成されているんですが、ただ単にデータをキャッシュとして保存する場合は …

okuyama ver0.6.2をリリース & Fuseでkvsファイルシステム作成中

久々に日記分散KVS「okuyama」のVersion-0.6.2をリリースしました。 今回のリリース内容は主にmemcache対応と、データノードリカバリー時の データ転送方式の変更です。 memcache対応は以下の3点です。 1.memcacheのメソッドであるaddに対応 未登録データの…

kvsをメインストレージと考えた場合のアプリケーション設計(続編)

前回ブログで書きました、kvs使った業務アプリ構築ですが 徐々に出来上がってきました。 設計は前回の内容どおりなんですが、実際にデータ入れて 取り出すところが、1ソートパターンですができました。 実際に動かして見ると、、、 ちゃんと動いてるじゃない…

KVSをメインストレージと考えた場合のアプリケーション設計

昨日の日記で少し書いたのですが、現在仕事でokuyamaをメインストレージとして アプリケーションを作成中、そこで感じたことをメモ。 okuyama作ってますが業務ではkvsはキャッシュとしてしか使ったことなかったので。。。 メインストレージといっても、あく…

okuyama0.6.0をリリース「分散ロック機能」を追加しました

okuyama Ver0.6.0をリリースしました。 今回の追加機能は、分散ロックです。 詳しい機能はokuyamaリリース物のReadMe.txtを抜粋。 - ■分散ロック機能を追加 +任意のデータをロックする機能を追加。 +分散ロック機能はマスターノード用設定ファイルである、Ma…

kvsユーザーグループを立ち上げました

kvs

KVSユーザーグループをGoogleグループで 作成しました。 名前はkvs-jaです。 kvsのインターフェースや永続化特性、分散、 スケールアルゴリズムなどの議論や、拡張利用の 可能性などを会話を出来ればと思っています。 色々な方と意見を交わせればと思います…

memcache速っ!!

今更なんですが、memcache速っ!!て感じました。 Windows版で試したんですが、同じ環境でクライアント動かして 10万件ほどsetしたんですが、6500QPS位出た。 同じクライアント使ってokuyamaで試すと、 完全メモリモード3600QPS位で、ファイル保存モードで、…

memcacheプロトコルに対応 「okuyama-ver0.5.2リリース」

okuyama-ver0.5.2をリリースしました。 今回の目玉はmemcacheのプロトコル対応です。 まだ文字の行ベースのみで、set、getだけ対応です。 後、flag、有効期限は対応してなくて、32bit値は登録可能です。 okuyamaクライアントとプロトコルの組み合わせに比べ…

okuyama用PHPクライアントを作成

"okuyama Ver0.5.1"にてPHP用のクライアントを作成しました。 Byteデータの登録と取得以外は実装しました。 http://sourceforge.jp/projects/okuyama/releases/ また分散トランザクションから遠ざかっている。。。 okuyamaがさくらインターネット研究所様のb…

JavaScriptを動くようにした

本当は分散トランザクションのこと 考えようとしてたけど、思いついたから 実装してみた。内容はデータ取得メソッドにJavaScriptを 渡せるようにして、データが取得出来たら そのデータに対してスクリプトが実行できます。 データノードで実行されるからCPU…

okuyama0.4.0をリリース。今後

okuyama0.4.0をリリースしました。 http://sourceforge.jp/projects/okuyama/分散トランザクションを実装する前に、付けたい機能を一通り実装。 追加機能は以下。 ■データノードの動的追加をサポート ■データノード追加後に新しいノードへデータの移行を行う…