あんまりMongo DB Casual Talks のブログがないようなので、ざっくり書きます。 「MongoDBのアレをアレする」 by [twitter:@kuwa_tw] さん クラスタが遅い1 必要なデータを一気にインポート oplogが許容範囲を超えてレプリケーションが停止 PrimaryShardにCh…

正確には、2012年2月末日を持って、約2年半お世話になった会社を退職します。 現在は有給休暇消化中です。 音楽業界というかなり特殊な業界で仕事ができたこと、ドコモMUSICストアやAndoroid向けストアの立ち上げ等 非常に稀有な経験ができたと思います。（…

震災の影響で２カ月程延期されていた ソーシャルメディア、ソーシャルアプリが育てたNoSQL技術 に参加してきました。 参加者がそのままスライドした影響か、ATND上では定員を大きく上回る参加あったが、実際の参加者が少なく結構席も空いていました。 MongoD…

遅くなりましたが、第３回MongoDB勉強会に参加＆発表してきました。前回の勉強会後に、doryokujinさんが発表されたshardingについての検証記事を書いてたところ、今回の発表のお話を頂いたので、 折角なのでやらせて頂くことにしました。 次のブログのネタと…

前回に引き続き、第13回R勉強会＠東京（#TokyoR）に参加してきました。 今回はついに60人が参加。エンジニア以外の人が多いので、いつもと違う色んな話が聞けて楽しい。 線形判別分析[twitter:@isseing333] ロジスティック回帰分析は、線形か？非線形か？ R …

今回はMongoDBのSharding環境にて、各サーバが停止した場合の挙動について検証してみたいと思います。 検証環境 今回の検証環境も前回と同じ環境を使います。 mongosサーバ 最初はmongosサーバです。 早速、mongosサーバを落としてみましょう。 [matsuou1@te…

次回のTokyo.Rの開催が近づいてきたので、前回の復習を兼ねてRで回帰分析をやってみます。今回は最も単純な線形単回帰分析を行います。 回帰分析の流れ 回帰式を求める意義があるか検討する（説明変数と目的変数のグラフを作成する等） 回帰式を求める 回帰…

前回に引き続き、「第２回 さくさくテキストマイニング勉強会」に参加してきました。 会場は前回と同じOracle青山センターです。２００人ぐらい入る大きな会議室。さすがです。 目的＆概要 目的テキストマイニングについての学習のスタートアップ テキストマ…

Sharding環境にて、shard keyを使用しない以下のクエリに問題があることが知られている。 （第２回MongoDB勉強会の@doryokujinさんの発表参照。私の参加日記は ここ から） Chunk Migration中のcount 同時書き込み発生時のsingle-update() 同時書き込み発生…

MongoDB勉強会で発表を聞いてきたので、早速Shardingの機能を試してみます。 環境構成 まずは、以下の構成をします。 本当は複数台のサーバを使用したいのですが、手元に自由に扱えるサーバがさくらVPSしかないため 1台に複数のmongodを立て、mongosとconfig…

今週はMongoDBの勉強会に参加してきました。 Sharding詳解 [twitter:@doryokujin] MongoDBでShardingを使用する際のポイントや注意点についての発表です。 こういう話はこれからShardingを使おうとする人にとっては大変有益。 前日にさくらVPSで試して見たの…

昨日のR勉強会＠東京でちょっとだけ話に出てきたRStudioのサーバ版をさくらVPSにインストールしてみました。 RStudioとは？ R言語のIDEです。デスクトップ版とサーバ版があります。 デスクトップ版は、Windowsだけでなく、Mac、Ubuntu、Fedoraもサポートして…

今回初めてR勉強会＠東京に参加してきました。 結構前（１年ぐらい？）から開催されている勉強会に途中から参加、しかもRは素人とドキドキでしたが、楽しく勉強できました。 なにげに大森駅に降りたのも初めてだったような気もします。 Rによる回帰分析入門 …

テキストマイニングの勉強会に参加してきました。 非常に勉強になったので、復習の意味も込めて超久しぶりにブログを書きます。 この分野には前から興味はありましたが、なかなか勉強するきっかけがなかったので放置気味でしたが、折角の機会なので参加する…

Slony-IはPostgreSQL用の非同期のシングルマスタレプリケーションソフト。 意外と簡単にPostgreSQLのレプリケーションをすることが可能です。 今回は、一旦運用を開始したレプリケーションしているDBに対して、機能追加等でテーブルの追加が必要になった場合…

久しぶりのベンダー試験です。 前回の「PostgreSQL CE Silver」以来なので、緊張するかと思ったのですが、もう慣れたものですね・・。今月末ぐらいをターゲットに勉強してたのですが、段々飽きてきたので1週間程集中して勉強し、 2日前に試験予約して強行受…

pg_statsinfoは、PostgreSQLやOSのリソース情報、統計情報をスナップショットとして取得するためのツールで、 複数のスナップショット間の差分をレポートとして出力できます。 これによって、DBで行われた活動状況の確認や性能ボトルネックの発見、また問題…

2009/04/07時点の最新版であるPostgreSQL8.3.7+Ludia1.5.2をRHEL5.2にインストールしていたところ、 Ludiaのmake時に以下のようなエラーが発生した。 pgsenna2.c: In function 'pgs2build0': pgsenna2.c:613: warning: passing argument 4 of 'IndexBuildHea…

検索時には大変お世話になっているインデックス。 使われなくても文句も言わずに更新され続けるインデックス。 ずっと放置して運用しているといつの間にか肥大化しているインデックス。 今回は、そんなインデックスを再構築する際に気をつけることをまとめて…

OracleでSQLのチューニングをそこそこしていた人がPostgreSQLで同じことをやろうとした場合に 問題になるのはチューニング対象のSQLを探す作業だと思う。 Oracleであれば、SQL traceを仕掛けたり、$sql_textなどから引っ張ってきたり、Statspackのレポート読…

普段は検索性能向上のために黙々と頑張ってくれているインデックス。 だが、中にはこっそりサボっているインデックスもいる。 アプリケーションの設計変更やデータ量、値の偏り、バージョンアップによる実行計画の変更等、 色々なケースでインデックスを使用…

産業技術大学院大学で開催されたPostgreSQLしくみ勉強会に参加してきました。 使用した資料も全て公開されているので興味のある方は読んでみると幸せになれます。きっと。 pgpool-IIのオンラインリカバリ、およびPITRの概要 PITRについては普段から運用で使…

ついカッとなって、PostgreSQLの共有システムカタログのインデックスを壊してリカバリすることにしてみた。マニュアルに一応、やり方は書いてあるのですが実際にやった人のブログ等ないので、やって見ます。 1．共有システムカタログ（今回は、pg_database）…

秋葉原UDXで開催されていたWebディベロッパの祭典＠東京に行ってきました。毎回、会場がどんなところか楽しみなのですが、今回のセミナーがあったB会場は通路に無理やり作りました みたいな場所にあったので、びっくり。。。。とりあえず、聞いてきた話をメ…

会社から会場が近かったので、サクっと行ってきました。情報処理学会主催なので、基本的にはお堅いお話が多かったようですが、 個人的にはてなとモバゲーの講演もあるとのことで、参加することに。 はてなの挑戦 ビジネスモデル ユーザ登録、基本的な機能は…

「Nagios+日本語」で検索して来ている方がそこそこいるみたいですので、ちょっとだけ続きを。 正直、私がNagiosの構築をしてから既に10ヶ月ほど経っているので、そのとき残したメモと勘で書きます。 前回のエントリでNagios本体の日本語化はおそらくできてい…

社内の勉強会用にPostgreSQLのチューニングについての資料を書いてみました。 どうせなんで、公開してみます。PostgreSQLには触ったことあるけど、チューニングについては初心者の方をターゲットにしてます。内容的には、胡散臭いところが数箇所ありますので…

巷で噂の「concrete5」ですが、話題になった当初から気になってたのですが、ついに我慢できずに使ってみることにしました。 MOONGIFTで紹介された直後に、さくらインターネットのレンタルサーバでインストールを試みたのですが、見事に失敗。 他の誰かが試み…

何を思ったか、超マイナーな資格であるPostgreSQL CE 8 Sliverを受けてきた。仕事でいつも使っているので、きちんと理解してから使用したいと思ったので 1週間ほど前から勉強を始めたのだが、今日受けてきて無事合格。 点数は全体で92%。詳細は↓ 一般セクシ…

Greeさんが開催されているオープンソーステクノロジー勉強会にこっそり参加してきました。株式会社ディー・エヌ・エーの川崎修平さんをゲストに招き、MobaSiFなどについて 話をされるとのことで、潜入取材。川崎さんをご存知でない方はこちらを参照スペラン…