Monthly Archive:: 10月 2015

【後編】Apache Sparkを使って、メモリ使用量が大きいバッチ処理をスケールアウト

こんにちは、弊社で1ヶ月半ほどインターンとして働いているt_sakaiです。 インターンシップの課題として、メモリ使用量が大きくて将来問題になりそうなバッチ処理をスケールアウトできるように書き換えるという課題に取り組みました。 解決手段として流行りのApache Sparkを使ってみたので、本記事ではこれについて書こうと思います。 本記事で使っている言語はScalaです。 前編ではSparkを選んだ理由とSparkの基礎について説明したので、後編では既存プログラムをSpark用に書き換える際の問 [...] Read More

【前編】Apache Sparkを使って、メモリ使用量が大きいバッチ処理をスケールアウト

初めまして、弊社で1ヶ月半ほどインターンとして働いているt_sakaiです。 インターンシップの課題として、メモリ使用量が大きくて将来問題になりそうなバッチ処理をスケールアウトできるように書き換えるという課題に取り組みました。 解決手段として流行りのApache Sparkを使ってみたので、本記事ではこれについて書こうと思います。 本記事で使っている言語はScalaです。 Scalaについては、弊社のk_oomoriが書いた記事があるのでよろしければご覧ください。 紹介する内容 前編(本記事) [...] Read More

Cactiへホスト登録するスクリプトを作る

Cactiに監視対象のホストを登録する時は、通常はブラウザで行います。 数台ならいいのですが、数十台数百台となってくると結構なクリック量で肩は凝るし、目もつらいです。 実はCactiならCLIを使っていろいろできるらしいのです。 コマンドだけでホスト登録可能かな?と試した結果、コマンドだけでできちゃいました。 そこでお試しで作成したホスト登録スクリプトを公開します。 CactiのCLIツールについて Cactiをインストールすると自動的にphpで実行可能なコマンドラインツールもインストールされま [...] Read More