前回の記事のfluent-plugin-filter-parse-postfixはデフォルトでメールアドレスをマスクするようにしている。 <source> @type tail path /var/log/maillog pos_file /var/log/td-agent/postfix-maillog.pos tag postfix.maillog format none </source> <filter postfix.maillog> @type grep regexp1 me</filter>…

Postfixのログの「status=...」の行をfluentdに流そうと思ったんですよ。 要件としては メアドはマスクしたい メアドからドメインとりたい statusは値と詳細に分けたい 大量にメールが流れるので早くしたい それで何も考えずにCの拡張ライブラリを作って、そ…

Ridgepole v0.6.4で、ALTER文にLOCK=NONEとか付けられるようにしました。 $ ridgepole -a -c '{adapter: mysql2, database: employees}' --alter-extra="LOCK=NONE" --dry-run Apply `Schemafile` (dry-run) add_column("dept_manager", "to_date2", :date, …

Ridgepoleに--external-scriptというオプションを付けました。 更新SQLの実行を外部スクリプトで行うオプションです。 これで、一応pt-oscを使って、DDLを実行できるようにはなりました。あとは、MySQLのALTER文で末尾にLOCK=NONEを付けるとか。 ただ、MySQL…

LogsFlowというCloudWtach LogsのビューアWebアプリ作りました。 github.com 検索とかは全然なくて、だた見れるだけ。 URLが/groups/my-group/streams/my-streamsのようにREST的なので、適当なツールからぱっとログを見るのにはいいかも。 あと、/groups/my-…

DatadogのアラートDSL管理ツール Barkdog v0.1.3をリリースしました。 github.com Libratoで監視まわりを全部まかなおうとしてたとき、アラート管理にはテンプレート必須だなー、と思ったのでつけました。 以下のように、いろんな箇所でテンプレートつかえま…

Miam v0.2.2.beta3をリリースしました。 github.com 主な変更点は以下の通り。 Improve update (show diff) Support Template Add --ignore-login-profile option Sort policy array Improve update (show diff) いままでdry-runではアップデート後の値しか…

Roadworker v0.5.6.beta2をリリースしました。 github.com Calculated Health Checks/Latency Checksのサポート Calculated Health ChecksとLatency Checksをサポートしました。 Calculated Health Checksはこんな感じ。 rrset "zzz.info.winebarrel.jp", "A…

先日に引き続いて、fluent-plugin-munin-nodeを作りました。 github.com これは何？ munin-nodeからmetricsを取得するためのfluentdのプラグインです。 実はすでに同様のプラグインがあったりするんですが、いくつか不満があって改修量が多そうだったので、…

fluent-plugin-zabbix-agentというfluentdのプラグインを作りました。 github.com zabbixのpassive checkを使って、zabbix-agentから、各種メトリクスをfluentdに流すInputプラグインです。 使い方 以下のような設定ファイルを書くと、指定したitemをzabbix-…

先日の記事で紹介したLibrato管理ツール「lbrt」にテンプレート機能を付けました。 winebarrel/lbrtgithub.com 基本的な使い方は以下の通り。 template "dstat" do chart "load_avg" do type "line" stream do metric "dstat.#{context.space_name}.load_avg…

最近、業務案件でLibratoを使っています。 Libratoはメトリクス収集のSaaSで、メトリクスの収集とアラートの設定・通知ができます。 たぶんDatadogとかが競合になるんじゃないでしょうか。 Datadogほど多機能ではないですが、「グラフを書く」「グラフを並べ…

先ほどの記事に引き続き。 GitHubからAmazon SNSでLambdaにイベント飛ばせば簡易CIができそうだだったので作ってみた。 処理の概要 GitHubにpush→Amazon SNS→Lambdaにイベント Lambdaがイベントをフック→cfnスタックを作成 cfnスタックがEC2インスタンスを起…

先日の記事で、大きめの処理をLambda+CloudFormationで実行するめどがついたので、S3+Lambda+CloudFormationでサーバレスyumリポジトリを作ってみた。 処理の概要 S3にrpmを追加・更新・削除 Lambdaがイベントをフック→cfnスタックを作成 cfnスタックがEC2イ…

rpmがS3に追加されたらLambdaでインデックス更新するやつを作ろうと思ったんですが、awscli-bundle.zipをダウンロードして /tmpに解凍して いろいろオプション付けてインストールして … 時間的に無理！という結論になりました。 でまあ、いろいろ考えてみて…

lambchopでLambdaの開発をちまちまとやっているんですが、「js更新」→「lambdaアップロード」→「イベント投げる」の流れがめんどくさいので、Guard使ってみました。 https://github.com/winebarrel/my-lambda index.jsはこんな感じ。 #!/usr/bin/env lambcho…

世間様はLamb段階になったらしいので、AWS Lambda便利実行ツール Lambchop のv0.1.0をリリースしました。 https://github.com/winebarrel/lambchop lambchop (0.1.0): It is a tool that invoke AWS Lambda function from the local machine as a normally s…

MySQLで以下のようなカラムがあったとして t.integer "foo", limit: 4, default: 0, null: false #`foo` int(11) NOT NULL DEFAULT '0', 以下のようなマイグレーションを実行したとすると change_column("articles", "foo", :integer, null: false) 実行され…

#!/usr/bin/env elixir defmodule Foo do def fact(n) do fact(n, 1) end defp fact(0, acc) do acc end defp fact(n, acc) do fact(n - 1, acc * n) end end IO.puts Foo.fact(65535) real 0m13.120s user 0m12.577s sys 0m0.201s

#!/usr/bin/env escript fact(0) -> 1; fact(N) -> N * fact(N - 1). main(_) -> N = fact(65535), io:format("~p~n", [N]). real 0m11.969s user 0m11.742s sys 0m0.175s #!/usr/bin/env escript fact(N) -> fact(N, 1). fact(0, Acc) -> Acc; fact(N, Acc)…

#!/usr/bin/env elixir defmodule QuickSort do def quick_sort([]) do [] end def quick_sort([pivot|rest]) do {smaller, larger} = partition(pivot, rest, [], []) quick_sort(smaller) ++ [pivot] ++ quick_sort(larger) end defp partition(_, [], sma…

#!/usr/bin/env escript print_list(List) -> io:format("len: ~p~n", [length(List)]), lists:foreach(fun(X) -> io:format("~p, ",[X]) end, List), io:format("~n"). quick_sort([]) -> []; quick_sort([Pivot|Rest]) -> {Smaller, Larger} = partition(P…

ELBのアクセスログのfluentdプラグイン、fluent-plugin-elb-access-logを作りました。 https://github.com/winebarrel/fluent-plugin-elb-access-log 既存の同様のプラグイン、fluent-plugin-elb-logとの違いは aws sdk v2を使っている タグを変更できる プ…

SentryというPythonやRubyなど様々な言語の例外を集約して閲覧するWebサービス/OSSがあります。個々のログを検知・閲覧するにはいいんですが、全体を俯瞰して分析するならKibanaの方が良さそうだったので、Sentryに集めているログをKibanaに流してみました。…

以下のプルリクがマージされてArproxy 0.2.0がリリースされ、Arproxyでプラグインが使えるようになった。 https://github.com/cookpad/arproxy/pull/6 arproxy-plugin-stdout とりあえずサンプルプラグインを作ってみた。 https://github.com/winebarrel/arp…

miam v0.2.1.beta2とpiculet v0.2.8.beta2をリリースしました。 miam v0.2.1.beta2 Managed Policyのattach/detachのサポート Managed Policyそのものの編集はまだサポートしていませんが、attach/detachをできるようにしました。 user "bob", :path => "/de…

2015/05/16 23:06 I/F修正 以前、MySQL Casual Talks vol.6に参加したとき、kamipoさんというすごいかた作のMySQLCasualLog.pmというPerlライブラリの発表がありまして、「いーなーいーなー、うらやましーなー。Railsでも使いたいなー」と思っていたのですが…

RFuseFSはFUSEをRubyで使うためのライブラリで、内部で使っているRFuseは基本的にOS Xをサポートしていないんですが、OS Xで動かすためのプルリクエストが投げられていて、手直ししたら一応動いたのでメモしておきます。 https://github.com/winebarrel/rfus…

プロダクションで使ってみて一応問題なさそうなので、ridgepole v0.6.0をリリースしました。 https://github.com/winebarrel/ridgepole betaにフィードバックいただいた方々、ありがとうございましたm(_ _)m 大きな変更点としてはRails 4.2に対応しました。 …

arel-mysql-index-hintというgemをリリースしました。 MySQL on Rails/ArelでIndex Hintを付けまくるためのgemです。 Article.hint(force: :idx_article) # => "SELECT `articles`.* FROM `articles` force INDEX (idx_article)" Article.joins(:comments).h…