S3でCodeBuildの排他制御をする

CodeBuildで同時ビルド数を一つに制限したいことがあって、そういうときはConcurrent build limitを1に設定して運用するようにしていた。

[Concurrent build limit] (同時ビルド制限) で、このジョブで許可される同時実行の最大数を設定します。

しかしConcurrent build limitでは制限を超えるビルドが実行されると「待ち状態」にはならずに即座にビルドが失敗する。

それが原因でCIに組み込んだCodeBuildのビルドが失敗することがしばしばあったのでS3の制御を使って「他のビルドの終了を待てる」仕組みを作ってみた。

s3lock

github.com

s3lockはS3の条件付き書き込みを使った排他制御ツールで、If-None-Match: *をつけてオブジェクトを作成することでPutObjectで上書きできないようにしている。

# URLを指定してロックを取得
$ s3lock lock s3://my-bucket/lock-object
s3://my-bucket/lock-object has been locked
create lock-object.lock

# 他のプロセスではロックを取れない
# $ s3lock lock s3://my-bucket/lock-object
# s3lock: error: lock already held

# 何か処理をやってからロックを解除
$ s3lock unlock lock-object.lock
s3://my-bucket/lock-object has been unlocked
delete lock-object.lock

lockサブコマンドには-w UINTオプションがあって、即時終了しないで指定秒数ロックの取得を待つことができる。

# すでにロックがとられていた場合、解除されるまで600秒待つ
$ s3lock lock -w 600 s3://my-bucket/lock-object

CodeBuild+s3lock

CodeBuildでs3lockを使って排他制御してみる。

buildspecはこんな感じ。

version: 0.2

phases:
  install:
    commands:
      - curl -sSfLO https://github.com/winebarrel/s3lock/releases/download/v0.1.0/s3lock_0.2.0_amd64.deb
      - dpkg -i s3lock_0.2.0_amd64.deb
  build:
    commands:
      - s3lock lock -w 600 s3://winebarrel/lock-object
      - sleep 60
    finally:
      - |
        if [ -e lock-object.lock ]; then
          s3lock unlock lock-object.lock
        fi

コマンドラインから連続してビルドを実行してみる。

$ aws codebuild start-build --project-name hello
{
    "build": {
        "buildNumber": 4,
        "startTime": "2026-02-08T10:37:12.198000+09:00",
...
$ aws codebuild start-build --project-name hello
{
    "build": {
        "buildNumber": 5,
        "startTime": "2026-02-08T10:37:13.866000+09:00",
...

buildNumber: 4では普通にロックを取得して、sleep 60してからロック解除して終了。

[Container] 2026/02/08 01:37:24.824871 Entering phase BUILD
[Container] 2026/02/08 01:37:24.826554 Running command s3lock lock -w 600 s3://winebarrel/lock-object > lock-object.lock
[Container] 2026/02/08 01:37:24.903498 Running command sleep 60
[Container] 2026/02/08 01:38:24.910839 Running command s3lock unlock lock-object.lock
[Container] 2026/02/08 01:38:25.026469 Phase complete: BUILD State: SUCCEEDED

buildNumber: 5ではs3lock lock -w 600でロックの取得を待ち、60秒たってロックを取得できてからsleepに進んでいる。

[Container] 2026/02/08 01:37:25.642655 Entering phase BUILD
[Container] 2026/02/08 01:37:25.643898 Running command s3lock lock -w 600 s3://winebarrel/lock-object > lock-object.lock
[Container] 2026/02/08 01:38:25.742380 Running command sleep 60
[Container] 2026/02/08 01:39:25.750361 Running command s3lock unlock lock-object.lock
[Container] 2026/02/08 01:39:25.881432 Phase complete: BUILD State: SUCCEEDED

最終的に同時ビルド数を1に制限しつつ、複数のビルドを正常終了することができた。

iPhone Safari用のはてブNGフィルタ機能拡張「はてブフィルター」を作った

はてなブックマークは好きだけどあまり目にしたくないエントリもあるので、iPhone/iPadのSafari用NGフィルタ機能拡張を作った。

はてブフィルター

はてブフィルター

  • Genki Sugawara
  • ユーティリティ
  • 無料
apps.apple.com

github.com

*1

ChromeやFirefoxの拡張はすでにいくつか存在する。

anond.hatelabo.jp

しかし普段使っているiOSのSafariは作り方がやや特殊なせいかまだなかったので自作した。 といっても基本的にはWeb Extensionsなので、Chrome拡張の作り方がそのまま流用できる。

iOSのSafariの場合、ネイティブアプリにバンドルされる形で機能拡張がインストールされるのでXcodeが必要になるが、New > Project > Safari Extention Appでプロジェクトを作って各種js、manifest.jsonを修正したらほとんどの実装は完了した。

雑感

  • はてなブックマーク、ヘッダのエントリだけdivのclassが違ったり遅延して表示されるエントリがあったりと、ユーザースクリプトだけでカバーするのは結構厳しそうな感じがした
    • 遅延表示エントリについてはchrome.tabs.onUpdated.addListenerでも消せなかったので、画面を表示してから3秒間は走査しつづけるという力技で対応した
  • キーワードの保存にはchrome.storage.local.setを使っている。
    • content.jsからネイティブアプリに通信することは可能なので、SwiftData+iCloud同期で端末間の設定を共有することはできると思うがそこまでやっていない
  • iPhoneとiPadでポップアップのレイアウトが違いすぎる
    • 「divでmarginとmin-widthを設定して〜」みたいなことを久々にやった
  • デバッグがややめんどい
    • 母艦であるMac miniでWebデベロップ機能を有効にしたSafariを立ち上げてiOSのSafariに接続する
    • jsファイルの編集はVSCodeでやっていたので、VSCode・Xcode・母艦のSafari・iOSのSafariを行ったり来たりしていた
    • しかもポップアップを閉じるとポップアップ用のWeb開発コンソールは閉じてしまうので、console.logを確認するのもめんどくさかった
  • 機能拡張そのものの話ではないけれど、ネイティブアプリの画面から設定画面を開くためのURLスキームを探すのがめんどくさかった

*1:シミュレーターだとポップアップのレイアウトがおかしくなる

GolangのジェネリクスでWriterDB/ReaderDBの型を分ける

アプリケーションからDBを使うときに読み込み専用のノードを作ってトランザクションの不要なクエリや重いクエリを読み込み専用のノードに投げるようにすることがよくある。

アプリケーションの全体の情報を保持する構造体があるとして、Writerノード・Readerノードの両方へのコネクションプールを持つ場合、以下のような構造になると思う。

type App struct {
  WriterDB *sql.DB
  ReaderDB *sql.DB
}

ジェネリクスを使わないで*sql.DBの型を分ける

ReaderDBしか使わない関数に対してWriterDBを渡されたくないので、WriterDB/ReaderDBの型を分けたい。 Embeddingすると同じインターフェースを持ちながら異なる型を定義できる。

type Writer struct {
  *sql.DB
}
type Reader struct {
  *sql.DB
}
type App struct {
  WriterDB *Writer
  ReaderDB *Reader
}

// `*Writer`は受け取れない
func procForReader(db *Reader) {
    // ...
}

WriterDB/ReaderDBの両方で使うような関数がある場合は、*sql.DBと同じメソッドを持つインターフェースを定義して引数の型にすれば*Writerと*Readerの両方を渡すことができる。

type DB interface {
  Begin() (*sql.Tx, error)
  BeginTx(ctx context.Context, opts *sql.TxOptions) (*sql.Tx, error)
  // ...
}

// `*Writer`と`*Reader`を受け取れる
func procForDB(db DB) {
  // ...
}

ReaderDBについては、読み込み処理しか行わないのでExec()やBegin()は禁止したい。

QueryXXX()しか持たないインターフェースを定義すれば一応、制限することはできる。 しかしそれだと、*Writerと*Reader両方を渡すことができてしまう。

type Queryer interface {
  Query(query string, args ...any) (*sql.Rows, error)
}

// `*Writer`も受け取れてしまう
func procForReader(db Queryer) {
  // ...
}

ジェネリクスで*sql.DBの型を分ける

…という要件をここ数日悶々と考えていて、ジェネリクスを使えばできそうなのでライブラリを書いてみた。

github.com

まずマーカーにする型を定義する。 型の実態はstruct{}でもintでも何でもいい。

type WriterDB struct{}
type ReaderDB struct{}

type MyDB interface {
  WriterDB | ReaderDB
}

そのマーカーを使って*dbtyp.DB[T]を生成する。

  writer, _ := dbtyp.New2[WriterDB](sql.Open("sqlite", "file::memory:"))
  reader, _ := dbtyp.New2[ReaderDB](sql.Open("sqlite", "file::memory:"))

*dbtyp.DB[T]は*sql.DBを埋め込んでいるので同じメソッドを持つ。

type DB[T any] struct {
  *sql.DB
}

*dbtyp.DB[WriterDB]と*dbtyp.DB[ReaderDB]は型が違うので当然、代入はできない。

  writer = reader // COMPILE ERROR!

DBを使う関数では型パラメーターで使うDBを制限できる。

// `*dbtyp.DB[WriterDB]`は受け取れない
func procForRaeder(db *dbtyp.DB[ReaderDB]) {
  // ...
}

もし、WriterDBとReaderDBの両方を受け取りたかったら型制約MyDBを使う。

// `*dbtyp.DB[WriterDB]`と`*dbtyp.DB[ReaderDB]`を受け取れる
func procForRW[T MyDB](db *dbtyp.DB[T]) {
  // ...
}

さらに*dbtyp.DB[T]はメソッドを制限した*dbtyp.Queryer[T]を生成できる。

*dbtyp.Queryer[T]を使えば、ReaderDBに対してQueryXXX()以外のメソッドの呼び出しを禁止することができる。

func main() {
   reader, _ := dbtyp.New2[ReaderDB](sql.Open("sqlite", "file::memory:"))
   q := reader.Queryer()
   procReader(q)
}

// `*dbtyp.Queryer[WriterDB]`は受け取れない
func procReader(q *dbtyp.Queryer[ReaderDB]) {
   q.Query("select 1") // QueryXXX()しか呼び出せない
}

既存の*sql.DB、*sql.Txとの相互運用も踏まえて、双方に互換性のあるインターフェースも用意してみた。

iface package - github.com/winebarrel/dbtyp/iface - Go Packages

type DB interface {
    Begin() (*sql.Tx, error)
    BeginTx(ctx context.Context, opts *sql.TxOptions) (*sql.Tx, error)
    Close() error
    Conn(ctx context.Context) (*sql.Conn, error)
    Driver() driver.Driver
    Exec(query string, args ...any) (sql.Result, error)
    ExecContext(ctx context.Context, query string, args ...any) (sql.Result, error)
    Ping() error
    PingContext(ctx context.Context) error
    Prepare(query string) (*sql.Stmt, error)
    PrepareContext(ctx context.Context, query string) (*sql.Stmt, error)
    Query(query string, args ...any) (*sql.Rows, error)
    QueryContext(ctx context.Context, query string, args ...any) (*sql.Rows, error)
    QueryRow(query string, args ...any) *sql.Row
    QueryRowContext(ctx context.Context, query string, args ...any) *sql.Row
    SetConnMaxIdleTime(d time.Duration)
    SetConnMaxLifetime(d time.Duration)
    SetMaxIdleConns(n int)
    SetMaxOpenConns(n int)
    Stats() sql.DBStats
}

GolangでそこそこのJSONパーサを楽に自作する

先日、json2goというツールを作ったが、構造体のフィールドの順番がJSONと同じにならないのがいやで、なんとかならないかと調べてみた。 ObjectのanyへのUnmarshalがmap[string]anyに決め打ちされているのが原因で、ルートのObjectの型をなんとかすることはできても不定型なObjectの末端の子要素まで型を変えるのは難しそうだった。

そうなるとJSONのパーサを書くしかなさそうで「runeでデータを取り出さないと」「lexer書くのめんどくさい」「Unicodeエスケープシーケンスどうしよう」などと考えていたが、json.DecoderにToken()というメソッドがあってJSONのトークンを順次返してくれるので、これをlexerとしてパーサにトークンを渡せば、そこそこの品質のJSONパーサが楽にかけそうだったので 書いてみた。

github.com

パーサのライブラリには participle を使っている。

パーサ部分だけ取り出すとこんな感じ。

// lexer.go
package parser

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io"

    "github.com/alecthomas/participle/v2/lexer"
)

const (
    TokenTypeDelim  lexer.TokenType = iota // '[',']','{','}'
    TokenTypeFalse                         // false
    TokenTypeNull                          // null
    TokenTypeTrue                          // true
    TokenTypeNumber                        // number
    TokenTypeString                        // string
)

var jsonSymbols = map[string]lexer.TokenType{
    "[":      TokenTypeDelim,
    "]":      TokenTypeDelim,
    "{":      TokenTypeDelim,
    "}":      TokenTypeDelim,
    "false":  TokenTypeFalse,
    "null":   TokenTypeNull,
    "true":   TokenTypeTrue,
    "number": TokenTypeNumber,
    "string": TokenTypeString,
}

type JsonDefinition struct {
}

func (l *JsonDefinition) Symbols() map[string]lexer.TokenType {
    return jsonSymbols
}

func (l *JsonDefinition) Lex(filename string, r io.Reader) (lexer.Lexer, error) {
    buf := &bytes.Buffer{}
    decoder := json.NewDecoder(io.TeeReader(r, buf))
    decoder.UseNumber()

    lex := &JsonLexer{
        decoder: decoder,
        buf:     buf,
        pos: lexer.Position{
            Filename: filename,
            Line:     1,
            Column:   1,
        },
    }

    return lex, nil
}

type JsonLexer struct {
    decoder *json.Decoder
    buf     *bytes.Buffer
    pos     lexer.Position
}

func (l *JsonLexer) Next() (lexer.Token, error) {
    startOffset := l.decoder.InputOffset()
    rawTok, err := l.decoder.Token()
    span := make([]byte, l.decoder.InputOffset()-startOffset)
    tok := lexer.Token{}

    if _, err := l.buf.Read(span); err != nil {
        return tok, err
    }

    tok.Pos = l.pos
    l.pos.Advance(string(span))

    if err == io.EOF {
        tok.Type = lexer.EOF
        return tok, nil
    } else if err != nil {
        return tok, fmt.Errorf("%d:%d: %w", tok.Pos.Line, tok.Pos.Column, err)
    }

    switch v := rawTok.(type) {
    case json.Delim:
        tok.Type = TokenTypeDelim
        tok.Value = v.String()
    case bool:
        if v {
            tok.Type = TokenTypeTrue
            tok.Value = "true"
        } else {
            tok.Type = TokenTypeFalse
            tok.Value = "false"
        }
    case nil:
        tok.Type = TokenTypeNull
        tok.Value = "null"
    case json.Number:
        tok.Type = TokenTypeNumber
        tok.Value = v.String()
    case string:
        tok.Type = TokenTypeString
        tok.Value = v
    }

    return tok, nil
}

// parser.go
package parser

import "github.com/alecthomas/participle/v2"

var (
    jsonParser = participle.MustBuild[JsonValue](
        participle.Lexer(&JsonDefinition{}),
    )
)

type JsonValue struct {
    False  *string     `parser:"@false |"`
    Null   *string     `parser:"@null |"`
    True   *string     `parser:"@true |"`
    Object *JsonObject `parser:"@@ |"`
    Array  *JsonArray  `parser:"@@ |"`
    Number *string     `parser:"@number |"`
    String *string     `parser:"@string"`
}

type JsonObject struct {
    Members []*JsonObjectMember `parser:"'{' @@* '}'"`
}

type JsonObjectMember struct {
    Key   string     `parser:"@string"`
    Value *JsonValue `parser:"@@"`
}

type JsonArray struct {
    Elements []*JsonValue `parser:"'[' @@* ']'"`
}

func ParseJSON(filename string, src []byte) (*JsonValue, error) {
    v, err := jsonParser.ParseBytes(filename, src)

    if err != nil {
        return nil, err
    }
    return v, nil
}

参考: Go言語のorderedmapパッケージを改善した - プログラムモグモグ

追記

パーサだけ別ライブラリに切り出した。

github.com

json2goの作成といくつかの学び

元旦の手隙な時間にjson2goというJSONをGoの構造体に変換するツールを書いた。

github.com

$ echo '{"foo":"bar","zoo":[1,2,3],"baz":[{"hoge":10},{"fuga":20}]}' | json2go
struct {
    Baz []struct {
        Fuga int `json:"fuga"`
        Hoge int `json:"hoge"`
    } `json:"baz"`
    Foo string `json:"foo"`
    Zoo []int  `json:"zoo"`
}

オンラインで同様のサービスを提供するサイトはすでにいくつかあるが、業務のコードをWebサイトのフォームに貼り付けたくなかったのでCLIを作成した。ただ、よくよく見たら既存のCLIもそれなりにあった。

一応、特徴としては

  • オブジェクト・配列だけでなくプリミティブ型のルート値も変換できる
  • 無名の構造体として出力される
  • 数値は.があればfloat64、なければint
  • 複数の型が混じらない配列を[]anyにしない（e.g., [1,2,3] → []int）
  • オブジェクトの配列を和集合の配列にする
  • 数字始まりや記号のキーも変換する
  • 変換結果をさらにコンパイルしてjson.Unmarshal()するテストをしている
  • JSONの定義通りの順番で変換する

…といったところ。

テストケースを読めば仕様がわかると思う。

いくつかの学び

最初、JSONをany型にUnmarshalしたオブジェクトを再帰的にたどっていけば簡単に作れるだろうと思っていた。 実際、その通りの実装になっているがコーナーケースや仕様決めが必要な箇所が細々とあって、小さなツールの割にそれなりに考えて実装することになった。

※仕様についてはJSON-to-Goの振る舞いを踏襲している

  • numberを一律float64にしたくない
    • →json.Numberという型があって使う側でfloat64 or int64を決められる。さらに元の文字列も保持している
    • func (*Decoder) UseNumberを呼ぶと、map[string]anyへのUnmarshalでもnumberをjson.Numberに変換してくれる
  • [1, 2, 3]という配列を[]anyにしたくない
    • →すべての型をなめてから型を決定
  • [{"foo":1},{"bar":2}]を和集合に変換
    • →最初、型が完全に一致しない場合は[]anyにしていたが、キーが省略されるパターンがありそうなので []struct{ Foo int ; Bar int }になるようにした
    • 和集合を作る際にメンバーの型が異なっていてもany・[]anyに丸められるようにした
  • [[1],["str"]]は[][]anyにしない
    • →頑張ったらできそうな気もしたが[]intと[]stringは違う型なので違和感を拭えなかった
  • map[string]anyでordered mapを使う手段を見つけられなかったので、あきらめてソートするようにした
  • 数値始まりや記号のキー
    • →構造体のフィールドしてvalidな名前に変換
  • テストで変換結果をコンパイルすることでGoのコードとしてvalidなことを保証している
  • Goコードのフォーマットにはformat.Sourceを利用

alecthomas/kongでユーザー定義型（Custom decoder）を使う

github.com

For more fine-grained control, if a field implements the MapperValue interface it will be used to decode arguments into the field.

package main

import (
    "fmt"
    "os"

    "github.com/alecthomas/kong"
)

type Foo struct {
    Value string
}

func (foo *Foo) Decode(ctx *kong.DecodeContext) error {
    var valueStr string

    // 第一引数はユーザー向けの補助情報のとのこと
    // see https://pkg.go.dev/github.com/alecthomas/kong#Scanner.PopValueInto
    // > "context" is used to assist the user if the value can not be popped, eg. "expected <context> value but got <type>"
    err := ctx.Scan.PopValueInto("foo", &valueStr)

    if err != nil {
        return err
    }

    foo.Value = valueStr

    return nil
}

func main() {
    var cli struct {
        Foo []Foo `short:"f"`
    }

    parser := kong.Must(&cli)
    _, err := parser.Parse(os.Args[1:])
    parser.FatalIfErrorf(err)

    fmt.Printf("%+v\n", cli)
}

$ go run main.go -f hello
{Foo:[{Value:hello}]}

GolangでDNS権威サーバを書いてfly.ioで動かす

任意のプラベートIPを返すような動的なDNS権威サーバが欲しくなったので調べたところ github.com/miekg/dns というライブラリでサクッとかけそうだったので書いてみた。

net/http を模したライブラリで、DNSサーバを簡単に書くことができる。

github.com

package main

import (
    "log"
    "net"

    "github.com/miekg/dns"
)

func main() {
    dns.HandleFunc("example.com", func(w dns.ResponseWriter, r *dns.Msg) {
        msg := &dns.Msg{}
        msg.SetReply(r)
        msg.Authoritative = true

        for _, q := range msg.Question {
            if q.Name == "hello.example.com." && q.Qtype == dns.TypeA {
                rr := &dns.A{
                    Hdr: dns.RR_Header{Name: q.Name, Rrtype: q.Qtype, Class: q.Qclass, Ttl: 300},
                    A:   net.ParseIP("127.0.0.1"),
                }
                msg.Answer = append(msg.Answer, rr)
            }
        }

        w.WriteMsg(msg)
    })

    s := &dns.Server{Addr: ":53", Net: "udp"}
    err := s.ListenAndServe()

    if err != nil {
        log.Fatal(err)
    }
}

$ dig @127.0.0.1 +short hello.example.com
127.0.0.1

ゾーンファイルのパースもできる。

func main() {
    buf := strings.NewReader(`
www.example.com.  300 IN A 127.0.0.1
www2.example.com. 300 IN A 127.0.0.2
`)
    z := dns.NewZoneParser(buf, "", "")

    for rr, ok := z.Next(); ok; rr, ok = z.Next() {
        fmt.Println(rr.String())
    }

    fmt.Println(z.Err())
}

$ go run main.go
www.example.com.    300    IN  A   127.0.0.1
www2.example.com.   300    IN  A   127.0.0.2
<nil>

作ったDNSサーバがこちら。

github.com

$ kodama example.com &
[1] 25270
$ dig @127.0.0.1 +short 127-0-0-1.example.com
127.0.0.1
$ dig @127.0.0.1 +short web-192-168-10-1.example.com
192.168.10.1

fly.ioでDNSサーバを動かす

作ったDNSサーバをどこかで動かしたい…と思っていたらなんと fly.io がUDP/TCPに対応していた。

fly.io

IPv4をアロケートして、以下のような fly.toml でアプリをデプロイしたら普通に動いた。

app = 'kodama'
primary_region = 'nrt'

[build]
  image = 'ghcr.io/winebarrel/kodama:v1.0.0'

[env]
  KODAMA_DOMAIN = 'foo.example.com'
  KODAMA_ZONE_DATA = """
; ...
bar.foo.example.com. 3600 IN NS xxx.xxx.xxx.xxx
"""

[[services]]
  protocol = 'udp'
  internal_port = 53

  [[services.ports]]
    port = 53

[[services]]
  protocol = 'tcp'
  internal_port = 53

  [[services.ports]]
    port = 53

[[vm]]
  memory = '1gb'
  cpu_kind = 'shared'
  cpus = 1

おまけ: Google Public DNSの挙動

せっかくなので動かしたDNSサーバでLet's Encryptの証明書を取得しようとしてみた。 以下のようなDNSチャレンジ用のTXTレコードを設定してcertbotを動かしたが、なぜかチャレンジに失敗する。

_acme-challenge.foo.example.com. 900 IN TXT xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

手元のdigでは値が返るのになぜ…と思ってログを仕込んでみたら、@8.8.8.8 @8.8.4.4 のリゾルバからは大文字小文字がランダムになったホスト名が問い合わせされてきた。

2025-12-XXTXX:XX:XXZ app[...] nrt [info]2025-12-XXTXX:XX:XX DEBUG NOT FOUND question=";_AcMe-chALlenGE.foo.eXamPle.com.\tIN\t A"

それで大文字の問い合わせに対応していないバグに気がついたが、なんでそうなっているのが調べたところセキュリティ対策とのこと。

developers.google.com

キャッシュポイズニングで不正なパケットが返されたときに、問い合わせのホスト名と応答のホスト名が違っていれば、キャッシュが汚染されたことがわかる、ということらしい。

ちなみに 1.1.1.1 はそのような挙動にはなっていなかった。

参考リンク