Gremlins がどうやってコードを置き換えているのかを追う

ということは、コードを置き換えているはずなので、該当箇所を探してみる

LT;DR

実際のコードを書き換えているわけではなく、一時ディレクトリにコピーしている

文字列置換ではなく、AST を用いている

置換後 AST をコードに再レンダリングし、コードを実行している

code:go

mod, err := gomodule.Init(path) // Go モジュールでなければエラー

workDir, err := os.MkdirTemp(os.TempDir(), "gremlins-") // ルート作業ディレクトリ

defer cleanUp(workDir) // 終了時に RemoveAll

code:go

c := coverage.New(workDir, mod)

cProfile, err := c.Run()

code:go

_ = os.Chdir(c.mod.Root)

if err := c.downloadModules(); err != nil { ... } // go mod download を先に実行

elapsed, err := c.executeCoverage() // go test -cover。所要時間を計測

profile, err := c.profile() // プロファイルをパース

return Result{Profile: profile, Elapsed: elapsed}, nil

Before executing the coverage, it downloads the go modules in a separate step.

This is done to avoid that the download phase impacts the execution time which

is later used as timeout for the mutant testing execution.

ダウンロード処理が実行時間に影響を与えないようにするため

この実行時間を、ミューテーションテストの実行時のタイムアウト値として利用する

code:go

jDealer := engine.NewExecutorDealer(mod, wdDealer, cProfile.Elapsed)

2. で測定した実行時間からタイムアウト時間を計算する

code:go

mut := engine.New(mod, codeData, jDealer)

results := mut.Run(ctx)

code:go

gomu.mutantStream = make(chan mutator.Mutator)

go func() {

defer close(mu.mutantStream)

_ = fs.WalkDir(mu.fs, ".", func(path string, _ fs.DirEntry, _ error) error {

isGoCode := filepath.Ext(path) == ".go" && !strings.HasSuffix(path, "_test.go")

if isGoCode && !mu.codeData.Exclusion.IsFileExcluded(path) {

mu.runOnFile(path)

}

return nil

})

}()

res := mu.executeTests(ctx)

ディレクトリごとに処理を実施

code:go

set := token.NewFileSet()

file, _ := parser.ParseFile(set, fileName, src, parser.ParseComments)

ast.Inspect(file, func(node ast.Node) bool {

n, ok := NewTokenNode(node)

if !ok {

return true

}

mu.findMutations(fileName, set, file, n)

return true

})

code:go

...

tm := NewTokenMutant(pkg, set, file, node) // set と file を共有したまま変異体を作る

tm.SetType(mutantType)

tm.SetStatus(mu.mutationStatus(set.Position(node.TokPos)))

mu.mutantStream <- tm

変異タイプとどう変更するかを引き、変異体を生成する

5. 変異体の実行

code:go

rootDir, err := m.wdDealer.Get(workerName) // ⑤-1 隔離。ワーカー用コピーを取得(初回のみ実コピー)

workingDir := filepath.Join(rootDir, m.module.CallingDir)

m.mutant.SetWorkdir(workingDir)

if m.mutant.Status() == mutator.NotCovered ||

m.mutant.Status() == mutator.Skipped ||

m.dryRun {

m.outCh <- m.mutant // 実行せず結果だけ流す

return

}

if err := m.mutant.Apply(); err != nil { ... } // ⑤-2 差し替え

m.mutant.SetStatus(m.runTests(rootDir, m.mutant.Pkg())) // ⑤-3 テスト実行と判定

if err := m.mutant.Rollback(); err != nil { ... } // ⑤-4 復元

m.outCh <- m.mutant

5-1. 本番コードのコピー

code:go

wdDealer := workdir.NewCachedDealer(workDir, mod.Root)

defer wdDealer.Clean()

e.g. 8 worker でも変異体が 3 個しかなければ、コピーは 3 回しか起こらない

code:go

dstDir, ok := cd.fromCache(idf)

if ok {

return dstDir, nil // 同じ idf なら同じディレクトリ

}

dstDir, err := os.MkdirTemp(cd.workDir, "wd-*")

err = filepath.Walk(cd.srcDir, cd.copyTo(dstDir)) // モジュール全体をファイルコピー

cd.setCache(idf, dstDir)

5-2. 差し替え

code:go

func (m *TokenMutator) Apply() error {

fileLock(m.Position().Filename).Lock()

defer fileLock(m.Position().Filename).Unlock()

filename := filepath.Join(m.workDir, m.Position().Filename)

// (1) 元のバイト列を退避

m.origFile, err = os.ReadFile(filename)

m.origSnippet = extractSnippet(m.origFile, m.Position().Line, 3)

// (2) 現在のトークンを保存

m.actualToken = m.tokenNode.Tok()

// (3) 共有 AST を書き換え

// (4) printer.Fprint で全体を再出力して上書き

if err = m.writeMutatedFile(filename); err != nil {

return err

}

// (5) AST を即座に元へ戻す

m.tokenNode.SetTok(m.actualToken)

return nil

}

5-3. テスト実行と判定

code:go

ctx, cancel := context.WithTimeout(context.Background(), m.testExecutionTime)

cmd := m.execContext(ctx, "go", m.getTestArgs(pkg)...)

cmd.Dir = m.mutant.Workdir() // コピー側で実行

...

if errors.Is(ctx.Err(), context.DeadlineExceeded) {

return mutator.TimedOut

}

var exitErr *exec.ExitError

if errors.As(err, &exitErr) {

return getTestFailedStatus(exitErr.ExitCode())

}

return mutator.Lived

5-4. 復元

code:go

func (m *TokenMutator) Rollback() error {

defer m.resetOrigFile()

filename := filepath.Join(m.workDir, m.Position().Filename)

return os.WriteFile(filename, m.origFile, 0o600)

}