Pythonのテストフレームワークpytestを使ってみよう

https://gyazo.com/803d9f441c601b51e0d2ce3f9d4d83c0

pytestについて

Pythonを使ってテストコードを書くことができるオープンソースのテストフレームワークです。シンプルな単体テストから複雑な機能テストまで、様々なテストを書くことができます。

pytest には次のような特徴があります。

unittest テストケースの実行をサポート

テストケースのフィルタリングをサポート

最後に失敗したテストから再実行する機能

並行でのテスト実行をサポート

機能を拡張するための何百ものプラグインからなるエコシステム

オープンソース

pytest は Python 標準の unittest モジュールに代わるボイラープレート不要のモジュールで、unittest テストケースをそのまま実行することができます。pytest はフル機能を備えた拡張可能なテストツールであるにもかかわらず、シンプルな構文テストスイートを作成作成することができ、いくつかの関数を持つモジュールを書くのと同じくらい簡単です。

プログラミング言語での意味は、仕様上省略不能で、 かつほとんど変更を加えることなく、

多くの場所に組み込む必要があるソースコードのことを言います。

余談

2004年、Holger Krekel氏は彼が開発したパッケージ std の名前を、Pythonに同梱されている標準ライブラリの名前とよく混同されていたため、「py」という名前に変更しました。このパッケージにはいくつかのサブパッケージが含まれていて、その中のひとつが 「py.test」でした。現在ではほぼ完全に 「pytest」として知られています。

表記としては、「PyTest」も使用されることもあります。

pytest は Python でのテストフレームワークの新しい標準を確立し、今日では多くの開発者に人気があります。

インストール

pytest のインストールは pip コマンドで行います。

code: bash

$ pip install pytest

インストールが成功すると pytest コマンドを実行できるようになります。まず、次のように確かめてみましょう。

code: bash

% pytest -h

positional arguments:

file_or_dir

(以下略)

使用方法

code: test_01_sample.py

def func(x):

return x + 1

def test_answer():

assert func(3) == 5

これを実行すると、次のような出力になります。

code: bash

pytest test_01_sample.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest

plugins: cov-2.12.1, typeguard-2.12.1

collected 1 item

=================================== FAILURES ====================================

__________________________________ test_answer __________________________________

def test_answer():

assert func(3) == 5

E assert 4 == 5

E + where 4 = func(3)

test_01_sample.py:5: AssertionError

============================ short test summary info ============================

コンソール画面には。次のようにカラー表示されてわかりやすくなっています。

https://gyazo.com/6d46d088417d7afe9ac3722bd66cf86b

複数のテストを1つのクラスにまとめる

テストの数が増えてくると、 テストを論理的にまとめてクラスやモジュールにすることが必要になってきます。2 つのテストを含むクラスを書いてみましょう。

code: s02_group.py

class TestClass:

def test_one(self):

x = "Hello"

assert 'H' in x

def test_two(self):

x = "Python"

assert hasattr(x, 'size')

code: bash

% python -m pytest test_02_group.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest

plugins: cov-2.12.1, typeguard-2.12.1

collected 2 items

=================================== FAILURES ====================================

______________________________ TestClass.test_two _______________________________

self = <test_02_group.TestClass object at 0x10c140f40>

def test_two(self):

x = "Python"

assert hasattr(x, 'size')

E AssertionError: assert False

E + where False = hasattr('Python', 'size')

test_02_group.py:9: AssertionError

============================ short test summary info ============================

FAILED test_02_group.py::TestClass::test_two - AssertionError: assert False

========================== 1 failed, 1 passed in 0.19s ==========================

pytestのアサーション

pytestのテストファイルとテストメソッドの識別方法

test_01.py - OK

01_tesst.py - OK

test_01 - NG

test01.py - NG

01test.py - NG

01_test - NG

pytest のコマンドラインで引数を省略すると、カレントディレクトリで認識したテストファイルをすべて実行しようとします。

def test_func(): - OK

def testfunc(): - OK

def func_test(): - NG

def functest(): - NG

pytestでテストのサブセットを実行する

場合によっては、テストスイート全体を実行したくないことがあります。pytestでは特定のテストだけを実行することができます。これには2つの方法があります。

部分一致によるテスト名のグループ化

マーカーを使ったテストをグループ化

部分一致したテストを実行

-k EXPRESSION

指定された部分文字列に一致するテストのみを実行します。

テスト名とその親クラスにマッチするテストのみを実行します。

例:

確認のために、次の２つのファイルを追加作成します。簡単にするために、２つのファイルの違いは、関数の名前が違っているだけです。

code: test_03_sum.py

def test_group1_sum1():

def test_group1_sum2():

def test_group1_sum3():

assert sum((1,2,3)) == 6, "Expecting 6"

code: test_04_sum.py

def test_group2_sum1():

def test_group2_sum2():

def test_group2_sum3():

assert sum((1,2,3)) == 6, "Expecting 6"

code: bash

% pytest -k sum1 -v

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest

plugins: cov-2.12.1, typeguard-2.12.1

collected 17 items / 15 deselected / 2 selected

======================= 2 passed, 15 deselected in 0.20s ========================

カレントディレクトリ以下にあるテストファイルが対象となることに注意してください。

マーカーを使ったテストを実行

組み込みのマーカーのいくつかを紹介します。

独自のマーカーを作成したり、テストクラスやモジュール全体にマーカーを適用したりすることは簡単です。

pytest でカスタムマーカーを使用する場合は、事前に登録しておく必要があります。

マークの登録

カスタムマークの登録は、pytest.iniファイルで以下のように行います。

code: pytest.ini

markers =

sum01: marks tests as sum01 (deselect with '-m "not slow"')

sum02

sum03

code: bash

$ pytest --markers | grep sum

@pytest.mark.sum01: marks tests as sum01 (deselect with '-m "not slow"')

@pytest.mark.sum02:

@pytest.mark.sum03:

code: pyproject.toml

markers = [

"sum01: marks tests as sum01 (deselect with '-m "not slow"')",

"sum02",

"sum03",

]

また、pytest_configure フックでプログラム的に新しいマーカーを登録することもできます。

code: pytohn

def pytest_configure(config):

config.addinivalue_line(

"markers", "sum01: marks tests as sum01 (deselect with '-m "not slow"')"

)

config.addinivalue_line("markers", "sum02")

config.addinivalue_line("markers", "sum03")

各テスト名にマーカーを定義するには、次のようにします。

code: test_05_sum_mark.py

import pytest

@pytest.mark.sum01

def test_group1_sum01():

@pytest.mark.sum02

def test_group1_sum02():

@pytest.mark.sum03

def test_group1_sum03():

assert sum((1,2,3)) == 6, "Expecting 6"

code: test_06_sum_mark.py

import pytest

@pytest.mark.sum01

def test_group2_sum01():

@pytest.mark.sum02

def test_group2_sum02():

@pytest.mark.sum03

def test_group2_sum03():

assert sum((1,2,3)) == 6, "Expecting 6"

-m MARKEXPR

指定されたマーク式に一致するテストを実行します。

例： -m 'mark1 and not mark2'.

code: bash

$ pytest -m sum03 -v

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1

collected 23 items / 21 deselected / 2 selected

======================= 2 passed, 21 deselected in 0.19s ========================

pytest のフィクスチャ

フィクスチャ(Fixture) は、すべてのテストメソッドの前に何らかのコードを実行したいときに使用します。そのため、毎回のテストで同じコードを繰り返すのではなく、フィクスチャを定義します。通常、フィクスチャはデータベース接続を初期化したり、ベースを渡したりするのに使われます。

メソッドに pytest フィクスチャのマークをつけるためには、テストメソッドを次のようにアノテーションします。

code: python

@pytest.fixture

def test_some_test():

...

code: test_10_fixture.py

import pytest

@pytest.fixture

def input_value1():

@pytest.fixture

def input_value2():

@pytest.fixture

def input_value3():

return (1, 2, 3)

def test_demo_sum1(input_value1):

assert sum(input_value1) == 6, "Expecting 6"

def test_demo_sum2(input_value2):

assert sum(input_value2) == 6, "Expecting 6"

def test_demo_sum3(input_value3):

assert sum(input_value3) == 6, "Expecting 6"

テストが実行されている間、pytest は入力パラメータとしてフィクスチャ名を確認します。そして、フィクスチャ関数を実行し、返された値が入力パラメータに格納され、テストで使用できるようになります。

code: bash

% pytest -v test_10_fixture.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 3 items

=================================== FAILURES ====================================

________________________________ test_demo_sum2 _________________________________

def test_demo_sum2(input_value2):

assert sum(input_value2) == 6, "Expecting 6"

E AssertionError: Expecting 6

E assert 3 == 6

E +3

E -6

test_10_fixture.py:18: AssertionError

============================ short test summary info ============================

FAILED test_10_fixture.py::test_demo_sum2 - AssertionError: Expecting 6

========================== 1 failed, 2 passed in 0.24s ==========================

code: conftesst.py

import pytest

@pytest.fixture

def input_value1():

@pytest.fixture

def input_value2():

@pytest.fixture

def input_value3():

return (1, 2, 3)

それぞれのテストファイルは次のようにシンプルになります。

code: test_11_share_fixture.py

def test_group1_sum1(input_value1):

assert sum(input_value1) == 6, "Expecting 6"

def test_group1_sum2(input_value2):

assert sum(input_value2) == 6, "Expecting 6"

def test_group1_sum3(input_value3):

assert sum(input_value3) == 6, "Expecting 6"

code:test_12_share_fixture.py

def test_group2_sum1(input_value1):

assert sum(input_value1) == 6, "Expecting 6"

def test_group2_sum2(input_value2):

assert sum(input_value2) == 6, "Expecting 6"

def test_group2_sum3(input_value3):

assert sum(input_value3) == 6, "Expecting 6"

code: bash

$ pytest -v -k sum3 *share_fixture.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 6 items / 4 deselected / 2 selected

======================== 2 passed, 4 deselected in 0.04s ========================

パラメタライズ・テスト

parametrizeは、はpytestで使えるデコレータの1つです。parametrize を使用すると、変数と結果をパラメータとしてテストコードに渡すことで、1つのテストメソッドで複数パターンのテストを行うことができるようになります。

code: test_20_parametrize.py

import pytest

def fibonacci(n):

a, b = 1, 0

for _ in range(n+1):

a, b = b, a + b

return b

test_data = [

( 8, 34),

( 9, 55),

(10, 89),

(11, 144),

]

@pytest.mark.parametrize("n, expect", test_data)

def test_fibonacci(n, expect):

result = fibonacci(n)

assert result == expect

code: bash

% pytest -v test_20_parametrize.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 4 items

=============================== 4 passed in 0.05s ===============================

複数のパラメータ化された引数のすべての組み合わせを取得するには、parametrize デコレータを重ねることができます。

code: test_21_parametrize.py

import pytest

def test_sum(a, b, c):

pass

この動作を確認してみましょう。

code: bash

$ pytest -v test_21_parametrize.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 8 items

=============================== 8 passed in 0.07s ===============================

Skip テストと Xfail テスト

テストを行うときに、テストをスキップしたり、テストの失敗を無視したいときがあります。

通常は、次ののような状況において、こうした要望が強くなります。

あるテストが、何らかの理由でしばらくの間、関連性がない。

ある機能がまだ未実装で、その機能のためのテストに意味がない。

新しい機能が実装されていて、その機能のために既にテスト済み。

code: python

@pytest.mark.xfail

テストをスキップさせたいときは、次のようにマークします。

code: python

@pytest.mark.skip

テストが適切なものになったとき、マーカーを削除することができます。

code: test_25_skip_xfail.py

import pytest

@pytest.mark.sum01

def test_group1_sum01():

@pytest.mark.xfail

@pytest.mark.sum02

def test_group1_sum02():

@pytest.mark.skip

@pytest.mark.sum03

def test_group1_sum03():

assert sum((1,2,3)) == 6, "Expecting 6"

code: bash

% pytest -v test_25_skip_xfail.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 3 items

==================== 1 passed, 1 skipped, 1 xfailed in 0.15s ====================

N個のテストが失敗したらテストスイートを停止させる

デフォルトでは、pytest では複数のテストが失敗してもテストスイートは継続して実行されます。失敗したテストの個数が多いと問題の対象がぼやけてしまうことがあります。

2個のテストが失敗したときにテストスイートを指定させる方法は、次の通りです。

code: bash

$ pytest --maxfail=2 テストファイル

次のテストファイルで確認してみましょう。このテストファイルには４つのテストがあり、うち２つは（意図的に）失敗します。

code: test_26_maxfail.py

import pytest

def fibonacci(n):

a, b = 1, 0

for _ in range(n+1):

a, b = b, a + b

return b

test_data = [

( 8, 34),

( 9, 56), # 正解: 55

(10, 90), # 正解: 89

(11, 144),

]

@pytest.mark.parametrize("n, expect", test_data)

def test_fibonacci(n, expect):

result = fibonacci(n)

assert result == expect

ひとつのテストが失敗したときにテストスイートを停止させてみましょう。

code: bash

% pytest -v --maxfail=1 test_26_maxfail.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 4 items

=================================== FAILURES ====================================

n = 9, expect = 56

@pytest.mark.parametrize("n, expect", test_data)

def test_fibonacci(n, expect):

result = fibonacci(n)

assert result == expect

E assert 55 == 56

E +55

E -56

test_26_maxfail.py:19: AssertionError

============================ short test summary info ============================

!!!!!!!!!!!!!!!!!!!!!!!!!!! stopping after 1 failures !!!!!!!!!!!!!!!!!!!!!!!!!!!

========================== 1 failed, 1 passed in 0.23s ==========================

ロギングとの連携

pytest は、レベル WARNING 以上のログメッセージを自動的にキャプチャし、キャプチャされた標準出力や標準エラーと同じように、失敗したテストごとに独自のセクションに表示します。

code: test_30_logging.py

import logging

LOGGER = logging.getLogger(__name__)

def test_loglevel():

LOGGER.info('LOGLevel info')

LOGGER.warning('LOGLevel warning')

LOGGER.error('LOGLevel error')

LOGGER.critical('LOGLevel critical')

assert True

ログ関連のオプションを何も与えないと、これまでと同様に次の出力となります。

code: bash

$ pytest -v test_30_logging.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 1 item

=============================== 1 passed in 0.04s ===============================

ログレベルをDEBUGにして、実行してみます。

code: bash

$ pytest -v test_30_logging.py --log-cli-level=DEBUG

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 1 item

test_30_logging.py::test_loglevel

--------------------------------- live log call ---------------------------------

INFO test_30_logging:test_30_logging.py:6 LOGLevel info

WARNING test_30_logging:test_30_logging.py:7 LOGLevel warning

ERROR test_30_logging:test_30_logging.py:8 LOGLevel error

CRITICAL test_30_logging:test_30_logging.py:9 LOGLevel critical

=============================== 1 passed in 0.03s ===============================

ログ出力を取り込んで評価する

まず、使用例をみてみましょう。

code: test_31_caplog.py

import logging

LOGGER = logging.getLogger(__name__)

def myfunc():

LOGGER.info('LOGLevel info')

LOGGER.warning('LOGLevel warning')

LOGGER.error('LOGLevel error')

LOGGER.critical('LOGLevel critical')

class TestCapLog:

def test_caplog1(self, caplog):

myfunc()

assert (__name__, logging.INFO, "LOGLevel info") \

not in caplog.record_tuples, \

"ログレベルはWARNINGがデフォルトなので、INFOは出力されない"

assert (__name__, logging.WARNING, "LOGLevel warning") \

in caplog.record_tuples

assert (__name__, logging.ERROR, "LOGLevel error") \

in caplog.record_tuples

caplog.set_level(logging.INFO)

myfunc()

assert (__name__, logging.INFO, "LOGLevel info") \

in caplog.record_tuples, \

"ログレベルをINFOにしたので、このログは出力される"

def test_caplog2(self, caplog):

# test_caplog1 で設定したログレベルはテスト終了時にリセットされている

myfunc()

assert (__name__, logging.INFO, "LOGLevel info") \

not in caplog.record_tuples, \

"ログレベルはWARNINGがデフォルトなので、INFOは出力されない"

assert (__name__, logging.WARNING, "LOGLevel warning") \

in caplog.record_tuples

assert (__name__, logging.ERROR, "LOGLevel error") \

in caplog.record_tuples

with caplog.at_level(logging.INFO):

myfunc()

assert (__name__, logging.INFO, "LOGLevel info") \

in caplog.record_tuples, \

"ログレベルをINFOにしたので、このログは出力される"

このテストはすべて成功するはずです。

code: bash

% pytest -v test_31_caplog.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 2 items

=============================== 2 passed in 0.06s ===============================

unittestでのテストファイルの実行

pytest は unittest のテストファイルを実行することができます。

code: test_90_unittest.py

import unittest

import requests

class DemoTest(unittest.TestCase):

status = 200

def setUp(self):

@unittest.skip('無条件にスキップ')

def test_request1(self):

r1 = requests.get(self.url)

@unittest.skipIf(status > 200, 'status が 200より大きい時はスキップ')

def test_request2(self):

# アサーションの結果が真であれば続行し、

# そうでなければテストをスキップします。

r2 = requests.get(self.url)

status2 = r2.status_code

self.assertTrue(status2 > self.status)

@unittest.skipUnless(status == 404, 'status が 404 でなければスキップ')

def test_request3(self):

# 結果が真でない限り、このテストをスキップします。

r3 = requests.get(self.url)

status3 = r3.status_code

self.assertTrue(status3 > self.status)

@unittest.expectedFailure

def test_request4(self):

# テストケースは "expected failed"(予想される失敗)と表示されます。

# テストが実行された場合、テスト結果は失敗ではないと判断します。

r4 = requests.get(self.url+'/posts%2F4331797390207884')

status4 = r4.status_code

self.assertTrue(status4 ==self.status)

def tearDown(self):

pass

if __name__ == '__main__':

unittest.main()

このテストファイルは４つのテストがあります。

このテストファイルをそのまま pytest で実行してみましょう。

code: bash

% pytest -v test_90_unittest.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 4 items

=================================== FAILURES ====================================

____________________________ DemoTest.test_request2 _____________________________

self = <test_90_unittest.DemoTest testMethod=test_request2>

@unittest.skipIf(status > 200, 'status が 200より大きい時はスキップ')

def test_request2(self):

# アサーションの結果が真であれば続行し、

# そうでなければテストをスキップします。

r2 = requests.get(self.url)

status2 = r2.status_code

self.assertTrue(status2 > self.status)

E AssertionError: False is not true

test_90_unittest.py:19: AssertionError

============================ short test summary info ============================

FAILED test_90_unittest.py::DemoTest::test_request2 - AssertionError: False is...

==================== 1 failed, 2 skipped, 1 xfailed in 2.58s ====================

うまくテストが実行されたことが確認できます。

テストファイルを書いてみよう

これまでの説明で、プロジェクトにテストファイルを追加することを考えてみましょう。

code: bash

$ mkdir -p project/mymath

$ cd project/mymath

プロジェクトのディレクトリはこのようになっているはずです。

code: bash

$ tree project

project

└── mymath

└── __init__.py

1 directory, 1 file

code: mymath.py

def add(x, y):

return x + y

def multiply(x, y):

return x * y

def square(n):

return(n**2)

def cube(n):

return(n**3)

def fibonacci(n):

a, b = 1, 0

for _ in range(n+1):

a, b = b, a + b

return b

code: project/mymath/__init__.py

from .mymath import *

code: bash

% env PYTHONPATH=./project python

Python 3.9.7 | packaged by conda-forge | (default, Sep 29 2021, 19:23:19)

Type "help", "copyright", "credits" or "license" for more information.

>> import mymath

>> mymath.cube(5)

125

>>

テストを書く場所

モジュールの関数別にテストできるようにマーカーを用意しておきます。

code: pytest.ini

markers =

add

multiply

square

cube

packageフォルダに次の２つのテストファイルを配置します。

code: test_40_two_args.py

import pytest

import mymath

test_add_data = [

(10, 20, 30),

(15, 25, 40),

(20, 30, 50),

]

test_multiply_data = [

(10, 20, 200),

(15, 25, 375),

(20, 30, 600),

]

class TestMymath_TwoArgs:

@pytest.mark.add

@pytest.mark.parametrize('a, b, expect', test_add_data)

def test_add(self, a, b, expect):

v = mymath.add(a, b)

assert v == expect, f'Expecting {expect}'

@pytest.mark.multiply

@pytest.mark.parametrize('a, b, expect', test_multiply_data)

def test_multiply(self, a, b, expect):

v = mymath.multiply(a, b)

assert v == expect, f'Expecting {expect}'

code: test_40_single_args.py

import pytest

import mymath

test_square_data = [

( 3, 9),

( 4, 16),

( 5, 25),

]

test_cube_data = [

( 3, 27),

( 4, 64),

( 5, 125),

]

class TestMymath＿SingleArgs:

@pytest.mark.square

@pytest.mark.parametrize('n, expect', test_square_data)

def test_square(self, n, expect):

v = mymath.square(n)

assert v == expect, f'Expecting {expect}'

@pytest.mark.cube

@pytest.mark.parametrize('n, expect', test_cube_data)

def test_cube(self, n, expect):

v = mymath.cube(n)

assert v == expect, f'Expecting {expect}'

ファイルとディレクトリは次のようになっているはずです。

code: bash

% tree project

project

├── mymath

│   ├── __init__.py

│   └── mymath.py

├── pytest.ini

├── test_40_single_args.py

└── test_40_two_args.py

1 directory, 5 files

これで、テストが実行できるようになります。

code: bash

% pytest -v

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 12 items

============================== 12 passed in 0.10s ===============================

code: bash

% pytest -v -m add

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest/project, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

collected 12 items / 9 deselected / 3 selected

======================== 3 passed, 9 deselected in 0.07s ========================

テストファイルを作成するときは、次のことを考慮するようにします。

テストする機能やモジュールに応じて、異なるテストファイルを作成する。

テストファイルやメソッドには意味のある名前をつける。

様々な基準に基づいてテストをグループ化するための十分なマーカーを用意する。

必要に応じてフィクスチャを使用する。

プラグイン

pytest の特徴の１つに豊富なプラグインが利用できることがあります。

pytest によるテストの並列実行

通常は、テストスイートには複数のテストファイルと数多く（規模が大きければ何百）のテストメソッドがあり、実行にはかなりの時間がかかるものです。pytest を使用すると、テストを並行して実行することができます。

そのためには、プラグイン pytest-xdist をインストールする必要があります。

code: bash

$ pip install pytest-xdist

code: bash

% pytest -v -n 2 test_26_maxfail.py

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, typeguard-2.12.1, xdist-2.4.0, forked-1.3.0

scheduling tests via LoadScheduling

=================================== FAILURES ====================================

n = 9, expect = 56

@pytest.mark.parametrize("n, expect", test_data)

def test_fibonacci(n, expect):

result = fibonacci(n)

assert result == expect

E assert 55 == 56

E +55

E -56

test_26_maxfail.py:19: AssertionError

n = 10, expect = 90

@pytest.mark.parametrize("n, expect", test_data)

def test_fibonacci(n, expect):

result = fibonacci(n)

assert result == expect

E assert 89 == 90

E +89

E -90

test_26_maxfail.py:19: AssertionError

============================ short test summary info ============================

========================== 2 failed, 2 passed in 1.42s ==========================

テストコードはこのプロセスにロードバランシングで処理されます。

pytest-benchmark で変更間のパフォーマンス低下のテスト

Pythonのコードをベンチマークする方法はたくさんあります。標準ライブラリにはtimeitモジュールがあり、関数を何回も実行して、その分布を得ることができます。この例では、test()を100回実行し、出力をprint()しています。

code: python

def test():

# 何かしらのコード

if __name__ == '__main__':

import timeit

print(timeit.timeit("test()", setup="from __main__ import test", number=100))

テストランナーとして pytest を使うことにした場合、もうひとつの選択肢として pytest-benchmark プラグインがあります。これは benchmark という pytest のフィクスチャを提供するものです。benchmark()に任意のcallableを渡すと、pytestの結果にcallableのタイミングをロギングしてくれます。

pytest-benchmark は PyPI から pip を使ってインストールできます。

code: bash

$ pip install pytest-benchmark

そして、フィクスチャを使用し、呼び出し可能オブジェクトを渡すテストを追加して実行することができます。

code: python

def test_my_function(benchmark):

result = benchmark(test)

pytest-flake8 / pytest-black

pytest-randomly

これは、特定の順序で実行されることに依存しているテスト、つまり他のテストにステートフルに依存しているテストを発見するのに最適な方法です。もしあなたが pytest でテストスイートをゼロから構築したのであれば、このようなことはあまり考えられません。pytest に移行したテストスイートでは、このようなことが起こりがちです。

このプラグインは、設定の説明にシード値を表示します。この値を使用して、問題を修正するのと同じ順序でテストを実行することができます。

pytest-cov

テストが実装コードをどれだけカバーしているかを測定する場合、カバレッジ パッケージを使用することが多いでしょう。pytest-cov はカバレッジを統合しているので、pytest --cov を実行するとテスト カバレッジ レポートを見ることができます。

このプラグインはデフォルトでインストールされます。

pytest-django

pytest-flask

pytest-envvar

pytest-securestore

次のようなソースとなるYAMLをリポジトリの外側におきます。

code: YAML

---

# a comment

a_general_user:

username: the_username

password: a_password

usertype: some_defined_type

...

これを、 pyAesCrypt で暗号化したものをリポジトリ内で保持します。

code: python

import os

import pyAesCrypt

buffer_size = 64 * 1024 # 64K

filename = os.getenv('SECURE_STORE_FILE')

password = os.getenv('SECURE_STORE_PASSWORD')

pyAesCrypt.encryptFile("/path/to/yaml/file", filename, password, buffer_size)

pytest のテストコードでは次のよおうに使用します。

code: python

ef test_get_store_values(store):

# one way to get the value

user = store.get('a_general_user')

# or another

username = store.get('a_general_user').get('username')

# or even another

# or

# ...

some_site.log_in(username, password, user_type)

pytest-kwparametrize

pytest の パラメタライズは簡単で有用ではあるのですが、パラメタが多くなると読みくくなってしまいます。

code: pytho

@pytest.mark.parametrize(

"a, b, c, d, e, f, expect",

[

(3, "one", 4.0, 0x01, 0o5, 9e0, 0b10,),

(6, "five", 3.0, 0x05, 0o10, 9e0, 0b111,),

],

)

def test_my_func(a, b, c, d, e, f, expect):

assert my_func(a, b, c, d, e, f) == expect

pytests-kwparmetrize では、次のように記述できるようになります。

code: python

@pytest.mark.kwparametrize(

dict(a=3, b="one", c=4.0, d=0x01, e=0o5, f=9e0, expect=0b10,),

dict(a=6, b="five", c=3.0, d=0x05, e=0o10, f=9e0, expect=0b111,),

)

def test_my_func(a, b, c, d, e, f, expect):

assert my_func(a, b, c, d, e, f) == expect

pytest-echo

継続的インテグレーションにおいて、テストの設定や環境をダンプしたり、属性が適切に設定されているかどうかをチェックするのに便利です（つまり、os.environで環境を変更します）。

code: bash

$ pytest --echo-env=HOME

============================= test session starts =========================

platform linux2 -- Python 2.7.4 -- py-1.4.22 -- pytest-2.6.0 -- /bin/python

Environment:

HOME: /Users/sax

plugins: echo, pydev, cov, cache, django

code: bash

$ pytest --echo-version=pytest_echo

============================= test session starts =========================

platform linux2 -- Python 2.7.4 -- py-1.4.22 -- pytest-2.6.0 -- /bin/python

Package version:

pytest_echo: 0.1

plugins: echo, pydev, cov, cache, django

code: bash

$ pytest --echo-attr=django.conf.settings.DEBUG

============================= test session starts =========================

platform linux2 -- Python 2.7.4 -- py-1.4.22 -- pytest-2.6.0 -- /bin/python

Inspections

django.conf.settings.DEBUG: False

plugins: echo, pydev, cov, cache, django

code: pytest.cfg

addopts = -vvv

--tb=short

--capture=no

--echo-env PWD

--echo-env VIRTUAL_ENV

--echo-env DBENGINE

--echo-version django

--echo-version pip

--echo-version pytest-echo

--echo-attr django.conf.settings.DATABASES.default.ENGINE

pytest-describe

code: python

def describe_list():

@pytest.fixture

def list():

return []

def describe_append():

def adds_to_end_of_list(list):

list.append('foo')

list.append('bar')

def describe_remove():

@pytest.fixture

def list():

def removes_item_from_list(list):

list.remove('foo')

pytest-icdiff

https://gyazo.com/8a104e9ec76f1a5c12777d96b7bd60ae

pytest-mock

pytest-mock は、 mock パッケージが提供するパッチング API のラッパーであるmockerフィクスチャを提供します。モックをフィクスチャにすることで、定型的なコードを減らすことができます。

mock が有用になる外部依存には次のようなものがあります。

日付または時刻

インターネットを 利用する必要のあるウェブサービス

ファイルシステム。ファイルシステム：作成、読み取り、編集、削除などに必要なファイル

データベース 選択・挿入・更新・削除するデータ

ランダム性。ランダムやnp.randomを利用したコードのことです。

pytest-mock が提供する機能には次のものあります。

mocker.patch で任意のオブジェクトをモック化する

retrun_value で戻り値を固定にする

side_effect で任意の処理に差し替える

例外を強制的に送出する

モック化した処理に対する操作内容を検証する

pytest-json-reort

code: bash

$ pip install pytest-json-report

これにより、次のオプションが追加されます。

table: JSONレポートに関するオプション

オプション 説明

--json-report JSONフォーマットでレポートを作成。

--json-report-file=PATH JSONレポートを保存するパスを指定。'none'は保存しない。

--json-report-summary 個別のテスト結果は除いて、サマリーだけをレポートに出力す>る

--json-report-omit=FIELD_LIST レポートで省略するフィールドのリスト

指定可能なフィールド: collectors, log, traceback, streams, warnings, keywords

--json-report-indent=LEVEL JSONを指定したインデントレベルで整形出力する

--json-report-verbosity=LEVEL 出力の冗長度を指定

デフォルトは--verbosityで指定した値

使用方法

実行すると次のようになります。

code: bash

% pytest -v test_26_maxfail.py --json-report --json-report-summary --json-report-indent=2 --json-report-file=report.json

============================== test session starts ==============================

platform darwin -- Python 3.9.7, pytest-6.2.5, py-1.10.0, pluggy-1.0.0 -- /Users/goichiiisaka/anaconda3/envs/tutorials/bin/python3.9

cachedir: .pytest_cache

metadata: {'Python': '3.9.7', 'Platform': 'macOS-11.6-x86_64-i386-64bit', 'Packages': {'pytest': '6.2.5', 'py': '1.10.0', 'pluggy': '1.0.0'}, 'Plugins': {'cov': '2.12.1', 'metadata': '1.11.0', 'typeguard': '2.12.1', 'xdist': '2.4.0', 'json-report': '1.4.1', 'forked': '1.3.0'}}

rootdir: /Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest, configfile: pytest.ini

plugins: cov-2.12.1, metadata-1.11.0, typeguard-2.12.1, xdist-2.4.0, json-report-1.4.1, forked-1.3.0

collected 4 items

=================================== FAILURES ====================================

n = 9, expect = 56

@pytest.mark.parametrize("n, expect", test_data)

def test_fibonacci(n, expect):

result = fibonacci(n)

assert result == expect

E assert 55 == 56

E +55

E -56

test_26_maxfail.py:19: AssertionError

n = 10, expect = 90

@pytest.mark.parametrize("n, expect", test_data)

def test_fibonacci(n, expect):

result = fibonacci(n)

assert result == expect

E assert 89 == 90

E +89

E -90

test_26_maxfail.py:19: AssertionError

---------------------------------- JSON report ----------------------------------

report saved to: report.json

============================ short test summary info ============================

========================== 2 failed, 2 passed in 0.24s ==========================

code: bash

% cat report.json

{

"created": 1636933898.602473,

"duration": 0.13885712623596191,

"exitcode": 1,

"root": "/Users/goichiiisaka/Projects/Python.Osaka/Tutorial.Testing/03_Pytest",

"environment": {

"Python": "3.9.7",

"Platform": "macOS-11.6-x86_64-i386-64bit",

"Packages": {

"pytest": "6.2.5",

"py": "1.10.0",

"pluggy": "1.0.0"

},

"Plugins": {

"cov": "2.12.1",

"metadata": "1.11.0",

"typeguard": "2.12.1",

"xdist": "2.4.0",

"json-report": "1.4.1",

"forked": "1.3.0"

}

},

"summary": {

"passed": 2,

"failed": 2,

"total": 4,

"collected": 4

}

}

メタデータ

code: python

def test_something(json_metadata):

例えば、次の定義は各テストのコールステージの開始時間と停止時間を追加します。

code: python

def pytest_json_runtest_metadata(item, call):

if call.when != 'call':

return {}

return {'start': call.start, 'stop': call.stop}

また、pytest-metadataの--metadataスイッチを使ってメタデータを追加することもできます。この場合、メタデータはレポートの環境セクションに追加されますが、特定のテスト項目には追加されません。すべてのメタデータがJSONでシリアライズできることを確認してください。

フックに関する注意点

code: bash

INTERNALERROR> pluggy.manager.PluginValidationError: unknown hook 'pytest_json_runtest_metadata' in plugin <module 'conftest' from 'conftest.py'>

これを避けるためには、フックの実装をオプションとして宣言します。

code: python

import pytest

@pytest.hookimpl(optionalhook=True)

def pytest_json_runtest_metadata(item, call):

...

レポートの修正

code: python

def pytest_sessionfinish(session):

report = session.config._json_report.report

code: python

def pytest_json_runtest_stage(report):

return {'outcome': report.outcome}

コードからの直接呼び出し

code: python

import pytest

from pytest_jsonreport.plugin import JSONReport

json_plugin = JSONReport()

これでレポートオブジェクトにアクセスすることができるように’なります。

code: python

print(json_plugiin.report)

ファイルパスを指定して保存することもできます。

code: python

json_plugin.save_report('/tmp/my_report.json')

その他のプラグイン

pytest には、たくさんの有益なプラグインがサードパーティーから提供されています。

PyCharmからテストを実行する

プロジェクトツールウィンドウで、testsディレクトリを選択します。

コンテキストメニューで、unittestの実行コマンドを選択します。例えば、「Run 'Unittests in my Tests...'」を選択します。

これで、テストウィンドウ内でunittestが実行され、PyCharm内で結果が表示されます。

Visual Studio Codeからのテストの実行

Microsoft Visual Studio Code IDE を使用している場合、unittest、pytest、nose の実行サポートは Python プラグインに組み込まれています。

https://gyazo.com/f15e30e45b18bf3b99f0b579afe861c4

Debug All Unit Testsを選択すると、VSCodeはテスト・フレームワークを設定するためのプロンプトを表示します。アイコンをクリックして、テスト・ランナー（unittest）とホーム・ディレクトリ（...）を選択します。

これが設定されると、ウィンドウの下部にテストのステータスが表示され、これらのアイコンをクリックすることでテスト・ログに素早くアクセスし、テストを再実行することができます。

まとめ

実際の運用では、新しいバージョンのコードをデプロイする準備ができると、まずステージング環境にデプロイします。そして、その上でテスト・スイートが実行されることになります。すべてのテストスイートが成功した場合にのみ、コードは本番環境へのデプロイすることが可能になり、テストに失敗した場合、たとえそれが1つであろうと、そのコードは本番環境に対応したものではありません。実装されている機能が期待通りに動作するかどうかを、繰り返しテストを行い、品質を担保するようにします。

参考