Basic testing

[noooway]

It is necessary to make sure that examples run and produce reasonable results after code updates.
While it is not obvious how to test results, it should be possible to test at least start, restart and output files automatically.

[noooway]

Что есть:

Программа разрослась до такой степени, что когда обновления ломают ее работу, это сложно отследить вручную. Нужны тесты.

Как вцелом подходить к тестированию - не очень понятно. Поэтому пока можно ограничиться минимумом и начать с тестирования базовой функциональности. Программа в процессе работы должна считывать конфиг, что-то считать и сохранять результаты расчетов на диск. Начать можно с набора тестов, которые будут это проверять.

Т.е. подготовить несколько конфигов со всеми возможными секциями.
Далее

• Убедиться, что программа с ними запускается.
• Убедиться, что она отрабатывает до конца без ошибок.
• Убедиться, что на диск пишутся фаилы с нужными именами и в нужном количестве.
• Убедиться, что в каждом из этих фаилов есть группы/поля/аттрибуты, соответствующие конфигу и и они правильные. Для тех данных, которые пересчитываются каждый временной шаг можно проверять только наличие, а не правильность; для тех атрибутов, которые дублируют конфиг и не меняются каждый временной шаг можно проверять еще и правильность.
• Убедиться, что рассчет можно возобновить из промежуточных h5-фаилов.

Заодно стоит выбрать фреймворк для тестов и настроить непрерывную интеграцию (CI).
Минимальные обзоры: https://realpython.com/python-testing/ , https://realpython.com/python-continuous-integration/
Более подробный разбор фреймворков с примерами: http://pythontesting.net/start-here/
Про pytest: https://habr.com/post/269759/

Популярные фреймворки для тестов - pytest, unittestи nose2.
Из них на первый взгляд pytest кажется самым интуитивно понятным.
К тому же pytest уже используется в Jupyter-модуле.
Можно остановиться на нем.

Что касается CI, вроде Travis https://travis-ci.com/ популярен, интегрируется с гитхабом и бесплатен для открытых проектов. Можно попробовать воспользоваться им.