Optimization

[KirkovAlexey]

Актуальная проблема

При выполнении rake reload_json[fixtures/large.json] в базу данных загружаются данные о рейсах из файла fixtures/large.json в течении очень длительного времени

Для тестирования я подготовил feedback-loop, который позволял оценить время выполнения загрузки. Вот время загрузки данных до оптимизации.

== Loading data from fixtures/example.json ==
  0.000201   0.000954   1.162049 (  1.259974)

== Loading data from fixtures/small.json ==
  0.000113   0.000632   8.549043 (  9.639957)

== Loading data from fixtures/medium.json ==
  0.000118   0.000646  55.309189 ( 66.940845)

== Loading data from fixtures/large.json ==
  0.000129   0.000615 553.928788 (684.994141)

 Оптимизация 1

После анализа исходного кода файла lib/tasks/utils.rake я обнаружил большое количество однотипных запросов к базе данных. С помощью инструмента pghero было видно, что в течении загрузки создавалось огромное количество запросов в базу данных.

Ниже список самых частых запросов в базу данных, каждый из них выполнялся очень быстро, но количество запросов в течении загрузки данных не было правильным.
SELECT "cities".* FROM "cities" WHERE "cities"."name" = $1 LIMIT $2
SELECT "buses".* FROM "buses" WHERE "buses"."number" = $1 AND "buses"."model" = $2 LIMIT $3
SELECT "services".* FROM "services" WHERE "services"."name" = $1 LIMIT $2

Я заменил полностью весь код для загрузки данных. Вместо вставки в базу данных по одной записи, я использовал метод вставки нескольких записей.

Таким образом сначала создавались все подготовительные таблицы (buses, services, cities) и после этого создавались записи  для таблицы trips

Для каждого раза, после удаления всех записей из таблицы, я добавил сброс нумерации id для каждой из таблиц ActiveRecord::Base.connection.reset_pk_sequence!(t)
Это небольшая оптимизация позволит избежать проблем в будущем.

После оптимизации, мне удалось достичь большого прироста при загрузке данных.

== Loading data from fixtures/example.json ==
  0.000208   0.000810   1.018404 (  1.138066)

== Loading data from fixtures/small.json ==
  0.000120   0.000655   1.137197 (  1.105273)

== Loading data from fixtures/medium.json ==
  0.000123   0.000612   2.094093 (  2.118166)

== Loading data from fixtures/large.json ==
  0.000120   0.000635  10.964515 ( 12.227762)

Время выполнения загрузки для файла fixtures/large.json сократилось с 684.994141 до 12.227762.

 Оптимизация 2

Рендеринг страницы http://localhost:3000/автобусы/Самара/Москва также не был оптимальным.
Проверку времени отображения я делал с помощью ab -n 20 -c 1 http://localhost:3000/автобусы/Самара/Москва.
Время до оптимизации

Time taken for tests:   1.533 seconds
Complete requests:      20
Failed requests:        0
Non-2xx responses:      20
Total transferred:      1280340 bytes
HTML transferred:       1275500 bytes
Requests per second:    13.05 [#/sec] (mean)
Time per request:       76.633 [ms] (mean)
Time per request:       76.633 [ms] (mean, across all concurrent requests)
Transfer rate:          815.79 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       0
Processing:    61   76  24.1     72     169
Waiting:       61   76  24.1     72     169
Total:         61   77  24.1     72     169

Percentage of the requests served within a certain time (ms)
  50%     72
  66%     73
  75%     74
  80%     90
  90%     96
  95%    169
  98%    169
  99%    169
 100%    169 (longest request)

При просмотре исходного кода я нашел две проблемы, которые я оптимизировал.

1 проблема - N+1 запросы.

При выводе страницы отображалась информация из связанных моделей. Для оптимизации я использовал eager_load для запроса для Trip

2 проблема - рендер partial

Так как вывод информации достаточно простой, самое правильное решение избавиться от рендеринга partial's и выводить сразу все в цикле.

После оптимизации

Time taken for tests:   1.251 seconds
Complete requests:      20
Failed requests:        0
Non-2xx responses:      20
Total transferred:      1274020 bytes
HTML transferred:       1269180 bytes
Requests per second:    15.98 [#/sec] (mean)
Time per request:       62.568 [ms] (mean)
Time per request:       62.568 [ms] (mean, across all concurrent requests)
Transfer rate:          994.24 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.1      0       0
Processing:    56   62  11.4     59     106
Waiting:       56   62  11.4     58     105
Total:         56   63  11.4     59     106

Percentage of the requests served within a certain time (ms)
  50%     59
  66%     59
  75%     62
  80%     63
  90%     78
  95%    106
  98%    106
  99%    106
 100%    106 (longest request)

Подключение кеша в моих экспериментах не дало большого прироста, хотя его также можно использовать для сокращения времени рендеринга.

[spajic]

Аппрув, респект, вы первым сдали задание!

Планирую ещё на этой неделе добавить несколько бонусов к этому заданию:

• файлы mega.json и hardcore.json
• view со статистикой по рейсам

Если интересно, сможете ещё поработать с оптимизацией этого примера.

[spajic]

👍

[spajic]

Упс, токены лучше не коммитить!