Распоточить получение баланса карт в cronjob #2

Open
opened 2022-11-18 19:56:28 +01:00 by VityaSchel · 3 comments
VityaSchel commented 2022-11-18 19:56:28 +01:00 (Migrated from github.com)

Сейчас полный процесс по получению баланса для одной карты занимает 3 полных секунды на развернутой версии бота (800 мбит/с), делается 3 последовательных запроса.

Предлагается параллелизировать этот процесс, делая одновременное получение 6 карт из БД, добавляя их в аккаунт и проверяя баланс:

image

Сейчас полный процесс по получению баланса для одной карты занимает 3 полных секунды на развернутой версии бота (800 мбит/с), делается 3 последовательных запроса. Предлагается параллелизировать этот процесс, делая одновременное получение 6 карт из БД, добавляя их в аккаунт и проверяя баланс: ![image](https://user-images.githubusercontent.com/59040542/202781570-1d0c458d-b4dd-4acd-a4b6-39db272b7fe7.png)
VityaSchel commented 2022-11-18 19:58:00 +01:00 (Migrated from github.com)

Такая оптимизация поможет ускорить процесс в 6 раз, то есть проверка 6 карт пользователей сократится с 18 секунд до 3 секунд.

Возможные проблемы:

  1. Если во время проверки произойдет ошибка со входом, все потоки начнут пытаться перелогиниться и все будут друг другу мешать (валидна лишь самая последняя сессия на сайте)
Такая оптимизация поможет ускорить процесс в 6 раз, то есть проверка 6 карт пользователей сократится с 18 секунд до 3 секунд. Возможные проблемы: 1. Если во время проверки произойдет ошибка со входом, все потоки начнут пытаться перелогиниться и все будут друг другу мешать (валидна лишь самая последняя сессия на сайте)
VityaSchel commented 2022-11-22 17:04:20 +01:00 (Migrated from github.com)

Наблюдаю такую странную аномалию: на локалке все ок, все карты чекаются почти мгновенно (меньше секунды на каждый запрос), на ремоуте же запросы идут по 15 секунд каждый. Подозреваю что это какое то ограничение со стороны s-otk.ru

UPD: Вообще все запросы с моего сервера в Швейцарии к хосту s-otk.ru идут очень медленно, при том что speedtest показывает 800 мбит

image

Наблюдаю такую странную аномалию: на локалке все ок, все карты чекаются почти мгновенно (меньше секунды на каждый запрос), на ремоуте же запросы идут по 15 секунд каждый. Подозреваю что это какое то ограничение со стороны s-otk.ru UPD: Вообще все запросы с моего сервера в Швейцарии к хосту s-otk.ru идут очень медленно, при том что speedtest показывает 800 мбит ![image](https://user-images.githubusercontent.com/59040542/203363749-4a82589d-361b-4b04-b04c-62ba100c2adf.png)
VityaSchel commented 2022-11-22 17:19:08 +01:00 (Migrated from github.com)

Будем считать причиной столь высокой разницы в тайминге расстоянием между датацентрами в пределах одного города и разных стран

image
image

Будем считать причиной столь высокой разницы в тайминге расстоянием между датацентрами в пределах одного города и разных стран ![image](https://user-images.githubusercontent.com/59040542/203365900-0d2ee7d7-0159-4a9c-87d4-b09bb7bdeab9.png) ![image](https://user-images.githubusercontent.com/59040542/203365949-3f912cb7-8b72-4660-9b27-6462bb55ffbb.png)
Commenting is not possible because the repository is archived.
No labels
No milestone
No project
No assignees
1 participant
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
hloth/s-otk-bot#2
No description provided.