Котаны, привет!

Заранее прошу прощения за отклонение от автотематики, но обещаю, что в ближайшие недели будет авторский пост про тормоза и их тюнинг, для исправления кармы :)

С момента выхода поста про первую версию агрегатора прошло больше 2-х лет. Но я не прекращал пилить и попутно набирался опыта в написании бэкэнда, работе с базами данных и фронтенде.

Если интересно, что получилось и с чем столкнулся в процессе разработки - велкам под кат.





Короче, на этой неделе запустил новую версию своего агрегатора, написанную с 0, по старому адресу: https://i-c-a.su

Что изменилось?

- Новый дизайн от дизайнера. Пришлось потратиться, потому что мои способности иссякли еще на первой версии :)
- За все теперь отвечает серверная часть: парсинг источников, хранение и обновление постов, формирование персональной ленты новостей и тд... Благодаря этому сайт открывается моментально.
- Для добавления собственных источников, сохранения истории просмотров, выставления лайков теперь необходимо зарегестрироваться. Это плата за скорость загрузки сайта.
- Да, теперь есть лайки!
- Список типов источников из которых можно добавлять свои источники расширен: кроме вк, мордокниги, и rss лент теперь можно добавить себе в ленту любой публичный аккаунт из instagram, twitter и youtube. Но отдельную гордость я испытываю за поддержку групп telegram.
- Да, можно читать в своей ленте любые публичные группы из telegram!
- Посты сразу открываются в новом окне, так как система с всплывающим iframe себя не оправдала на моб. устройствах.

Планы:
- Расширять список источников: imgur, rutube, reddit, новостные сайты.
- Привлечь ядро активных пользователей, что бы были данные для формирования ленты популярных постов;
- Добавить в ленту вывод видео и гифок, что бы сократить число внешних переходов;
- Е-маил рассылки с лучшими постами за день/неделю (естественно при желании пользователя);
- Сотрудничество с создателями контента для совместного продвижения.

Сложности при разработке.
Телеграм.

Самой интересной задачей было добавление поддержки телеграма. Сейчас он на слуху, но лично мне читать новости в приложении и в куче разных групп не удобно (хотя я и не пробовал:) ), а полноценной вэб версии у групп нет.

В начале я подумал, что проблем не будет, так как есть популярное Bot Api. И конечно меня ждало фиаско. Оказалось, что для того, что бы бот мог читать какой-то канал бота надо туда добавить. Поэтому вариант сразу отпал. И я перешел к чтению мануалов на основной API телеграма.

Через 30 минут изучения документации я был в отчаянии. Все данные у телеграма шифруются, что бы получить что то от их серверов нужно обладать степенью магистра по криптографии... Да и обычные http запросы - это не для них, только socket, только хардкор. Вообщем без сторонней помощи задача была нерешаемая.

Несколько дней поиска привели меня к решению: использовать на сервере opensource php телеграм клиент. Дада! Можно использовать телеграм под php, и там даже есть поддержка звонков! Это чудо называется madelineProto и исходники доступны на гитхабе.

В итоге, через 3 дня настройки и две блокировки моего аккаунта из за чрезмерного количества попыток авторизации я настроил клиент и решил задачу. Теперь у меня есть свой шлюз из telegram в web!

Youtube.
Api youtube вообще вышло забавно. Их справка предлагает использовать php плагин от гугла для доступа к апи. Помимо того, что он весит более 30 мегабайт, так я еще и не смог настроить его за 3 часа! В итоге кликая на все подряд в справке гугла, оказалось, что плагин можно вообще не использовать, а для получения всей информации - использовать стандартный get запрос. На формирование запроса мне понадобилось ровно 10 строк кода и 15 минут, вместо 30 мегабайтного плагина.
[режим_тролля]А потом люди удивляются, а почему андройд притормаживает на 8-миядерных процессорах и требует 4 гигабайта оперативы?[/режим_тролля] :)

Mysql.

Пока строк в базе мало, то сложно понять нужна ли дополнительная оптимизация запросам к базе. Но через месяц работы парсеров количество постов первалило за 100 тысяч, а я начал наблюдать первые плоды безудержного сбора информации: на формирование ленты требовалось уже около 1 секунды и это время постоянно росло. В результате курения EXPLAIN'ов и тестирования разных запросов оказалось что не используются нужные индексы и в процессе создаются временные таблицы, но я не мог понять почему это происходит.

Оказалось, что mysql выбирал неоптимальный индекс при группировке и сортировке. Проблема решилась добавлением конструкции USE KEY(post_id) и созданием дополнительных многоколоночный индексов. Кроме того, пришлось методом подбора выяснять какую именно таблицу использовать для группировки. В моем случае две таблицы имели одинаковые колонки post_id, по которым и происходило слияние таблиц, в обоих таблицах данная колонка имела индекс, но при использовании группировки по одной таблице - запрос происходил с созданием временной таблицы, а при использовании другой - нет.

Совет: Не используйте группировку без крайней необходимости!
После правок время выполнения запроса на сервере сократилось в 25 раз. Индексы рулят!

На этом, пожалуй, остановлюсь. Надеюсь, что новая версия кого нибудь заинтересует.
Буду рад любому фидбеку! Спасибо за внимание.