Задача
Заказчик хотел отслеживать цифровые профили пользователей для того, чтобы вся необходимая информация для проведения рекламных кампаний онлайн была под рукой. Таким образом, предполагалось повысить эффективность рекламы в соцсетях. Разработанное решение для социальной сети, основанное на Big Data, обладает следующим функционалом:
- Обработка огромного массива данных.
- Автоматическая генерация отчетов.
- Аналитика представлена в виде таблиц и диаграмм.
- Режим общего просмотра.
- Режим просмотра аналитики.
- Первичный сбор аналитики и ее хранение осуществляется в HBASE с помощью Kafka.
- Быстрый сбор данных с помощью Cassandra.
- Генерация запросов на подобии SQL и их обработка в Hive.
- Таргетированные кампании.
Подход
С учетом необходимости использования Big Data, команда разработчиков решила применить для улучшения аналитики действий пользователей онлайн ультрасовременную платформу, которая обеспечивает гибкий и управляемый доступ к аналитике цифровых профилей пользователей: статического и динамического. Это решение также анализирует различные демографические статистические данные.
Во-первых, специалисты компании СКЭНД по Big Data добавили якоря на каждую страничку социальной сети (изображение, размером 1х1) и такой подход помог маркировать и анализировать активность пользователей через cookie-файлы. Как только появлялся новый пользователь, то на его страничку добавлялся cookie-файл. Вся полученная информация собиралась в HBASE и анализировалась c помощью Kafka.
Во-вторых, эти маркеры собираются с информацией о возрасте, поле, личных тегах пользователей, и т.д. После этого, можно преобразовать ссылки пользователей и оригинальные ссылки в их постах становятся доступными. Другими словами, если такая ссылка помещается на стену, то информация о кликах и интересах пользователей анализируется таким же образом, как и просмотры. Была применена косинусная совместная фильтрация для просмотров и кликов каждого пользователя. Таким образом, если пользователь кликает на похожие ссылки и просматривает похожие стенки, то блок «смотри также» можно сформировать на основе схожих интерсов других пользователей.
Как только получены данные о цифровых профилях, добавляются фильтры на группы по возрасту, полу и тэгам. Такой анализ увеличивает релевантность предлагаемых блоков для просмотра еще на несколько долей процента.
Теперь, таргетированная кампания готова к запуску. Добавлены контрольные группы с «оригинальным» трафиком, а другие группы таргетируются посредством вирусных новостей и специальных объявлений. Также используются заранее подготовленные новости и посты для того, чтобы можно было замерить изменения в моделях поведения пользователей. Такой подход позволяет владельцу социальной сети использовать саму сеть как мощный инструмент по управлению рекламным контентом.
Результат
Внедрение Big Data в работу социальных сетей
Внедрение Big Data в работу социальных сетей, а так же активное использование статистического анализа и активного сбора данных позволяет проекту обеспечить доступ к необходимым ресурсам и позволить рекламной кампании проходить бесперебойно, затрагивать только целевую аудиторию и обеспечить нужный инструментарий. Обычный анализ «контент бустеров» позволяет сделать видимыми любые изменения в цифровом профиле пользователей и ресурсы социальной сети могут быть использованы более эффективно.