Исследование Теплицы. Как эффективно объединять людей в Telegram

Лаборатория исследований Теплицы провела дата-исследование коммуникации российского гражданского общества в Telegram, чтобы разобраться, как заинтересовывать и вовлекать читателей. Результаты исследования и практические рекомендации — в нашем материале.

Как увеличивать охваты и вовлеченность в Telegram-каналах акторов гражданского общества

Чтобы ответить на этот вопрос, мы собрали данные из разных источников: часть Telegram-каналов мы взяли у других антивоенных проектов, таких как «Ковчег» и Reshim, а потом прошлись по перекрестным репостам несколько раз, чтобы найти больше каналов. Другую часть каналов мы соскрейпили с сайтов некоммерческих организаций (источники: Минюст, openNGO и т. д.).

Всего в нашей выборке 680 Telegram-каналов. Мы захотели ответить на вопросы, что такое вовлеченность пользователей, из чего она складывается и как ее повысить. Ответ мы искали, используя методы data science. Мы построили 10 экспериментов и выбрали на основе них лучшие параметры, повышающие вовлеченность пользователей. Ниже — наши главные рекомендации и наблюдения для владельцев Telegram.

• Посты должны быть эмоционально окрашенными, при этом позитивная эмоциональная окраска собирает немного большие охваты, чем негативная (корреляция с позитивной окраской в 2,5 раза больше).
• В день оптимально публиковать от 2 до 3 постов (оптимальное значение по нашей выборке 2,8).
• Большой охват имеют короткие посты длиной до 280 символов, на втором месте посты средней длины до 1000 символов.
• У антивоенных постов охваты в среднем в 2,7 раз больше, чем у милитаристских и нейтральных.

Все графики в данном исследовании интерактивные, чтобы вы могли сами поискать закономерности в данных и рассмотреть детальнее интересующие вас графики.

Что мы изучаем?

В течение года Лаборатория обогащала свой датасет акторов российского гражданского общества и в итоге собрали 11 954 актора российского гражданского общества.

В это число входит множество разных организаций и активистов, имевшие минимальную представленность в интернете, например, сайт, группы в соцсетях и/или Telegram-каналы.

Часть этих организаций официально зарегистрированы Минюстом, другая нет. Все проанализированные организации занимаются разными видами благотворительности — от помощи приютам животных до антивоенных активистов. Единственных, кого мы целенаправленно удаляли из датасета, — религиозные организации и политические партии.

В исследовании мы решили посмотреть только на те организации, у которых есть Telegram-каналы (их было 680), так как после начала войны значимость Telegram выросла, и изучить, как они ведут коммуникацию с аудиторией.

Зачем нужен этот датасет?

• Для документации состояний российского гражданского общества.
• Чтобы узнать, как гражданское общество рассказывает о себе в Telegram.
• Посмотреть на отличия антивоенной части гражданского общества от милитаристов и занимающих «нейтральную» позицию.

Источники данных:

• грядка: Открытые НКО, Минюст, SPARK-Interfax, cайт Фонда президентских грантов за 2022–2023, «Если быть точным»;
• Telegram-каналы: «Ковчег», «7×7», Reshim + поиск новых каналов по перекрестным репостам методом snowball*.

*Метод snowball помогает найти все каналы, которые делают репосты из каналов исходной выборки и наоборот. Применив этот метод последовательно несколько раз, при этом после каждого прохода наполовину вручную, наполовину по ключевым словам отсеивая неподходящие каналы, можно получить довольно репрезентативную выборку Telegram-каналов нужной для исследования направленности.

Для сайтов мы собирали параметры, связанные с качеством сайта. Например, есть ли у них карта сайта, настроен ли протокол безопасности ssl и прочие (тут можно посмотреть нашу публикацию про качество сайтов НКО).

Для Telegram мы собирали все доступные через Telegram API метаданные и сами тексты постов и комментариев к ним. На основе этих данных мы сгенерировали собственные параметры, например мы посчитали эмоциональную окраску постов с помощью предобученной языковой модели. Подробную документацию к параметрам телеграм каналов можно посмотреть здесь.

Мы cобрали 161 параметр с каждого вебсайта и 37 — в случае с каналами в Telegram. Затем разделили эти параметры, отвечающие за вовлеченность пользователей, и параметры, которые настраиваются на стороне админов или зависят от админов, чтобы узнать, что влияет на вовлеченность.

Что мы увидели в исследовании

Солидаризация гражданского общества в Telegram

С началом войны произошел ожидаемый пик появления новых Telegram-каналов: за март 2022 года появились 234 канала, что в 26 раз больше, чем в среднем за месяц. Всего с начала войны люди создали 457 новых каналов.

Причем антивоенные каналы читают активнее, чем милитаристские

Не только data science, но и natural language processing может давать преимущество в исследованиях гражданского общества. Так, благодаря волонтерам-разработчикам у нашей Лаборатории есть языковая модель, которая по тексту умеет определять отношение автора к войне в Украине. Мы разметили этой моделью посты всех Telegram-каналов в нашем датасете.

Можно заметить, что в марте антивоенные каналы росли стремительные, чем милитаристские. В сентябре 2022 года был пик появления новых антивоенных каналов, но не милитаристских — они остались примерно на том же уровне.

Антивоенных каналов больше, чем милитаристских, и они более независимы

Примерно 120 прежде политически нейтральных НКО (выявленных при оценке качества модели определения отношения к войне) стали заниматься гуманитарной помощью на оккупированных территориях / беженцам с оккупированным территорий / военным госпиталям. Часть этих постов стилистически похожи друг на друга, но сложно утверждать, это личная инициатива НКО или организованный процесс.

Всего в выборке: 151 антивоенных, 49 милитаристских, 360 нейтральных, 120 в среднем нейтральных, но поучаствовавших в гуманитарной помощи либо на оккупированных территориях, либо беженцем с оккупированных территорий в России.

Что такое вовлеченность и охват?

Для каждого из каналов мы собрали множество параметров и метаданных, чтобы узнать, какие из этих параметров увеличивают вовлеченность пользователей и охват. Поскольку устоявшихся способов считать вовлеченность пользователей нет, мы решили исходить из того, какие параметры у нас есть в датасете, и собрали две метрики.

1. Индекс охвата за период наблюдения измеряется средним количеством просмотров постов канала за период, деленный на количество подписчиков на момент сбора информации. Этот параметр актуален для всего датасета, так как просмотры есть у любых каналов, а комментарии/реакции включены не во всех.
   
   Индекс охвата = среднее количество просмотров/количество подписчиков канала.
2. Индекс вовлеченности пользователей считается с учетом просмотров, реакций и/или комментариев для тех каналов, у которых реакции и/или комментарии включены. Если быть точнее, это сумма среднего количества комментариев под постами канала, среднего количества уникальных пользователей в комментариях, среднего количества репостов, среднего количества реакций на постах, деленная на среднее количество просмотров
   
   Индекс вовлеченности = среднее количество комментариев + среднее количество уникальных пользователей в комментариях + среднее количество репостов + среднее количество реакций / среднее количество просмотров.

Мы прогнали данные через несколько различных линейных моделей, используя эти две переменные как целевые, то есть пытались предсказать на основе других параметров типа «частота постинга в месяц», «длина постов» и прочих вовлеченностей пользователей и выделить, какие из параметров оказались самыми важными в этом предсказании.

В итоге на основе 10 моделей мы выделили параметры, которые чаще всего оказываются значимыми в этих видах анализа.

Пример анализа, понятный для всех

Самый простой вид анализа — это heatmap / тепловая карта. Так считаются корреляции каждого параметра с каждым и подсвечиваются самые большие по модулю значения (потому что бывают прямо и обратно пропорциональные корреляции).

Как читать этот график? Фиолетовый цвет говорит об обратно пропорциональной корреляции, а оранжевый о прямопропорциональной. Две нижние строчки — вовлеченность и охват, можете приблизить их на графике.

Например, если мы посмотрим репосты других каналов в этих последних двух строчках, то увидим, что клетка фиолетового цвета. Это значит, что связь обратно пропорциональная и значимая — то есть чем больше репостов с других каналов, тем меньше вовлеченность пользователей. Иначе говоря, обилие оригинального контента в канале повышает вовлеченность пользователей и охват. Подробнее про эксперименты и модели здесь!

Результаты

Эмоциональная окраска постов влияет на вовлеченность и охват

Позитивно окрашенные посты лучше вовлекают пользователей, чем негативно окрашенные посты. Нейтральные посты вовлекают пользователей хуже всего. Негативная окраска тоже имеет скорее позитивное влияние на вовлеченность.

В целом можно сказать, что наши данные в очередной раз показывают, что российский сегмент не отличается от мирового и россияне реагируют на эмоционально окрашенные посты.

При этом можно заметить, что на графиках про эмоциональную окраску постов данных больше ближе к нулевым значениям, то есть очень мало каналов, в которых большинство постов эмоционально окрашены. Из-за этого сложно доказать статистическую значимость параметров и можно только наблюдать тренды.

Такая же ситуация сложилась и с другим параметром — количество эмоджи в постах в среднем на канал. Этот параметр немного влияет на охват/вовлеченность пользователей, но при этом с увеличением значения этого параметра каналов, попадающих в это значение, становится меньше. Тем не менее прослеживается тренд: чем больше эмоджи, чем больше вовлеченность.

Политическая позиция тоже влияет на охват

Политически поляризованные каналы в среднем вовлекают пользователей менее эффективно, чем нейтральные, потому что у них не пересекаются аудитории.

Корреляция с охватом (просмотры пользователей) показывает, что у нейтральных каналов в среднем больше и охват, и вовлеченность. По медиане у антивоенных каналов охват чуть больше, чем у милитаристских, для охвата/reach, но незначительно. Для вовлеченности — наоборот, но разница тоже незначительная.

С другой стороны, в среднем по постам в месяц, вне зависимости от канала, у антивоенных постов охваты выше! При этом у антивоенных постов есть рост охватов в начале войны и при мобилизации. А у милитаристских постов пики гораздо менее выраженные.

Получается, что антивоенные посты имеют большую популярность в российском Telegram, чем милитаристские.

Теперь про комментарии

Наличие возможности оставлять комментарии/реакции не влияет на охват канала независимо от подгруппы канала по политической позиции.

Список важных для вовлеченности и охвата параметров

Мы выделили топ-10 параметров по каждому эксперименту и посмотрели, насколько часто какие-либо параметры встречаются в топе. График ниже показывает, как часто каждый из значимых параметров оказывался в топе значимых в наших экспериментах (то есть максимальное значение 10). Параметры в легенде графика отсортированы по убыванию значимости.

Посмотрим на самые главные параметры с графика выше. По частоте постинга идеальное значение для повышения охвата 2–3 (2,8) поста в день. Важно использовать фото, ссылки и другие мультимедиа.

Что касается длины поста, хорошо заходят короткие посты (примерно до 280 символов), на втором месте посты средней длины (до 1000 символов), но их охват больше зависит от контента поста.

Выводы из исследования

Датасет Лаборатории данных Теплицы не только полезен в исследовании онлайн-коммуникаций акторов гражданского общества, но и помогает найти практические инсайты по ведению Telegram-каналов для их администраторов.

Итак, эмоционально окрашенные посты обычно имеют больший охват и вовлеченность, причем положительные эмоции немного более эффективны, чем отрицательные. Кроме того, мы показали на данных, что оптимально публиковать от 2 до 3 постов в день. Также рекомендуется использовать медиа, например фотографии, видео и ссылки, чтобы повысить охваты и вовлеченность. Исследование показало, что короткие посты до 280 символов, а также средней длины посты до 1000 символов имеют более широкий охват.

Какой процент каналов следует этим рекомендациям?

1. В 19% каналах в среднем 2–3 поста в день (24% среди антивоенных и 18% среди милитаристских каналов).
2. В 11% каналах средняя длина поста от 80 до 280 символов (18% среди антивоенных и 20% среди милитаристских каналов).
3. В 49% каналах позитивных постов больше, чем негативных (1% среди антивоенных и 5% среди милитаристских каналов).

Самое интересное, мы обнаружили, что антивоенные посты имеют в 2,7 раз больший охват, чем милитаристские и нейтральные, а значит, антивоенные посты популярнее в российском Telegram, и это показывает солидаризацию российского гражданского общества в Telegram!

Пишите нам, если у вас есть запросы на проведение дата-исследований или помощь с ними: [email protected].