Как работают датасеты
00 · Что такое датасет
ДАТАСЕТ — ЭТО ВЫГРУЗКА МАТЕРИАЛОВ АРХИВА ПО ВАШИМ КРИТЕРИЯМ
Датасет собирается из групп. Группа — это один смысловой блок вашего исследования: тема, регион, период, тип высказывания. В одном датасете может быть одна или несколько групп, и каждая группа станет отдельной меткой внутри файла — вы сможете фильтровать материалы по группам, сравнивать их между собой и считать по ним статистику.
01 · Как собрать датасет
ПЯТЬ ШАГОВ СБОРКИ
- 01
Назовите группу
Дайте группе понятное название — оно попадёт в выгрузку как метка. Например, Пенсионная реформа_2018.
СОЗДАНИЕ ГРУППЫ
01 Условие - 02
Добавьте условия и запросы
Внутри группы добавьте условия и критерии.
Должны выполняться все заданные условия01 УсловиеДолжны выполняться все заданные критерииИИ02 УсловиеМатериал попадёт в группу, если в нём точная фраза «пенсионный возраст», и хотя бы одно из слов «митинг», «протест», «акция», и при этом нет слова «Франция».
Переключатель НЕ превращает условие в исключающее: материалы, подходящие под такое условие, из группы удаляются. Здесь он нужен потому, что в 2018–2019 годах во Франции тоже шли пенсионные протесты, и российские медиа их активно освещали. Без исключения они попали бы в группу и испортили статистику.
НА ЧТО ОБРАТИТЬ ВНИМАНИЕ
Не используйте одиночные высокочастотные слова. По слову пенсия в архиве найдутся десятки тысяч материалов за все годы, и датасет окажется бесполезным. Работают точные фразы (пенсионная реформа) и комбинации условий, как в примере выше.
- 03
Сузьте группу фильтрами
Фильтры применяются ко всей группе: источники, авторы, типы источников (веб, бумага, видео) и период публикации. Пустой фильтр = без ограничения.
Например, для группы про пенсионную реформу разумно поставить период с 01.01.2018 по 31.12.2019 — за его пределами релевантных материалов меньше, а объём выгрузки они увеличат заметно.
ДИАПАЗОН ДАТ
От://До://ВАЖНО
Вы можете использовать только фильтры
Датасет можно собрать на одних фильтрах. Если вам нужны все материалы одного или нескольких источников за определённый период — оставьте условия пустыми и задайте только источники и даты. Это позволит вам искать по датасету самостоятельно, своими инструментами: мы отдаём вам весь срез, а дальше вы работаете с ним как хотите.
Выбранные фильтры по источникам:
МедузаВыбранные фильтры по датам:
От 01.06.2018До 31.10.2018НА ЧТО ОБРАТИТЬ ВНИМАНИЕ
Максимальная выгрузка датасета — 500 000 материалов
НА ЧТО ОБРАТИТЬ ВНИМАНИЕ
Фильтры складываются, а не суммируются, и могут противоречить друг другу. Если в фильтре по источникам вы выбрали только веб-издания, а в фильтре по типам источников — только печатные материалы, то материалов, подходящих под оба фильтра, не существует, и группа окажется пустой. То же произойдёт, если выбранный автор не публиковался в выбранных источниках или период не пересекается с периодом существования источника.
- 04
Добавьте остальные группы
Если вы сравниваете несколько тем, периодов или регионов или наоборот хотите в дальнейшем объединить разные условия, создайте дополнительные группы. Один запрос — один датасет, но групп в нём может быть сколько нужно. Материал, подошедший под несколько групп, придёт один раз и будет отмечен всеми подходящими группами.
СОЗДАТЬ ДАТАСЕТ
Собрано 12 798 материалов из 500 000 возможных
Перенесено из расширенного поиска
Название группы
6 399материаловНазвание группы
6 399материалов - 05
Проверьте, что получилось
Перед отправкой посмотрите на итоговую формулировку запроса — мы показываем её обычным текстом под каждой группой. Если формулировка описывает не то, что вы имели в виду, поправьте условия.
Получившийся запрос:
Выполняются ВСЕ условия:Выбранные фильтры по источникам:
МедузаВыбранные фильтры по датам:
От 01.01.2018До 31.12.2019
02 · Пример собранного датасета
ДАТАСЕТ: «ПЕНСИОННАЯ РЕФОРМА 2018»
Группа 1:
СОЗДАНИЕ ГРУППЫ
ДИАПАЗОН ДАТ
Выбранные фильтры по источникам:
МедузаВыбранные фильтры по датам:
03 · Скачать пример пакета
ПОСМОТРИТЕ НА ДАННЫЕ ДО ОТПРАВКИ ЗАЯВКИ
Скачайте пример выгрузки — 100 материалов по запросу выше.
По примеру можно проверить, подходят ли вам поля, заранее написать код обработки и прочитать условия, на которых мы отдаём данные.
ЧТО ВНУТРИ ПАКЕТА
- documents.json
- Фактические материалы этой выгрузки. Каждый элемент — это один материал (веб-материалы, печатные материалы или видео)
- manifest.json
- Метаданные: параметры запроса, охват данных, примечания об извлечении и контактная информация
- SCHEMA.json
- Справочник с описанием каждого поля, которое может присутствовать в файле documents.json
- sample.json
- Первые несколько записей из documents.json для быстрого просмотра без загрузки всего файла
- CHECKSUMS.txt
- Контрольные суммы SHA-256 для всех файлов в датасете для проверки целостности данных
- README.md
- Обзор датасета, модель данных RIMA, правила цитирования материалов, права и условия использования
04 · Что вы получите и когда
После того как вы отправите запрос, его должен будет посмотреть куратор архива. Если запрос понятен и может быть реализован на нашей стороне, мы отправим вам ссылку на скачивание датасета на указанную вами электронную почту. Обычно это занимает 2–3 рабочих дня.
Если датасет содержит слишком много или слишком мало материалов или у нас появились вопросы, мы свяжемся с вами для уточнения деталей.
05 · Остались вопросы
Если что‑то не получается, критерии не складываются или вы не уверены, что архив содержит нужные вам материалы — напишите нам, и мы поможем разобраться.