Crimean survey as a mirror of Russian sociology

December 31, 2015 and January 1, 2016 by VTsIOM, by order of the President of the Russian Federation, conducted a survey in Crimea, which included two questions.

1. Whether you support or not the conclusion of a commercial contract with Ukraine for the supply of electricity to Crimea and Sevastopol, if it states that Crimea and Sevastopol are part of Ukraine?

2. Are you ready for temporary difficulties associated with minor interruptions in energy supply over the next 3-4 months, if a commercial contract for the conditions proposed by Ukraine will not be concluded?

The VTsIOM report can be found by the link [1]. The head of the VTsIOM VTsIE Feodorov wrote in his Facebook that the survey was held according to an anonymous base of numbers with a preliminary socio-demographic block of issues and that the level of achievement of respondents (Response Rate) was about 40% in Crimea and 26% in Sevastopol.

The TRV-hunger turned to the leading Russian and Ukrainian sociologists with a request to comment on the methodology, the formulation of questions and the results of the survey. Unfortunately, few people wanted to express their opinions publicly. We bring to your attention the comments received.

President as a guarantor of poll politicization

Kirill Kalinin ,
Doctoral student at the University of Michigan (Ann-Arbor, USA)

The degree of politicization of a telephone survey organized in Crimea on the energy supply of Crimea was very significant. In fact, the head of state decided to take the survey under his personal control, for the first time in the history of the questionnaire industry, having announced it in advance in the central media. Thus, according to the organizers, the survey has gained special political significance for the country.

The observed haste of the survey organization on New Year's holidays showed that under the pressure of new circumstances related to interruptions in the supply of Ukrainian electricity, the Kremlin will nevertheless be forced to go to an urgent and obviously unpopular decision on the “legitimizing” power of polls. I think they didn’t expect anything else there: most likely, preliminary pilot polls were conducted, but the personal participation of the superpopular leader should have been fixed and improved the desired support indicators among the Crimeans.

The survey itself made it possible to solve two important tasks: to remove the responsibility for managerial miscalculations in the organization of the energy security of the peninsula, as well as to show the world an “unspent credit of confidence” of the inhabitants of Crimea.

Such an instrumental attitude to polls cannot but alarm: so far survey has been used to inform in managerial decisions, and not to justify, apparently, previously made decisions. As they say, wait - we will see; If we observe only the beginning of this trend, then its negative consequences are not excluded for both Russian society and for the survey organizations themselves.

VTsIOM as an object of criticism

A rather acute reaction of the liberal part of the public in relation to VTsIOM and its leadership seemed unnecessarily emotional, often unreasonable, but not heirless. If we assume that the decision itself was made and pedalized in the Kremlin rooms, then, in my opinion, the only fault of VTsIOM is that he did not refuse. Such a refusal is difficult to imagine, since today the number of degrees of freedom in determining their own position in relation to the Kremlin in most survey organizations is significantly limited. Of course, in the current conditions of propaganda and low awareness of people, the lack of different points of view in state media, the likelihood increases that survey technologies can be used in the interests of not so much Russian society as the authorities itself, and therefore acute criticism from the liberal public can force both power and survey organizations in the future to act with an eye on public opinion.

Despite the shaft of criticism at the VTsIOM, the organization really brings a lot of benefits, and not only the Kremlin, but also the professional community. Our three -year cooperation is the brightest illustration. During this time, we managed to conduct many studies on sensitive topics, such as presidential approval ratings, the situation in Ukraine and Crimea. Some results of these studies were published or quoted in domestic and foreign publications.

Moreover, VTsIOM also regularly organizes methodological measures and international conferences designed to increase the level of domestic survey industry; Several times, leading methodologists from the University of Michigan were invited to them. Moreover, the corporate website of this organization is perhaps the only one in the Russian Federation that provides open access to the most extensive database for all surveys since the beginning of the 1990s. By the way, the data of the Crimean survey are posted in the public domain at: http://wciom.ru/index.php?id=237&uid=115540 .

On the methodology and wording of the Crimean survey

Now a few words about the methodology of the survey itself. The survey sample included the random numbers of mobile and stationary phones in a ratio of 1: 1 (Random Digit Dialing, Sokr. RDD). I will not go into excessive details, but they began to engage in the development of this complex methodology in Russia recently. Some of its elements were tested in 2012 as part of the Open Opinion project, uniting leading specialists of the domestic Pollster industry.

I think the future is behind telephone polls: they are based on random samples, inexpensive compared to apartment surveys, allow you to control the quality of the interviewers, are quite simple in the organization. Of course, telephone polls, as a rule, sin such problems as a high level of underpass (especially RDD) and a large number of refusals of interviews (after all, it is easier to hang the phone than to refuse the interviewer in a personal conversation), as well as the presence of socially approved answers.

By the way, the formulations of questions do not cause me special suspicions. Although there is a particle “not”, which complicates their perception to some extent, but judging by the VTsIOM database, questions in this form were asked earlier. Of course, careful mitigating formulations of the second question are still striking: “temporary difficulties”, “minor interruptions”.

I would like to hope that the identified difficulties will really turn out to be temporary, and interruptions in insignificant, but everything can be not so favorable. In general, in relation to the wording, we can say that the respondents signed up under “temporary difficulties” and “insignificant interruptions”, putting some special meaning in them, however, if difficulties and interruptions turn out to be different, then another reaction from the respondents should be expected.

Reassignment on the New Year holidays

Since the survey was conducted during the holidays, it is quite possible that potential respondents engaged in New Year's preparations simply refused to take part in an interview, which could significantly lower the so-called achievement coefficient -the main criterion for the survey. However, according to Julia Baskakova (VTsIOM), the achievement coefficient amounted to about 43% (26% for Sevastopol), that is, a little less than half of the subscribers of those who fell into the sample, and this, I must say, is a very solid indicator, especially for Russia.

Moreover, this level is comparable to the level of achievement of the Michigan survey of the consumer mood of the Americans, which is known primarily by the fact that the corresponding index is calculated on its basis. To ensure such a high level of achievement for a sample of 500 people, Michigan spends a whole month and resorts, inter alia, to the monetary reward of some respondents who agreed to take part in the survey.

In this sense, the results of the VTsIOM impressive. Moreover, the cooperation coefficient, i.e., the percentage of respondents, in whom the interviewers managed to take the entire interview, is about 70% for Crimea (78% for Sevastopol). The compressed dates of its conduct - and the survey was carried out only two days - of course, we could adversely affect its quality, but we did not see this.

It is the status of this survey as a survey of special state importance that is able to increase its achievement: many respondents, having looked at the TV or having read about the event in the newspapers, took advantage of the unique opportunity to be interviewed. Perhaps the interviewers, presenting a survey by phone, also referred to the leadership of the country, and hence the political background related to the survey.

By the way, in approximately the same way, the respondents are “invited” to the Michigan survey of consumer moods, referring to the consumer sentiment index known to most Americans, emphasizing that the uniqueness of the sample of the respondent in the lottery in this sample.

Social approval factor

Particular attention to the survey by the country's top leadership, the replicated media, of course, exacerbates the problem of socially approved answers when the respondent tries to hide his true preferences, fearing any troubles from the authorities. If the factor of social acceptable answers is really defining, then, unfortunately, without introducing special techniques or using special equipment into such surveys, it is not possible to detect it.

For example, the results of previously conducted studies on presidential approval ratings tell us that this factor can contribute to support for 30 points. A respondent who is striving to hide his true preferences may try to go into “Neva” (that is, choose an option “I find it difficult to answer”). However, in the Crimean survey in the volume of sample 3025, the number of non -meaning for the first question reaches 22, and on the second question - 16.

This is a very small indicator that can talk about the weakness of this explanation or the additional pressure of the interviewers in order to obtain more specific answers. If the respondent, with a serious pressure from the external environment or interviewers, regards that “I find it difficult to answer” it can be interpreted by someone as a manifestation of illness, then in this case he will decide to falsify his preference, giving the most secure, that is, a socially acceptable answer.

Analysis of the Crimean survey

What factors nevertheless influenced the answers of the respondents about the energy supply of Crimea? I will stop briefly on the results of the regression analysis of data, which, in order to simplify the interpretation, were calculated as the differences in predicted probabilities obtained from logistics regression.

Firstly, the accommodation of respondents in cities or rural areas does not have any statistically significant impact on respondents' answers. At the same time, there is a slight variation in affirmative answers to questions between various settlements: residents of Feodosia and rural areas advocate for the conclusion of a contract with Ukraine, when, as the inhabitants of Sevastopol, they are less prone to concluding a contract (see schedule 1).

Residents of small cities and rural areas are ready to endure interruptions with light, but to a lesser extent, Feodosia and Kerch (see schedule 2). In this case, it is impossible to talk about statistically significant discrepancies in answers for various settlements, since both graphs are characterized by 95% of confidential intervals intersecting.

Secondly, men compared to women by 2 points are more likely to support the conclusion of a commercial contract with Ukraine in the control of other variables.

Thirdly, the older the individual, the more he is more inclined not to support the conclusion of the contract and is ready for difficulties associated with interruptions.

Fourth, education does not play any significant role in the respondents' answers.

Fifthly, the date of the interview plays the largest role: on December 31, respondents were 8 points more inclined to maintain the conclusion of the contract compared to January 1 and 7.5 points are less ready for temporary difficulties associated with power interruptions. Such a noticeable difference may be explained by the influence of holidays on the consciousness of people, and possibly other factors associated with the features of polls.

Sixth, time (morning, day or evening) interviews does not have any influence on the answers.

The duration of the interview has a small but statistically significant effect: the longer the interview, the more prone to maintain the conclusion of the contract and are less prone to temporary difficulties. Perhaps this is due to the fact that, with a longer interview, the respondent is more inclined to think about his own answers, and with shorter ones, he tries to quickly give the most socially acceptable answer.

Perhaps the main result of the Crimean survey was the readiness of the vast majority of the Crimeans to stoin the temporary difficulties and endure interruptions with energy supply in the presence of a minority that does not want to put up with a similar state of affairs.

I think that the main explanation of the incident is due precisely with the high politicization of the survey, which influenced the answers of the respondents in the direction favorable for the authorities. It is likely that additional opportunities will open for survey research (it depends on how the situation on the peninsula will develop), which means that we will get quantitative assessments of this phenomenon.

At the same time, of course, I would like to express the hope that henceforth polls will nevertheless be used by the Kremlin strictly for its intended purpose, that is, to inform in managerial decisions, and not for other, more instrumental goals.

"Time and place cannot be changed"

Vladimir Paniotto ,
General Director of the Kyiv International Institute of Sociology (KMIS, Ukraine):

The referendum on the Crimea (in 2014) was, of course, falsified - either the percentage of the pros, or the turnout, or both. This shows the data of all previous surveys in Crimea (during the referendum, supporters of Ukraine called for it to boycott; if this call was effective, then there could be 90% “for”, but then the turnout would be much lower). Perhaps, mainly supporters of the entry of Crimea into Russia took part in the New Year's survey, so Response Rate is important here. And if it was known that the survey was conducted on the initiative of Putin, then the refusals that amounted to 60% were not random, the supporters of Ukraine would refuse to more likely than Putin's supporters (this could be partially controlled, finding out whether the percentage of the Tatars and Ukrainians among the census responded - there should be 15% of the Tatars and 16% of Ukrainians).

In general, such a survey looks like part of political technology, which is quite effective. It helps to show that in the situation it is not the power that seized the Crimea, but cannot ensure the normal functioning of the infrastructure, but “Horses”, “Hunt”. The population between the darkness and horrors of war (I watch little Russian television, but I think that they show this) chooses peaceful darkness and takes responsibility. What is now indignant when everyone agrees on it. This survey helped reduce criticism of power. It is also surprising that in Crimea everyone is happy more than anywhere else in Russia-this allows them not to be engaged at all. The worse it will be, the more the “junta” is to blame and the more power support.

Since the spring of 2014, our institute has not been conducted in Crimea. Firstly, we practically did not have orders for polls in Crimea after March 2014 (we finished the last survey on February 18, 2014)-apparently, few believe in the opportunity to quickly return Crimea to Ukraine and therefore is little interested in what is happening there. Secondly, we doubt that we can ensure the representativeness of data and the safety of interviewers and respondents. Here we write a lot about the persecution of supporters of Ukraine in Crimea; And although we understand that these can be the next stereotypes imposed on the media, but I do not want to check. Therefore, in those cases when customers wanted Crimea (and these were international customers), we suggested that they contact the Levada Center, believing that it is now easier for the Russians to conduct surveys than Ukrainians.

In the summer at the university to them. Shevchenko passed the round table "Sociology in the conditions of a military conflict." Academic scientists “ran into questioning campaigns, believing that in the occupied territories and in territories not controlled by Ukraine, polls should not be conducted at all. My colleagues and I do not agree with this. We discussed the methodology of such polls, and in the Donbass we conduct them regularly, but we refuse too sensitive issues that can be set under the blow of interviewers and respondents.

Насколько я знаю, в Крыму несколько раз проводил опрос GFK, что вызвало много дискуссий (они опросили население городов — кажется, 50+, — в которых проживало лишь 18% генеральной совокупности, и писали о населении Крыма в целом). Другие украинские компании, насколько я знаю, там опросы не проводили.

На Донбассе мы проводим интервью в Донецке и телефонные опросы в других местах, так как интервьюеры не хотят ездить в другие города через блокпосты: это и дорого, и небезопасно. В сложных условиях заказчики являются более покладистыми, и, если бы были заказы на Крым, мы бы им, скорее всего, предлагали именно телефонные опросы.

Денис Волков
(Левада-Центр, Россия):

В обсуждении данного опроса со стороны профессионального сообщества больше вопросов вызывает не методология исследования, а роль ВЦИОМ как исследовательской организации в этом процессе.

В первую очередь стоит сказать о вопросах, касающихся методологии исследования. Выбор метода сбора данных в пользу телефонного опроса обуславливался, вероятно, задачей получить результаты в максимально сжатые сроки. Отметим, что проведение телефонного опроса связано с рядом трудностей, влияние которых на качество полученной информации трудно оценить, например, в связи с переходом жителей Крыма с украинских операторов на российские телефонные номера; возникает ряд технических сложностей при организации опросов.

Кроме того, по нашему собственному опыту, уровень дозвона по случайно сгенерированным номерам в Крыму оказывается ниже, чем в других федеральных округах. Как это соотнести с информацией о том, что в данном случае достижимость оказалась невероятно высокой (близкой к 50%), без доступа к полной информации об исследовании сказать сложно.

Выбор даты проведения опроса также не подвергался какому-либо методологическому осмыслению: исследовательские кампании нацелены обеспечить максимально возможную достижимость исследуемой совокупности и стараются не проводить опросы, например, летом, когда многие жители уезжают в отпуск. В данном случае опрос проводился в канун празднования Нового года. Мы не обладаем данными о том, насколько уровень готовности принять участие в опросах в этот период отличается от обычного выходного дня.

Важно понимать, что содержалось в преамбуле (вводной части анкеты), как людей приглашали к участию — о чем их будут спрашивать, зачем, как будут использоваться эти данные. Предварительное анонсирование, что Путин поручил провести данный социологический опрос по телевизору, может рассматриваться как давление на респондентов.

Сам спектр вопросов (мы знаем, что было два содержательных вопроса и социально-демографический блок) не имел целью получить всестороннюю информацию о ситуации с электричеством в регионе, об аргументах в пользу или против решения о заключении договора на текущих условиях Украины, об оценках каких-либо альтернативных решений относительно обеспечения электричеством.

Не слишком хорошо, на мой взгляд, что в интервью было лишь два содержательных вопроса: то есть эти вопросы задавались не в рамках более широкого разговора на различные темы, но людей просили определиться по горячему политическому вопросу. Второй вопрос задавался в расплывчатой формулировке, замерялась готовность к «временным трудностям», «незначительным перебоям» (что под ними понимается?), что могло привести к завышению степени согласия с данным утверждением.

Тот факт, что альтернативных исследований в Крыму очень мало, не позволяет вынести точное суждение, насколько полученные результаты характерны для Крыма. Очень мало альтернативных исследований в Крыму, с которыми можно было бы сравнивать полученные результаты. Надо бы понять, почему таких исследований нет. Потому что нет на них денег или потому что есть какие-то препятствия к проведению? В отсутствие альтернативных исследований российская власть обладает монополией на интерпретацию мнения крымчан.

Тем не менее нужно отметить, что проведенные исследования ФОМ, тоже методом телефонного опроса, показывают высокие показатели одобрения действий российской власти и довольство ситуацией в целом на полуострове (однако не очень хорошо, что у них на первом месте стоит вопрос о доверии Путину, а затем задаются уже все остальные вопросы). Нет сопоставимых вопросов в формулировках «до присоединения» (например, таких, какие проводил КМИС до 2014 года).

Однако хуже всего, что результаты этого и подобных опросов очень быстро встраиваются в работу пропагандистской машины и обслуживающих власть политтехнологов. Но это уже проблема не методологии опроса, а природы существующего в России политического режима: как и в чьих интересах принимаются решения; на основе ли опросов (как утверждается, в интересах людей), или же апелляция к результатам подобных опросов — это всего лишь дымовая завеса, маскирующая интересы людей, находящихся у власти?

Роман Могилевский,
научный консультант ООО «АСИ Санкт-Петербург»:

1. Согласно законодательству работы (включая исследования, опросы и прочее), финансируемые по госконтрактам из бюджетных источников, осуществляются организациями на условиях конкурса. Выполнение работ государственный заказчик передает организации, предложившей лучшие по сравнению с другими участниками условия выполнения работ. Ничто не является основанием для выполнения работ конкретной организацией, кроме победы в конкурсе. Само собой разумеется, не может являться таким основанием мнение или желание того или иного государственного деятеля, как бы высоко он ни стоял в иерархии государственных лиц.
2. Возможно, имеются какие-либо подзаконные акты, определяющие возможность привлечения исполнителя работ вне конкурсной процедуры. В этом случае организаторы конкурса должны оповестить общественность и профессиональные круги о существовании, содержании и способах принятия (легитимности) подобных актов. В случае с опросом ВЦИОМ в Крыму при наличии подобных оснований должно быть объяснено, на основании чего в отношении ВЦИОМ была использована исключительная, а не общая юрисдикция.
3. Дискуссионным являлся предмет опроса: одно государство (Украина) полагало, что энергоносители будут поставляться на его территорию, и требовало отразить это в контракте, а другое (Россия) — противилось этому, полагая, что поставки осуществляются на принадлежащую ему территорию.
   Если цель опроса состояла в выяснении мнения граждан о возможности указания в контракте статуса территории поставки, то следовало бы провести выборочный опрос всех граждан, чьи экономические и политические интересы, а также параметры качества жизни существенно затрагиваются поставками электроэнергии, включая граждан Украины, России и отдельных регионов этих стран, а не только проживающих на территории Крыма.
4. Режим, который позволяет социологам использовать массовые анкетные опросы, получать надежные и достоверные выводы, — «режим тишины». По мнению российских и международных специалистов (в России это обстоятельно обосновывал один из отцов-основоположников опросной методологии В. А. Ядов), профессиональные стандарты запрещают проведение опросов под административным давлением, в условиях, как сейчас бы сказали, «негативно обогащаемого общественного мнения», пропаганды, целенаправленных информационных и организационных кампаний, а также в условиях разного рода актуальных военных конфликтов, социальных, природных и техногенных катаклизмов, способных создать сильные, но неустойчивые настроения и мнения ad hoс, с которыми респонденты перестают считаться сразу, как только меняется ситуация.
5. Также профессиональные стандарты запрещают использование в качестве стимулов «вопрос-ответной» коммуникации (уровня активности и характера ответов респондента) обещания и намерения предоставить блага, распределение которых не находится в компетенции организатора опроса.

Выполнение или невыполнение этих обещаний переносит ответственность с лиц, в действительности производящих или распределяющих блага, на социолога, который вряд ли способен гарантировать выполнение административных или хозяйственных обещаний. Но это может оказывать значительное влияние на уровень доверия респондентов и согласие сотрудничать с лицами, проводящими опрос, на достоверность информации. Характерным примером нарушения профессиональной этики является формулировка второго вопроса из опросника ВЦИОМ, согласно которой социолог совершенно необоснованно принимает на себя ответственность за исправление ситуации с поставкой электроэнергии в определенное время и в определенное место.

Алексей Куприянов,
социолог, доцент департамента социологии НИУ ВШЭ Санкт-Петербург:

См. Крымский опрос и неудовлетворительное качество данных

Послесловие от редакции

Дискуссия вокруг итогов опроса ВЦИОМ в Крыму этими публикациями не заканчивается. Нашим читателям рекомендуем посмотреть на анализ статистики и обсуждения на страницах А. Куприянова ( kouprianov.livejournal.com ), А. Киреева ( kireev.livejournal.com ) в «Живом журнале», блоге С. Пархоменко в «Фейсбуке» ( https://goo.gl/vfNsML ) и др. Мы продолжим публикацию экспертных комментариев на сайте нашей газеты.

1. http://www.wciom.ru/fileadmin/file/reports_conferences/2016/2016-01-01-krym.pdf