В соцмережі розгорнулася дискусія соціологів щодо якості соцопитування, проведеного компанією "Нью імідж маркетинг груп" на окупованих територіях

жодна людина не покидає свій дім
якщо дім — це не паща акули
ти біжиш в бік кордону
якщо бачиш ціле місто, що так само біжить
(Warsan Shire)

Мені було 11 років, коли я вперше почав читати Дзеркало тижня - Зеркало Недели. Тоді, в Луганську, мій батько був довіреною особою кандидата в Президенти України Віктора Ющенка і щонеділі купляв цю "товсту" газету. З тих часів це видання було для мене еталоном журналістики.
До виходу сьогоднішнього номеру.

Мені цікаво, яким чином будь хто у здоровому глузді може собі уявити соціологічне опитування на окупованих територіях, де відсутні будь-які інститути захисту прав людини, і будь-хто може опинитися "на підвалі" просто так? Опитування там, де закон це людина з "калашом" на плечі –– дуже дивна забавка.

Це дослідження є зневагою до мільонів громадян України які у нелюдських умовах живуть на тимчасово окупованих територіях, зневагою пам'яті всіх наших рідних, хто помер в окупації, а також всіх внутрішньо перемішених осіб, яких і до сьогодні принижують через прописку та позбавляють конституційних прав. Окрім цього, на мою думку, це є методологічно невірне, неетичне та загалом непрофесійне дослідження і ось чому:

Нема структури вибірки та генеральної сукупності.
Тобто незрозуміло яким чином формувалася вибірка, кого саме опитували і чому розподіл саме такий. Причина цьому, скоріш за все, — відсутність достовірної статистики про структуру населення тимчасово окупованих територій. І це вже достатній привід не проводити подібне дослідження. “Корегування на існуючі демографічні дані та кількість ВПО” (доречі, а скільки в нас ВПО?) виглядає як відмовка.

Як проводилося опитування?
Яким чином на окупованих територіях, особливо у менших містах як Ровеньки (з менш ніж 50 000 тисячами населення), проводилося face-to-face інтерв’ю? Уявіть собі: в місті, де міським головою є автомат ходить група інтерв’юерів та годинами розпитує місцевих жителів про їхні політичні переконання.
Чи це була особиста розмова, чи телефонна. Усе, що ми знаємо про face-to-face — це "пряма комунікація між інтерв'юерами та інтерв'юерами". Вона може бути особиста і телефоном. І це має бути вказано, адже комунікація телефоном суттєво знижує якість та достовірність відповідей респондентів.
(UPD: так, опитування телефоном не може називатися F2F, воно називається САТІ. Але через відсутність деталізації методів та поля є підозра, що особисті опитування не проводилися)
До того ж цікаво спитати, чим саме думали організатори інтерв’ю, ставлячи під загрозу життя як інтерв’юерів, так і місцевих жителів? Виходить, що мета виправдовує засоби і вони ставляться до людини як до засобу, а не мети.

Навіщо це робилося?
Якою була дослідницька гіпотеза цього опитування, і чи вона справді є настільки цікавою, щоб порушувати етичні та моральні норми? Найголовніше незрозумілими лишаються логіка та сенс того, як складалися питання у опитувальну, адже за формою вони виглядають так: ніби немає ніякої війни і загрози життю. Люди просто роблять свій щоденний вибір жити на території без захисту прав, у бідності та без реально працюючих інститутів.

Чому немає “обмежень” дослідження, як от ефекту “спиралі мовчання”?
Будь яке добре дослідження супроводжується секцією “обмеження”, де говориться про те, які чинники могли вплинути на результати опитування. Таким чином знижується тон категоричності результатів, і прибирається можливість стверджувати беззаперечну істинність результатів.
Наприлад, існує теорія “спіралі мовчання", яка говорить про те, що людина не буде висповлювати свою думку правдиво, якщо не впевнена в тому, що вона збігається з поширеними перконаннями у її спільноті. Люди бояться бути “іншими” знаходячись у ситуації відсутністі закону який міг би захистити їх. До того ж у ситуації постійної загрози хтось хоче вдати з себе бунтаря, та говорити крайньо непоплуярні речі. Це все є тими самими “обмеженнями” дослідження, на які необхідно вказувати. Адже за умови відсутність будь-якого про-українського публічного дискурсу та загрози покарання за нього білшість людей буде просто приховувати свої справжні думки.

Переповненість оціночними судженнями.
Як от: “Перед чужими порушувати квартирне питання не дуже зручно. Перед родичами — цілком.” До того ж автори підсилення мову про нахабних та ледачих “понаїхавших”. І це вже є дуже політичним кроком, адже помітним стає поділ на “нас” та “них”. Подібний поділ був притаманний президентській кампанії Володимира Зеленського, і, за визначенням філософа Джейсона Стенлі, є однією ознак фашизму. Враховуючи тон подібних ремарок, а їх у дослідженні десятки, можна говорити про конкретну ангажованість та зацікавленість тих людей, що робили наведене дослідження.
Наприклад питати людей, що живуть за порогом бідності про те, хто має відновлювати економіку зруйновану війною та говорити про можливу покупку супутникової антени заради українських новин. Це виглядає як відверте блюзнірство.
І чому, власне, не було зроблено наголосу на те, що українські медіа та інформаційні портали блокуються на окупованих територіях? Чи автори цього тексту вважають, що прогресивні пенсіонери Донбасу, стоячи в безкінечних чергах на КПВВ мають знати як користатися VPN?

Звевши всі ці питання до купи можна хіба що сказати, що ті, хто розробляв та проводив наведене дослідження навряд справді були на окупованих територіях та мають хоч якесь уявлення про наших співгромадян, що лишилися там та про щоденні умови їхнього життя. І це буде ще одна методологічна помилка — відсутнє або неякісно зроблене “кабінетне дослідження” (попереднє вивчення існуючих матеріалів). Цікаво чи вони, наприклад, взагалі знають про існування десятків звітів Міжнародної організації міграції щодо переселенців, стану їхнього життя та мотивацій повернення?

Це дуже обмежене коло дір яке я, як ангажована людина, можу навести. Тому попросив би своїх знайомих, друзів та колег з більш фаховим бекграундом висловитися про те, що вони думають про наведене дослідження.

Також я хотів би попросити тих, хто зробив його і написав статтю, опублікувати повне дослідження (Ukrainian Institute for the Future, New Image Marketing Group, Инна Ведерникова, Юлія Мостова, Володимир Кравченко та Тетяна Силіна) та зробити публічне обговорення з залучення професійної спільноти, громадських активістів та професіоналів інших сфер які безпосередньо працюють з різними аспектами цієї проблеми, як от:
Tymofii Brik, Oksana Mikheieva, Olga Zhmurko, Victoria Alieva, Danylo Sudyn, Katya Klim, Константин Реуцкий, Yulia Krasilnykova, Alim Aliev, Tamila Ravil Qızı Tasheva, Mikhail Minakov, Nadya Konoshevych, Olga Ivanova, Ganna Dudinska, Taras Bilous, Olga Korablyova, Solomiya Borshosh, Илья Кононов, Boris Davidenko, Ievgeniia Bodnya, Andrii Kruglashov

• • •  
  • 
    

    Oksana Mikheieva Я знов про своє - тут питання до дослідження, оприлюднення та інтерпретацій. Зводити до чогось одного - применшувати масштаби проблеми.

     
  • Anton Savidi Так ж є опитування на неокупованій території Донбасу, де є укр влада, ЗМІ і тд. І там же рівень підтримки проросійських тез і настроїв теж дуже високий. Який же він мав би бути на окупованій частині?
    
    Будемо себе самонавіювати, що там масово чекають українську владу?Скрыть комментарий или пожаловаться на него

    •  
    • 
      

      Yevhenii Monastyrskyi Anton Savidi посилання на подібні опитування.
      
      питання не до результатів, а до того як проволилося опитування, ким, як робилися розрахунки і до фаховості людей що їх проводили.

       
    • 
      

      Anton Savidi Yevhenii Monastyrskyi ну з приводу того як проводилось то інше питання, можна питати багато чого. Щодо маніпуляцій в тексті ДТ то я згідний.
      
      Опитування на неокупованій території мав на увазі результати

      • .
    • 
      

      Yevhenii Monastyrskyi Anton Savidi такі опитування скоро почнуть ставати трендом для маніпуляцій, і щоб це попередити необхідно встановити дуже чіткі стандарти та межі. інакше подібні навколо-наукові дослідження продовжать виникати.

       
    • 
      

      Anton Savidi Yevhenii Monastyrskyi згідний, просто такі пости виглядають на те, що нібито результати фальшиві, і все насправді по-іншому. Я не бачу жодних об'єктивних передумов, щоб кардинально відрізнялись настрої людей в ОРДЛО ніж показано в цьому дослідженні чи дослідженнях ZOiS

      • .
    • 
      

      Yevhenii Monastyrskyi Anton Savidi натомість я не бачу жодної можливості, окрім якісних досліджень, для того щоб реально з’ясувати що відбувається в голові людей, які 5,5 років живуть у безкінечному стресі.

      4

      •  
  • 
    

    Pavlo Kaliuk Illya Udovychenko, бачив твій лайк, під репостом звідси, але там «відвалився» текст перед лінком

     
  • 
    

    Tymofii Brik Говорит, что коммент не может быть больше 8000 characters . От Марк, вообще гонишь

     
  • 
    

    Tymofii Brik Первая половина
    
    Нуууу. "Не все так однозначно". Я понимаю, что тема непростая и у меня есть свои подозрения по качеству (просто потому что работа у нас такая - с подозрений начинать. не зря исследователи даже язык используют такой control for, kill th...Ещё

     
    • 
      

      Darya Perekosova Спираль молчания и устаревшая идея - трижды ха-ха-ха. Тимофе, лучше не позорься

       
    • Victoria Alieva Darya Perekosova цікаво. What's your take on that?

       
    • 
      

      Tymofii Brik Darya Perekosova "не позорься" ? Я понимаю, что в украинской социологии идеи 60-80 это свежесть , актуальность и новизна. Но ты реально думаешь, что за последние лет сорок не было никаких апдейтов? Ну , расскажи , почему модель Курана хуже? Что там такого позорного ? Или в методике по измерения надёжности респондента от Горбачика и ко что именно не так? Внимательно слушаю, не хочу больше позориться

       
    • 
      

      Darya Perekosova Tymofii Brik сорян, чувак, но после политического компаса у меня есть сомнения в твоей компетентности и экспертизе) и тут уже апдейты, не апдейты...

      Скрыть комментарий или пожаловаться на него

      •  
    • 
      

      Yevhenii Monastyrskyi Darya Perekosova аргументация уровня Виктора Андрусива.
      Существует целый корпус критики Ноэль-Ньюман, но кажется ни одна из них не начинается с фразы «сорян, чувак)».
      Более того, теорию до сих пор тестят в исследованиях, которые идут в цитируемые peer-review журналы....Ещё

       
    • 
      

      Victoria Alieva Дар‘є, але тут за дискусією, у тому числі про спіраль, вже спостерігає 100500 людей. Можливо, все-таки дасте аргумент по суті, а не ad hominem.

       
    •  
    • 
      

      Yuriy Savelyev I wouldn't call spiral of silence "an out-dated theory". It's a working model which has limitations (as any model)

       
    • 
      

      Tymofii Brik Yuriy Savelyev любая концепция, который больше 40 лет, в нашей дисциплине устарела ;)
      
      В этом конкретном случае модель как раз работает не очень хорошо из-за допущений про то, (1) что такое конформизм и (2) как он "распределен" в выборке. К анализу проблемы можно приступать и без этих допущений. Другими словами , модель не берут в работу . Но берут просто общий философский настрой. Я часто вижу работы по этой проблематике, где Нойман даже не вспоминают, так далеко ушло поле. Или вспоминают, но просто для общей эрудиции и для уважения классиков (Тимур Куран, например такой).
      
      Ну устарела и устарела, ну и что теперь. Не работать что ли? Главное , что проблема не устарела - как обеспечить качество ответов? Социально ожидаемые ответы, пропасть между личным и публичным, страх, стресс - это все большие проблемы. Они в отличие от классиков не устаревают и делать с ними что-то надо. Проблема, которую я часто вижу в том, что Нойман часто используют для аргумента "опросы проводить нельзя". Но это не обязательно так .

      1

       
    • 
      

      Yuriy Savelyev Исследования проводить нужно, но для опросов общественного мнения необходим минимальный уровень общественной свободы + технические условия контроля качества поля. Предложенный дизайн и метод «face-to-face в домогосподарствах респондентів» крайне неудачный выбор. А концепция, о которой через 40 лет еще помнят, это уже классика

       
    • 
      

      Tymofii Brik Yuriy Savelyev конечно классика - я это слово несколько раз выше написал.
      
      Да, все это нужно - минимальный уровень свободы и контроль качества. Осталось определить "минимальный".

       
    • 
      

      Yuriy Savelyev уже неважно – этот опрос стал частью медиа дискурса и теперь будет определять общественное мнение в Украине

       
  • Tymofii Brik Дальше.
    
    Что можно сделать с массивом, чтоб проконтролировать возможные "плохие" ответы и попытаться "убить результаты" (если убить не выйдет - то данным доверять можно)....Ещё

     
    • 
      

      Victoria Alieva Я чекала, ЧЕКАЛА, коли ти скажеш про одновимірки =).

       
    • 
      

      Tymofii Brik Victoria Alieva а говорят, нельзя предсказать поведение человека

       
    • 
      

      Victoria Alieva Tymofii Brik ну тому що це дуже добра думка, що якщо вже робити щось настільки важливе, щось, що мають амбіції покласти в полісі/стратегію, то давайте вже зробимо the best we can do. Вистачає спеціалістів, вистачає досвіду. Но нєт.

       
    • 
      

      Yevhenii Monastyrskyi Tymofii Brik как я ждал социального наезда на одномерки и их сопоставление вместе с формулировками вопросов ❤️

       
  • Tymofii Brik Что можно было сделать лучше в самой презентации данных? Показать selection bias, показать N для каждого вопроса. Показать ответы для Луганска и Донецка отдельно. Та вообще забить на эти кулёчные одномерки и давать больше двумерок или таблиц. Поучится у Текстов немного не помешало бы.
    
    Ну и выложить массив.
    
    *******************************************************
    
    И последнее.
    Зачем вообще проводить исследования (дорогие, опасные, важные), если в результате это просто набор непонятных одномерок?
    
    Это очень серьезное дело. Если в него вписываться, то надо делать хорошо. Надо обязательно (!) на этапе программы исследования думать про шкалы и тесты.
    
    Никакой набор разбросанных одномерок не поможет вам понять надежность ответов - можно хотя бы взять работающий тест (какой-то интегральный индекс), который уже использовали в Украине. Это набор нескольких шкал. И посмотреть на вашей выборке как эти шкалы там сработали. Альфу-кронбаха банальную глянуть.
    
    Я бы выкинул добрую половину этих шкал лайкерта и вставил несколько шкал от 0 до 10, до 100 или еще что-то. Хоть что-то, чтоб вы могли прогнать разные тесты. Если в массиве будут шкалы разного типа, вы сможете посмотреть на разные распределения, покопаться в них, посмотреть на качество разных моделей.
    
    Ну и существуют же тесты на надежность респондента. Команда ИС под руководством Головахи и Горбачика давно разрабатывали шкалы для этого. Есть психологические тесты же...
    
    Кароче, если заморачиваться на что-то серьезное - стоит делать это по-настоящему серьезно. С серьезным подходом к качеству данных. Наши полстеры и журналисты думают, что качество данных это только выборка и формулировка вопроса. Но совершенно не думают про шкалы, распределения и анализ данных. А это решается очень просто - берете в команду одного социолога уровень магистр (КНУ Шевченко подойдет - там хорошая преемственность и обмен знаниями в этой теме. Связка Головаха-Горбачик и все их студенты работает уже несколько поколений).
    
    Плюс заморочиться над презентацией данных - просто смотрите на все, что делают Тексты и делаете хотя бы на половинку. Все, профит.
    
    Ну и немного открытости. Когда социологи дизайнят исследования мы обычно ДО исследования его тестируем, спрашиваем мнения коллег, собираем все "за и против", обрабатываем критику. А не вываливаем результаты как есть и потом "ну а шо теперь поделать".
    
    *******************************************************
    Короче. Коллективный разум тут бонус. Одна голова хорошо, а целое комьюнити лучше. Если финальная цель - сделать добро, то надо выкладывать массив. Чтоб все мы могли в нем увидеть зерно чего-то хорошего. Не надо боятся. Это же не для того, чтоб мы кинулись искать баги. Просто одна команда по определению не знает, что сделать с этими данными лучше. В Украине есть огромное количество людей с разными инсайтами - если мы все включимся в анализ этого массива, чуток поштурмуем, посмотрим на данные, то за один рабочий день можно сделать огромное коллективное благо для всех и сделать еще шаг, чтоб лучше понять, что там на Донбасе происходит

     
    • 
      

      Yuriy Savelyev одного дня не хватит. а в дизайне стоило бы заложить возможность сравнения с аналогичной выборкой на подконтрольной территории

      
      
    • 
      

      Tymofii Brik Yuriy Savelyev давайте неделю )

       
    • 
      

      Tymofii Brik Yuriy Savelyev да, передлагаю все хотелки записать

       
    • 
      

      Tymofii Brik Чтоб потом не забыть, когда нас просят

       
    •  
  • 
    

    Alexander Zabirko Зверху скрін з "ДТ", внизу - скрін з опитування берлінського центру ZOiS (серпень 2019). Одне питання, дві різні картини. Мабуть, причина в тому, що ZOiS дзвонив по телефону, а New Image ходив по хатах, так би мовити, фейс-ту-фейс...

    Скрыть комментарий или пожаловаться на него

    

     

     
     
  • 
    

    Solomiya Borshosh Женя, дякую, що підняв цю тему в своєму пості і дам можливість для дискусії. А сказано було багато. І дякую, що не пожалів власних нервів, бо знаю, як це доя тебе особисто. Обіймаю

     
  • 
    

    Илья Кононов Спасибо, Евгений, что обратили мое внимание на эту публикацию. Я давно не читаю "Зеркало недели". Публикация мне не понравилась тональностью и выводом о десятилетиях замороженного конфликта. Но здесь я заинтересованное лицо. Я лично заинтересован в разблокировании конфликта, так как хотел бы вернуться домой и жить в своей квартире. Большинство из тех, кто обсуждает эту проблему, подобных обстоятельств не имеют. Но я понимаю, что мои личные обстоятельства не должны влиять на оценку собственно текста. Если подойти к нему как к изложению эмпирических данных, то у меня много вопросов к формированию выборочной совокупности. Как я понимаю, она была квотной, но для формирования такой совокупности нет достаточных статистических данных, то есть ненадежной является база выборки. Не понятно, как проводился опрос и особенно, как он контролировался. О вопросах коллеги уже писали. Тут много вопросов и не только методологических. Этических вопросов я касаться не буду, так как не хочу впадать в морализаторство. Опросы в зоне конфликта проводятся непрерывно. Для этого есть потребности у разнообразных заказчиков и поэтому находятся рискованные исполнители. Но в зоне конфликта с обеих сторон сама обстановка влияет на искренность респондентов. Можно сказать так, что сама обстановка способствует тому, что некоторые вопросы обречены на систематическую ошибку. Скажем в условиях "Л/ДНР" вопрос о желаемом будущем Донбасса: будет выпирать вариант российского будущего. Это - естественный оппортунизм людей в определенной ситуации. То же самое и на нашей стороне, но уже с другим вариантом. Наша кафедра анализировала эти обстоятельства. Мы опрос проводили в "доверительных группах". Об этом можно прочитать в нашей монографии "Масова свідомість в зоні воєнного конфлікту на Донбасі". Она вышла в 2018 г. Вообще, следует говорить о кризисе опросных методов сбора первичной социологической информации в целом, а в зонах военных конфликтов и подавно. Необходимы иные методы получения информации. Что касается организации, которая проводила исследования, то я ее не знаю. О руководителе этой организации в интернете можно найти информацию и как о частном предпринимателе и как о деятеле социал-демократической организации.

     
  • 
    

    Maria Andreeva дякую

     
  • 
    

    Михайло Мартиненко Дякую, Женя, що підняв цю дискусію. Я не дуже добре розбираюсь в методології соціологічих досліджень. Але цілком розумію що отримати відверті відповіді на дражливі питання на окупованих територіях майже цілком нереально.
    
    І мало того, що ця, перепрошую, туфта на ДТ подається як істина в останній інстанції (очевидно що ніт), так ще і в такій пасквільній, хамській інтонації авторів, які схоже абсолютно не розуміють що на тих теренах хоч приблизно відбувається...

     
  • 
    

    Marina Batsman Tymofii Brik, в статью бы ты оформил свои развернутые комментарии, или хотя бы отдельным постом сделал, было бы читабельнее для таких чайников, как я (в том числе). Очень острая и интересная тема!

     
    • Yevhenii Monastyrskyi Marina Batsman мы работаем над этим