запросы в Росстат

[kobak]

Рассказываю интересующимся о том, как работают запросы в Росстат. С подачи Алексея Ракши, 2 ноября я отправил в Росстат следующий запрос (заполнив форму https://rosstat.gov.ru/appeal):

Добрый день, для исследований по демографии регионов России, прошу предоставить данные о числе умерших по субъектам Российской Федерации по окончательным годовым данным по месяцам смерти с января 1990 по декабрь 2020 или указать ссылки на эти данные, если они опубликованы. Мне известны "оперативные" данные Росстата по месяцам и по регионам, сгруппированные по дате регистрации смерти. Но сейчас меня интересуют окончательные данные, сгруппированные по дате смерти. Большое спасибо! С уважением, Дмитрий Кобак

Через две недели, 15 ноября, мне на электронную почту пришел ответ (официальное отсканированное письмо с номером и подписью в PDF и таблица в XLS). К сожалению, посмотрев на данные, я понял, что это не число умерших, а число рождений :-/ Так что 18 ноября я отправил повторный запрос, объяснив, что произошла ошибка. Еще через две недели, 28 ноября, мне (без дополнительных комментариев) прислали новый ответ и новую таблицу -- на этот раз действительно умерших.

На этот раз обнаружилось, что значение за август неверное (не совпадает с уже известными мне данными) и совпадает со значением за июль, причем только в строчке "Российская Федерация" и только за последние 10 лет. Значения по регионам вроде бы верные, так что значения в строчке "Российская Федерация" можно было восстановить, сложив значения по регионам. Я решил не писать новый запрос, а просто внести в таблицу это изменение самому. Но как могла произойти такая ошибка, мне не очень понятно.

Обе присланные мне таблицы (уже в исправленном виде) я выложил на https://github.com/dkobak/excess-mortality/tree/main/russian-data, вместе с данными, конвертированными в более удобный вид и CSV формат. В исходных данных в каждый год есть некоторое небольшое кол-во смертей с неизвестным месяцем смерти (и это число сильно выросло в 2020). Для CSV файла я эти смерти распределил по месяцам пропорционально смертям с известным месяцем смерти.

Все мои графики избыточной смертности по регионам РФ теперь основаны на этих окончательных данных (вплоть до конца 2020 года). Несколько странностей (в Краснодарском крае, например), которые мы обсуждали в прошлом году, теперь просто исчезли, т.е. это были артефакты регистрации смертей.

Comments

[oude-rus.livejournal.com]

//я эти смерти распределил по месяцам // и датировал первым числом?

[green-fr.livejournal.com]

Отлично :-) Загадка пиков первого числа каждого месяца начинает проясняться! Может и с первым января так же, хоть и частично?

[kobak.livejournal.com]

Да нет, это же никак не может объяснять провалы последнего числа каждого месяца.

[oude-rus.livejournal.com]

просто все эти бедные люди с неизвестной датой умирали в последний день месяца!

[termometr.livejournal.com]

и в день рождения!

[burckina-faso.livejournal.com]

Спасибо большое!

[lyuden.livejournal.com]

> Но как могла произойти такая ошибка, мне не очень понятно.

Ктот копировал в Эксель откуда то и потом чтобы снять выделение кликнул куда то слишком много раз и оно перенесло значение. Во всяком случае я сам такие ошибки допускал при единичных экспортах, и при разборах полетов в аналогичных случаях чаще всего оказывалось что кто то откуда то куда то вручную копировал.

[termometr.livejournal.com]

К сожалению, несмотря на все принятые меры, у нас заболели коронавирусом и пневмонией более 160 человек из порядка 18 тыс. сотрудников по всей системе госстатистики. К огромному сожалению, одного мы потеряли.

Подробнее на РБК:
https://www.rbc.ru/interview/economics/23/06/2020/5eeca0b09a7947c6ff6cdec5 (https://www.rbc.ru/interview/economics/23/06/2020/5eeca0b09a7947c6ff6cdec5)

[termometr.livejournal.com]

конвертированными в более удобный вид и CSV формат.
***
А чем его читать?
XLS — все знают чем читать...

[kobak.livejournal.com]

Да чем угодно. Хоть Экселем, хоть Блокнотом. Ну и любым языком программирования.

[termometr.livejournal.com]

спасибо, попробую

[passer-by-plain.livejournal.com]

Боюсь — все эти данные ни о чем, кроме самого Росстата:)

[lucas-v-leyden.livejournal.com]

Довольно праздный интерес — насколько это распространенная мировая практика? То есть если частное лицо напишет подобный запрос в статистические ведомства Германии, Америки, Швейцарии, Японии, Китая, Индии, Израиля (к примеру) — откуда ему придут ответы, а откуда нет?

[kobak.livejournal.com]

Точно не знаю. Но у меня такое впечатление, что в развитых странах (Западная Европа, Северная Америка) как правило никакой дополнительной статистической информации просто так по запросу не дадут, — по крайней мере я о таком не слышал (но они и без того открыто публикуют довольно детальную информацию). От стран вроде Индии и Китая вообще ничего не добиться, там и на официальном сайте никакой реальной информации нет. Но где-то в промежутке есть довольно много стран, от которых мой соавтор Ариэль Карлински смог получить информацию о числе смертей с помощью официальных запросов или просто по электронной почте. Могу что-то перепутать, но, например, Албания, Андорра, Аргентина, Белиз, Босния, Панама, Ямайка.

Росстат мне в целом кажется довольно продвинутым ведомством.

Любопытно было бы узнать, какую информацию они таким образом готовы присылать (никакого перечня нигде нет). Можно попробовать запросить что-нибудь явно нереальное, и посмотреть, что они ответят, но мне как-то не хочется экспериментировать, да и ни к чему.

[lucas-v-leyden.livejournal.com]

Понял! Спасибо большое за обстоятельный ответ.

[(Anonymous)]

Сколько в России стульев?

О.Б.

[oude-rus.livejournal.com]

в развитах странах, как мы знаем, продают даже результаты выборов !

[kobak.livejournal.com]

А перестали продавать, кстати! Теперь просто так в открытый доступ выкладывают! Но с большой задержкой, в несколько месяцев.

[ranmod.livejournal.com]

> Все мои графики -
а где они ?

[kobak.livejournal.com]

См. тут https://github.com/dkobak/excess-mortality/

[alice-272.livejournal.com]

Росстат молодцы. Я обращалась с частными запросами в Мосстат — московский, и в Петростат — в Петербургский. по городской информации, внутри города. Мне нужны были официальные бумаги, с печатью.
У меня осталось очень хорошее впечатление об этих двух структурах, работают приличные люди.

Не знаю вообще ничего полезного другого от государства -). Эта гос структура — редкое исключение.

[craftwr.livejournal.com]

Да вся эта статистика липовая. По "ковиду" особенно.

[kobak.livejournal.com]

Статистика общей смертности как раз вполне нормальная.

[craftwr.livejournal.com]

Нет. Фальшак, по большому счету, поскольку по "ковиду" настоящих данных нет, следовательно и вся статистика фальсифицирована.

[kobak.livejournal.com]

Ничего себе "следовательно".

[craftwr.livejournal.com]

Верить правительству себя не уважать. Роспотрефашистназор врет.

No title

[livejournal.livejournal.com]

User burckina_new referenced to your post from No title (https://burckina-new.livejournal.com/2577759.html) saying: [...] ая картина прослеживается в уникальных помесячных цифрах каждого года, которые удалось получить [...]