Explain PCA to your grandmother

[kobak]

Мой ответ на этот вопрос https://stats.stackexchange.com/questions/2691 про PCA сегодня набрал 500 upvotes и является самым популярным ответом на CrossValidated с большим отрывом (у следующего за ним и 400 пока нет, см. тут). Пустячок, а приятно.

Я в последнее время там редко отвечаю, но за 2015-2016 написал довольно много. Вот список ответов, отсортированный по их популярности: https://stats.stackexchange.com/users/28666/amoeba?tab=answers&sort=votes -- м.б. кого-то заинтересует.

Comments

[monka.livejournal.com]

Прямо произведение искусства!

[papa-lyosha.livejournal.com]

Класс. Вам надо написать статью в Википедии. Или хотя бы загрузить туда картинку.

[jklkj.livejournal.com]

Отличное объяснение. Я с PCA не знаком, мне очень понравилось : ) Но меня завел в тупик трюк с проецирование точек на график линейной комбинации.

Я правильно понимаю, что линейная комбинация в вашем примере задает отображение двухмерного векторного пространства в множество натуральных чисел? В моей голове это отображение выглядит как плоскость в трехмерном пространстве, задающаяся функцией  z = w1*x + w2*y; несложно представить, как винное облако проецируется на эту плоскость. На как его спроецировать на прямую в том же пространстве, что и исходные точки?

И еще вопрос: какой функцией задается прямая? Я сходу подумал, что 0 = w1*x + w2*y + w3, но, поскрипев головой, сильно сомневаюсь.

[kobak.livejournal.com]

Так у нас нет трехмерного пространства, у нас есть только двухмерное. Винное облако живет в двумерном пространстве. Как оно может проецироваться "на плоскость", как Вы пишете? Не совсем понимаю.

На самом деле каждая точка из облака проецируется на прямую, как это показано на моей анимированной картинке. Координата проекции действительно получается как z = w1*x + w2*y. Это координата на прямой. Чтобы нарисовать все это на двумерной плоскости, надо "отобразить" проекцию обратно в двумерие (еще это называется "реконструкция"). Если рассматривать проекцию и реконструкцию вместе (т.е. их композицию), то это линейное преобразование из двумерия в двумерие (преобразование специального типа, называется проектор).

Прямая такая, что она проходит через точки (0,0) и (w1, w2). Отсюда несложно получить уравнение. Вроде бы w1*y - w2*x = 0, если я не ошибся.

[vasja-iz-aa.livejournal.com]

у нас есть многомерное облако точек(трехмерное облако мух или других точек легко представимо любой бабушкой). мы знаем положение облака в многомерной косоугольной системе координат(пятимерная косоугольная систем координат легко изображаема пальцами одной руки). метод PCA позволяет найти такую минимальную прямоугольную систему координат(тремя пальцами другой руки), в которой взаимное расположение мух в стае будет передано без искажения
дальше можно переходить к описанию зачем нам это нужно в терминах пpикладной области применения метода

[lucas-v-leyden.livejournal.com]

С днем рождения!

[kobak.livejournal.com]

Спасибо!

[ny-quant.livejournal.com]

Это очень хорошо. можно даже сказать здорово, особенно картинки - я так не умею.

Когда учился в аспирантуре, у меня был громадный затык с РСА, которые тогда (и наверние до сих пор) были очень популярны в нашей науке. Я никак не мог врубиться в связь между величинами собственных чисел и explained variance. Один коллега-приятель, хорошего уровня специалист, который и сам пользовался РСА в своей работе, взялся мне помочь. Раза три он мне устраивал "семинар" с целью всё рассказать и объяснить from first principles. Все три раза я его похоронил своими вопросами. (Он потом признал, что объяснял плохо.) Я же потом прочёл классическую книгу Прейзендорфера и всё понял. А с тех пор опять многое забыл.

[kobak.livejournal.com]

Спасибо. Про книгу Прейзендорфера (Principal component analysis in meteorology and oceanography, наверное?) я даже и не знал. А в какой области у Вас PhD -- по метеорологии?

[ny-quant.livejournal.com]

Формально, по океанологии. В реальности, океан был скорее поводом чем настоящим предметом для некоторых исследований по гидродинамике. Но я старался об этом никому не говорить.