вопрос на засыпку

[kobak]

Логистическая регрессия относится к линейному дискриминантному анализу так же, как линейная регрессия относится к чему? И почему?

Никогда об этом не задумывался, пока не сел готовить слайды для очередной лекции.

Comments

[mi-b.livejournal.com]

... как линейная регрессия к факторному анализу. Linear discriminant analysis можно рассматривать как вариацию principal component analysis - вместо осей, вдоль которых максимальна вариация, мы ищем оси, вдоль которых максимальна сепарация. Перенося PCA на регрессионную задачу получаем латентный факторный анализ или ANOVA

[kobak.livejournal.com]

Да!

Правда, я не совсем понял Ваше объяснение, но ответ у меня такой же. Расскажу, как я рассуждал. Сначала надо четко понять, в чем разница между logistic regression и LDA, это, кстати, не сразу очевидно. В logistic regression мы прямо моделируем P(class | x). В LDA мы постулируем P(x | class), это гауссианы, и задаем prior P(class), откуда с помощью теоремы Байеса уже и получается P(class | x). Это то, что я собирался обсуждать на лекции.

А теперь аналогия. В линейной регрессии мы прямо моделируем P(y | x). Аналогом LDA будет моделировать P(x | y) вместе с каким-то prior P(y), а затем пронаблюдав какие-то данные x, получить P(y | x). Это как раз и соответствует задаче FA или PPCA (probabilistic PCA). Более привычно latent variables обозначать z, а не y, но суть та же.

[azonips.livejournal.com]

Может вы и ссылкой на слайды поделитесь?
Было бы интересно взглянуть.

[kobak.livejournal.com]

Слайды (пока?) нигде не выложены, а видео тут: https://www.youtube.com/playlist?list=PL05umP7R6ij35ShKLDqccJSDntugY4FQT

Но конкретно эту лекцию про LDA я еще не записал. Выложу на выходных.

[azonips.livejournal.com]

Благодарю.