вопрос по линейной алгебре

[kobak]

Вопрос к друзьям-математикам. Пусть у нас есть вещественная симметричная положительно определенная билинейная форма S (т.е. попросту вещ. сим. пол. опр. матрица S; без ограничения общности можно считать, что диагональная с положительными значениями). Пусть есть такой базис V, состоящий из единичных, но не ортогональных, векторов (т.е. квадратная матрица V со всеми столбцами нормы 1), в котором S диагональна как билинейная форма, т.е. V^TSV — диагональная матрица. Верно ли, что trace(V^TSV) ≤ trace(S)? Как это доказать?

Предполагаю, что это должно быть либо очевидно (с правильной точки зрения), либо сразу следовать из какого-то стандартного результата, но я осел и никак не могу разобраться. Как говорит мой двухлетний сын — хилфэ! (Недавно, впрочем, начал говорить: «Папа, помогите!»)

Comments

[am.livejournal.com]

Предложеное док-во rus4, наверное, простейший путь. Краткий пересказ без ТеХа:
Доказывается что trace(D) ≤ trace(U'DU), диагон. D=V'SV, U - обратная к V.
trace(U'DU)=trace(UU'D)=сумма_по_всем_элем((UU').*D), где .* - поэлементное
произведение (Адамара). Т.е. неравенство следует из Леммы 2 rus4 для диагон.
элементов UU'=(V'V)^(-1).
Кстати, если дана полож. опред. симм. матрица в блочном виде:
A B
B' C
где A=1 скаляр, C тоже полож. опред. симм., то первый эл. обратной матрицы будет равен (A-BC^(-1)B')^(-1)>1 -- из преобр. Шура, или разложения Холецкого, см. например: http://www.cis.upenn.edu/~jean/schur-comp.pdf

[kobak.livejournal.com]

Ага, только в Вашем пересказе не сразу понятно, почему верна исходная посылка tr(S) = tr(U'DU). Это разве очевидно? По-моему, тут нужно вычисление tr(S) = tr(USV) = tr(SVU) = tr(U'V'SVU) = tr(U'DU), как у rus4 в его версии док-ва на math.SE (http://math.stackexchange.com/questions/876801).

[am.livejournal.com]

Ok. Если V квадратная и обратимая, то все проще: из V'SV=D следует S = U'DU, где U=V^(-1).

[kobak.livejournal.com]

И правда! Спасибо.

[kobak.livejournal.com]

А вот, кстати, зачем мне это понадобилось: http://stats.stackexchange.com/questions/67342/pca-lda-linear-discriminant-analysis-proportion-of-variance.

[am.livejournal.com]

Похожие вопросы обсуждаются в этой книге (http://gen.lib.rus.ec/book/index.php?md5=B501C2E8DB9CF4112062C635E0ACA2F2) на стр.106 и дальше.
(Кстати, здесь (http://stats.stackexchange.com/questions/8625/deriving-total-within-class-between-class-scatter-matrix) в формулах должно быть N_i вместо N).

[kobak.livejournal.com]

Ага. Ну это вообще много где обсуждается, но вот конкретно вопрос о сумме дисперсий проекций на всех дискриминантые оси (мой пункт 3 в ответе на SE), связанный с математическим вопросом, который я задал тут, -- этот вопрос я в литературе не встречал.

[am.livejournal.com]

Что касается Вашего неравенства, то мне кажется сейчас, что когда-то давно я подобное видел где-то в interior-point methods & ellipsoid methods (безотносительно к PCA, LDA, CCA) и методах проекционного градиента для QP-solvers. Так же, могло быть где-то в теории и практике матричных неравенств, т.к., например, любая линейная функция от симметричной матрицы X есть f(X)=tr(CX), (с симметричной C), а некоторые полезные в той теории функции бывают вида tr(V^TXV)... Есть еще Sylvester's law of inertia (http://en.wikipedia.org/wiki/Sylvester%27s_law_of_inertia) (c.f. Olga Taussky (https://www.math.wisc.edu/~hans/paper_archive/other_papers/hs057.pdf)), что имеет косвенное отношение.
Подобные и родственные вопросы рассмотрены подробно в главе 7: Horn and Johnson (1985) "Matrix Analysis".