\documentclass[10pt]{article}
\usepackage[cp1251]{inputenc}
\usepackage[russian]{babel}
\usepackage{amssymb}
\usepackage{amsfonts}
\usepackage{amsthm}
\usepackage{array}
\oddsidemargin=0cm
\topmargin=0cm\textwidth=14cm\textheight=20cm

\makeatletter \@addtoreset{equation}{section} \makeatother



\begin{document}


\theoremstyle{plain}
\newtheorem{Th}{Теорема}[section]
\theoremstyle{definition}
\newtheorem{lemma}[Th]{Лемма}
\newtheorem{Def}[Th]{Определение}
\newtheorem{corollary}[Th]{Следствие}
\newtheorem{remark}{Замечание}

\renewcommand{\thesection}{\arabic{section}.}
\renewcommand{\theTh}{\thesection\arabic{Th}}
\renewcommand{\theequation}{\thesection\arabic{equation}}

\date{Памяти Ольги Александровны Ладыженской}

\title{О вариационной природе m-гессиановских операторов} \author{Н.М.Ивочкина, Н.В.Филимоненкова}

\maketitle


\begin{abstract}
В статье рассмотрены три типа основных в теории гессиановских уравнений функционалов. Исследование свойств двух из них было начато в серии работ  Н.С.Трудингера и  Шю-Джиа Ванга, посвящённых гессиановским мерам. Целью этого направления является создание аналога теорем вложения в конусах допустимых для гессиановских операторов функций. С другой стороны, в работах Н.М.Ивочкиной 90-х годов было предпринято вариационное описание конуса допустимых функций в терминах локальных минимумов аналогов интеграла Дирихле с лагранжианом, зависящим от вторых производных. В настоящей работе содержится обзор некоторых известных фактов и устанавливается связь между функционалами всех типов. Имеются в ней и новые результаты.
\end{abstract}

\thanks{Работа выполнена при поддержке РФФИ, проект \No~12-01-31467, и Министерства образования и науки Российской Федерации, соглашение \No~14.В37.21.1125.}

\section{Введение}
К середине 70-х в теории эллиптических уравнений в частных производных второго порядка сложилась следующая ситуация. С одной стороны, теория линейных и квазилинейных уравнений  приобрела черты классической завершённости
\cite{LU73}.
В частности, в ней были разработаны функционально-аналитические методы исследования решений краевых задач для таких уравнений. С другой стороны, оказалось, что эти методы применимы к решениям задачи Дирихле для эллиптического уравнения Монжа -- Ампера (см. напр.
\cite{P75}),
которое является классическим примером полностью нелинейного дифференциального уравнения, эллиптического в конусе выпуклых функций. Естественным образом возникла задача описания дифференциальных операторов второго порядка, родственных оператору Монжа -- Ампера, т.е. полностью нелинейных, представимых в виде дивергенции. Решена она была в работе
\cite{Iv75},
в которой, в частности, показано, что требование дивергентности предписывает зависимость от вторых производных лишь в виде линейной комбинации миноров матрицы Гессе функции $u$.

Эта деятельность заинтересовала О.А.Ладыженскую и она обратила внимание автора на публикации
\cite{B77}, \cite{R74}, \cite{L78},
в которых, по существу, рассматривалась та же самая задача, но в иных терминах и в других разделах математики. Сейчас мы можем сказать, что примерно в одно и то же время разными авторами независимо было предпринято алгебраическое описание ядра вариационной производной функционалов, лагранжиан которых зависит от вторых производных, если речь идет о скалярном случае, или от первых производных произвольной вектор-функции в общей постановке. При этом, дальнейшие планы этих авторов были безусловно различны, а в нашем контексте  следовало предъявить класс операторов дивергентной структуры с непустым множеством эллиптичности.

Первые шаги для решения этой задачи были предприняты в работе
\cite{I80},
где, в частности, было показано, что если дифференциальный оператор второго порядка есть дивергенция и эллиптичен на любой функции из $C^2$, то он линеен по вторым производным, т.е. полностью нелинейные операторы второго порядка не могут быть тотально эллиптическими. Именно так обстоит дело с оператором Монжа -- Ампера, хорошо известно, что его множество эллиптичности  --  конус выпуклых функций. В заметке рассматриваются уравнения с операторами $T_m[u]$ типа Монжа -- Ампера в ограниченной области $\Omega \subset R^n$:
\begin{equation}T_m[u]=\frac{1}{m}\sum _{i,j}\frac{\partial^2}{\partial x^i\partial x^j}\left(\frac{\partial T_m[u]}{\partial u_{ij}}u\right)=f_m,\quad m=1,...,n,\label{T_m}\end{equation}
где  $T_m[u]$  -- след порядка $m$, сумма всех главных миноров порядка $m$ матрицы Гессе $u_{xx}$. Показано, что в конусе выпуклых функций, где уравнения (\ref{T_m}) являются эллиптическими, применим интегральный метод построения априорных оценок градиента решений задачи Дирихле на границе, разработанный в монографии
\cite{LU73}. Мы приводим для полноты простой вывод представления (\ref{T_m}) во втором параграфе.

Для доказательства разрешимости в классическом смысле задачи Дирихле для уравнения (\ref{T_m}) используется хорошо известный метод непрерывности (метод продолжения по параметру). При этом исходные характеристики задачи должны гарантировать эллиптичность уравнения на решениях при любом значении параметра. Для уравнения Монжа -- Ампера, $m=n$, такой контроль осуществляет требование положительности правой части в (\ref{T_m}) при любом значении параметра, т.е. если мы стартовали со строго выпуклого решения, то решения при любом значении параметра при выполнении этого требования будут строго выпуклыми функциями, а уравнение (\ref{T_m}) -- эллиптическим на каждом из этих решений. Для $m<n$ это неверно. Так, для уравнения Пуассона, $m=1$, положительность правой части в (\ref{T_m}) не гарантирует выпуклости решения, что впрочем и не требуется для его разрешимости в $C^2$.

Решающим шагом в построении теории разрешимости задачи Дирихле для уравнения (\ref{T_m}) стало сопоставление каждому $m=1,...,n$ функционального конуса в $C^2$, конструктивное описание которого имеет вид
\begin{equation}\mathbb{K}_m(\bar \Omega)=\{u\in C^2(\bar \Omega ):\quad T_i[u]>0,\quad i=1,...,m\},\label{K_m}\end{equation}
\cite{Iv83}.
В цитируемой работе показано, что конус (\ref{K_m}) является компонентой связности положительности оператора $T_m[u]$, содержащей функцию $u_0=x^2$, в которой оператор (\ref{T_m}) эллиптичен. Однако выпуклость этого конуса была доказана лишь для $m=1,2,n$. Именно для этих значений $m$ в работе
\cite{Iv85}
была доказана разрешимость в классическом смысле задачи Дирихле для уравнения (\ref{T_m}) в выпуклой области при нулевом граничном условии.

В программной статье
\cite{CNS85}
исследуется проблема разрешимости задачи Дирихле  для уравнений вида $F(u_{xx})=f$, где функции $F$ должны удовлетворять набору условий, гарантирующих существование выпуклого функционального конуса, принадлежность которому контролируется значениями $f$. Одним из примеров является $F=T_m$. При этом, в статье
\cite{CNS85}
им сопоставляются соответствующие функциональные реализации алгебраических конусов Л.Гординга
\cite{G59}.
В частности, Л.Гордингом доказана выпуклость конусов, порождаемых гиперболическими многочленами, что и было использовано авторами
\cite{CNS85}.

Конструктивное описание  (\ref{K_m}) впервые появилось в работе
\cite{Iv83}
и, как показано в этой статье, оно эквивалентно определению конусов Гординга, порождаемых гиперболическими многочленами $p_m(t;S)=P_m(S+tId)$, $S\in Sym(n)$, что снимает проблему выпуклости (\ref{K_m}) для всех  $\{m\}_1^n$.
Функции из соответствующих конусов  названы в
\cite{CNS85}
допустимыми и, следуя этой терминологии, мы называем элементы нашего конуса (\ref{K_m}) $m$-допустимыми.

В работе Д.Урбаса
\cite{U95}
уравнения такого типа (в отличие от уравнений кривизны ) названы гессиановскими и с тех пор этот термин широко принят в математической литературе. Мы называем операторы $T_m$ и уравнения (\ref{T_m}) $m$-гессиановскими.

Работа
\cite{G59}
была написана более полувека назад и в статьях
\cite{IPY}, \cite{I12}
приводится её обновленный вариант с тем, чтобы показать фундаментальное значение конусов Л.Гординга в теории  $m$-гессиановских уравнений и их приложений в дифференциальной геометрии.

Одной из задач, решаемых в
\cite{CNS85},
является описание наиболее широкого класса гессиановских операторов, а также отыскание соответствующих, близких к необходимым, условий на границу области, гарантирующих классическую разрешимость задачи Дирихле с произвольным граничным условием для уравнения (\ref{T_m}), причем все данные предполагаются сколь угодно гладкими. При этом дивергентная структура не используется в аргументации, да её и нет для большинства уравнений из
\cite{CNS85}.

В статье Н.В.Крылова
\cite{Kr95}
развит иной подход к теории гессиановских уравненияй, охватывающий и задачу Дирихле для уравнения (\ref{T_m}). Класс рассматриваемых уравнений в рамках этого подхода, по существу, шире, чем в
\cite{CNS85}.
При этом, большое внимание уделяется проблеме минимальных требований на гладкость данных задач, а также рассматриваются  уравнения с возможным вырождением эллиптичности.

В публикации
\cite{Tr95}
исследуется разрешимость задачи Дирихле в конусах (\ref{K_m}) для существенно нового класса гессиановских уравнений с (\ref{T_m}) в качестве частного случая. В
\cite{T97}
поставлена проблема разрешимости задачи Дирихле для уравнения (\ref{T_m}) в замыканиях конусов (\ref{K_m}) в различных функциональных нормах как проблема существования аппроксимативных решений. В предлагаемой статье рассматривается такое замыкание в $C^2(\bar\Omega)$:
\begin{equation}\bar{\mathbb{K}}_m(\bar\Omega):=\{u\in C^{1,1}(\bar\Omega):\quad  T_i[u]\ge 0\quad \mbox{п.в.},\quad i=1,...,m\}.\label{cTm}\end{equation}
Далее, для элементов (\ref{cTm}) мы будем использовать термин "$m$ -допустимая п.в." функция.

Обзор современной ситуации для $m$-гессиановских уравнений имеется в статье
\cite{F11}. Из работ \cite{F11}, \cite{ITW04} следует справедливость следующей теоремы существования.
\begin{Th}
Пусть $\Omega $ - ограниченная область в $R^n$, $\partial \Omega$ - $(m-1)$- выпуклая гиперповерхность класса $C^4$, $\phi \in C^4(\partial \Omega)$, $f_m\ge 0$, $f_m^{1/m}\in C^2(\bar \Omega)$. Тогда существует единственное $m$-допустимое п.в. решение  $u\in C^{1,1}(\bar \Omega)$ уравнения  (\ref{T_m}), равное $\phi $ на $\partial \Omega$.
\end{Th}
Отметим, что в статье Н.В.Крылова
\cite{Kr87}
теорема 1.1 доказана для $\partial\Omega \in C^3$, если решение принимает нулевое условие Дирихле, и при более слабых предположениях гладкости $f$.

В сравнении с линейными и квазилинейными уравнениями эллиптического типа условия гладкости на данные задачи в теореме 1.1 создают впечатление завышенных. Это одна из открытых проблем в теории полностью нелинейных уравнений. Некоторые подходы к её решению намечены в статье
\cite{FI}.
К таким проблемам отнесём и тот факт, что к настоящему моменту разрешимость задачи Неймана удалось доказать лишь  для уравнения Монжа -- Ампера, $m=n$,
\cite{LTU86}, (см. также
\cite{U95}).

Целью настоящей работы является исследование свойств основных функционалов, так, или иначе связанных с $m$-гессиановскими операторами $T_m$. Для её реализации понадобились некоторые формальные алгебраические соотношения, в большинстве хорошо известные, а также новая точка зрения на некоторые геометрические понятия. Например, оказалось, что в формуле интегрирования по частям удобнее использовать нормаль, направленную внутрь области интегрирования. Во втором параграфе даётся описание этого алгебро-геометрического аппарата и для полноты приводятся доказательства основных соотношений, использованных далее.

В третьем параграфе приводится вариационное описание конусов (\ref{K_m}). По существу, здесь представлен подход из работы
\cite{Iv92},
где основным действующим лицом являлся функционал типа интеграла Дирихле. В статьях
\cite{Ts}, \cite{W94}, \cite{TW97}, \cite{T97}, \cite{TW98}, \cite{TW97}, \cite{ChW}, \cite{TW99}, \cite{TiW}
центральное место занимают функционалы иного типа и мы показываем, что в рамках классического подхода их использование приводит к тому же результату:
$$J_p[v]=\int _{\Omega}v_x^2T_{p-1}[v]dx,\quad I_p[v]=-\int _{\Omega}vT_p[v]dx.$$
Именно, конусы (\ref{K_m}) состоят из функций, которые доставляют локальные минимумы функционалам $I_p$, $J_p$ при всех $p=1,...,m$ и только из них.

В статье Шю-Джиа Ванга была введена специальная интегральная норма функций в конусах (\ref{K_m}) и показано, что она оценивает их нормы Лебега. Эта деятельность была продолжена в серии работ Трудингера -- Ванга
 \cite{TW97}, \cite{TW98}, \cite{TW97}. Отметим также \cite{ChW} и недавнюю работу \cite{TiW}. В четвертом параграфе содержится обзор этого направления, впрочем, не претендующий на полноту.

В теории линейных и квазилинейных уравнений важную роль играют различные типы интегральной монотонности рассматриваемых операторов. В пятом и шестом параграфах нашей статьи для доказательства подобных свойств операторов $T_m$ в конусах (\ref{K_m}) применяется вариационный анализ. Некоторые из них были получены другим методом в статьях
\cite{T97}, \cite{TW97}.
Насколько нам известно, новым является неравенство
$$
\int_\Omega(w-u)(T_m[w]-T_m[u])dx\le0,
$$
верное для любых $u,w\in \mathbb{K}_m(\bar\Omega)$, равных нулю на $\partial\Omega$.

В шестом параграфе приведены равенство, связывающее функционалы $I_m$, $J_m$ и его следствия. Там же представлены результаты вариационного анализа функционалов $J_m$.

\section {Основные понятия и вспомогательные предложения}

Рассмотрим пространство $Sym(n)$ симметричных матриц размера $n\times n$. Выберем и зафиксируем целое число $m$ с условием $1\leqslant m \leqslant n$. Следом порядка $m$ матрицы $S=(s_{ij})\in Sym(n)$ называют сумму всех главных миноров порядка $m$ матрицы $S$, обозначают $T_m(S)$. В частности, $T_1(S)=trS$, $T_n(S)=detS$.
Функция $T_m$ ортогонально инвариантна в том смысле, что
\begin{equation}
T_m(S)=T_m(BSB^T), \quad S\in Sym(n), \quad BB^T=I.\label{ort}\end{equation}
Для симметричной матрицы $S=(s_{ij})$ введем обозначения:
\begin{equation}T_m^{ij}(S)=\frac{\partial T_m(S)}{\partial s_{ij}},\quad  T_m^{ij,kl}(S)=\frac{\partial^2T_m(S)}{\partial s_{ij}\partial s_{kl}}.\label{Tmij}\end{equation}
Функция $T_m$ обладает $m$-однородностью:
\begin{equation}T_m^{ij}(S)s_{ij}=mT_m(S).\label{gom}\end{equation}
В процессе исследования полностью нелинейных дифференциальных уравнений в частных производных второго порядка авторам часто приходится доказывать различные алгебраические соотношения для функций $T_m$. В контексте настоящей работы речь идёт о тождестве
\begin{equation}T_1(S)T_{m-1}(S)-\sum _{k=1}^ns_{ik}s_{jk}T_{m-1}^{ij}(S)=mT_m(S). \label{id4}\end{equation}

Действительно, ввиду (\ref{ort}) правую часть соотношения (\ref{id4}) достаточно рассмотреть на диагональных матрицах $\Lambda =diag\{\lambda _1,...,\lambda _n\}$. Имеем:
$$
T_1(\Lambda )T_{m-1}(\Lambda )=\sum _1^n(\lambda _i^2 T_{m-2,i}(\Lambda )+\lambda _iT_{m-1,i}(\Lambda )),\quad T_{m-1,i}(\Lambda )=\frac{\partial T_m(\Lambda )}{\partial \lambda _i},
$$
что вместе с тождеством (\ref{gom}) в форме $\sum _1^n\lambda _iT_{m-1,i}(\Lambda )=mT_m(\Lambda )$ приводит к соотношению (\ref{id4}).
Приведём без доказательства ещё одно алгебраическое тождество, справедливое для любой матрицы $S\in Sym(n)$ и вектора $a=(a_1,...,a_n)$:
\begin{equation} a_nT_{m-1}=a_kT_{m-1}^{ni}(S)s_{ki}+a_iT_m^{ni}(S).\label{id5}\end{equation}

Положим $\Omega\subset R^n$ -- ограниченная область, $u\in C^2(\Omega)$, $u_{xx}$ -- матрица Гессе функции $u$. Операторы, порожденные функциями $T_m$, назовем $m$-гессиановскими операторами:
$$T_m[u]=T_m(u_{xx}).$$
При $m=1$ это операторы Лапласа, при $m=n$ -- Монжа -- Ампера.
Докажем вспомогательную лемму, которая является обоснованием представления (\ref{T_m}) для оператора $T_m$. Речь идет о хорошо известном, вообще говоря, факте, что дивергенция миноров матриц специального вида тождественно равна нулю.
\begin{lemma}
Пусть $v=(v^1,...,v^n)\in C^2(\Omega )$, $\Omega \subset R^n$, $m_p[v]$ -- какой либо минор порядка $p$ матрицы  $(\bigtriangledown v)$. Справедливо тождество
\begin{equation}\frac{d}{dx^i}\frac{\partial m_p[v]}{\partial v^k_i}=0,\quad k=1,...,n.\label{id1}\end{equation}
\end{lemma}
\begin{proof}
Действительно, представим правую часть (\ref{id1}) в виде
\begin{equation}\frac{d}{dx^i}\frac{\partial m_p[v]}{\partial v^k_i}=\sum _{i<j}\left(\frac{\partial ^2m_p[v]}{\partial v^k_i\partial v^l_j}+\frac{\partial ^2m_p[v]}{\partial v^k_j\partial v^l_i}\right)v^l_{ij}.\label{pr1}\end{equation}
Здесь и далее нижние индексы дифференциальные, т.е $v^k_i:=\partial v^k/\partial x^i$. Поскольку $i,j$ -- номера строк минора $m_p[v]$, сумма слагаемых в скобках в (\ref{pr1}) даже при фиксированных индексах $i,j,k,l$ тождественно равно 0, что приводит, в частности, к справедливости (\ref{id1}).
\end{proof}
Как отметил рецензент, тождество (\ref{id1}) хорошо известно и доказательство его имеется в первом томе монографии Данфорда -- Шварца. Мы приводим его здесь ещё раз, поскольку именно это простое наблюдение является генератором исследований в
\cite{R74}, \cite{Iv75}, \cite{B77},  \cite{L78}
и многих других. Особенность направления, представленного в настоящей статье, состоит в том, что все результаты,
в конце концов, обязаны взаимодействию косой симметрии определителей (\ref{id1}) и ортогональной инвариантности (\ref{ort}) следов любого порядка симметричных матриц $S$.

Рассмотрим скалярный случай, $v=\bigtriangledown u, u\in C^2(\Omega )$. Простыми следствиями (\ref{gom}) и леммы 2.1 является дивергентное представление:
$$T_m[u]=\frac{1}{m}\sum _{i,j}\frac{\partial^2}{\partial x^i\partial x^j}\left(T_m^{ij}[u]u\right),$$
а также следующие полезные тождества:
\begin{equation}\sum _{\{jkl\}}T_m^{ij,kl}[u]=0,\quad i,j,k,l =1,...,n,\label{id2}\end{equation}
где $\{jkl\}$ -- все перестановки указанных индексов,
\begin{equation}\frac{d}{dx^i}T_m^{ij}[u]=0,\quad \quad j=1,...,n.\label{id3}\end{equation}

Для описания геометрических характеристик замкнутой гиперповерхности $\partial\Omega $ в работе \cite{Iv90} была, по существу, введена матрица кривизны (см.также \cite{I12}, \cite{IPY}). Для ее определения рассмотрим какую-либо параметризацию поверхности $\partial\Omega $: $$\partial\Omega=\{X=(X^1, X^2,..., X^n)(\theta),\;\theta\in R^{n-1}\}.$$
Обозначим $$X_i=\frac{\partial X}{\partial\theta^i}, \quad X_{ij}=\frac{\partial^2 X}{\partial\theta^i\partial\theta^j},\quad X_{\theta\theta }=(X_{ij}).$$
Рассмотрим матрицу метрического тензора для поверхности $\partial\Omega$:
$g=(g_{ij})$, $g_{ij}=(X_i,X_j)$ -- и разложение $g^{-1}=\tau\tau^T$.
Пусть $x\in\partial\Omega$ и $\bold n=\bold n(x)$ -- орт внутренней нормали к поверхности $\partial\Omega$ в точке $x$. Обозначим $$X_{(k)}=X_i\tau_k^i,\quad X_{(\theta\theta)}=\tau^T X_{\theta\theta }\tau.$$
Отметим, что система $\{X_{(1)},X_{(2)},...,X_{(n-1)},\bold n\}$ образует ортонормированный сопровождающий базис поверхности $\partial\Omega$. Матрицей кривизны для поверхности $\partial\Omega$ в точке $x$ назовем симметричную матрицу \begin{equation}\mathcal{K}[\partial\Omega](x)=(X_{(\theta\theta)}, \bold n)(x)\label{matkr}.\end{equation}
Она является геометрическим инвариантом поверхности $\partial\Omega$, ее собственные значения -- главные кривизны $\partial\Omega$ в точке $x$. Однако в обращении удобнее иметь дело со следами порядка $m$, нежели с собственными числами матрицы (\ref{matkr}). По этой причине авторы отдают преимущество понятию  $p$-кривизны поверхности $\partial\Omega$ в точке $x$, или кривизны \mbox{порядка $p$}:
\begin{equation}\bold k_p[\partial\Omega](x)=T_p(\mathcal{K}[\partial\Omega])(x)\label{pkr}.\end{equation}
Заметим, что работая с функциями из $C^2(\bar \Omega )$, мы оперируем только евклидовыми координатами и базисами $\{e_i\}_1^n$.
\begin{lemma}
Пусть $v, \Phi $ - произвольные функции из $C^2(\bar \Omega )$. Предположим, что $v-\Phi =const $ на $\partial \Omega $. Тогда в обозначениях (\ref{Tmij}), (\ref{pkr}) для всех $x\in \partial \Omega $ справедливы  тождества:
\begin{equation}T_p^{ij}[v](v-\Phi)_i(\bold n,e_j)=T_p(\Phi _{(\theta \theta)}-v_n\mathcal K),\quad p=1,...,n-1.\label{bp1}\end{equation}
Если же $\Phi =0, x\in \partial \Omega $, то
\begin{equation}-T_p^{ij}[v]v_i(\bold n,e_j)=(-v_n)^{p+1}\bold k_p[\partial \Omega ],\quad p=1,...,n-1.\label{bp2}\end{equation}
\end{lemma}
\begin{proof}
Сопоставим точке $x_0\in \partial \Omega $ евклидову систему координат, полагая $e_n=\bold n(x_0)$. Очевидно, что в новой системе $(v-\Phi)_i(x_0)=0$, $(e_i,\bold n(x_0))=0$, $i=1,...,n-1$, и левые части (\ref{bp1}), (\ref{bp2}) принимают вид $T_p^{nn}[v](v-\Phi)_n$, $T_p^{nn}[v](v)_n$ соответственно.

Параметризуем теперь $\partial \Omega $ в окрестности $x_0$ специальным образом. Именно, пусть $\theta ^i=x^i, i=1,...,n$. Тогда гиперповерхность $\partial \Omega $ в окрестности выбранной точки есть график функции , т.е $$
\partial \Omega \cap B_r(x_0)=\{x: x^n=\omega (\theta ), \omega _\theta (0)=0, x^i=\theta ^i\},\quad 0<r<<1.
$$
Очевидно, что $g(\theta )(x_0)=Id$, и поэтому $\mathcal K[\partial\Omega ](x_0)=\omega _{\theta \theta}(x_0)$,
$$v_{(ij)}(x_0)=v_{ij}(x_0)=
(\Phi _{(ij)}(x_0)-v_n \mathcal {K}_{ij}[\partial\Omega ](x_0)),\quad  i,j=1,...,n-1.
$$
Замечая, что $T_p^{nn}[v](x_0)=T_{p-1}(v_{(\theta \theta )}(x_0))$, убеждаемся в справедливости тождеств (\ref{bp1}), (\ref{bp2})
\end{proof}

В заключение этого параграфа дадим точные определения понятий, связанных с теорией разрешимости $m$-гессиановских уравнений (\ref{T_m}).

\begin{Def}
Матрица $S\in Sym(n)$ называется $m$-положительной, если \mbox{$T_i(S)>0$}, $i=1,2,...,m$. Множество $m$-положительных матриц образует конус в пространстве $Sym(n)$:
$$K_m=\{S\in Sym(n):\quad T_i(S)>0,\quad i=1,2,...,m\}.$$
\end{Def}
Таким образом, получаем классификацию пространства симметричных матриц
$$K_1\supset K_2\supset K_3\supset...\supset K_n,$$
где $K_n$ -- конус положительно определенных матриц.
\begin{Def}
Функция $u\in C^2(\bar\Omega)$ называется $m$-допустимой в области $\bar\Omega $, если ее матрица Гессе
$u_{xx}$ является $m$-положительной во всех точках $x\in \bar\Omega.$ Множество $m$-допустимых функций образует конус в пространстве $C^2(\bar\Omega)$:
\begin{equation}{\mathbb{K}}_m(\bar\Omega):=\{u\in C^2(\bar\Omega):\quad  T_i[u]> 0,\quad i=1,...,m\}.\label{Kmm}\end{equation}
\end{Def}

В частности, $\mathbb{K}_n(\bar\Omega)$ -- это конус $C^2$-гладких строго выпуклых функций. В работах \cite{IPY}, \cite{FI} показано, что конус $\mathbb{K}_m(\bar\Omega)$ выпуклый и принадлежит множеству эллиптичности оператора $T_m$.

\begin{Def}
Поверхность $\partial\Omega\in C^2$ называется строго \mbox{$(m-1)$-выпуклой,} если  $\mathcal{K}[\partial\Omega](x)\in K_{m-1}$ для всех $x\in\partial\Omega$, иными словами $\bold k_p[\partial\Omega](x)>0$ для всех $x\in\partial\Omega$, $p=1,2,...,m-1$.
\end{Def}
\noindent
Понятие строго $(n-1)$-выпуклой поверхности совпадает с понятием строго выпуклой поверхности в традиционном смысле.
\begin{lemma}
Пусть $u\in\mathbb{K}_m(\bar\Omega)$. Тогда невырожденные поверхности уровня функции $u$ строго $(m-1)$-выпуклые.
\end{lemma}
Эта связь между $m$-допустимыми функциями и $(m-1)$-выпуклыми поверхностями доказана в работе \cite{FI}.



\section{Классический подход к вариационным задачам}
Рассмотрим в $C^2(\bar\Omega)$, $\Omega \subset R^n$ функционалы
\begin{equation}\mu _{p-1}[v]=\int _{\Omega}T_{p-1}[v]dx,\quad J_p[v]=\int _{\Omega}v_x^2T_{p-1}[v]dx,\quad I_p[v]=-\int _{\Omega}vT_p[v]dx,\label{fl}\end{equation}
$p=1,...,n+1$. Отметим, что так как по определению $T_0[v]=1$, то $\mu _0[v]$  не является функционалом, а $J_1[v]$ есть интеграл Дирихле. Случай $p=n+1$ безсодержателен для $I_p[v]$, поскольку $T_{n+1}[v]=0$ для любой $C^2$-функции $v$. Следуя классическому образцу, проварьируем функционалы (\ref{fl}). На примере функционала $\mu_{p-1}$ введем обозначения для первой и второй вариации:
$$\delta \mu_{p-1}[v]=\frac{d\mu_{p-1}(u+t\eta)}{dt}\arrowvert_{t=0},\quad \delta ^2\mu_{p-1}[v]=\frac{d^2\mu_{p-1}(u+t\eta)}{dt^2}\arrowvert_{t=0}.$$

\begin{lemma}
Пусть $v=u+t\eta$, $u\in C^2(\bar\Omega)$, $t\in R$, $\eta \in C^\infty$ финитна в $\Omega$. Справедливы тождества:
\begin{equation}\delta \mu_{p-1}[v]=\delta ^2\mu_{p-1}[v]=0,\label{v0}\end{equation}
\begin{equation}\delta J_p[v]=\frac{2p}{p+1}\delta I_p[v]=-2p\int_{\Omega}\eta T_p[u]dx,\label{v1}\end{equation}
\begin{equation}\delta ^2J_p[v]=\frac{2p}{p+1}\delta ^2I_p[v]=-2p\int_{\Omega}T_p^{ij}[u]\eta _i\eta_jdx,\quad p=1,...,n+1.\label{v2}\end{equation}
\end{lemma}
\begin{proof}
В самом деле, тождество (\ref{v0}) есть очевидное следствие (\ref{id3}). Не многим сложнее и вывод (\ref{v1}), (\ref{v2}). Например, соотношение (\ref{id4}) и интегрирование по частям  приводит к первому из равенств (\ref{v1}) следующим образом:
$$
\frac{d}{dt}\int_{\Omega}v_x^2T_{p-1}[v]dx=\int_{\Omega}(2(v_x,\eta_x)T_{p-1}[v]+v_x^2T_{p-1}^{ij}[v]\eta _{ij})dx=
$$
$$
\int_{\Omega}(-2T_1[v]T_{p-1}[v]+2(v_{xi},v_{xj})T_{p-1}^{ij}[v])\eta dx=-2p\int_{\Omega}T_p[v]\eta dx
$$
Остается положить в этом равенстве $t=0$.
\end{proof}
По аналогии с квадратичными функционалами линейной теории мы будем исследовать экстремальные свойства функционалов
\begin{equation}J_p[u;f_p]:=J_p[u]+2p\int_{\Omega}uf_pdx,\quad I_p[u;f_p]:=I_p[u]+(p+1)\int_{\Omega}uf_pdx,\quad p=1,...,n,\label{ff}\end{equation}
где $f_p$ -- известная функция. Уравнения Эйлера -- Лагранжа для этих функционалов одинаковы и при $p=m$ имеют вид (\ref{T_m}). Здесь нас будут интересовать локальные минимумы функционалов (\ref{ff}) в смысле следующего определения.
\begin{Def}
Функция $w\in C^2(\bar\Omega)$ называется локальным в $C^2(\Omega)$ минимайзером функционала $J[u]$, если найдется постоянная  $c(w)$ такая, что $J[w]\le J[w+\eta]$ для всех финитных в $\Omega$ функций $\eta\in C^\infty$, удовлетворяющих неравенству $||\eta||_{C^2(\Omega)}\le c(w)$.
\end{Def}
Следуя идее из
\cite{Iv92},
дадим точное описание классов локальных минимайзеров функционалов (\ref{ff}), порождаемых функциями $f_p\in C(\bar\Omega)$.
\begin{lemma}
Зафиксируем в (\ref{ff}) $p=m$ и пусть $w\in C^2(\bar\Omega)$. Для того, чтобы нашлась функция $f_m\in C(\bar\Omega)$ такая, что функция $w$ оказалась бы локальным минимайзером для функционалов (\ref{ff}) с $p=m$, необходимо, чтобы оператор $T_m$ был эллиптичен, вообще говоря не строго, на $w$. Если же $T_m$ строго эллиптичен на  $w$, т.е. выполнено неравенство
\begin{equation}(\bigtriangledown T_m[w]\xi,\xi)=T_m^{ij}[w]\xi^i\xi^j>0,\quad x\in\Omega,\quad \xi\in R^n,\quad|\xi|=1,\label{el}\end{equation}
то $w$ является локальным в $C^2(\Omega)$ минимайзером функционалов (\ref{ff}) с $p=m$, $f_m=T_m[w]$.
\end{lemma}
\begin{proof}
Очевидно, что $w\in C^2(\bar\Omega)$ есть локальный минимайзер для  функционалов (\ref{ff}) тогда и только тогда, когда их первые вариации  равны 0, а вторые -- положительны для достаточности и с необходимостью неотрицательны.

Пусть сначала имеется функция $f_m$ такая, что $w\in C^2(\bar\Omega)$ локально минимизирует функционалы (\ref{ff}). Тогда $w$ удовлетворяет уравнению (\ref{T_m}) и, в силу произвола в выборе $\eta$, выполнена не строгая версия неравенства (\ref{el}).

Если же для произвольной функции $w\in C^2(\bar\Omega)$ имеется неравенство (\ref{el}), то вторая вариация (\ref{v2}) функционалов (\ref{ff}) положительна, а уравнение Эйлера - Лагранжа (\ref{T_m}) имеется с $f_m=T_m[w]$, т.е. $w$ и в самом деле является локальным в $C^2(\Omega)$ минимайзером функционалов (\ref{ff})
\end{proof}
Тождество (\ref{id2}) позволяет переписать неравенство (\ref{el}) в следующей эквивалентной форме
\begin{equation}tr_m(w_{xx}+\xi\times\xi)-tr_mw_{xx}>0,\quad \xi\in R^n,\quad |\xi|=1,\label{m1}\end{equation}
которую можно квалифицировать как $\xi$-монотонность оператора $T_m$ на $w$. Как показано в
\cite{IPY},
множество функций, удовлетворяющих неравенству (\ref{m1}), не является связным в $C^2(\Omega)$ при $m>1$.
В следующем предложении мы приводим иной тип монотонности операторов $T_m$, который сужает множество локальных минимайзеров функционалов (\ref{ff}), но гарантирует его выпуклость в $C^2(\Omega)$ при любом $m$.
\begin{lemma}
Зафиксируем в (\ref{ff}) $p=m$ и пусть $w\in C^2(\bar\Omega)$. Для того, чтобы нашлась функция $f_m\in C(\bar\Omega)$ такая, что функция $w$ оказалась бы локальным минимайзером для функционалов (\ref{ff}) с $p=m$, достаточно, чтобы  $w$ удовлетворяла неравенству:
\begin{equation}tr_m(w_{xx}+tId)> tr_mw_{xx}>0,\quad x\in\Omega,\quad t\in  R^+.\label{m2}\end{equation}
\end{lemma}
Лемма 3.4 равносильна следующему предложению, содержащему вариационное описание конуса $m$-допустимых функций (\ref{K_m}), (\ref{Kmm}).
\begin{Th}
Предположим, что $T_m[w]>0$. Тогда для того, чтобы $w$ доставляла локальный в $C^2(\Omega)$ минимум функционалам (\ref{ff}) с $f_p=T_p[w]$, $p=1,...,m$, необходимо и достаточно включение $w\in {\mathbb{K}}_m(\Omega)$.
\end{Th}
\begin{proof}
В самом деле, если $w$ локально минимизирует все функционалы (\ref{ff}), то лемма 3.3 гарантирует выполнение неравенств
\begin{equation}(\bigtriangledown T_p[w]\xi,\xi)\ge 0,\quad x\in\Omega,\quad \xi\in R^n,\quad|\xi|=1,\quad p=1,...,m,\label{el1}\end{equation}
что приводит к неравенствам $T_p[w]\ge 0$, $1\le p\le m-1$. Однако, из теории гиперболических многочленов Л.Гординга,
(см.,напр.,\cite{IPY}),
следует, что требование $T_m[w]>0$ гарантирует строгие неравенства в (\ref{el1}), а тогда $w\in {\mathbb{K}}_m(\Omega)$.

Поскольку для $m$-допустимых функций справедливо неравенство (\ref{el}) и, так как ${\mathbb{K}}_p(\Omega)\subset{\mathbb{K}}_m(\Omega)$ для $p<m$, то операторы $T_p$ строго эллиптичны на $w$ при всех $p$. Остается заметить, что тогда $w$ -- локальный минимайзер для функционалов (\ref{ff}), как это следует из Леммы 3.3.
\end{proof}
Заметим, что в теории $m$-гессиановских уравнений имеются различные эквивалентные описания конуса $m$-допустимых функций и неравенства (\ref{m2}) --  одно из них. Поэтому лемма 3.4 является очевидным следствием теоремы 3.5.

Лемма 3.4 и теорема 3.5 делают очевидным тот факт, что множеством глобальной минимизации функционалов (\ref{ff}) должны быть конусы ${\mathbb{K}}_p(\Omega)$. При этом естественно потребовать, чтобы вариации функции $u\in{\mathbb{K}}_p(\Omega)$ не покидали конуса $p$-допустимых функций. Однако, в рамках классического подхода это требование, вообще говоря, выполнить невозможно, так как финитные функции не являются $p$-допустимыми ни при каких  $p>1$. Поэтому далее мы реализуем альтернативный метод исследования.


\section{О специальных интегральных нормах в ${\mathbb{K}}_m$}
Функционалы $I_m[u]$, $m=1,...,n$, впервые появились в статье Шю-Джиа Ванга
\cite{W94}.
В частности, в ней было замечено одно замечательное свойство этих функционалов. Именно, в
\cite{W94} доказана теорема, которая в наших обозначениях читается следующим образом.
\begin{Th}
Пусть $u,w\in \bar{{\mathbb{K}}}_m^0(\bar\Omega)$,
\begin{equation}\bar{{\mathbb{K}}}_m^0(\bar\Omega)=\{u\in \bar{{\mathbb{K}}}_m(\bar \Omega),\quad u\arrowvert _{\partial \Omega }=0\}.\label{Km0}\end{equation}.
Тогда для всех $m=1,...,n$ cправедливы соотношения:

$(i)$ если $I_m^{\frac{1}{m+1}}[u]=0$, то $u\equiv 0$;

$(ii)$ $I_m^{\frac{1}{m+1}}[tu]=tI_m^{\frac{1}{m+1}}[u]$, для $t>0$;

$(iii)$ $I_m^{\frac{1}{m+1}}[u+w]\le I_m^{\frac{1}{m+1}}[u]+I_m^{\frac{1}{m+1}}[w]$.
\end{Th}
Утверждение теоремы 4.1 наводит на мысль, что $I_m^{\frac{1}{m+1}}[u]$ есть норма в ${\mathbb{K}}_m^0$ и, следуя
\cite{W94},
мы будем обозначать её символом $||u||_{{\mathbb{K}}_m^0}$.

В цитируемой статье имеется ряд неточностей в доказательстве теоремы 4.1. Мы реконструируем это доказательство на основе альтернативного классическому подхода к вариационным задачам.
\begin{proof}
Хорошо известно, что $m$-допустимые п.в. функции, равные нулю на $\partial\Omega$, не отрицательны и единственность решений из теоремы 1.1 гарантирует справедливость $(i)$. Равенство $(ii)$ есть очевидное следствие $(m+1)$-однородности функционалов $I_m[u]$.

Для доказательства $(iii)$ введём функцию
$$
h(t)=I_m^{\frac{1}{m+1}}[u+t\eta],\quad t\in [0;1],\quad \eta =w-u
$$
и покажем, что она выпукла. Вычисляем, интегрируя по частям с учётом тождеств (\ref{id3}), (\ref{gom}):
\begin{equation}\frac{d}{dt}I_m[v]=-\int_{\Omega}\left(\frac{1}{m}T_m^{ij}[v]v_{ij}\eta +vT_m^{ij}[v]\eta_{ij}\right)dx=\frac{m+1}{m}\int_{\Omega}T_m^{ij}[v]v_i\eta_jdx.\label{d1}\end{equation}
Далее,
\begin{equation}\frac{d^2}{dt^2}I_m[v]=\frac{m+1}{m}\int_{\Omega}\left(T_m^{ij,kl}[v]v_i\eta_{kl}\eta_j+
T_m^{ij}[v]\eta_i\eta_j\right)dx=(m+1)\int_{\Omega}T_m^{ij}[v]\eta_i\eta_jdx.\label{d2}\end{equation}
Здесь мы используем ещё тождество (\ref{id2}).

Заметим теперь, что $v=(1-t)u+tw\in\bar{{\mathbb{K}}}_m$ при всех $t\in[0;1]$ в условиях теоремы 4.1. Поэтому для $v$ имеется неравенство (\ref{el1}) и, как следствие,
\begin{equation}\left(\int_{\Omega}T_m^{ij}[v]v_i\eta_jdx\right)^2\le \int_{\Omega}T_m^{ij}[v]v_iv_jdx\int_{\Omega}T_m^{ij}[v]\eta_i\eta_jdx.\label{cb}\end{equation}
Легко убедиться, что равенства (\ref{d1}), (\ref{d2}) вместе с (\ref{cb}) приводят к неравенству $h^{\prime\prime}(t)\ge 0$, $t\in[0;1]$, что гарантирует справедливость $(iii)$.
\end{proof}
Теорема 4.1 позволяет ожидать, что в конусах ${\mathbb{K}}_m^0$ имеются свои теоремы вложения. Построению этой теории посвящены работы
\cite{W94}, \cite{TW98}, \cite{ChW}
и др. Как известно, базой теорем вложения является вывод соответствующих неравенств. Приведём два примера.

В качестве первого выберем следующий частный случай неравенств теоремы 5.2 из публикации
\cite{W94}.
\begin{equation}||u||_{L^{m+1}}\le c_0||u||_{{\mathbb{K}}_m^0},\quad m=1,...,n.\label{W}\end{equation}
Для доказательства этой теоремы в цитируемой статье построен нелинейный аналог теории критического показателя для полулинейных уравнений. При этом, найдено точное значение постоянной $c_0$. Именно, $c_0=\lambda_1^{-1}$, где  $\lambda_1$ -- единственное положительное "собственное число" задачи
$$
T_m[u]+\lambda u=0,\quad u\in {\mathbb{K}}_m^0(\bar \Omega).
$$
Заметим, что при $m=n$ неравенство (\ref{W}) было выведено в статье Н.В.Крылова
\cite{Kr76},
а также, повидимому независимо,  в публикации
\cite{Ts}.

Второй пример -- аналог неравенства Пуанкаре, найденный в статье
\cite{TW98}:
\begin{equation}||u||_{{\mathbb{K}}_l^0}\le||u||_{{\mathbb{K}}_m^0},\quad 0\le l<m,\quad m=1,...,n.\label{P}\end{equation}
Для того, чтобы на основе (\ref{W}), (\ref{P}) говорить о теоремах вложения, небходимо правильно пополнить конусы ${\mathbb{K}}_m^0$ функциями с более слабыми дифференциальными свойствами. Эта сложная проблема исследуется в серии статей
 \cite{T97}, \cite{TW97}, \cite{TW99}.

Покажем, что и для функционалов $\mu_m[u]$ имеется аналог теоремы 4.1.
\begin{Th}
Пусть $u$, $w$ -- произвольные функции из конуса (\ref{Km0}). Тогда для всех $m=2,...,n$ справедливы соотношения:

$(i)$ если $\mu_m^{\frac{1}{m}}[u]=0$, то $u\equiv 0$;

$(ii)$ $\mu_m^{\frac{1}{m}}[tu]=t\mu_m^{\frac{1}{m}}[u]$, для $t>0$;

$(iii)$ $\mu_m^{\frac{1}{m}}[u+w]\le \mu_m^{\frac{1}{m}}[u]+\mu_m^{\frac{1}{m}}[w]$.
\end{Th}
\begin{proof}
Соотношения $(i)$, $(ii)$ очевидны. Для доказательства $(iii)$, отметим сначала, что согласно лемме 2.6 поверхности уровня $m$-допустимых функций $(m-1)$-выпуклы и, кроме того, в условиях теоремы справедливо равенство $|v_x|=-v_n$, $v=u+t\eta$, $\eta=w-u$, $0\le t\le1$, где $\bold n$  - внутренняя к $\partial\Omega$ нормаль. Имея ввиду тождество (\ref{bp2}) из леммы 2.2, представим $\mu_m[v]$ в форме:
\begin{equation}\mu_m[v]=\int_{\Omega}T_m[v]dx=-\frac{1}{m}\int_{\partial\Omega}T_m^{ij}[v]v_i(\bold n,e_j)ds=-\frac{1}{m}\int_{\partial\Omega}|v_x|^m\bold k_{m-1}ds.\label{gm}\end{equation}
Дифференцируем:
\begin{equation}\frac{d}{dt}\mu_m[v]=-\int_{\partial\Omega}|v_x|^{m-1}\eta_n\bold k_{m-1}ds,\quad \frac{d^2}{dt^2}\mu_m[v]=(m-1)\int_{\partial\Omega}|v_x|^{m-2}\eta_n^2\bold k_{m-1}ds.\label{dgm}\end{equation}
Обозначим $\hat h(t)=\mu^{\frac{1}{m}}[v]$.
Прямое вычисление показывает, что равенства (\ref{gm}), (\ref{dgm}), а также соответствующий аналог неравенства (\ref{cb}), приводят к неравенству $\hat h^{\prime\prime}(t)\ge0$ и поэтому выполнено соотношение $(iii)$.
\end{proof}


\section{Свойства функционалов  $I_m[u]$, $\mu_m[u]$ в конусе ${\mathbb{K}}_m$}
В отличие от классического подхода, здесь и далее мы будем варьировать функционалы, не выходя из конуса $m$-допустимых функций. Именно, пусть $u$, $w$ -- произвольные  $m$-допустимые в $\bar\Omega$ функции. Положим $v=u+t\eta$, $\eta=w-u$, $t\in[0;1]$. В силу выпуклости ${\mathbb{K}}_m$, функции $v=v(t)$  $m$-допустимы при всех $t$. Что касается $\eta$, мы можем гарантировать лишь $\eta =0, x\in\partial\Omega$, рассматривая совпадающие на границе области функции $u$, $w$. Именно такие функции мы и будем рассматривать далее, фиксируя функцию $\Phi \in C^4(\bar \Omega)$ и обозначая
\begin{equation}{\mathbb{K}}^\Phi(\bar\Omega):=\{u\in{\mathbb{K}}_m(\bar\Omega),\quad u\arrowvert_{\partial\Omega}=\Phi\}.\label{fKm}\end{equation}
Обозначим ещё $\Omega_r=\{x\in\Omega: dist\{x;\partial\Omega\}>r, 0<r<<1\}$.
\begin{Th}
Пусть $u,w\in{\mathbb{K}}_m^\Phi(\bar\Omega)$. Предположим, что найдётся число $r>0$ такое, что $w\ge u$ для всех $x\in \Omega\backslash \Omega_r $. Тогда справедливы неравенства
\begin{equation}\mu_p[w]\le \mu_p[u],\quad p=1,...,m.\label{iem}\end{equation}
Если же $u\le w$ в $\Omega$ и $\Phi\le0$ на $\partial\Omega$, то вместе с (\ref{iem}) имеются неравенства
\begin{equation}I_p[w]\le I_p[u],\quad p=1,...,m.\label{ie2}\end{equation}
\end{Th}
\begin{proof}
Положим $v=u+t\eta$, $\eta=w-u$ и покажем, что в условиях теоремы $d\mu_p[v]/dt\le0$, что гарантирует справедливость (\ref{iem}). Действительно,
\begin{equation}\frac{d}{dt}\mu_p[v]=-\int_{\Omega}T_p^{ij}[v]\eta_i\eta_jdx-\int_{\partial\Omega}T_p^{nn}[v]
\eta_nds\le0.\label{dm}\end{equation}
Здесь использованы условие эллиптичности (\ref{el}) и представление (\ref{bp1}) из леммы 2.2.

Обратимся к доказательству неравенств (\ref{ie2}). Вычисляем, учитывая (\ref{el}), (\ref{bp1}),
$$
\frac{d}{dt}I_p[v]=-\int_\Omega(\eta T_p[v]+vT_p^{ij}[v]\eta_{ij})dx=-(p+1)\int_\Omega\eta T_p[v]dx+\int_{\partial\Omega}\Phi T_p^{nn}[v]\eta_nds\le0,
$$
что и завершает доказательство теоремы 5.1.
\end{proof}
В статье
\cite{TW97}
реализуется иной подход к доказательству неравенства (\ref{iem}), лемма 2.1. Что касается неравенства (\ref{ie2}), в
\cite{TW97},
лемма 5.2, утверждается его справедливость для произвольных значений функции $\Phi$ на $\partial\Omega$, что, вообще говоря, неверно.

Очевидно, что в условиях теоремы 5.1
\begin{equation}\min_{\bar{{\mathbb{K}}}_m^\Phi(\Omega)}\mu_m[u]=\min_{\bar{{\mathbb{K}}}_m^\Phi(\Omega)}I_m[u]=0.\label{Im}\end{equation}
и в теореме 1.1 с $f_m\equiv 0$ приведены достаточные условия существования и единственности минимайзера в конусе (\ref{fKm}). В частности, требуется $(m-1)$-выпуклость границы области (см.определение 2.5). Согласно лемме 2.6 поверхности уровня $m$-допустимых функций $(m-1)$-выпуклы, и поэтому это условие необходимо, если $\Phi=const$.

Рассмотрим теперь задачу минимизации функционалов $I_m[u;f]$ в ${\mathbb{K}}_m^0$ (см. (\ref{ff})).
\begin{Th}
Пусть $f\in C^4(\bar\Omega)$, $f\ge\delta>0$, $\partial\Omega$ -- $(m-1)$-выпуклая поверхность класса $C^4$. Тогда существует единственная функция $u\in {\mathbb{K}}_m^0(\bar\Omega)$, такая, что для всех $w\in {\mathbb{K}}_m^0(\bar\Omega)$ справедливо неравенство
\begin{equation}I_m[w;f]>m\int_\Omega uT_m[u]dx=-mI_m[u]=\inf_{{\mathbb{K}}_m^0(\bar\Omega)}I_m[w;f],\quad w\neq u,\label{mff2}\end{equation}
причём при $w=u$ достигается равенство.
\end{Th}
\begin{proof}
Как и при доказательстве теоремы 4.2, положим  $v=u+t\eta$, $t\in[0;1]$, $w$ -- произвольная функция из ${\mathbb{K}}_m^0(\Omega)$. Равенство (\ref{d1}) на этот раз представим в виде
\begin{equation}\frac{d}{dt}I_m[v;f](t)=-(m+1)\int_\Omega\eta(T_m[v]-f)dx.\label{E}\end{equation}
В качестве $u$ выберем единственное в ${\mathbb{K}}_m^0$ решение уравнения (\ref{T_m}) c $f_m=f$. Для функции $I_m[v;f](t)$  выполнено тождество (\ref{d2}), что вместе с (\ref{E}) приводит к
\begin{equation}I_m[v;f](t)=I_m[u;f]+\frac{m+1}{2}t^2\int_\Omega T_m^{ij}[\hat v]\eta_i\eta_jdx,\quad \hat v=u+\hat t\eta,\quad \hat t\in(0;1).\label{T2}\end{equation}
Заметим, что $I_m[u;f]=-mI_m[u;0]=-I_m[u]$. Поэтому, в силу эллиптичности операторов $T_m$ в конусе ${\mathbb{K}}_m$ из (\ref{Kmm}) и выпуклости последнего, равенство (\ref{T2}) гарантирует справедливость (\ref{mff2}).
\end{proof}
В классическом вариационном исчислении важную роль играют минимизирующие последовательности. Однако, в теореме 5.2 мы имеем дело с отрицательными минимумами функционалов, и в этом контексте правильно говорить о последовательностях
\begin{equation}\{u^k \}^\infty_1=\{u^k\in{\mathbb{K}}_m^0,\quad |I_m[u^k]|\ge|I_m[u^{k+1}]|,\quad k\in N\}.\label{sm}\end{equation}
Источником последовательностей (\ref{sm}) для функционалов $I_m[u;f]$ являются решения уравнения (\ref{T_m}). Например, пусть $f\ge0$. Положим $f^k=f+\delta^k$, где $\delta^k>0$, $\lim_{k\rightarrow \infty }\delta^k=0$ и построим последовательность (\ref{sm}) как последовательность решений уравнения (\ref{T_m}) c правой частью $f^k$, $k\in N$. Мы доказали, что теорема 5.2 верна, быть может с потерей равенства, и для $f\ge0$.

Отметим, наконец, что для операторов $T_m$ в конусе (\ref{Km0}) справедливо свойство "интегральной"  монотонности в следующем смысле.
\begin{corollary}
Для любых $w,u\in{\mathbb{K}}^0(\bar\Omega)$ выполнено неравенство
\begin{equation}\int_{\Omega }(w-u)(T_m[w]-T_m[u])dx\le0,\label{mI}\end{equation}
причём равенство достигается лишь при $w=u$.
\end{corollary}
Действительно, для $f=T_m[u]$ неравенство (\ref{mff2}) равносильно следующему:
\begin{equation}-\int_\Omega w(T_m[w]-(m+1)T_m[u])dx>m\int_\Omega uT_m[u]dx.\label{mff3}\end{equation}
Очевидно, что соотношение (\ref{mff3}) останется справедливым, если в нём поменять местами $w$ и $u$. Назовём новое неравенство инверсией (\ref{mff3}). Складывая (\ref{mff3}) с его инверсией, получаем (\ref{mI}).

\section{Свойства фукционала $J_m[u]$ в конусе ${\mathbb{K}}_m(\Omega)$}
Функционалы  $\{J_p\}_1^n$ из (\ref{fl}) впервые были рассмотрены в работе
\cite{Iv92}
как естественные аналоги интеграла Дирихле, $m=1$, в конусах ${\mathbb{K}}_p$. Между ними и функционалами предыдущего параграфа имеется естественная связь. Именно, справедлива
\begin{lemma}
Для любой функции $v\in C^2(\bar\Omega)$ справедливо тождество
\begin{equation}J_m[v]=\frac{2m}{m+1}I_m[v]-\frac{1}{m+1}\int_{\partial\Omega}(2vT_m^{ni}[v]+v_x^2T_{m-1}^{ni}[v])v_ids.
\label{IJ}\end{equation}
\end{lemma}
Для доказательства равенства (\ref{IJ}) надо проинтегрировать по частям в $J_m[v]$ и воспользоваться тождествами (\ref{id4}), (\ref{id5}), а также леммой 2.2.

Приведём два частных случая тождества (\ref{IJ}). Пусть $m=n+1$. Поскольку  $T_{n+1}[v]\equiv 0$, имеем следующую версию (\ref{IJ}):
\begin{equation}J_{n+1}[v]=\int_\Omega v_x^2\det v_{xx}dx=-\frac{1}{n+2}\int_{\partial\Omega}v_x^2T^{ni}_n[v]v_ids.\label{IJ1}\end{equation}
Напомним, что мы всегда под дифференцированием по $n$ в граничных точках понимаем дифференцирование по внутренней к $\partial\Omega$ нормали.

Пусть теперь $v\arrowvert_{\partial\Omega}=0$. Тогда из леммы 2.2 и равенства (\ref{IJ}) следует, что
\begin{equation}J_m[v]=\frac{2m}{m+1}I_m[v]-\frac{1}{m+1}\int_{\partial\Omega} v_x^2(-v_n)^{m-1}\bold k_{m-2}[\partial\Omega]ds,\quad m=1,...,n+1.\label{IJ2}\end{equation}
Ввиду (\ref{IJ1}), соотношение (\ref{IJ2}) выглядит особенно просто при $m=n+1$. Именно, для любой функции $u\in C^2_0(\bar\Omega)$ имеется тождество:
\begin{equation}\int_\Omega u_x^2(1+u_x^2)^{\frac{n+2}{2}}\bold G[\Gamma]dx=\frac{1}{n+2}\int_{\partial\Omega}|u_x|^2(-u_n)^n\bold G[\partial\Omega]ds.
\label{G}\end{equation}

Здесь $\Gamma =\Gamma[u]$ -- график функции $u$, символом $\bold G$ обозначена гауссова кривизна соответствующей поверхности.

Обратимся к функциям из ${\mathbb{K}}_m^0(\bar\Omega)$.
\begin{lemma}
Для функций $v\in{\mathbb{K}}_m^0(\bar\Omega)$ справедливо тождество
\begin{equation}J_m[v]=\frac{2m}{m+1}I_m[v]+\frac{1}{m+1}\int_{\partial\Omega}|v_x|^{m+1}\bold k_{m-2}[\partial\Omega]ds,\quad m=1,...,n+1.\label{IJ0}\end{equation}
\end{lemma}
Действительно, из свойств $m$-допустимых функций, равных нулю на $\partial\Omega$, следует, что  на $\partial\Omega$ выполнено равенство $-v_n=|v_x|$, и соотношение (\ref{IJ2}) принимает вид (\ref{IJ0}) (см. лемму 2.2).

Лемма 6.2 позволяет сравнить функционалы $I_m$, $J_m$ в конусе (\ref{Km0}). В самом деле, поверхности уровня $m$-допустимых функций с необходимостью  $(m-1)$-выпуклы и, в частности, $\bold k_{m-2}[\partial\Omega]>0$ (см., определение 2.5, лемму 2.6).
Тем самым (\ref{IJ0}) гарантирует справедливость неравенства $(m+1)J_m[v]>2mI_m[v]$, если $v\neq 0$.

В качестве возможных приложений приведём одно простое следствие неравенства Ванга (\ref{W}) и тождества (\ref{IJ0}).
\begin{Th}
Для функций $v\in{\mathbb{K}}_m^0(\bar\Omega)$, $m=1,...,n$ справедливо неравенство
\begin{equation}\frac{2m}{C}||v||^{m+1}_{L^{m+1}(\Omega)}+\int_{\partial\Omega}|v_x|^{m+1}\bold k_{m-2}[\partial\Omega]ds\le (m+1)\int_\Omega|v_x|^2tr_{m-1}v_{xx}dx .\label{IW}\end{equation}
\end{Th}
Заметим, что неравенство (\ref{IW}) может быть усилено в соответствии с теоремой 5.2 из
\cite{W94}.
Например, для $2m>n$ вместо $||v||^{m+1}_{L^{m+1}(\Omega)}$ в левой части (\ref{IW}) можно взять $\sup_\Omega |v|^{m+1}$ с большей постоянной $C=C(n,m,\Omega)>0$. Отметим ещё, что для $m=n+1$ неравенство (\ref{W}) не работает и в этом случае вместо  (\ref{IW}) мы получим для выпуклых функций, равных нулю на $\partial\Omega$, соответствующую версию тождества (\ref{G}).

Используя вариационный подход, покажем, что функционалы $J_m$ монотонны в ${\mathbb{K}}_m$ в смысле следующего предложения.
\begin{Th}
Пусть $u, w\in {\mathbb{K}}_m(\bar\Omega)$. Предположим, что выполнены условия
\begin{equation}w\arrowvert_{\partial\Omega}=u\arrowvert_{\partial\Omega},\quad w(x)\le u(x),\quad x\in\Omega. \label{Jm}\end{equation}
Тогда
\begin{equation} J_p[w]\ge J_p[u],\quad p=1,...,m.\label{JM}\end{equation}
\end{Th}
\begin{proof}
Положим $v=u+t\eta$, $t\in[0;1]$, $\eta =w-u$. Первое из условий (\ref{Jm}) даёт $\eta=0$ на $\partial\Omega$ и тождества (\ref{id4}), (\ref{id5})  вместе с леммой 2.2 приводят к равенству
\begin{equation}\frac{d}{dt}J_m[v](t)=-2m\int_\Omega\eta T_m[v]dx-\int_{\partial\Omega}\eta_nv_x^2T^{nn}_{m-1}[v]ds.\label{dJ}\end{equation}
Поскольку из условий (\ref{Jm}) следует, что $\eta\le 0$ в $\Omega$ , а  $\eta_n\le0$ на $\partial\Omega$, производная (\ref{dJ}) неотрицательна для всех $t\in[0;1]$, и поэтому выполнено неравенство (\ref{JM}).
\end{proof}
В отличие от тривиального равенства (\ref{Im}), $\inf_{{\mathbb{K}}_m^\phi}J_m[v]>0$, если $\phi\neq0$, вообще говоря. Более того, в теореме 1.1 приведены достаточные условия существования абсолютного в конусе (\ref{fKm}) минимайзера функционала $J_m$. Именно, справедлива
\begin{Th}
Предположим, что $\partial\Omega$ -- $(m-1)$-выпуклая поверхность класса $C^4$, $\phi\in C^4(\partial\Omega)$, $\phi\neq0$. Тогда существует единственная функция $u^m\in\bar {\mathbb{K}}_m^\phi(\bar\Omega)$ такая, что
\begin{equation} \inf_{{\mathbb{K}}_m^\phi(\bar\Omega)}J_m[v]=J_m[u^m]>0,\quad m=1,...,n.\label{inf}\end{equation}
При этом $u^m\in C^{1,1}(\bar\Omega)$.
\end{Th}
Действительно, в рассматриваемом случае выполнены условия теоремы 1.1 с $f_m\equiv0$. С другой стороны, из теоремы сравнения для $m$-допустимых функций следует, что какова бы ни была  $v\in{\mathbb{K}}_m^\phi(\bar\Omega)$, выполняется $v-u^m\le0$ в $\Omega$ и мы находимся в условиях теоремы 6.4.

Заметим, что в (\ref{inf}) нельзя расширить диапазон $m$, поскольку очевидным образом $J_{n+1}[u^n]\equiv0$.



\begin{thebibliography}{34}

\bibitem{Iv75}
Ивочкина Н.М., О возможности интегральных формул в $R^n$. Зап. науч. семин. ЛОМИ, 52 (1975), 35-51.

\bibitem{I80}
Ивочкина Н.М., Уравнения второго порядка с d-эллиптическими операторами. Тр. МИАН им. В.А.Стеклова, 147 (1980), 40-56.

\bibitem{Iv80}
Ивочкина Н.М., Интегральный метод барьерных функций и задача Дирихле для уравнений с операторами типа Монжа  -  Ампера. Мат. сб. 112 (156), 1980, 193 -206.

\bibitem{Iv83}
 Ивочкина Н.М., Описание конусов устойчивости, порождаемых дифференциальными операторами типа Монжа-Ампера. Мат.сб. 1983. Вып.22. С.265-275.

\bibitem{Iv85}
Ивочкина Н.М., Решение задачи Дирихле для некоторых уравнений типа Монжа  -  Ампера. Мат. сб. 128 (170), 1985, 403-415.

\bibitem{Iv90}
Ивочкина Н.М., Задача Дирихле для уравнения кривизны порядка $m$. Алгебра и анализ. 1990. Т.2. Вып.3. С.192-217.

\bibitem{Iv92}
Ивочкина Н.М., Принцип Дирихле в теории уравнений типа Монжа  -  Ампера. Алгебра и анализ 4, (1992), no.6.

\bibitem{I12}
Ивочкина Н.М. От конусов Гординга к $p$-выпуклым гиперповерхностям. Современная математика. Фунд. направления, 45 (2012), РУДН, 94-104.

\bibitem{IPY}
Ивочкина Н.М., Прокофьева С.И., Якунина Г.В., Конусы Гординга в современной теории полностью нелинейных дифференциальных уравнений второго порядка. РМА 64, (2012), 63-80.

\bibitem{LU73}
Ладыженская О.А., Уральцева Н.Н., Линейные и квазилинейные уравнения эллиптического типа. "Наука", Москва, 1973, 576 с.

\bibitem{L78}
Лычагин В.В. Нелинейные дифференциальные уравнения и контактная геометрия. ДАН СССР, 238 (1978), no. 2, 273-276.

\bibitem{P75}
Погорелов А.В., Многомерная проблема Минковского. "Наука", Москва, 1975, 95 с.
\bibitem{B77}
Ball J.M., Convexity conditions and existence theorems in nonlinear elasticity. Arch. Rat. Mech. Analyse, 63 (1997), no. 4, 339-403.

\bibitem{CNS85}
Caffarelli L., Nirenberg L., Spruck J., The Dirichlet problem for nonlinear second order elliptic equations III. Functions of the Hessian. Acta Math. 155, 1985, 261-301.

\bibitem{Ts}
Chou K.S. (Tso K.), On a real Monge - Ampere functional. Invent. Math. 101 (1990), 425-448.

\bibitem{ChW}
Chou Kai-Seng, Wang Xu-Jia, A variational theory of the Hessian equations. Comm. Pure Appl. Math., 54 (2001), 1029-1064.

\bibitem{CIL}
Crandall M.G., Ishii H., Lions P.L., User's guide to viscosity solutions of second order partial differential equations. Bull. AMS 27 (1992), 1-67.

\bibitem{FI}
Ivochkina, N. M., Filimonenkova N.V., On the bakgrounds of the theory of m-Hessian equations. Comm. Pure Appl. Anal., 12 (2013), no.4.

\bibitem{ITW04}
Ivochkina, N. M., Trudinger, N., Wang, X.-J. The Dirichlet problem for degenerate Hessian equations. Comm.Partial Differ. Equations., 29 (2004), 219--235.

\bibitem{F11}
Filimonenkova N.V., On the classical solvability of the Dirichlet problem for nondegenerate m-Hessian equations. J. of Math. Sci., 178 (2011), 666-694.

\bibitem{G59}
G{\aa}rding L., An inequality for hyperbolic polynomials. J. Math. Mech. 8 ,1959, 957-965.

\bibitem{Kr76}
Крылов Н.В., Последовательности выпуклых функций и оценки максимума решения параболического уравнения. Сибирск. мат. журн., 17, (1976), no. 2, 290-303.

\bibitem{Kr87}
Крылов Н.В., О первой краевой задаче для нелинейных вырождающихся эллиптических уравнений. Изв. АН СССР, 51, (1987), no. 2, 242-269.

\bibitem{Kr95}
Krylov N.V., On general notion of fully nonlinear second order elliptic equation. Trans. Amer. Math. Soc., 347, (1995), no. 3, 857-895.

\bibitem{LTU86}
Lions P.L., Trudinger N.S., Urbas Jh.I, The Neumann problem for equations of Monge - Ampere type. Comm. Pure Appl. Math., 39 (1986), 539-563.

\bibitem{R74}
Rund H., Integral formulae associated with Euler - Lagrange operators of multiple integral problems in the calculus of variations. Aequations Math., 11 (1974), no. 2/3, 212-229

\bibitem{TiW}
Tian G.-J., Wang X.-J., Moser - Trudinger type inequality for the Hessian equation. J. Funct. Anal. 259 (2010), no.8, 1974-2002.

\bibitem{Tr95}
Trudinger N.S., On the Dirichlet problem for Hessian equations. Acta. Math. 175 (1995), 151-164.

\bibitem{T97}
Trudinger N.S., Weak solutions of Hessian equations. Comm. Partial Differential Equation. 22, 1997,  1251--1261.

\bibitem{TW97}
Trudinger N.S., Wang X.-J., Hessian measures I. Topol. Methods in Nonlinear Anal., 10 (1997), 225-239.

\bibitem{TW98}
Trudinger N.S., Wang X.-J., A Poincare type inequality for Hessian integrals. Calc. Var. and PDF, 6 (1998), 315-328.

\bibitem{TW99}
Trudinger N.S., Wang X.-J., Hessian measures II. Ann. of Math., 150 (1999), 579-604.

\bibitem{W94}
Wang X.-J., A class of fully nonlinear elliptic equations and related functionals. Indiana Univ. Math. J., 43 (1994), 25-54.

\bibitem{U95}
Urbas Jh.I, Nonlinear oblique boundary value problems for Hessian equations in two dimensions. Ann. Inst. Henri Poincare, 12 (1995), 507-575.

\end{thebibliography}

\end{document}




% Environments of definition type are introduced below: \newtheorem{definition}{Definition}
\newtheorem{remark}{Remark} % etc., for any environment of definition type \numberwithin{equation}{section} %
You should give the corresponding command % for each environment introduced above:
\numberwithin{theorem}{section} \numberwithin{lemma}{section} \numberwithin{definition}{section}
\numberwithin{remark}{section}









% \begin{document} \begin{abstract} % Text of the abstract \end{abstract} \maketitle


% Text of the paper % \begin{thebibliography}{99} % Bibliography \end{thebibliography} % \end{document} %
Writing your paper, make the automatic enumeration of sections, formulas, theorems, the bibliography, etc.,
please. Besides, references to sections, formulas, theorems, bibliography items, etc., are also to be
automatic. Use the command \ref{...} for references to sections; it is better to use the command \eqref{...}
for references to formulas; use the command \cite{...} for references to bibliography items. You should type
proofs, using the environment proof: \begin{proof} % Text of the proof \end{proof} Figures are published in
black



