Главная > Распознавание образов > Метод потенциальных функций в теории обучения машин
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

3. Выделение классов функций одинакового качества.

В настоящем пункте нам понадобятся некоторые сведения из теории представления групп.

Рассмотрим некоторое множество элементов, образующее группу, и некоторое линейное пространство Представлением группы называется соответствие которое каждому элементу А группы сопоставляет некоторый линейный оператор Т, определенный над пространством так, что произведению элементов группы соответствует произведение операторов, т. е.

При этом не требуется взаимной однозначности соответствия между операторами и элементами группы (т. е. каждому элементу группы оператор сопоставляется однозначно, но не обязательно наоборот). Размерностью представления группы называется размерность пространства

Для целей настоящей работы в качестве пространства рассмотрим линейное пространство действительных функций, заданных на Если, как это здесь предполагается, пространство X состоит из конечного числа точек, то размерность пространства есть

Рассмотрим некоторое изометрическое преобразование А пространства X в себя. Каждой функции поставим в соответствие функцию Это соответствие между функциями задает оператор

Оператор зависит, разумеется, от того, какое именно изометрическое преобразование А рассматривается, но как бы ни было выбрано А, соответствующий оператор линеен. Действительно, для любых функций и чисел имеет место

Соответствие между изометрическими преобразованиями пространства X в себя и линейными операторами над пространством функций, заданных на X, и является как раз интересующим нас далее представлением группы изометрических преобразований.

В силу того, что размерность пространства в данном случае конечна, выбор определенного базиса в позволяет изображать оператор квадратной матрицей с такими элементами что

Благодаря этому представление задается соответствием между изометрическими преобразованиями и квадратными -матрицами, так что последовательному применению изометрических преобразований соответствует произведение матриц выполненное по обычным правилам.

Если базис выбран ортонормированным, т. е.

где

если то матрица является ортогональной при

любом А. Поэтому и следовательно,

Представления групп подразделяются на приводимые и неприводимые. Для того чтобы ввести эти понятия, напомним обычно используемое в линейной алгебре понятие инвариантного подпространства.

Подпространство называется инвариантным или собственным подпространством оператора Г, если для любого Очевидно, что для всех линейных операторов собственным подпространством является все пространство и нулевой вектор. Их называют тривиальными подпространствами.

Представление называется неприводимым, если не существует нетривиального подпространства пространства (над которым заданы операторы являющегося инвариантным (собственным) для всех операторов одновременно. В противном случае представление называется приводимым.

В теории представлений групп доказывается, что всякое линейное пространство на котором задано приводимое представление конечной группы, «расслаивается» на ортогональные подпространства инвариантные для всех в каждом из которых задается неприводимое представление группы Размерность подпространства в дальнейшем будем обозначать через

Представление заданное на определяется с помощью следующим образом: при любых имеет место соотношение

Из неприводимости представлений следует, что в каждом нельзя выделить подпространство меньшей размерности так, чтобы оно было инвариантным по отношению к любым преобразованиям т. е. в любом нетривиальном подпространстве из меньшей размерности можно указать такой элемент и такое преобразование, которое выводит этот элемент за пределы этдго подпространства,

Вернемся к рассмотрению того конкретного представления, которому посвящен настоящий пункт — именно, к представлению группы изометрических преобразований пространства X операторами, заданными над линейным пространством функций Это представление всегда приводимо. В самом деле, функции-константы при любых преобразованиях пространства X (в том числе и изометрических) не меняются. Поэтому подпространство состоящее из всех функций-констант, является инвариантным для всех Этим устанавливается, что представление заданное на приводимо, и поэтому пространство «расслаивается» на ортогональные подпространства («слои»), в каждом из которых задается неприводимое представление группы изометрических преобразований пространства X в себя.

Каждая функция может быть спроектирована на подпространства Обозначая через эту проекцию, можно в связи с ортогональностью слоев функцию представить «разложением по слоям»

где нормированная проекция функций

Расслоение пространства на ортогональные подпространства имеет прямое отношение к интересующему нас вопросу об оценке качества функций. Действительно, имеет место следующая теорема.

Теорема III. Функционал (39) принимает одно и то же значение в на всех функциях из одного и того же слоя Значение зависит только от выбранного ядра

Для доказательства теоремы III понадобится следующая лемма.

Лемма II. Представления при не эквивалентны.

Доказательство леммы II. Предположим противное, что представления эквивалентны. Тогда в подпространствах найдутся ортонормированные базисы соответственно в которых матрицы ортогональны и совпадают:

Рассмотрим функцию

Для любого изометрического оператора А имеет место тождество

Действительно,

Учитывая теперь (45) и ортогональность матрицы

получаем (47). Но из леммы I следует, что функция, удовлетворяющая (47), является функцией расстояния, т. е.

Поскольку из (48) следует тождество

Это равенство противоречиво, так как фиксируя такое для которого хотя бы одна из величин

отлична от нуля, мы приходим к выводу, что система ортонормированных функций линейно зависима. Полученное противоречие опровергает предположение об эквивалентности представлений Лемма II доказана.

Сопоставим функции линейный оператор переводящий любую функцию в функцию в соответствии с формулой

Важным для дальнейшего является следующее свойство оператора оператор коммутирует со всеми операторами представления т. е.

Это соотношение доказывается следующей цепочкой равенств

На основании леммы II и соотношения (50) докажем следующее утверждение, из которого теорема III следует непосредственно.

Лемма III. Все функции подпространства являются собственными функциями оператора соответствующими одному и тому же собственному значению, т. е.

Доказательство леммы III. Рассмотрим множество тех и только тех функций которые могут быть представлены в виде

Очевидно, является подпространством пространства Покажем, что это подпространство инвариантно относительно каждого из операторов представления

Действительно, в силу а поскольку то что доказывает (52).

Рассмотрим теперь, два возможных случая:

а) подпространство — тривиальное подпространство, содержащее лишь нулевой вектор

б) в подпространстве существует хотя бы один ненулевой вектор.

В случае а) утверждение леммы очевидно, так как при этом

и все функции из являются собственными функциями оператора с нулевым собственным значением Далее рассматривается поэтому лишь случай б). Покажем сначала, что не имеет нетривиальных подпространств, инвариантных относительно всех операторов Действительно, выберем произвольную функцию и рассмотрим линейную оболочку векторов получаемых из при всех возможных Поскольку и а линейная оболочка векторов совпадает с 2% из-за неприводимости представления то и линейная оболочка векторов совпадает с Это и означает, что в 2% не содержится нетривиальных инвариантных относительно подпространств.

Представление индуцирует на подпространстве представление задаваемое соотношением

Утверждение об отсутствии нетривиальных инвариантных относительно подпространств

означает, что представление неприводимо. Но тогда подпространство должно совпадать с одним из подпространств так как, по определению, слои исчерпывают все подпространства пространства на которых заданы неприводимые представления группы изометрических преобразований. Покажем теперь, что совпадает с .

Предположим противное, что совпадает с а следовательно, совпадает с Тогда

и, с другой стороны, в силу (50)

т. е. имеет место операторное равенство на

В соответствии с леммой II неприводимые представления не эквивалентны. Известная лемма Шура теории представления групп утверждает, что при выполнении (53) оператор должен переводить каждую функцию в нулевой вектор, что противоречит существованию в ненулевого вектора. Таким образом, доказано, что в рассматриваемом случае б) подпространство совпадает с а следовательно, является собственным подпространством оператора Но в этих условиях вместо соотношения (53) справедливо следующее соотношение коммутации операторов

Воспользуемся теперь известной леммой теории представления групп, согласно которой оператор, коммутирующий с каждым оператором неприводимого представления, может отличаться от единичного оператора лишь мультипликативной константой. Из этой леммы следует, что оператор примененный к функциям из отличается от единичного оператора на постоянный множитель. Это доказывает утверждение леммы III.

Доказательство теоремы III. Для того, чтобы получить из леммы III утверждение теоремы III, достаточно заметить, что функционал может быть записан в виде

где скобки обозначают скалярное произведение, определяемое обычным образом:

Из (55) и (51) следует утверждение теоремы III:

Теорема III доказана полностью.

Из теоремы III следует простая формула для значения функционала (39), если функция задана разложением (44). Именно,

Доказательство формулы (57) получается прямой подстановкой разложения

в (55), если учесть, что

Из соотношения (41), связывающего значения функционалов следует, что теорема III и формула (57) верны также и для функционала (41), так что

Из формулы (57) непосредственно видно, что выбор ядра в функционале (39) отражается лишь на значениях оценивающих «качество слоя». Поэтому выбор ядра означает, по существу, лишь приписывание слоям некоторых «весов» , оценивающих качество каждого слоя. В связи с этим для оценки качества произвольной функции можно задавать не ядро в функционале (39), а непосредственно число Более того, зная можно определить ядро далее пункт 4).

Теорема III позволяет выделить классы эквивалентных (с точки зрения их качества) функций без конкретизации вида функционала. К этим же классам эквивалентных функций можно прийти и из совершенно других соображений, вообще не связанных с введении каких-либо функционалов качества. Однако, как бы ни формализовывались интуитивные представления о качестве функции, упорядочение функций по их качеству связано с введением отношений порядка между двумя функциями

Эта запись читается так: «функция не хуже функции Символ удовлетворяет свойству транзитивности.

Будем говорить: «функция эквивалентна функции и записывать если одновременно и -Постулируем теперь следующие свойства введенных отношений порядка:

Условие (59), по существу, совпадает с условием (34), а условие (60) является более жестким, чем (33). Усиление условия (33) позволяет установить эквивалентность функций в слоях, не прибегая к введению функционала качества.

Теорема IV. Если две функции не равные тождественно нулю, принадлежат одному и тому же слою то

Доказательство теоремы IV. Пусть заданы две произвольные не равные тождественно нулю функции Из определения слоя как подпространства, не содержащего подпространства меньшей размерности и инвариантного относительно всех операторов следует, что для любой функции принадлежащей линейная оболочка функций все возможные изометрические преобразования) совпадает с Иначе говоря, любая функция из может быть представлена разложением

где число элементов группы изометрических преобразований. Из условий (59) и (60) следует, что каковы бы ни были константы А,

и поэтому из (61) вытекает, что

Меняя в предыдущих рассуждениях функции местами (что возможно, так как от требовалось лишь, чтобы они принадлежали одному и тому же слою устанавливаем обратное соотношение

а следовательно, эквивалентность этих функций. Теорема IV доказана.

Таким образом, «расслоение» пространства на подпространства содержащие функции одинакового качества, может быть произведено без введения какого-либо функционала качества. Однако для классификации функций, которые имеют ненулевые проекции хотя на два различных «слоя», надо воспользоваться

функционалом (39) или (40), конкретизируя ядро Конкретизация же ядра немедленно приводит к установлению конкретных «весов» , приписываемых слоям, и необходимо, чтобы эти веса соответствовали интуитивным представлениям о сложности функций из этих слоев. Эти соображения приходится учитывать в каждом конкретном случае при задании ядра Пример выбора ядра, отвечающего этим требованиям, будет приведен далее в начале пункта 5.

<< Предыдущий параграф Следующий параграф >>
Оглавление