Случай одинаковой совокупности параметров g при разных значениях l

Вернемся к детализации правила решения u*(х) из (6.5.10) и об­суждению его взаимосвязи с адаптивным байесовым правилом реше­ния. Рассмотрим сначала распространенный случай, когда для всех значений Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека совокупности параметров Случай одинаковой совокупности параметров g при разных значениях l - №2 - открытая онлайн библиотека одинаковы и совпадают с пол­ной совокупностью Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека . При этом

Случай одинаковой совокупности параметров g при разных значениях l - №4 - открытая онлайн библиотека (6.5.13)

где Случай одинаковой совокупности параметров g при разных значениях l - №5 - открытая онлайн библиотека - решение уравнения правдоподобия (6.5.4), вообще говоря, разное при разных значениях Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека . Однако постольку, поскольку величины Случай одинаковой совокупности параметров g при разных значениях l - №7 - открытая онлайн библиотека представляют собой оценки одних и тех же параметров Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека , истинные значения которых не изменяются при изменении Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , то в слу­чае состоятельности этих оценок (напомним, что решение уравнения правдоподобия удовлетворяет требованию состоятельности) и близости их к истинным значениям Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека величины Случай одинаковой совокупности параметров g при разных значениях l - №7 - открытая онлайн библиотека слабо зависят от Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека и не могут отличаться сильно друг от друга при разных значениях Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека . Возможные отличия Случай одинаковой совокупности параметров g при разных значениях l - №7 - открытая онлайн библиотека при Случай одинаковой совокупности параметров g при разных значениях l - №15 - открытая онлайн библиотека и Случай одинаковой совокупности параметров g при разных значениях l - №16 - открытая онлайн библиотека , где Случай одинаковой совокупности параметров g при разных значениях l - №17 - открытая онлайн библиотека и Случай одинаковой совокупности параметров g при разных значениях l - №18 - открытая онлайн библиотека - любые два значения Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , они обусловлены только случайным отклонением этих оценок от истинного значения Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека , одинакового при Случай одинаковой совокупности параметров g при разных значениях l - №15 - открытая онлайн библиотека и Случай одинаковой совокупности параметров g при разных значениях l - №16 - открытая онлайн библиотека .

Эти случайные отклонения характеризуются матрицей Случай одинаковой совокупности параметров g при разных значениях l - №23 - открытая онлайн библиотека из (6.5.6), которая представляет собой асимптотическую апостериорную корреля­ционную матрицу для величин отклонений Случай одинаковой совокупности параметров g при разных значениях l - №24 - открытая онлайн библиотека и, вообще говоря, за­висит от Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека . Однако если функция Случай одинаковой совокупности параметров g при разных значениях l - №26 - открытая онлайн библиотека изменяется медленно, так что выполняется второе из неравенств (6.5.7), то величина Случай одинаковой совокупности параметров g при разных значениях l - №27 - открытая онлайн библиотека из (6.5.13) практически не зависит от Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека (зависит значительно слабее, чем любая другая функция Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , входящая в подынтегральное выражение (6.5.8)). Благодаря этому ее можно сократить в числителе и знамена­теле (6.5.8) или, что то же самое в данном случае, определить функцию Случай одинаковой совокупности параметров g при разных значениях l - №30 - открытая онлайн библиотека , входящую в (6.5.8), следующим образом:

Случай одинаковой совокупности параметров g при разных значениях l - №31 - открытая онлайн библиотека (6.5.14)

Получающееся с учетом равенства (6.5.14) упрощение для выражения апостериорного риска (6.5.8) является весьма существенным. Оказывается, что при одинаковой для всех значений Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека совокупности парамет­ров Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека и при выполнении единственного условия плавности изменения функции Случай одинаковой совокупности параметров g при разных значениях l - №26 - открытая онлайн библиотека количественно это условие задается неравенством (6.5.7), апостериорный риск и правило решения u*(х) вообще не зави­сят от Случай одинаковой совокупности параметров g при разных значениях l - №26 - открытая онлайн библиотека . Само оптимальное решение находится минимизацией вы­ражения (6.5.8) при подстановке в него функции Случай одинаковой совокупности параметров g при разных значениях l - №30 - открытая онлайн библиотека из (6.5.14).

Рассматриваемый здесь случай одинаковой для разных Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , совокуп­ности неизвестных параметров Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека может иметь место как при дискрет­ном, так и при непрерывном множестве значений Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека .

Для непрерывного множества значений Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека этот случай наиболее ха­рактерен; более того, трудно представить себе не слишком искусствен­ный пример, когда плотность вероятности Случай одинаковой совокупности параметров g при разных значениях l - №41 - открытая онлайн библиотека для разных значе­ний Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , из непрерывного множества значений зависит от разных совокуп­ностей параметров Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека (например, Случай одинаковой совокупности параметров g при разных значениях l - №44 - открытая онлайн библиотека при Случай одинаковой совокупности параметров g при разных значениях l - №15 - открытая онлайн библиотека и Случай одинаковой совокупности параметров g при разных значениях l - №46 - открытая онлайн библиотека при Случай одинаковой совокупности параметров g при разных значениях l - №16 - открытая онлайн библиотека ). Для непрерывного множества значений Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека процедуру нахождения правила решения u*(х), соответствующего ми­нимуму усредненного риска, можно детализировать дальше и, кроме того, можно показать, что получающееся при этом правило решения совпадает асимптотически с адаптивным байесовым правилом решения, полученным выше.

Воспользуемся для этого асимптотическим приближением (6.3.2) для функции Случай одинаковой совокупности параметров g при разных значениях l - №41 - открытая онлайн библиотека , из которого следует, что входящие в выражение (6.5.8) для апостериорного риска функции Случай одинаковой совокупности параметров g при разных значениях l - №50 - открытая онлайн библиотека и Случай одинаковой совокупности параметров g при разных значениях l - №51 - открытая онлайн библиотека определяются следующими выражениями:

Случай одинаковой совокупности параметров g при разных значениях l - №52 - открытая онлайн библиотека (6.5.15)

Случай одинаковой совокупности параметров g при разных значениях l - №53 - открытая онлайн библиотека , (6.5.16)

где Случай одинаковой совокупности параметров g при разных значениях l - №54 - открытая онлайн библиотека является решением уравнения (6.3.3), а матрицы Случай одинаковой совокупности параметров g при разных значениях l - №55 - открытая онлайн библиотека , Случай одинаковой совокупности параметров g при разных значениях l - №56 - открытая онлайн библиотека , Случай одинаковой совокупности параметров g при разных значениях l - №57 - открытая онлайн библиотека , Случай одинаковой совокупности параметров g при разных значениях l - №58 - открытая онлайн библиотека определяются выражениями (6.3.4) и зависят только от х (непосредственно и через Случай одинаковой совокупности параметров g при разных значениях l - №54 - открытая онлайн библиотека и Случай одинаковой совокупности параметров g при разных значениях l - №60 - открытая онлайн библиотека , Случай одинаковой совокупности параметров g при разных значениях l - №61 - открытая онлайн библиотека совместно с Случай одинаковой совокупности параметров g при разных значениях l - №62 - открытая онлайн библиотека явля­ется решением уравнения (6.3.3)). С учетом (6.5.15), (6.5.16) выраже­ние для апостериорного риска (6.5.8) принимает вид

Случай одинаковой совокупности параметров g при разных значениях l - №63 - открытая онлайн библиотека (6.5.17)

из которого следует, что решение u = u*(x) зависит от х посредством достаточной статистики Случай одинаковой совокупности параметров g при разных значениях l - №54 - открытая онлайн библиотека - оценки параметра Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , определяемой из уравнения (6.3.3).

Если множество решений u имеет ту же структуру, что и множест­во Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , и функция потерь g(u, Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , х) является симметричной функцией разности u - Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , то решение u*(х) просто совпадает с Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека *(х), то есть полу­чается точно таким же, как адаптивное байесово решение.

При произвольной структуре множества решений u оценка апосте­риорного риска (6.5.17), получающаяся с использованием принципа усреднения по неизвестным параметрам Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека среднего риска, отличается от оценки апостериорного риска (6.2.5), получающейся при адаптив­ном байесовом подходе с использованием оценки максимального прав­доподобия Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека * для параметров Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека , только за счет различия матриц Случай одинаковой совокупности параметров g при разных значениях l - №73 - открытая онлайн библиотека и Случай одинаковой совокупности параметров g при разных значениях l - №55 - открытая онлайн библиотека . Первая из них фигурирует в выражении (6.5.17), дающем оценку апостериорного риска при использовании принципа усреднения, а вторая - в выражениях типа (6.2.3), (6.3.5) при подстановке в них Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека = Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека * в соответствии с принципами адаптивного байесова подхода.

Таким образом, используемые в обоих случаях приближения для апостериорной плотности вероятности Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , с помощью которых вычисля­ются оценки апостериорного риска и находятся минимизирующие этот риск решения, имеют одинаковый функциональный вид, одинаковое математическое ожидание Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека * и несколько отличные матрицы вторых моментов. Естественно, что для всех задач (характеризуемых структу­рой множества решений U и видом функции потерь g(u, Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , x)), в ко­торых подобно задаче с функцией потерь, являющейся симметричной функцией разности u - Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , вид решения зависит только от апостериор­ного математического ожидания, принцип усреднения риска по Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека дает точно такое же правило решения, как и адаптивный байесов подход. В тех задачах, в которых решение u*(х) зависит не только от апосте­риорного математического ожидания Случай одинаковой совокупности параметров g при разных значениях l - №82 - открытая онлайн библиотека , оно может несколько отли­чаться от адаптивного байесова решения. Однако из-за асимптотиче­ской близости матриц Случай одинаковой совокупности параметров g при разных значениях l - №55 - открытая онлайн библиотека и Случай одинаковой совокупности параметров g при разных значениях l - №73 - открытая онлайн библиотека , имеющейся, как мы убедимся в дальнейшем, практически всегда, эти различия малосуще­ственны, и во всех реальных случаях, когда совокупность неизвестных параметров Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека не зависит от Случай одинаковой совокупности параметров g при разных значениях l - №1 - открытая онлайн библиотека , правило решения, минимизирующее усредненный по неизвестным параметрам Случай одинаковой совокупности параметров g при разных значениях l - №3 - открытая онлайн библиотека риск, совпадает с адаптив­ным байесовым правилом решения.