Случай разных совокупностей параметров g при разных значениях l

Некоторые различия между рассматриваемыми правилами реше­ния могут возникнуть, если разным значениям Случай разных совокупностей параметров g при разных значениях l - №1 - открытая онлайн библиотека соответствуют различ­ные совокупности параметров Случай разных совокупностей параметров g при разных значениях l - №2 - открытая онлайн библиотека . Практически такая ситуация может возникнуть только в том случае, когда множество значений Случай разных совокупностей параметров g при разных значениях l - №1 - открытая онлайн библиотека дискрет­но, то есть состоит из изолированных точек Случай разных совокупностей параметров g при разных значениях l - №4 - открытая онлайн библиотека ( Случай разных совокупностей параметров g при разных значениях l - №5 - открытая онлайн библиотека ). При этом апостериорный риск (6.5.8) может быть записан в виде

Случай разных совокупностей параметров g при разных значениях l - №6 - открытая онлайн библиотека (6.5.18)

где Случай разных совокупностей параметров g при разных значениях l - №7 - открытая онлайн библиотека - оценочное значение апостериорной вероятности k-ro ди­скретного значения Случай разных совокупностей параметров g при разных значениях l - №4 - открытая онлайн библиотека , которое определяется следующим выражением

Случай разных совокупностей параметров g при разных значениях l - №9 - открытая онлайн библиотека (6.5.19)

Случай разных совокупностей параметров g при разных значениях l - №10 - открытая онлайн библиотека - оценка максимального правдоподобия параметров Случай разных совокупностей параметров g при разных значениях l - №2 - открытая онлайн библиотека ; mk - число неизвестных параметров плотности вероятности Случай разных совокупностей параметров g при разных значениях l - №12 - открытая онлайн библиотека ; Случай разных совокупностей параметров g при разных значениях l - №13 - открытая онлайн библиотека - значе­ние матрицы Случай разных совокупностей параметров g при разных значениях l - №14 - открытая онлайн библиотека (6.5.6); Случай разных совокупностей параметров g при разных значениях l - №15 - открытая онлайн библиотека - значение функции Случай разных совокупностей параметров g при разных значениях l - №16 - открытая онлайн библиотека при Случай разных совокупностей параметров g при разных значениях l - №17 - открытая онлайн библиотека .

Для того чтобы правило решения, получающееся минимизацией (6.5.18), было вполне определенным, необходимо как-то задать величи­ны Случай разных совокупностей параметров g при разных значениях l - №15 - открытая онлайн библиотека ( Случай разных совокупностей параметров g при разных значениях l - №10 - открытая онлайн библиотека ). Если функция Случай разных совокупностей параметров g при разных значениях l - №20 - открытая онлайн библиотека не задана, то, используя предполагав­шееся ранее медленное изменение этой функции, можно оценить эти величины следующим образом:

Случай разных совокупностей параметров g при разных значениях l - №21 - открытая онлайн библиотека (6.5.20)

где Случай разных совокупностей параметров g при разных значениях l - №22 - открытая онлайн библиотека - эффективный объем области сосредоточения параметров Случай разных совокупностей параметров g при разных значениях l - №2 - открытая онлайн библиотека для Случай разных совокупностей параметров g при разных значениях l - №17 - открытая онлайн библиотека . В частности, если область Случай разных совокупностей параметров g при разных значениях l - №14 - открытая онлайн библиотека значений параметров Случай разных совокупностей параметров g при разных значениях l - №2 - открытая онлайн библиотека ограни­чена, то Случай разных совокупностей параметров g при разных значениях l - №22 - открытая онлайн библиотека по порядку величины совпадает с объемом этой области для Случай разных совокупностей параметров g при разных значениях l - №17 - открытая онлайн библиотека .

ВЫВОДЫ

В следующих двух главах рассмотрим ряд важных деталей, свя­занных с применением адаптивного байесова подхода при параметри­ческой и непараметрической априорной неопределенности, а сейчас, допуская некоторые повторения, кратко обсудим основные результаты этой главы.

1. Как и обычный байесов, адаптивный байесов подход основан на выборе правила решения u = u(x), минимизирующего ожидаемые при данном состоянии имеющихся знаний потери. Отличие заключается в том, что из-за недостатка априорных сведений вместо точной коли­чественной меры ожидаемых потерь - апостериорного риска - вводит­ся его оценка, максимально использующая имеющиеся данные наблю­дения и ограниченные априорные сведения. Этот принцип применяется как при параметрической, так и при непараметрической априорной не­определенности.

2. Если использованная при нахождении адаптивного байесова правила решения оценка апостериорного риска состоятельна, то это правило удовлетворяет большинству из принципов предпочтения (прин­ципов оптимальности), возможных в условиях априорной неопределен­ности и рассмотренных в § 4.3, то есть действительно этот подход дает наилучшие в условиях априорной неопределенности правила решения. Состоятельность оценки апостериорного риска обеспечивается, если в условиях параметрической априорной неопределенности заменить неизвестные значения параметров Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека , входящих в распределение вероят­ности для х и Случай разных совокупностей параметров g при разных значениях l - №1 - открытая онлайн библиотека , состоятельными оценками этих параметров, а в усло­виях непараметрической априорной неопределенности подобно тому, как это сделано в примере 2 § 6.1, заменить при вычислении апостери­орного риска (или только его минимума) операцию математического ожидания эмпирическим осреднением по совокупности имеющихся дан­ных наблюдения.

3. При параметрической априорной неопределенности процедура нахождения адаптивного байесова правила решения принципиально весьма проста: она сводится к замене в обычном байесовом правиле решения u = uo(x, Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека ), полученном для известного значения Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека , этого зна­чения его состоятельной оценкой Случай разных совокупностей параметров g при разных значениях l - №33 - открытая онлайн библиотека (х), найденной с использованием имеющихся данных наблюдения.

Если при этом оценка Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека (х) удовлетворяет дополнительному требо­ванию (6.2.12), которое при оговоренных выше условиях приводит к необходимости выбора в качестве Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека (x) оценки максимального прав­доподобия Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека *(x) (см. уравнения (6.2.15), (6.3.3)), то адаптивное байесово правило решения удовлетворяет еще одному важному принципу оптимальности: оно является равномерно наилучшим приближением к обычному (абсолютно оптимальному) байесову правилу решения и обеспечивает минимум максимального отклонения среднего риска от минимального байесова риска.

4. Если вместо требования равномерно наилучшего приближения принять требование наилучшего приближения в среднем с весом Случай разных совокупностей параметров g при разных значениях l - №20 - открытая онлайн библиотека ( Случай разных совокупностей параметров g при разных значениях l - №38 - открытая онлайн библиотека ) к обычному байесову правилу решения, то соответствующее приближенно оптимальное правило решения u = u*(x) находится мини­мизацией усредненного по Случай разных совокупностей параметров g при разных значениях l - №20 - открытая онлайн библиотека среднего риска R(u(x), Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека ), а сама функция Случай разных совокупностей параметров g при разных значениях l - №20 - открытая онлайн библиотека может быть формально интерпретирована как плотность вероятности для неизвестных параметров Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека . При этом правило решения u*(х) является обычным байесовым правилом для совместного распре­деления вероятности х и Случай разных совокупностей параметров g при разных значениях l - №1 - открытая онлайн библиотека с плотностью (6.5.2), получающейся усред­нением по неизвестным параметрам Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека с плотностью вероятности Случай разных совокупностей параметров g при разных значениях l - №20 - открытая онлайн библиотека .

Естественно, что это правило решения может быть найдено совер­шенно точно с помощью обычной байесовой процедуры при любой Случай разных совокупностей параметров g при разных значениях l - №20 - открытая онлайн библиотека . Однако если функция Случай разных совокупностей параметров g при разных значениях l - №20 - открытая онлайн библиотека является относительно плавной - мало изменяется в пределах разброса оценки максимального правдо­подобия для Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека относительно истинного значения Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека (количественные требования определяются неравенствами (6.5.7)), то правило решения u*(х) совершенно аналогично адаптивному байесову правилу u0(х, Случай разных совокупностей параметров g при разных значениях l - №50 - открытая онлайн библиотека ) может быть найдено минимизацией состоятельных оценок апо­стериорного риска (6.5.8), (6.5.17), (6.5.18), для нахождения которых не требуется детального задания или вообще знания функции Случай разных совокупностей параметров g при разных значениях l - №20 - открытая онлайн библиотека .

5. Во многих случаях оба правила решения (u0(x, Случай разных совокупностей параметров g при разных значениях l - №50 - открытая онлайн библиотека ) и u*(х)) просто совпадают. Это, конечно, свидетельствует о том, что средний риск любого из них отличается от минимального байесова риска на по­стоянную при всех значениях Случай разных совокупностей параметров g при разных значениях l - №29 - открытая онлайн библиотека величину, которая по определению этих правил решения минимальна и в силу их асимптотической оптималь­ности стремится к нулю с ростом качества и объема данных наблюдения. Выбор между этими правилами в случае их несовпадения зависит от того, что более важно в данной конкретной задаче: наилучшее в среднем приближение к абсолютно оптимальному правилу решения или приближение, обеспечивающее минимум максимального откло­нения.