II

--- Въведение ---

За модел на Гаусова смес с K компоненти, k-тият компонент има средна стойност на μk(Мю от K) и дисперсия на σk(сигма от K) за едномерния случай и средна стойност на μ->К(Мю вектор от К) и ковариационна матрица на Σk(сумата от компонентите) за многовариантния случай.

Теглото на компонента на сместа се определя като ϕK(Фи от K) за компонент (C от K) с ограничението, че ∑ i = 1K ϕ i = 1 (Сумата от K при i равно на 1 и фи Равно от i равно на 1), така че общото разпределение на вероятностите се нормализира до 1.

Ако теглото на компонентите не се обучава, те могат да се разглеждат като априорно(първоначален) разпределение върху компоненти, така че p(пе) (x, генерирано от компонент Ck(C от K) ) = ϕk(Фи от К). Ако вместо това са научени, те са апостериорни(придобит с опит) оценки на вероятностите на компонентите, дадени на данните.

-- Просто казано --
Най-просто, GMM също е вид алгоритъм за клъстериране. Както подсказва името му, всеки клъстер се моделира според различно разпределение на Гаус. Този гъвкав и вероятностен подход за моделиране на данните означава, че вместо да имаме твърди задания в клъстери като k-средства, ние имаме меки задания. Това означава, че всяка точка от данни може да е генерирана от някое от разпределенията със съответна вероятност. Всъщност всяко разпределение носи някаква „отговорност“ за генериране на определена точка от данни.

--- Обучение на модела ---

Ако броят на компонентите K е известен, максимизирането на очакванията е най-често използваната техника за оценка на параметрите на модела на сместа. В честотната теория на вероятностите моделите обикновено се изучават чрез използване на техники за оценка на максимална вероятност, които се стремят да увеличат максимално вероятността или вероятността от наблюдаваните данни, като се имат предвид параметрите на модела. За съжаление, намирането на решение за максимална вероятност за модели на смеси чрез диференциране на логаритмичната вероятност и решение за 00 обикновено е аналитично невъзможно.

Максимизирането на очакванията (EM) е числена техника за оценка на максималната вероятност и обикновено се използва, когато могат да бъдат изчислени изрази в затворена форма за актуализиране на параметрите на модела (които ще бъдат показани по-долу). Максимизирането на очакванията е итеративен алгоритъм и има удобното свойство, че максималната вероятност за данните се увеличава стриктно с всяка следваща итерация, което означава, че е гарантирано, че се приближава до локален максимум или saddle point.

--- EM за модели на Гаусова смес ---

Максимизирането на очакванията за модели на смеси се състои от две стъпки.

Първата стъпка, известна като стъпка на очакване или стъпка E-стъпка, се състои в изчисляване на очакването на присвояването на компоненти Ck(Ц от K) за всяка точка от данни xi ∈ X(x от i принадлежи към X), като се вземат предвид параметрите на модела ϕk(фи от K), μk(Мю от K) и σk(Сигма от K).

Втората стъпка е известна като стъпка на максимизиране или М-стъпка, която се състои от максимизиране на очакванията, изчислени в Е-стъпката по отношение на параметрите на модела. Тази стъпка се състои от актуализиране на стойностите ϕk(фи от K), μk(Мю от K) и σk(Сигма от K).

Целият итеративен процес се повтаря, докато алгоритъмът се сближи, давайки максимална оценка на вероятността. Интуитивно алгоритъмът работи, защото познаването на присвояването на компонент Ck(Ц от K) за всеки xi(x от i) улеснява решаването на ϕk(Фи от K), μk(Мю от K), σk(Сигма от K), докато познаването на ϕk, μk и σk прави извода p(Ck∣xi) лесно.

Стъпката на очакване съответства на последния случай, докато стъпката на максимизиране съответства на първия. По този начин, чрез редуване между стойностите, които се приемат за фиксирани или известни, оценките на максималната вероятност за нефиксираните стойности могат да бъдат изчислени по ефективен начин.

--- Приложение ---
Наскоро GMM се използват за извличане на характеристики от речеви данни за използване в системи за разпознаване на реч. Те също се използват широко при проследяване на обекти на множество обекти, където броят на компонентите на сместа и техните средства предсказват местоположението на обекти във всеки кадър във видеопоредица. EM алгоритъмът се използва за актуализиране на средствата на компонента с течение на времето, тъй като видео кадрите се актуализират, позволявайки проследяване на обекти.

-- Заключение --
GMM са много мощен инструмент и се използват широко при различни задачи, които включват клъстериране на данни. За разлика от k-means, моделите на Гаусова смес отчитат дисперсията и връщат вероятността дадена точка от данни да принадлежи на всеки от K клъстерите.