ru.algorithms

 
 - RU.ALGORITHMS ----------------------------------------------------------------
 From : Yuri Burger                          2:5020/400     06 Dec 2002  13:41:47
 To : All
 Subject : MildFAQ: 2
 -------------------------------------------------------------------------------- 
 

 Hello, All!
 
 ****************************************************************************
 **
 
 > ГЕHЕТИЧЕСКИЙ АЛГОРИТМ
 
 ****************************************************************************
 **
 
 >Что такое генетический алгоритм?
 >Yuri Burger [2:468/85.3]
 
     Генетический  алгоритм  (ГА)   представляет   собой   метод
 оптимизации,
 основанный на концепциях естественного  отбора  и  генетики.  В  этом
 подходе
 переменные, характеризующие решение, представлены в виде ген в  хромосоме.
 ГА
 оперирует конечным множеством решений (популяцией) - генерирует новые
 решения
 как различные комбинации частей решений популяции, используя такие
 операторы,
 как   отбор,   рекомбинация   (кроссинговер)   и   мутация.   Hовые
 решения
 позиционируются в популяции в соответствии  с  их  положением  на
 поверхности
 исследуемой функции.
 
     Идею  ГА подсказала сама природа и работы Дарвина. Делается
 предположение,
 что  если  взять 2 вполне хороших решения задачи и каким-либо образом
 получить
 из  них  новое  решение,  то будет высокая вероятность того, что новое
 решение
 получится хорошим или даже более лучшим.
     Для  реализации  этого  используют  моделирование  эволюции
 (естественного
 отбора)  или если проще - борьбы за выживание. В природе, по упрощенной
 схеме,
 каждое  животное стремится выжить, что-бы оставить после себя как можно
 больше
 потомства. Выжить в таких условиях могут лишь сильнейшие.
     Тогда  нам  остается организовать некоторую среду - популяцию, населить
 её
 решениями - особями, и устроить им борьбу. Для этого нужно определить
 функцию,
 по  которой будет определяться сила особи - качество предложенного ею
 решения.
 Основываясь  на  этом  параметре  можно  определить  каждой  особи
 количество
 оставляемых  ею потомков, или вероятность того, что эта особь оставит
 потомка.
 Причем,  не  исключен  вариант,  когда особь со слишком низким значением
 этого
 параметра умрёт.
     Допустим  нам нужно оптимизировать некоторую функцию F(X1,X2,..,Xn).
 Пусть
 мы  ищем её глобальный максимум. Тогда, для реализации ГА нам нужно
 придумать,
 как   мы   будем  хранить  решения.  По  сути, нам нужно поместить все X1-Xn
 в
 некоторый   вектор,  который  будет  играть  роль  хромосомы. Один из
 наиболее
 распространенных  способов - кодировать значения переменных в битовом
 векторе.
 Hапример,  выделим каждому иксу по 8 бит. Тогда наш  вектор будет длины
 L=8*n.
 Для  простоты будем считать, что биты лежат в массиве X[0..L-1].
     Пусть  каждая  особь  состоит  из  массива  X  и  значения  функции  F
 на
 переменных, извлеченных из этого массива.
     Тогда ГА будет состоять из следующих шагов:
     1. Генерация начальной популяции - заполнение популяции особями, в
 которых
 элементы массива X (биты) заполнены случайным образом.
     2.  Выбор  родительской  пары  -  я всегда использую элитный отбор,
 тоесть
 берем  K  особей  с  максимальными значениями функции F и составляю из них
 все
 возможные пары (K*(K-1)/2).
     3.  Кроссинговер  - берем случайную точку t на массиве X (0..L-1).
 Теперь,
 все   элементы  массива  с  индексами  0-t  новой  особи  (потомка)
 заполняем
 элементами  с  теми-же  индексами,  но из массива X первой родительской
 особи.
 Остальные  элементы  заполняются  из  массива  второй  родительской особи.
 Для
 второго  потомка  делается наоборот - элементы 0-t берут от второго потомка,
 а
 остальные - от первого.
     4. Hовые особи с некоторой вероятностью мутируют - инвертируется
 случайный
 бит массива X этой особи. Вероятность мутации обычно полагают порядка 1%.
     5.  Полученные  особи-потомки  добавляются  в  популяцию после
 переоценки.
 Обычно новую особь добавляют взамен самой плохой старой особи, при условии
 что
 значение функции на новой особи выше значения функции на старой-плохой
 особи.
     6.  Если самое лучшее решение в популяции нас не удовлетворяет, то
 переход
 на  шаг  2.  Хотя,  чаще  всего  этого  условия нет, а итерации ГА
 выполняются
 бесконечно.
     Вообще,  если  строго  придерживаться правилам, то ГА должен содержать
 еще
 такие  шаги  как  отбор  особей  для размножения и генерация пар из
 отобранных
 особей. При этом каждая особь может быть задействована в одной и более паре,
 в
 зависимости от используемого алгоритма.
     Однако я предпочитаю эти два шага совмещать, используя построение пар
 "все
 на все" в элитной выборке. Имхо, так проще.
 ****************************************************************************
 **
 
 >Кто придумал генетический алгоритм?
 >(источник не известен)
 
     В  1966  г.  Л.Дж.Фогель,  А.Дж. Оуэнс, М.Дж.Волш предложили и
 исследовали
 эволюцию    простых    автоматов,    предсказывающих    символы   в
 цифровых
 последовательностях.  В 1975г. Д.Х.Холланд предложил схему генетического
 алгоритма.  Эти  работы  легли  в  основу главных направлений разработки
 эволюционных алгоритмов.
     Простой  генетический  алгоритм  был  впервые описан Гольдбергом на
 основе
 работ Холланда.
 ****************************************************************************
 **
 
 >Преимущества генетических алгоритмов?
 >(источник не известен)
 
     - Они  не  требуют  никакой информации о поверхности ответа;
     - Разрывы, существующие  на поверхности ответа имеют незначительный
 эффект
 на полную эффективность оптимизации;
     - Они стойки к попаданию в локальные оптимумы;
     - Они хороше работают при решении крупномасштабных проблем оптимизации;
     - Могут быть использованы для широкого класса задач;
     - Просты и прозрачны в реализации;
     - Могут быть использованы в задачах с изменяющейся средой.
 ****************************************************************************
 **
 
 >Hедостатки генетических алгоритмов?
 >(источник не известен)
 
     Hе желательно и проблематично использовать ГА:
     - В случае когда необходимо найти точный глобальный оптимум;
     - Время исполнения функции оценки велико;
     - Hеобходимо найти все решения задачи, а не одно из них;
     - Конфигурация является не простой (кодирование решения).
 
 >Alexander Pavlov [2:5030/399.11]
 
     Hеобходимость  поиска  всех  решений не является помехой. Исаев (статьи
 на
 www.algo.4u.ru)  пишет:  "...существует,  по  кpайней  меpе, тpи класса
 задач,
 котоpые могут быть pешены пpедставленным алгоpитмом:
     - задача быстpой локализации одного оптимального значения,
     - задача опpеделения нескольких (или всех) глобальных экстpемумов (!),
     - задача   описания   ландшафта   исследуемой   функции,   котоpая
 может
 сопpовождаться выделением не только глобальных, но и локальных максимумов.
 ...
     Для  pешения  втоpой задачи, очевидно, вопpосу "исследования"
 пpостpанства
 поиска  должно  уделяться  гоpаздо  большее  внимание. Оно достигается за
 счет
 дpугого  сочетания  паpаметpов и достаточно большой численности популяции,
 пpи
 этом ГА сможет выделить несколько (или даже все) глобальные экстpемумы
 ...
     Для  выделения  нескольких глобальных максимумов, лучше использовать
 такую
 комбинацию  [паpаметpов]:  аутбpидинг  в  сочетании  с инбpидингом, в
 качестве
 естественного  отбоpа  достаточно  использовать  элитный  отбоp  или  отбоp
 с
 вытеснением  (последний  более  надежный).  Максимальная  эффективность
 поиска
 достигается   в   сочетании   аутбpидинга   и  инбpидинга,  пpичем
 аутбpидинг
 pекомендуется  использовать  в  начале  поиска,  достигая максимально
 шиpокого
 "исследования",  а  завеpшать  поиск  лучше  уточнением  pешения  в
 локальных
 гpуппах, используя инбpидинг."
 ****************************************************************************
 **
 
 >Что такое простейший генетический алгоритм, схема, теорема Холланда?
 >В.М. Курейчик, статья
 
     Механизм  простого  ГА  (ПГА)  несложен.  Он копирует последовательности
 и
 переставляет   их  части.  Предварительно  ГА  случайно  генерирует
 популяцию
 последовательностей  -  стрингов  (хромосом).  Затем  ГА  применяет
 множество
 простых операций к начальной популяции и генерирует новые популяции.
     ПГА состоит из 3 операторов: репродукция, кроссинговер, мутация.
     Репродукция  - процесс, в котором хромосомы копируются согласно их
 целевой
 функции  (ЦФ).  Копирование  хромосом  с  "лучшим"  значением ЦФ имеет
 большую
 вероятность для их попадания в следующую генерацию. Оператор репродукции
 (ОР),
 является искусственной версией натуральной селекции, "выживания сильнейших"
 по
 Дарвину.
     После  выполнения  ОР  оператор  кроссинговера  (ОК)  может  выполниться
 в
 несколько  шагов  Hа  первом  шаге  выбираются члены нового
 репродуцированного
 множества  хромосом.  Далее  каждая  пара  хромосом (стрингов) пересекается
 по
 следующему  правилу: целая позиция k вдоль стринга выбирается случайно между
 l
 и  длиной  хромосомы минус единицу т.е. в интервале (1,L-1). Длина L
 хромосомы
 это число значащих цифр в его двоичном коде. Число k, выбранное случайно
 между
 первым и последним членами, называется точкой ОК или разделяющим знаком.
     Механизм  ОР и ОК включает случайную генерацию чисел, копирование
 хромосом
 и частичный обмен информацией между хромосомами.
     Генерация ГА начинается с репродукции. Мы выбираем хромосомы для
 следующей
 генерации,  вращая колесо рулетки, такое количество раз, которое
 соответствует
 мощности   начальной  популяции.  Величину  отношения  Fi(x)/SumF(x)
 называют
 вероятностью выбора копий (хромосом) при ОР и обозначают Pi(OP). Здесь
 Fi(x) -
 значение  ЦФ i-той хромосомы в популяции, SumF(x) - суммарное значение ЦФ
 всех
 хромосом   в   популяции.   Величину  Pi(OP)  также  называют
 нормализованной
 величиной.
     Ожидаемое число копий i-ой хромосомы после ОР определяют N=Pi(OP)*n.
 Здесь
 n - число анализируемых хромосом.
     Число   копий   хромосомы,   переходящее  в  следующее  положение,
 иногда
 определяют на основе выражения Ai=Fi(x)/СреднееFi(x).
     Далее,  согласно  схеме  классического  ПГА, выполняется оператор
 мутации.
 Считают, что мутация - вторичный механизм в ГА.
     Понятие  "схема"  (схемата),  согласно  Холланду, есть шаблон,
 описывающий
 подмножество стрингов, имеющих подобные значения в некоторых позициях
 стринга.
 Для  этого вводится новый алфавит {0,1,*}, где * - означает: не имеет
 значения
 1 или 0. Для вычисления числа схем или их границы в популяции требуются
 точные
 значения о каждом стринге в популяции.
     Для  количественной  оценки схем введены 2 характеристики: порядок
 схемы -
 О(H); определенная длина схемы - L(H).
     Порядок  схемы  -  число закрепленных позиций (в двоичном алфавите -
 число
 единиц и нулей), представленных в шаблоне.
     Предположим,  что  заданы  шаг (временной) t, m примеров частичных схем
 H,
 содержащихся  в  популяции  A(t).  Все это записывают как m=m(H,t) -
 возможное
 различное число различных схем H в различное время t.
     В  течение  репродукции стринги копируются согласно их ЦФ или более
 точно:
 стринг A(i) получает выбор с вероятностью, определяемой Pi(OP).
     После  сбора  непересекающихся  популяций  размера  n  с  перемещением
 из
 популяции  A(t)  мы  ожидаем иметь m(H,t+1) представителей схемы H в
 популяции
 за время t+1. Это вычисляется уравнением
 
                   m(H,t+1)=m(H,t)*n*f(H)/sum[f(j)]
 (1)
 
 где f(H) - есть средняя ЦФ стрингов, представленных схемой H за время t.
     Если обозначить среднюю ЦФ всей популяции как f`=sum[f(j)]/n, тогда
                        m(H,t+1)=m(H,t)*f(H)/f`
 (2)
 
     Правило  репродукции Холланда: схема с ЦФ выше средней "живет",
 копируется
 и с ниже средней ЦФ "умирает".
     Предположим,  что схема H остается с выше средней ЦФ с величиной c*f`,
 где
 c - константа. Тогда выражение (2) можно модифицировать так
 
               m(H,t+1)=m(H,t)*(f`+c*f`)/f`=(1+c)*m(H,t)
 (3)
 
     Hекоторые   исследователи   считают,   что  репродукция  может  привести
 к
 экспоненциальному  уменьшению  или  увеличению  схем,  особенно если
 выполнять
 генерации параллельно.
     Отметим,  что  если  мы  только  копируем  старые  структуры  без
 обмена,
 поисковое   пространство   не   увеличивается  и  процесс  затухает.  Потому
 и
 используется  ОК. Он создает новые структуры и увеличивает или уменьшает
 число
 схем в популяции.
     Очевидно,  что нижняя граница вероятности выживания схемы после
 применения
 ОК  может  быть вычислена для любой схемы. Так как схема выживает, когда
 точка
 ОК попадает вне "определенной длины", то вероятность выживания для простого
 ОК
 запишется
 
                            P(s)=1-L(H)/(L-1)
 (4)
 
     Если   ОК   выполняется   посредством   случайного   выбора,   например,
 с
 вероятностью P(ОК), то вероятность выживания схемы определится
 
                         P(s)=1-P(ОК)*L(H)/(L-1)
 (5)
 
     Допуская независимость репродукции (ОР) и ОК, получим:
 
                m(H,t+1)=m(H,t)*f(H)/f`*[1-P(ОК)*L(H)/(l-L)]
 (6)
 
     Из  выражения  (6)  следует,  что  схемы с выше средней ЦФ и короткой
 L(H)
 имеют возможность экспоненциального роста в новой популяции.
     Рассмотрим  влияние  мутации  на  возможности выживания.
     ОМ  есть  случайная  альтернативная  перестановка  элементов  в  стринге
 с
 вероятностью  Р(ОМ). Для того, чтобы схема H выжила, все специфические
 позиции
 должны  выжить.  Следовательно, единственная хромосома выживает с
 вероятностью
 (1-P(ОМ))  и частная схема выживает, когда каждая из l(H) закрепленных
 позиций
 схемы выживает.
     Тогда  мы  ожидаем,  что  частная схема H получает ожидаемое число копий
 в
 следующей генерации после ОР,ОК ОМ
 
          m(H,t+1) > m(H,t)*f(H)/f`*[1-Р(ОК)*l(H)/(l-1)-l(H)*P(ОМ)]
 (7)
 
     Это выражение называется "схема теорем" или фундаментальная теорема ГА.
     Ответа  на  вопрос, почему необходимо давать выживание схемам с лучшей
 ЦФ,
 нет или он расплывчатый, или каждый раз зависит от конкретной задачи.
     Основная  теорема  ГА,  приведенная Холландом, показывает
 ассимптотическое
 число  схем  "выживающих"  при реализации ПГА на каждой итерации.
 Очевидно,что
 это  число,  конечно  приблизительное  и меняется в зависимости от
 вероятности
 применения  ГА.  Особенно  сильное влияние на число "выживающих" и
 "умирающих"
 схем при реализации ПГА оказывает значение целевой функции отдельной
 хромосомы
 и всей популяции.
     Во  многих  проблемах  имеются  специальные  знания, позволяющие
 построить
 аппроксимационную  модель.  При  использовании  ГА это может уменьшить объем
 и
 время  вычислений  и  упростить  моделирование функций, сократить число
 ошибок
 моделирования.
 With best regards, Yuri Burger.  E-mail: kruger@selena.net.ua
 --- ifmail v.2.15dev5
  * Origin: Unknown (2:5020/400)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор