Sunday, 7 October 2018

Банкротство игрока -- банкротство Дарвина

Дарвиновская эволюционная модель в среднем не работает.

Вот очень интересная статья о фундаментальных статистических проблемах дарвиновской эволюционной модели: Gambler's Ruin is Darwin's Ruin (автор scordova).

Группе студентов MIT в начале 1960-х гг. удалось разработать настолько успешную стратегию игры в казино, что это позволило одному из них по имени Эдвард Торп серьезно разбогатеть. Прошу не рассматривать это как рекламу казино, азартных игр или игрового бизнеса, это просто иллюстрация того, что методы работают, а значит, и выводы из всего этого хозяйства тоже.



Вот он, этот коварный тип гражданской наружности по имени Ed Thorp, из-за которого, говорят, крупье Лас Вегаса были вынуждены ненадолго закрыть казино... Кстати, он жульничал вместе с Клодом Шенноном. События 50-летней давности послужили основой для американского кинофильма "Двадцать одно".


Умные мужики, что тут скажешь... Основа их рассуждений содержится в так называемой задаче о банкротстве игрока (gambler's ruin), математическая постановка которой находится здесь и здесь. При достаточно больших ресурсах казино и при условии, что:
  • игрок повышает ставку с каждым выигрышем на величину: Текущая сумма в кармане у игрока / N, где N — фиксированное целое число;
  • оставляет ставку на прежнем уровне при проигрыше;
игрок в конце концов проиграет N ставок подряд, каково бы ни было N. Отсюда видна необходимость управления рисками.

Умело рискующий игрок побеждает засчёт большого числа маленьких ставок и управления их величиной (например, понижает ставку с каждым проигрышем и увеличивает с выигрышем). Играть следует только в те игры, исход которых зависит от предыстории и где есть доступ к информации о предыстории игры. Например, если известно, какие карты были сданы, известно и то, какие карты ещё остаются в колоде, что даёт возможность управлять размером ставки в зависимости от этого.

Студенты MIT действовали скоординированно в тайне от крупье, следя за тем, что происходит за каждым столом и давая знать своим, где именно и сколько следует ставить. Говорят, что Шеннон с Торпом даже сделали небольшой компьютер, и пронесли его с собой в кармане в казино. Они использовали карманную ЭВМ для просчёта выигрышных вариантов. Рассмотрим небольшой пример с простыми правилами игры.

Пример. Предположим для простоты, что игроки И1 и И2 имеют в запасе соответственно N1 и N2 "честных" монеток. Они бросают монеты поочередно: если выпадает решка, то монетку забирает И1, если орёл, то забирает И2. Игра заканчивается, как только у одного из игроков не окажется денег. Какова вероятность того, что выиграет И1? Вероятность того, что игра когда-нибудь окончится, составляет 1, поскольку чем дольше продолжается игра, тем больше вероятность выпадения всех орлов или всех решек подряд N1+N2 раз. При отсутствии иных ограничений на игру, вероятность выпадения N1 + N2 орлов или решек подряд стремится к 1 с увеличением числа бросков. Поэтому кто-то из двух обязательно выиграет. Вероятность выигрыша одного и, соответственно, проигрыша другого игрока составляет:
  • Событие 1: И1 выигрывает, И2 проигрывает: N1/(N1+N2);
  • Событие 2: И2 выигрывает, И1 проигрывает: N2/(N1+N2).
События 1 и 2 исчерпывают всю генеральную совокупность событий. Если N1 > N2, то вероятность выигрыша первого игрока больше, чем второго. Подчеркну, что речь идет о тенденциях при большом числе игр. На этом, собственно, и выезжают все казино. В среднем на больших интервалах времени банкодержатели оказываются "в плюсе". Суть же выигрышной стратегии игрока состоит, как мы видели, в управлении рисками.

Ну, хорошо, а каким боком это касается бедного Дарвина? Непосредственно, причём настолько, что от его теории практически ничего не остаётся. Наложение массива случайностей на результаты естественного отбора — смертельный удар по дарвиновской теории. Cлучайный отбор в среднем подавляет естественный отбор. Для того, чтобы дарвиновская эволюция в среднем работала, она должна была бы уметь бороться с потерей полезных мутаций как вследствие дрейфа и других случайных факторов (назовём это проблемой Кимуры), так и вследствие множественности признаков, по которым ведётся отбор (эффект Хилла-Робертсона, который, насколько я могу судить, связан с проблемой Холдейна).

Сначала несколько важных терминов.

Закрепление (фиксация) мутации — событие распространения мутированного гена на всю популяцию организмов. Мутации в дарвиновской модели полагаются случайными.

Cелективное преимущество — разность (в процентах от размера популяции) между долей мутированных особей и долей популяции без данной мутации. Например, селективное преимущество в 1% соответствует ситуации, при которой 50.5% особей имеют данную мутацию, а оставшиеся 49.5% нет.

Аллель — одна из возможных форм одного и того же гена. Аллели расположены в одинаковых участках (локусах) гомологичных (парных) хромосом; определяют варианты развития одного и того же признака.

Дрейф генов — явление изменения частот аллелей в популяции вследствие случайных событий. Генетический дрейф препятствует закреплению положительных мутаций. Для закрепления некоторая положительная мутация в реальности должна характеризоваться статистически значимым селективным преимуществом, чтобы перебороть отрицательное влияние дрейфа генов (то есть либо сразу возникнуть в большинстве особей популяции, либо каким-то иным образом достаточно быстро распространиться по популяции при минимальном отрицательном влиянии дрейфа; в реальности, вероятно, мутации не являются случайными, и мутационный отклик на определенные изменения среды запрограммирован, но это уже не дарвиновская модель).

Итак, рассматривается генетический состав популяции организмов во времени. В частности, нас интересует, какова вероятность того, что некоторая мутация будет закреплена (зафиксирована) в популяции, что, собственно, и будет проявлением эволюции.

Мутации могут быть полезными (предоставляющими особи репродуктивные преимущества в данных условиях среды обитания), нейтральными и, наконец, вредными. Подавляющее большинство мутаций либо вредны, либо нейтральны. Для того, чтобы прочувствовать, почему это так, представьте себе, что функционирующий программный код подвергается случайным посимвольным изменениям. Понятно, что в подавляющем большинстве случаев ничего кроме вреда для программы это не принесёт. Нейтральные мутации можно проиллюстрировать не меняющими смысл изменениями в тексте диагностических сообщений, выдаваемых программой в журнальный файл или на консоль.

Проблема, о которой говорит автор статьи, состоит в том, что чрезвычайно редкие полезные мутации, которые, согласно Дарвину, должны быть отобраны и зафиксированы отбором по популяции (а это произойдёт только при условии, что селективное преимущество статистически значимо), тонут в море случайных событий, не имеющих вообще никакого отношения к селективному преимуществу. В отличие от умелого игрока, управляющего рисками и распределяющего свои средства на множество ставок, естественный отбор никакого управления рисками не производит, но должен рассчитывать на то, что мутированный ген появится в значительном числе особей в популяции (в случае сложных генов, то есть относительно большого количества функциональной информации, на это рассчитывать не приходится). Иначе его ждёт то же банкротство, что и игрока: ресурсы будут потрачены впустую и полезная мутация упущена. Особи с генами, содержащими полезные мутации, могут не произвести потомства по множеству причин, никак с теорией не связанных (и, соответственно, не учитываемых), например, эти особи могут быть банально съедены хищниками, уже не говоря о влиянии генетического дрейфа. Влияние случайностей на стратегию игры (в данном случае, игра идёт за фиксацию полезных мутаций отбором) и ведёт к банкротству эволюции (по аналогии с банкротством игрока).

Но в реальности дела обстоят ещё хуже. Проблема не только в том, что селективное преимущество должно быть статистически значимым само по себе, но и в том, что селективные преимущества по разным признакам ослабляют друг друга. Из этого следует, что существует практический верхний предел селективного преимущества. Например, предположим, что в популяции антилоп появлялись две особи: одна является носителем полезной мутации А, улучшающей зрение, а другая носителем полезной мутации В, улучшающей скоростные характеристики животного; предположим также, что селективное преимущество, доставляемое мутацией А, больше преимущества, доставляемого мутацией В. Тогда вероятность закрепления мутации А по популяции будет выше, чем В; мутация В в результате закрепления А будет потеряна для популяции. Таким образом, дарвиновская эволюция в этом случае упустит шанс использовать полезную мутацию В и будет вынуждена дожидаться у моря погоды повторного её появления в популяции. Разумеется, чем "сложнее" ген, тем меньше вероятность такого события. Поэтому, — отмечает автор статьи, — в случае появления в популяции множественных признаков, каждый из которых предоставляет селективные преимущества, эти преимущества по необходимости являются незначительными в силу их взаимного ослабления.

Автор ссылается на книгу John Sanford "Genetic Entropy", где математически показывается, что этот практический предел обычно составляет всего s=1% (50.5% популяции с мутацией и 49.5% без неё). Исключения составляют случаи, где давление отбора значительно и фиксация полезных признаков в популяции действительно имеет место даже при относительно малых селективных преимуществах. Эти случаи известны в литературе и их можно пересчитать по пальцам одной руки.

Далее, слабость селективного преимущества означает, что у него нет шансов в среднем на достаточно большом промежутке времени вследствие влияния таких случайных факторов, как генетический дрейф. Таким образом, в среднем, полезные мутации, возникающие в популяции, будут не закрепляться, как предполагал Дарвин, а теряться со временем. Дарвин сильно ошибался...

Умный игрок типа Эда Торпа может выжидать, не рискуя всеми деньгами сразу, ставить постепенно и понижать ставки с проигрышем, надеясь выехать в среднем на большом числе ставок. А что мы хотим от "слепого часовщика"?! Он, как мы много раз видели в предыдущих записях (см. напр., здесь), может очень и очень немного. Модель Дарвина работает в частных случаях, когда исключено влияние большого числа случайных факторов, отбор ведётся по небольшому числу признаков (1-2), селективное преимущество мутаций статистически значимо и пр.). В среднем же теория Дарвина не работает по "железной" причине: в силу закона больших чисел. Время работает против дарвиновской эволюции, не умеющей управлять рисками, а не на неё, как ошибочно полагал Дарвин.

Автор статьи приводит цитату из книги Мотоо Кимуры, создателя теории нейтральной эволюции: If a mutant gene is selectively neutral the probability is 0.79 that it will be lost from the population. [...] if the mutant gene has a selective advantage of 1%, the probability of loss during the first seven generations is 0.78. As compared with the neutral mutant, this probability of extinction is less by only .01. Theoretical Aspects of Population Genetics, Motoo Kimura and Tomoko Ohta

Из этой цитаты видно, что, по модели Кимуры, вероятность потери популяцией гена с селективным преимуществом в 1% в седьмом поколении составляет 78%, что всего на 1% меньше, чем вероятность потери гена с нейтральной мутацией (79%). Таким образом, селективное преимущество в 1% — это шум, но на большие значения селективного преимущества эволюции расcчитывать тоже не приходится в силу закона больших чисел и множества факторов, влияющих на генетический пул. Маловато будет, маловато (с). По Кимуре, это преимущество будет утеряно дрейфом через десяток поколений. Интересная статья. Автор не без злой иронии отмечает, что у Дарвина было плохо с математикой в школе. "За компанию" пинать нехорошо, но для себя я вопрос с дарвинизмом с научной точки зрения закрыл. Банкротство игрока — это банкротство Дарвина.

Это фиаско ставит жирную точку в увлекательной, но столь же поучительной истории с теорией Дарвина.

***

Для тех, кто продрался сквозь всю эту "музыку", в заключение приведу несколько важных комментариев под статьёй, проясняющих суть дела.

Особенно прошу обратить внимание на критическую заметку американского популяционного генетика Joe Felsenstein против обсуждаемой мной статьи (то есть в защиту дарвиновской модели) на известном сайте сторонников теории эволюции Panda's Thumb здесь. В основном, он, как и полагается убеждённому дарвинисту, подчёркивает, что успех отбора объясняется тем, что, как и в игре, распределение вероятностей динамически изменяется и что рекомбинация, доставляемая половым размножением, сильно ускоряет процесс фиксации. Это верно, и всё же Джо Фельзенштейн в своей критической заметке выдаёт желаемое за действительное (см. комментарий 1 ниже). При его допущениях вероятность фиксации полезной мутации в 2% действительно больше вероятности фиксации нейтральной мутации в 40 тыс. раз, а вероятность фиксации вредной мутации есть практический нуль. Да, но проблема в этих самых 2%, которые означают, что даже при тех допущениях, которые навскидку принял американский специалист по генетике, вероятность потери этой самой полезной мутации составит 98%.

Комментарий 1. His [Joe Felsenstein's] critique is nonsense. He compares the 2% chance of fixation of an s=.01 trait to the .00005% chance for a neutral trait, and screams “See! Natural selection works! It’s much higher than the neutral trait!” But the elephant in the room is that there’s only a 2% chance of fixation, and a 98% chance of elimination. Genetic drift is in fact the enemy of new mutations, even if advantageous, and it kills them off 98% of the time. And we’re supposed to be impressed by the “power of natural selection.” The problem becomes even more severe in smaller populations. He assumes a population of 1M. What of smaller populations? And what of the problem of sexual reproduction? In sexual reproduction, only 1/2 of the parental genetic variation is passed on to each offspring. That’s a 50% loss in the case of an only child. The problem is mitigated with more children, but not solved. Sexual reproduction increases recombination, but substantially decreases the odds that mutations will be passed on …

Комментарий 2. If the player’s advantage is 1% the house advantage is -1%. The house advantage was implicilty stated in my essay. Skilled gamblers, like those who were part of the MIT team did not play games that had conditional independence (like roulette), but games where the probability of an outcome was influenced by the observation of past events. Their minds were sufficiently keen to be able to recognize when table games offered an avantage. For example, a skilled gambler can look at a table and watch the cards being dealt. In certain games if a high proportion of fours, fives, and sixes are have been dealt in relation to tens and aces, the player can have an edge of as much as 5% over the house. The house edge in that case is -5%. What the MIT team did was to station spotters at the tables. The spotters played $25 a hand. When the dealer had dealt out a disproportionate number of low value to mid value cards (2,3,4,5,6,7), the conditional probability density was highly favorable. The spotter would signal the big player who would then wander over the table, pretend he was drunk, and lay down a $5,000, $10,000….$80,000 bet. I think the record for the MIT team was when Semyon Dukach laid down an $80,000 bet. With a 5% advantage, the expected value for an $80,000 bet is: $80,000 * .05 = $4,000 The problem is with an $80,000 bet you generally win or lose, you never get the expected value. The expected value is realized over many trials through averaging…. Risk managment entails picking the right percentage of the total reserves in cash and wagering a fraction of the reserves on each bet or portfolio position… Wager too much and gambler’s ruin results. Wager too little, and too little money is made. The appropriate proportion was determined by MIT professor John Kelly. Thorp was the first gambler to: 1. figure out how to achieve an advantage by avoiding games with conditional independence and choosing games with conditional dependence 2. use Kelly risk managment techniques Thorpe realized some roulette wheels had design flaws which favored certain numbers. He and Claude Shannon built a hidden wearable computer that they brought to the casino to analyze and exploit roulette wheel flaws….

Комментарий 3. Genetic drift is the tendency of populations to become more homogenous over time — minority variations are wiped out by stochiastic processes. In order for a new mutation to take over a whole population, it has to be so advantageous that it overcomes the general tendency of populations to weed out such mutations. Bottom line: genetic drift is another way the deck is stacked in favor of the original design, not the mutant.

Комментарий 4. Scordova: Thank you for the very interesting article, which adds more fuel to the arguments against darwinian evolution, and clarifies many important aspects.I would try to make a brief summary of some important points, as we often discuss them separately, and can’t see them in their logical relations:1) Random variation (RV) is the only available engine of variation in theories which exclude design. All the recognized causal mechanisms of variation (sinlge point mutations, deletions, inversions, duplications, genetic drift, and so on) are in essence random.2) The power of RV to create new useful complex information (CSI) is strictly dependent on the ratio of functional results to the whole serach space. The transition from a preexisistng condition to a new condition which exhibits new CSI (and which, therefore, could be in theory selected) is, as far as we can judge, a completely negligible possibility, due to the huge search space of even the simplest proteins. The probabilities become even more prohibitive for any multiple level of information, involving for instance multiple proteins in specific relation.3) If the new level of functionality is irreducibly complex (IC), then it cannot be deconstructed in simpler functional units (with the same function), and should be achieved in its entirety before being selected. The alternative of “cooption” poses even more formidable improbabilities, having to realize a critical concurrence of independent functions in the huge space of all the possibilities.4) Anyway, most mutaions seem to be neutral, and therefore cannot be selected. Neutral mutations can be “fixed” only by genetic drift, which, being a totally random process, adds nothing to the considerations of point 1 and 2.5) Even if, overcoming the impossibilities of the first 4 points, some beneficial muation can emerge in an individual, its probabilities of being selected are extremely small, as well shown in the above article. It could be useful to remember that, when we speak of a beneficial mutation giving a 1% advantage of reproduction, we are assuming a lot. Most single mutations, even if potentially beneficial, would not be able to generate really a 1% reproductive advantage. A reproductive advantage, even small, is really a big thing, and usually would require a lot of new, coordinated CSI. The only exception (and, indeed, the only examples really known of natural selection) are scenarios of extreme selective pressure (like antibiotics) combined with the possibility that simple, essentially destructive mutations can protect from the pressure. In that case, and only in that case, many of the difficulties described in the above points do not apply.6) All those mechanisms however, even if improbable or quite impossible, require anyway lots of reproducing beings and short inter-reproductive time. To try to apply them to complex, and rare, and slow animals, like mammals, is not only a fairy tale, but a really bad one.

Комментарий 5 (автор scordova): Natural Selection is daily and hourly scrutinising, throughout the world, the slightest variations; rejecting those that are bad, preserving and adding up all that are good.C.DARWIN sixth edition Origin of Species — Ch no.4 Natural SelectionDarwin uses the word “all” not “some”. The reality is that it is not even “most”, much less “all”. I have refuted Darwin’s claim, as stated in Origin’s, decisively. Kimura and Ohta point out:The fact that the majority of mutations, including those having a slight advantage, are lost by chance is important in considering the problems of evolution by mutation, since the overwhelming majority of advantageous mutations are likely to have only a slightly advantageous effect. Note that a majority of mutations with large effect are likely to be deleterious. Fisher (1930b) emphasized that the larger the effect of the mutant, the less it its chance of being beneficial.In our opinion, this fact has not fully been acknowledged in many discussion of evolution. It is often tacitly assumed that every advantageous mutation that appears in the population is inevitably incorporated.page 11 (Theoretical Aspects of Population Genetics) Darwin was responsible in large part for the false assumption that “every advantageous mutation that appears in the population is inevitably incorporated”. But Kimura and Ohta demonstrate this claim is false by several orders.

1 comment:

  1. Как в известном меме: "Ничего не понятно, но очень интересно".
    Крутой блог и тема, жаль, далеко не все понятно ((

    ReplyDelete

Запись дня

Нерегулярность и неаддитивность функции

Claude Shannon by Alfred Eisenstaedt / The LIFE Picture Collection / Getty Рассмотрим стандартное возражение эволюционистов*, в котором утве...