Компромисс смещение/дисперсия

Я помню, как мне написали комментарий: запусти, мол, нейронную сеть, и она всё за тебя решит. Хорош аргумент: раз система называется экспертной, значит, эксперта мы можем отправить на пенсию, заменив его машиной.

Может быть, и можно будет отправить его на пенсию, только вот от настроек никуда не денешься. Формулировать модель для решения задачи, в том числе выбирать независимые переменные (feature engineering), а также настраивать систему на оптимум поведения (hyperparameter tuning) должен человек, исходя из экспертного опыта. Задачу ему можно, конечно, облегчить, поручив основную механическую вычислительную работу технике. Но окончательное решение должен принимать именно человек, то есть Programmator Sapiens.

Почему этот круг не замыкается на технике? Потому что практическая задача нахождения приемлемого компромисса между смещением и дисперсией неустранима (the bias vs variance trade-off). И техника здесь никогда не сможет играть определяющую роль. Как формализовать для всех случаев жизни: переобучил ты модель или недообучил?! Решение, зависящее от множества факторов, иногда даже плохо формализуемых, выносит в конечном итоге человек.

Пусть есть некоторая задача, требующая решения. Анализ её (который сегодня делается человеком) служит для выработки рекомендаций, каким способом её решить. Хорошо, выбрали для решения её нейронную сеть. Но кто будет вырабатывать конкретную модель? Каковы её параметры? Ок, применили алгоритм для поиска оптимальных параметров (который, кстати, также имеет целый ряд параметров, подлежащих настройке). Дальше начинаем обучать сеть. Здесь тоже можно автоматизировать. Однако никто не застрахован от того, что данные не смогут претерпеть изменения настолько, что модель начнёт деградировать. Значит, нужен мониторинг модели. Здесь тоже можно поставить автоматику, для того, чтобы отслеживать качество поведения модели. Но вдруг наступает такой момент, когда модель нужно радикально менять. Могут поменяться также сами критерии выбора модели. Вот в таких вопросах выбора и настройки параметров модели и нужен экспертный опыт. Иногда требуется нестандартное мышление, свежий взгляд на проблему. А это творческая задача. Творчество нельзя перепоручить машине. Однако после того, как решение изменившейся задачи найдено, его также можно преобразовать в рутину и запрограммировать. И так далее...

Существуют NFL теоремы, которые объясняют необходимость экспертного знания в конкретной предметной области для того, чтобы выбрать вычислительную модель и настроить её так, чтобы она отвечала конкретному множеству конфликтующих между собой критериев качества. Решение в присутствии множества конфликтующих критериев выносится за счёт компромисса, а здесь без человека, тем или иным образом участвующего в поиске этого компромисса, не обойтись. Всегда будет существовать зазор между тем, что может вычислительная технология, и тем, что может человек. И чем дальше мы выбираем этот зазор между человеческим интеллектом и искусственным, тем труднее будет приблизиться к полному перекрытию зазора. Такая ситуация характерна для систем с асимптотическим поведением, для чего в литературе есть понятие убывающей отдачи (diminishing returns).

Современные информационные технологии — очень сложная область человеческой деятельности. Поэтому здесь профессионалы нередко пытаются набивать себе цену, наводя тень на плетень, чтобы выкачивать деньги на исследования: в ход идут "искусственный интеллект", "экспертные системы" и пр. красивые слова. Но не следует забывать простой вещи: "золотого" решения на все случаи жизни не существует, из правил всегда будут исключения, покрыть которые никогда полностью не удастся, как это бывает в случаях, когда цель отдаляется по мере приближения к ней.

Только коллективный человеческий разум достаточно мощен и одновременно гибок, чтобы быть способным к творческому поиску решения, поверх узких ментальных рамок, как говорят англичане, out of the box. А алгоритм решает только «от и до», каким бы сложным он ни был. Как сказал специалист по машинному обучению Роберт Маркс, сеть, обученная на Бахе, не выдаст Стравинского.