Мозговая атака: как разрабатывают ПО для российских беспилотников

Про гугломобили слышали все. Но мало кто знает, что и в России есть специалисты, которые разрабатывают уникальное программное обеспечение для систем автономного управления.

Ездить на автомобилях, увешанных нештатными приборами и мониторами, мне доводилось не единожды. Но это всегда происходило на зарубежных полигонах гигантов мировой автоиндустрии. А сейчас я сижу в кроссовере Nissan X‑Trail, превращенном в испытательную лабораторию специалистами московской компании «Когнитивные технологии». Очень показательно: 12 лет назад я ездил по этому же столичному проспекту на вазовской Самаре, считая ее вполне современной и достойной машиной. А теперь выруливаю на улицу на автомобиле, который практически дорос до того, чтобы поехать без помощи человека.

Русский ум

Пока, конечно, это невозможно. Хотя бы потому, что запрещено законом — в автомобиле, согласно Венской конвенции о доро­жном движении, должен быть водитель. Но дорожные знаки, автомобили и пешеходов обвешанный электронными глазами Nissan распознает исправно. Все это отлично видно на экране ноутбука, где иллюстрируется суть работы системы.

Машины-автономники разных производителей почти не отличаются друг от друга набором электронных блоков, датчиков и исполнительных механизмов. Основные изюминки зашиты в программных алгоритмах, управляющих автоматикой. И именно за их секретами я приехал в офис «Когнитивных технологий», где не боятся поделиться некоторыми ноу-хау.

Самое сложное при создании автономных транспортных средств — научить машину ориентироваться и замечать все возможные опасности. Без видеокамер не обойтись. Но обрабатывать данные необходимо со скоростью 20–25 кадров в секунду, а каждый кадр в высоком разрешении содержит миллионы пикселей — требуется мощная (а значит, дорогая) техника.

Находка компании «Когнитивные технологии» — так называемый алгоритм виртуального туннеля. Наши инженеры предложили анализировать лишь зону основного риска. Остальную часть картинки электроника держит в поле зрения, но начинает уделять ей более пристальное внимание, только если там появляются движущиеся объекты, представляющие потенциальную опасность. Фактически это аналог человеческого зрения, к имитации которого тем или иным способом стремятся все разработчики зрения машинного.

Российские специалисты создали, по сути, компьютерную модель фовеального зрения человека: объекты в центре внимания видятся в высоком разрешении, а все остальные — в низком. Ведь при движении на машине на высокой скорости мы смотрим преимущественно вдаль, словно в туннель. Вот и «мозги» автопилота будут обрабатывать в полном объеме лишь 5–10% площади изображения, снятого с объектива видеокамеры.

Так выглядит тестовый Nissan X‑Trail с установленными на нем компонентами машинного зрения.
На крыше рядом с камерами установлены леддары (не путать с лазерным измерителем — лидаром). LEDDAR — light-emitting diode detection and ranging, система распознавания и измерения расстояния до объектов на основе невидимого светового излучения. Устройство посылает импульсы с частотой 100 000 раз в секунду и ловит отраженный сигнал.	Сейчас радар установлен на виду, но в окончательном варианте его спрячут в бампере. Тонкая пластиковая скорлупа работе не помешает, не собьет его с толку и наледь со снегом.

Кроме того, машинное зрение должно иметь высокую степень адаптации к российским условиям эксплуатации. К примеру, в систему заложена определенная погрешность, возникающая из-за значительных вертикальных колебаний и смещения линии горизонта на разбитых дорогах. При этом приходится жертвовать точностью обработки данных или быстротой, но в конечном итоге такой подход дает более качественную картинку по сравнению с «нежными» зарубежными аналогами.

Зная специфику российских дорог, при разработке алгоритма не полагались и на идеальную дорожную разметку. Линии на асфальте электроника распознаёт по совокупности факторов. Когда знакомые белые или желтые полосы видны компьютерному глазу слабо, он подключает механизм сложной аналитики. Пусть разметка больше похожа на грязные пятна, но если они повторяются через определенные интервалы и сходятся к линии горизонта, то с большой долей вероятности это и является ориентиром. Кроме того, компьютер может обратиться за подсказкой к цифровым картам, в памяти которых есть сведения о количестве полос движения на этом участке дороги.

Похожим образом автоматика распознает и границы дороги. Тут речь даже не о разметке. В России хватает грунтовых трасс, на которых водитель тоже вправе рассчитывать на помощь электроники, а в некоторых регионах по нескольку месяцев в году под снегом не видно даже асфальта. Машинное зрение определяет правильную траекторию по косвенным признакам — по деревьям, ограничительным столбикам и снежным отвалам вдоль дороги, по линии горизонта. Разработчики уверяют, что их электронное детище в таких условиях видит не хуже человека.

Заглянем на кухню

Распознавание объектов на видеозаписи происходит по методу машинного обучения. Сначала накапливается база образов для электронного разума. Ее можно формировать вручную: операторы на каждом кадре отмечают объекты и присваивают им категории (человек, велосипед, дорожный знак, машина). Можно доверить процесс инструментам-детекторам, тогда останется только проверить за ними работу. Когда меток накопится достаточно, система будет сама по аналогам распознавать те или иные объекты.

Отдельная категория — так называемые препятствия общего рода. К ним относятся объекты, которые радары и камеры «видят», но не могут соотнести с заложенной в их память базой. Это, например, животные или упавшие деревья: многообразие их форм и размеров делают попросту невозможным формирование полной базы для компьютерного мозга.

Непросто и с пешеходами. Они тоже сильно отличаются друг от друга в зависимости от пола, возраста, времени года (слишком разнится одежда) и сопутствующих предметов (сумки, зонтики, коляски). Но с пешеходами никаких поблажек разработчики себе позволить не могут: это одна из главных ежеминутных опасностей, а потому система обязана знать все ее нюансы досконально.

Еще один сложный для идентификации элемент — светофор. Автоматика должна не только узнать его, но и определить, какой сигнал в данный момент горит. Электроника ориентируется на характерную форму объекта, возможное место его расположения (выше автомобилей) и цвет включенного сигнала. Программа учитывает, что машина может стоять в левом или правом рядах многополосной дороги, - соответственно изменяется сектор обзора. Вдобавок на некоторых перекрестках в поле зрения камеры попадают сигналы для других направлений движения. Отсечь их помогают подробные цифровые карты, дающие подсказку об архитектуре перекрестка и расположении светофоров на нем.

Если распознавание сигнала опирается только на его цвет, систему в первую же ночь сведет с ума обилие задних габаритных огней. Инженеры закладывают в алгоритм ряд критериев, помогающих компьютеру точно идентифицировать светофоры и не обращать внимания на ложные раздражители. Например, габаритных фонарей у автомобиля должно быть два, они симметрично расположены, а между ними — подсветка номерного знака или третий стоп-сигнал. Если система распознала такой набор признаков, значит это точно не светофор.

Свой путь

«Когнитивные технологии» пошли по иному пути, нежели Google. Американцы «щупают» дорогу — это сенсорный подход. Гугломобили неплохо ориентируются в идеальных условиях, но, когда их попытались запустить по нашим дорогам в осеннюю слякоть, высокотехнологичный робот сразу сдался.

Российский же вариант — антропоморфный: он имитирует человеческое зрение. На тестовом автомобиле, предназначенном для обкатки технических решений, установлены и камеры, и радары. Камеры хуже видят в плохую погоду, но необходимы для поддержки радаров, поскольку не только фиксируют наличие объекта, но и идентифицируют его. Конечно, чудес не бывает: одинаково хорошо видеть в любую погоду машинное зрение не может. Снег и туман заставят систему, как и человека, снизить скорость автомобиля.

Пока тестовая машина не умеет ездить без водителя. Но объекты дорожно-транспортной инфраструктуры распознаёт уверенно. Инженеры говорят, что их детищу по силам учитывать и достаточно сложные нюансы повседневной езды. Это просто необходимо, раз уж поставлена задача построить автономный автомобиль. Нужно притормозить перед идущим пешеходом, если камера распознала зебру и соответствующий дорожный знак. Нужно держать в памяти человека, на время скрывшегося за столбом или деревом, но рискующего оказаться на линии движения автомобиля. В то же время останавливаться не следует, если в аналогичной ситуации человек просто стоит на краю тротуара. Электронный мозг способен обнаружить, что впереди — «лежачий полицейский», и тоже снизить перед ним скорость.

Систему учат правильно вести себя в типовых ситуациях вроде проезда пешеходных переходов, перекрестков, жилых зон. Благо, материала для создания базы стереотипов в России море — спасибо выложенным в интернет многочисленным записям с видеорегистраторов. Да-да, аварии рядовых водителей помогают электронике стать умнее. К примеру, робота можно научить замедляться, если на перекрестке предусмотрен поворот налево через встречный поток. Как правило, обзор при маневре ограничен; аварии при таких обсто­ятельствах относятся к числу наиболее частых.

Важный момент — поведение автопилота в экстремальной ситуации. Я полагал, что он будет действовать так, как предписывают Правила, то есть тормозить до полной остановки, не меняя полосу движения. Однако разработчики всерьез рассматривают возможность маневрирования. При этом электронике нужно быть уверенной, что состояние шин и асфальта позволит соблюсти заданную траекторию, а само перестроение не создаст помех другим участникам движения. Кроме того, необходимо изменить Правила дорожного движения, что, пожалуй, сложнее, чем разработать и довести до ума железо и софт.

Компания «Когнитивные технологии» сосредоточилась на моральном аспекте и даже запустила год назад опрос, результаты которого отражены на картинках. Лично меня от формулировок этого опроса передергивает. Мало того что наши жизни собираются доверить бесстрастным роботам, так их еще и наделят правом решать, кого спасать, а кем жертвовать в случае экстренного маневрирования для предотвращения аварии! Сохранить жизнь выбежавшей на дорогу собаке, но влететь в столб? Спасти пьяного пешехода, но уйти на встречку, рискуя столкнуться в лоб? Уж лучше пусть ­беспристрастный робот сразу, не думая, тормозит в пол.

Автономное управление можно сделать обучающимся. Хотя опасно доверяться системе, которая неизвестно чему научилась. Поэтому разработчики, скорее всего, будут собирать базу новых ситуаций, дорожных знаков, объектов и добавлять ее при плановой перепрошивке электроники. Обновление станет общим для всех автомобилей.

Результаты опроса компании «Когнитивные технологии» о моральных аспектах поведения автопилота
	1. Как должен поступить авторобот, движущийся по дороге с прерывистой линией разметки, понимая, что экстренное торможение в данной ситуации бесполезно? 38%  — продолжить движение и задавить собаку 59%  — повершить маневр перестроения на встречную полосу, отделенную прерывистой линией разметки 3%  — совершить съезд в кювет, понимая, что это приведет к неминуемым глобальным повреждениям автомобиля и критическим для жизни и здоровья травмам пассажира авторобота
	2. Как должен поступить авторобот, движущийся по дороге с двойной сплошной линией разметки, понимая, что экстренное торможение в данной ситуации бесполезно и что перестроение на встречную полосу может привести к лишению водительских прав? 60% — продолжить движение и задавить собаку 34%  — перестроиться на встречную полосу, отделенную двойной сплошной линией разметки 6% — совершить съезд в кювет, понимая, что это приведет к неминуемым глобальным повреждениям автомобиля и критическим для жизни и здоровья травмам пассажира авторобота
	3. На дороге перед машиной А внезапно появляется собака — на таком расстоянии, что при экстренном торможении есть шанс сохранить ей жизнь. Как должен поступить авторобот? 55%  — продолжить движение и задавить собаку 40%  — совершить экстренное торможение, понимая, что это приведет к столкновению с автомобилем Б 1%  — совершить перестроение на встречную полосу, отделенную двойной сплошной линией разметки, по которой движется автомобиль В 4%  — совершить съезд в кювет, понимая, что это приведет к неминуемым глобальным повреждениям автомобиля и критическим для жизни и здоровья травмам пассажира авторобота
	4. На дороге внезапно появляется человек. Как должен поступить авторобот? 38% — продолжить движение и совершить наезд на человека 3% — совершить перестроение на встречную полосу, отделенную двойной сплошной линией разметки, по которой движется автомобиль Б 59%  — совершить съезд в кювет, понимая, что это приведет к неминуемым глобальным повреждениям автомобиля и критическим для жизни и здоровья травмам пассажира авторобота
	5. На дороге внезапно появляются несколько человек. Как должен поступить авторобот? 26%  — продолжить движение и совершить наезд на людей 3%  — совершить перестроение на встречную полосу, отделенную двойной сплошной линией разметки, по которой движется автомобиль Б 71%  — съехать в кювет, понимая, что это приведет к неминуемым глобальным повреждениям автомобиля и критическим для жизни и здоровья травмам пассажира авторобота

Весь алгоритм работы системы от начала и до конца разработан компанией «Когнитивные технологии» и адаптирован для России. Но и в мировом масштабе наш продукт весьма перспективен. Можно праздновать? Если ставить целью предложить свое программное обеспечение производителям автомобилей или систем автономного управления, то ее можно считать достигнутой: прибыль (и немалая!) практически гарантирована. Но в том-то и дело, что задача масштабнее. Хочется создать свой, российский беспилотный автомобиль, который повысит безопасность на наших дорогах и станет конкурентоспособным за рубежом. Совсем замечательно, если и вся электронная начинка в нем будет российской.

И вот тут уже не обойтись без помощи государства. Вкладывать огромные деньги в инновационные продукты, которые рискуют остаться «запертыми» в России из-за санкций, никому не интересно. Разрабатывать дорогущий автопилот для КАМАЗа с годовым спросом на него в несколько тысяч машин — тоже. Значит, власти должны гарантировать выход на внешние рынки и, конечно, помогать финансами. Мне кажется, это их прямой интерес, если, конечно, многочисленные программы безопасности дорожного движения — это не способ убить время в кабинетах и имитация бурной деятельности, а реальная попытка что-то изменить на дорогах. Пока от изначального плана «Когнитивные технологии» и КАМАЗ не отказываются, и в 2018 году беспилотники должны выйти на дороги общего пользования. Очень хочется, чтобы получилось.

НЕ УПУСТИТЬ МОМЕНТ Ольга Ускова, глава компании «Когнитивные технологии» — Как развивается мировой рынок систем автономного управления? — Сегодня это пик развития гражданских технологий. Спрос в сегменте превышает предложение на порядки. Сейчас наблюдается технологическая конкуренция, и это признак первого этапа становления рынка. Далее будут финансовая и кадровая борьба, но до них дело дойдет только после того, как у ведущих компаний появятся продукты, сопоставимые по уровню. — Кто сейчас играет ключевую роль? — Если говорить о компаниях, уже заработавших себе имя, то это израильская фирма Mobileye. Она присутствует на рынке более пятнадцати лет и фактически является монополистом. Отсюда завышенные цены при не самом высоком качестве. Именно ее программное обеспечение использует Tesla. Мы готовы предложить более интересный продукт — лучше и по цене, и в части математической проработки. Мировые эксперты пока ставят наши разработки на второе место. А в целом в сегмент устремились практически все производители автокомпонентов, компании из IT-сектора, а также множество стартап-компаний. — В чем ваше преимущество перед фирмой? — У нас есть технология, повышающая безопасность работы автопилота в экстремальных ситуациях. Мы смоделировали работу гиппокампа человека, выполняющего роль короткой памяти. Система компьютерного зрения компании «Когнитивные технологии» дополняет то, что она видит в данное мгновение, информацией из недавнего прошлого. Это позволяет решить проблему неточного распознавания объектов, находящихся на границе видимости. Будь такая технология у Теслы, не произошло бы смертельного ДТП, когда машина врезалась в грузовик. Их система не только не заметила собственно фургон, но и проигнорировала весь грузовик полностью. А наша помнила бы его по прошлым картинкам, когда он еще не терялся на фоне солнца и только подъезжал к главной дороге. Машину ведь можно идентифицировать по целому комплексу признаков — колесам, подвеске, кабине. — Кто работает в вашей команде? — Наш сектор автомобильных технологий — это около сотни человек. Их средний возраст — всего 25 лет! Кадры поставляют МИСиС, Физтех и МГУ. Каждый из вузов силен в своей области: один — кафедрой инженерной кибернетики, другой — системами распознавания, третий — наработками в области нейронных сетей. — Есть надежда не отстать в этом перспективном секторе от западных стран? — Три года назад, когда зарождался проект с КАМАЗом при поддержке государства, это было перспективно, и наша страна имела шанс войти в число мировых лидеров. Сейчас мы уже отстаем, а через два года, если не будет серьезных сдвигов, всё станет уже безнадежно. В этом смысле от Агентства стратегических инициатив мы ожи­даем более ощутимых результатов. У нас есть некоторые преимущества: технологическое превосходство плюс бренд — КАМАЗ, — известный за рубежом, его не придется раскручивать с нуля. Шансы заявить о себе как о производителе готового продукта пока сохраняются. Не успеем — будем довольствоваться в лучшем случае ролью изготовителя отдельных компонентов. И только при условии, что удастся выйти с ними на внешние рынки. Замкнуться в России со столь ­дорогим и сложным производством — это никому не интересно. — Когда поедем с автопилотом? — Называемый ведущими компаниями срок — 2020 год — более чем реален. Работа над программным обеспечением набрала обороты во всем мире, но для реализации проекта необходимы законодательные изменения. Это не менее важная задача.

Источник