Поделиться

Сбер обучил нейросеть Kandinsky основам физики

Поделиться
Сбер представил семейство генеративных моделей Kandinsky WM 1.0, которые умеют создавать видео с учетом законов физики. Нейросети пригодятся разработчикам беспилотных такси, промышленных роботов и любых систем, которые взаимодействуют с реальным миром — так называемого физического ИИ (Physical AI). 

До сих пор главной проблемой в этой области была нехватка данных. Автомобиль с камерами и датчиками за год накапливает около 5 тыс. часов записей, тогда как современным моделям нужны миллионы часов. А многие сценарии — ДТП, экстремальная погода, отказы оборудования — вообще невозможно воспроизвести в реальности: это дорого, сложно и опасно. 

Модели Kandinsky WM созданы на базе нейросети Kandinsky 5.0 Video Lite, которую дообучили на нескольких миллионах реальных видео — с камер роботов, беспилотных автомобилей и промышленных предприятий. Чтобы ролики стали физически достоверными, разработчики использовали обучение с подкреплением: специальные модели-оценщики проверяли сохранность формы объектов, геометрию сцены и естественность движений, а Kandinsky на основе этой обратной связи учился генерировать более правдоподобные видео.

Видео длятся около пяти секунд и моделируют отдельные действия: манипуляции с предметами (взял, положил, разрезал), дорожные ситуации (перестроение, проезд перекрёстка), этапы производственных процессов. Это базовые «кирпичики», из которых собирается обучение автономных систем. Kandinsky WM 1.0 — первое поколение нейросетей на пути к полноценным моделям мира, которые не просто генерируют картинку, но понимают, как развивается сцена во времени, и могут служить симуляторами для тестирования роботов.

Технический директор Kandinsky, управляющий директор по исследованию данных Сбера Денис Димитров пояснил: человек решает задачи в физическом мире не вычислениями, а интуицией, накопленной из опыта. Модели Kandinsky учатся так же — на видео реального мира. Они позволяют «прожить» виртуально даже те сценарии, которые опасно или невозможно воспроизвести. Это шаг к тому, чтобы ИИ понимал физическую реальность, предсказывал, что произойдёт дальше, и действовал самостоятельно. 

Код и веса моделей опубликованы на GitHub, GitVerse и Hugging Face под свободной лицензией MIT — пользоваться ими могут все разработчики бесплатно . Это первая российская открытая модель для генерации физически достоверных данных; в мире таких систем единицы. 

Модели уже применяют Центр робототехники Сбера для обучения собственных роботов и институт AIRI — для своего дорожного симулятора. В Сбере также рассказали, что в основе Kandinsky WM лежат три специализированные модели: для дорожных сценариев, для манипуляций роборуками и для моделирования сложной физики. 
Теги:
Новости по теме:
Туры на Дальний Восток от BestArctic.ru erid:pjwvokpoevpk
Больше туров
6+ реклама
ООО «Пресс Код ИТ»
ОГРН 1227700267739, ИНН 9725083184
Картина дня Вся лента
Поделиться
Как дальневосточному бизнесу сохранить устойчивость в эпоху перемен

Удорожание логистики и смена привычных цепочек поставок стали серьезным испытанием для дальневосточных компаний. Чтобы найти эффективные решения для работы в новых условиях, свыше 2,5 тысяч предпринимателей со всего Дальнего Востока собрались на масштабный Бизнес-Фест от Сбера.

Читать полностью
Поделиться
Не внедрил ИИ — потерял бизнес

Искусственный интеллект уже перестал быть игрушкой технологических гигантов — его всё чаще примеряют на себя региональные компании из самых разных отраслей. В Хабаровске Сбер провёл «Акселератор» для местного бизнеса, на котором показал, как генеративный ИИ может сэкономить время, деньги и нервы. Строители, ритейлеры, логисты и айтишники делились опытом и страхами. А спикеры из Сбера объясняли, почему откладывать цифровую трансформацию — всё равно что играть в рулетку с собственной конкурентоспособностью. Разбираемся, что предлагает рынок и зачем это нужно именно сейчас.

Читать полностью
Поделиться
«Государство добавит вам до 360 тысяч»

Программа долгосрочных сбережений с государственным софинансированием уже привлекла миллионы участников — и особенно активно ею пользуются на Дальнем Востоке. Почему все больше людей подключаются к ней онлайн, как получить до 360 тысяч рублей от государства и зачем это может быть выгодно даже тем, кому до пенсии еще далеко — объясняет Светлана Кобелева, директор управления финансовой грамотности и эффективности продаж Дальневосточного банка Сбербанка, в интервью для агентства EastRussia.

Читать полностью
Поделиться
Внешняя торговля России в 2024 году: главные вопросы и возможности дальневосточных предпринимателей

Форум «Экспортный потенциал Приморья» представил лучших экспортеров региона. Мероприятие организовал Центр поддержки экспорта, который входит в краевой центр «Мой бизнес» при поддержке Министерства экономического развития Приморского края. Директор управления продаж малому бизнесу Дальневосточного Сбербанка Инна Войскович рассказала EastRussia о главных итогах участия в форуме.

Читать полностью
Поделиться
То, что рынок прописал

Свыше двух с половиной тысяч средних и крупных предприятий страны сегодня проходят цифровую трансформацию при поддержке Сбера. На территории обслуживания Дальневосточного Сбербанка в процессе цифровизации находится более 100 компаний. Они принадлежат к различным отраслям экономики, а общая картина региональной цифровизации в значительной мере отражает хозяйственную специфику субъектов федерации.

Читать полностью
Поделиться
Дорогие деньги на большие проекты

На IX Восточном экономическом форуме состоялась сессия «ВЭБ. РФ: как инвестировать в условиях дорогих денег?». Эксперты обсудили, каким образом при высокой ключевой ставке Центробанка эффективно поддерживать инвесторов, чтобы темпы реализации масштабных проектов развития Дальнего Востока оставались высокими.

Читать полностью
Поделиться
Льготам все едино

Осенью проект федерального закона о едином преференциальном режиме Дальнего Востока и Арктики планируется внести на рассмотрение в Госдуму, с тем чтобы 1 января 2027 года он мог вступить в силу. Его суть – в унификации мер поддержки компаниям-резидентам со стороны государства, повышении эффективности предоставляемых им льгот. В нынешних экономических реалиях всплеска инвестиционной активности ждать, пожалуй, не стоит, но в Минвостокразвития полагаются на достаточно стабильный прирост числа новых инвесторов.

Читать полностью
Поделиться
Инвестиционное Приморье: бизнес готов строить гольф-курорт, жилье и логистический центр

Седьмой в этом году пул приоритетных проектов получил зеленый свет от регионального правительства. Инвесторы намерены комплексно застраивать Снеговую Падь во Владивостоке, расширять жилой фонд Уссурийска и модернизировать логистику у пункта пропуска «Пограничный»

Читать полностью
Поделиться
Ученые из Биробиджана научились разрушать опасный гололед и превращать обычный лед в сверхпрочный материал

Суровый климат требует нестандартных решений. Исследователи НОЦ «АйсТех» разработали экологичную установку для бережной очистки асфальта от толстого наката и одновременно с этим создали уникальный метод армирования, который делает ледовые переправы в пятнадцать раз прочнее.

Читать полностью
Поделиться
«Скорость — новая валюта»: почему бизнес, игнорирующий ИИ, останется за бортом

Пока одни дальневосточные предприниматели только присматриваются к нейросетям, другие уже готовы увольнять топ-менеджеров за отказ работать с AI-агентами. На пятом форуме «Бизнес у моря» во Владивостоке представители власти и IT-рынка обсудили, почему искусственный интеллект стал «новой нефтью» и как цифровые сотрудники меняют архитектуру региональных компаний.

Читать полностью
Больше материалов