Учёные из MIT создали нейросеть PixelPlayer, которая умеет отличать музыкальные инструменты на видео. С её помощью можно выборочно отключать инструменты и делать их погромче, сообщает Engadget.
PixelPlayer уникален тем, что работает сразу с тремя алгоритмами. Нейросеть определяет какой инструмент изображён на видео, затем выделяет его звуковую дорожку, потом синхронизирует данные. Чтобы обучить её этому, учёные использовали различные музыкальные видео. Их общий хронометраж превышает 60 часов.
После обучения, нейросеть научилась отличать музыкальные инструменты, которые изображены на видео. По заявлению разработчиков, PixelPlayer способен идентифицировать до 20 различных инструментов. Engadget отмечает, что алгоритм пока что работает не идеально. К примеру, он может ошибаться при взаимодействии с похожими инструментами.
Разработка MIT пригодится при редактировании старых аудиофайлов или работе с концертными аудиозаписями. PixelPlayer также можно использовать для обучения роботов методам определения различных звуков окружающей среды, таких как животные, транспортные средства и приборы.
MDlavka — наш магазин для любимых читателей. Новинки техники Apple по самым приятным ценам ждут вас каждый день с 10:00 до 21:00. Указав промокод macdigger при оформлении заказа, получите скидку 500 руб.
Следите за новостями в нашем Telegram-канале, а также в приложении MacDigger на iOS.
источник
