Google представила новый ИИ-модель DolphinGemma, разработанную в сотрудничестве с Wild Dolphin Project (WDP) и учеными из Georgia Tech. Цель проекта — лучше понять коммуникативные модели диких атлантических пятнистых дельфинов.
На протяжении почти 40 лет WDP изучает группу дельфинов на Багамах, создавая огромную базу данных аудио- и видеозаписей. Эти данные содержат подробную информацию о дельфинах, их звуках, поведении и социальных взаимодействиях.
DolphinGemma обучена с использованием этих данных и применяет аудиотехнологии Google, включая токенизатор SoundStream, для преобразования звуков дельфинов в цифровой формат. Модель способна идентифицировать, анализировать и даже генерировать реалистичные последовательности звуков, таких как свисты, щелчки и импульсы. Она работает аналогично языковым моделям, прогнозируя следующие звуки в последовательности.
Исследователи используют DolphinGemma на местах с помощью смартфонов Google Pixel для записи и анализа данных под водой. Одновременно команда применяет систему CHAT (Cetacean Hearing Augmentation Telemetry), связывая специальные искусственные свисты с объектами, такими как водоросли или игрушечные тряпки. Цель заключается в том, чтобы дельфины научились использовать эти звуки для взаимодействия с исследователями. Смартфон Pixel распознает в реальном времени, какой тон дельфин повторяет, и акустически сообщает дайверу, какой объект запрашивается.
Эта комбинация ИИ, мобильных технологий и многолетних полевых исследований стремится выявить структуры языка дельфинов и в конечном итоге обеспечить форму взаимодействия между людьми и дельфинами. Google планирует выпустить DolphinGemma как открытую модель летом 2025 года, позволяя другим исследовательским группам использовать её для анализа коммуникации морских млекопитающих.
DolphinGemma является частью более широких усилий Google по применению ИИ к изучению коммуникации животных, особенно морских млекопитающих. В рамках программы «AI for Social Good» Google сотрудничает с NOAA для разработки ИИ, анализирующего аудиоданные с гидрофонов, записывающих звуки морских млекопитающих с 2005 года в двенадцати точках Тихого океана. Недавно модель Google помогла идентифицировать таинственный подводный звук как ранее неизвестный призыв кита Брайда.
