Команда из MIT Sea Grant, Woodwell Climate Research Center, MIT CSAIL, MIT Lincoln Laboratory и компании Intuit представила рабочую систему автоматического подсчета рыбы с помощью компьютерного зрения. Проект посвящен речной сельди (river herring), чья численность в Массачусетсе заметно снизилась за последние десятилетия.
Каждую весну эти рыбы поднимаются из прибрежных вод в реки на нерест. Для экологов это важный индикатор состояния водных экосистем. Чем точнее учет миграции, тем лучше можно планировать меры по сохранению популяции и управлению рыболовством.
Почему старые методы уже не справляются
Традиционный учет обычно строится на визуальных наблюдениях, часто с участием волонтеров. Такой подход полезен, но у него есть ограничения: люди наблюдают лишь в короткие дневные окна, зависят от погоды и прозрачности воды, а пики прохода рыбы могут длиться считанные минуты.
Кроме того, значительная часть движения происходит ночью. Это значит, что вручную легко пропустить важные эпизоды миграции и получить неполную картину.
Как устроена новая система на базе ИИ
Исследователи собрали сквозной пайплайн: подводные камеры в реках, разметка видео, обучение модели и автоматический подсчет. Данные брали из трех рек Массачусетса: Coonamessett, Ipswich и Santuit.
Чтобы модель работала в реальных условиях, в обучающий набор включили разные сценарии: изменение освещения, мутность воды, плотность рыбы, сезон и время суток. Затем специалисты вручную разметили ролики по кадрам (bounding boxes, то есть рамки вокруг рыбы, чтобы алгоритм «видел» объект и его траекторию).
- Размечено: 1 435 видеофрагментов
- Аннотировано: 59 850 кадров
- Проверка точности: сравнение с ручным видеоанализом, визуальными подсчетами у реки и данными PIT-тегирования
PIT-тегирование — это метод, при котором рыбу отмечают мини-метками, а затем фиксируют ее прохождение через контрольные точки. Такой источник помогает объективно сверять результаты ИИ.
Что показали результаты
Лучше всего сработали модели, обученные на данных из разных рек и за несколько лет. Они дали детальные сезонные оценки, сопоставимые с классическими методами мониторинга, но с большей непрерывностью и разрешением по времени.
На примере миграции 2024 года в реке Coonamessett система зафиксировала 42 510 особей речной сельди. Также удалось увидеть поведенческие закономерности: пик движения вверх по реке приходился на рассвет, а обратное движение чаще происходило ночью, когда темнее и тише, что, вероятно, снижает риск встречи с хищниками.
Почему это важно для индустрии ИИ и экологии
Этот кейс показывает, как deep learning переходит из лабораторий в прикладную экологию. Здесь ИИ не просто «классифицирует картинки», а закрывает реальную управленческую задачу: дает надежные данные для решений по биоразнообразию.
Для рынка ИИ это важный сигнал: у недорогих видео-решений есть большой потенциал в природоохранных проектах. Для гражданской науки это тоже плюс, потому что волонтеры не исчезают из процесса, а получают новую роль — обслуживание камер, разметка данных, верификация моделей.
ИИ не заменяет людей, а усиливает их
Авторы подчеркивают: на переходном этапе классический мониторинг нужно сохранять, чтобы не разрывать длинные исторические ряды наблюдений. Оптимальная стратегия — объединять данные людей и алгоритмов. Такой гибридный подход дает более целостную картину состояния рек и популяций.
Исследование опубликовано в журнале Remote Sensing in Ecology and Conservation и может стать практической рамкой для мониторинга не только сельди, но и других водных видов.