О клиенте
Наш клиент искал альтернативный подход к определению местоположения работников и горнодобывающей техники в подземных шахтах. Традиционные системы позиционирования предполагают использование радиометок, маяков или проводной инфраструктуры, монтаж и обслуживание которых сопряжены с дополнительными затратами.
Команда СКЭНД разработала прототип (PoC) системы визуального распознавания участков шахты на основе компьютерного зрения. Решение предусматривает разделение шахтных выработок на заранее определенные зоны, включая штреки, наклонные выработки и пересечения, с последующей классификацией изображений с камер и присвоением им идентификаторов соответствующих участков.
- Отрасль: Горнодобывающая промышленность и природные ресурсы
- Тип проекта: Прототип решения на базе ИИ и машинного обучения
- Область применения: Определение местоположения в подземных условиях
Задача проекта
Основной задачей проекта стала разработка системы определения местоположения работников и техники в подземных горных выработках исключительно на основе изображений с камер, без использования спутниковой навигации и дополнительного оборудования для позиционирования. Для реализации решения команде СКЭНД предстояло решить следующие технические задачи:
- Сегментация шахтных выработок. Разделить подземную инфраструктуру на отдельные зоны и определить для каждой из них уникальный класс классификации.
- Привязка изображений к участкам. Разработать механизм сопоставления визуальных данных с идентификаторами соответствующих зон шахты.
- Различение визуально схожих участков. Обеспечить распознавание отдельных выработок даже при наличии схожих визуальных характеристик.
- Разработка модели классификации. Реализовать конвейер обработки изображений для определения принадлежности каждого изображения к конкретному участку шахты.
- Оценка качества распознавания. Разработать методику проверки точности классификации и анализа ошибок модели для каждого класса в отдельности.
Обзор проекта
Команда СКЭНД разработала прототип системы определения местоположения на основе классификации изображений с применением машинного обучения с учителем. Для обучения модели был подготовлен набор изображений шахтных выработок, разделенный на пронумерованные зоны, каждая из которых соответствовала определенному участку шахты.
При обработке изображения модель извлекала характерные визуальные признаки и определяла наиболее вероятный идентификатор соответствующей зоны. Поскольку целью проекта было распознавание конкретного участка шахты, а не определение точных географических координат, в качестве основного подхода команда выбрала классификацию изображений.
В результате был реализован подход к визуальному распознаванию местоположения (Visual Place Recognition), позволяющий определять положение работников и техники относительно участков шахтных выработок на основе данных с камер.
Решение
СКЭНД разработала систему на основе компьютерного зрения, которая определяет местоположение по изображениям с камер. Модель анализирует изображение, распознает характерные особенности шахтных выработок и определяет, какому участку шахты оно соответствует.
Основные возможности системы
- Подготовка изображений. Изменение размера и формата изображений для их обработки моделью.
- Распознавание особенностей. Анализ визуальных характеристик, по которым можно различать участки шахты.
- Классификация участков. Сопоставление изображений с заранее определенными зонами шахты.
- Определение местоположения. Выбор наиболее вероятного участка шахты для каждого нового изображения.
- Проверка точности. Сравнение результатов распознавания с известными данными для оценки качества работы модели.
Технологический стек
Для разработки прототипа системы команда СКЭНД использовала Python и инструменты машинного обучения и компьютерного зрения:
- Язык программирования: Python
- Машинное обучение: PyTorch, Torchvision
- Архитектура модели: Vision Transformer (ViT-B/16) с отдельным классификационным слоем для определения идентификаторов зон
- Обработка изображений и данных: NumPy, Pillow
- Оценка модели: scikit-learn, Matplotlib
- Среда разработки: Jupyter Notebook
- Контроль версий: Git
Результаты
Разработанный прототип продемонстрировал возможность определять участки шахты по изображениям с камер и заложил основу для дальнейшего развития систем позиционирования на базе компьютерного зрения.
В рамках проекта команда СКЭНД реализовала:
- Систему распознавания участков шахты. Разработан подход к определению местоположения по изображениям с камер.
- Подготовку данных для обучения. Сформирован набор изображений с привязкой к соответствующим участкам шахты.
- Модель классификации изображений. Реализована обработка изображений и определение наиболее вероятного участка шахты.
- Оценку точности распознавания. Разработаны методы проверки результатов работы модели и выявления ошибок классификации.
- Техническую основу для дальнейшего развития. Подготовлена база для тестирования технологии с использованием камер, установленных на горнодобывающей технике и касках работников.