Big Data. Machine Learning. Data Science.

Не так давно, в конце 2019 года, я принял участие в данном соревновании и занял в нем второе  место. В этой статье я расскажу про задачу и опишу методы ее решения.   Итак, Институт метеорологии Макса Планка и лаборатория динамической метеорологии из  Франции, совместно с Kaggle организовали соревнование по распознаванию типов облаков.  Более 60 волонтеров, по предоставленной инструкции, разметили около 10000 спутниковых  снимков и на них выделили 4 типа облаков. В соревновании участникам предлагалось  построить алгоритм машинного обучения, который автоматизирует обнаружение облачных  паттернов путем обучения по данным, размеченным человеком.  Соревнование имело достаточно низкий порог вхождения (здесь не было датасетов в 600 Гб  и миллионов картинок). К тому же, у меня уже был определенный опыт решения задач по  сегментации. А три лучшие команды имели возможность получить призовой фонд  в размере 10 000 ...

Некоторое время назад на Geektimes вышла занимательная статья про критическую оценку результатов глубинного обучения . Статья очень занимательная и интересная, открывает много нового тем, кто интересуется, но не очень-то и погружён в тему Искусственного Интеллекта, искусственных нейронных сетей и глубинного обучения. Так что я рекомендовал бы прочитать сначала её, а потом вернуться к этой моей заметке, которая является своеобразным ответом на эту статью. Но если читать её неохота или нет времени, то вот тезисы: Для работы систем глубинного обучения необходимо много качественных данных, которые должны быть предварительно очищены и размечены специалистом. Чем глубже степень системы, тем больше данных требуется. Системы глубинного обучения работают только с теми типами данных, на которых происходило обучение, и они всё ещё не могут обобщать и переносить найденные закономерности на данные других типов, даже очень близких. Системам глубинного обучения очень сложно работать с иерархичес...