Big Data. Machine Learning. Data Science.

Не так давно, в конце 2019 года, я принял участие в данном соревновании и занял в нем второе  место. В этой статье я расскажу про задачу и опишу методы ее решения.   Итак, Институт метеорологии Макса Планка и лаборатория динамической метеорологии из  Франции, совместно с Kaggle организовали соревнование по распознаванию типов облаков.  Более 60 волонтеров, по предоставленной инструкции, разметили около 10000 спутниковых  снимков и на них выделили 4 типа облаков. В соревновании участникам предлагалось  построить алгоритм машинного обучения, который автоматизирует обнаружение облачных  паттернов путем обучения по данным, размеченным человеком.  Соревнование имело достаточно низкий порог вхождения (здесь не было датасетов в 600 Гб  и миллионов картинок). К тому же, у меня уже был определенный опыт решения задач по  сегментации. А три лучшие команды имели возможность получить призовой фонд  в размере 10 000 ...

Что ж, вода камень точит, и давеча сорока на хвосте принесла отличную новость — в рамках раздела «Исследования и разработки» программы «Цифровая экономика» будут созданы консорциумы, как минимум, в четырёх фундаментальных направлениях: Искусственный Интеллект Большие данные Виртуальная и дополненная реальность Квантовые технологии На самом деле, там декларируется 10 «сквозных» технологий, но по моей инсайдерской информации первыми пойдут указанные четыре. И всё это очень отрадно, поскольку вот эта деятельность направлена на захват будущего, а не на фиксацию на прошлом, как это бытует у нас обычно. А это значит, что в основном работа будет вестись с молодёжью и инновационными компаниями, а не закостеневшими в своей бюрократии организационными монстрами, тянущимися с советских времён. Впрочем, это могут быть всего лишь мои надежды, но мы посмотрим. Какой совет можно дать? Надо держать ухо востро и смотреть, что происходит в теме, включаться в работу, входить в консорциумы и ра...

В последнее время я все чаще задаюсь вопросом - а нужно ли моделировать бизнес-процессы в проектах, связанных с анализом данных? И если нужно, то какую нотацию использовать? В моей практике работы бизнес-аналитиком в ИТ я вот уже несколько раз сталкивалась с требованием описать бизнес-процессы на проектах, целью которых являлось создать инструмент для автоматизированной генерации рекомендаций на основе данных из учетных систем. В первый раз эта задача мне поступила на проекте для гос.органа. Ему перед каждой проверкой нужно было формировать список личных дел граждан-получателей пособий, которым с высокой вероятностью либо не доплатили, либо переплатили, либо выплатили средства с нарушением сроков. Я была крайне удивлена тому, что для решения этой задачи нужно моделировать бизнес-процессы, ведь в основе создания рекомендаций лежат, в первую очередь, данные, и нужно анализировать, скорее, ER-модель, а не последовательность бизнес-процессов. Тем не менее, требование Заказчика - за...