Big Data. Machine Learning. Data Science.

Не так давно, 3 февраля 2018 года, в Челябинске прошло мероприятие Python Meetup Chelyabinsk. Это вторая встреча в таком формате и проводила ее компания Antida software.  На встречу пришло около 70 разработчиков из ведущих IT компаний Челябинска. От компании Даталитика были Андрей Литвинов и ваш покорный слуга. Спикеры и темы докладов Ян Анисимов - Введение в нейронные сети с использованием Python Рассмотрены основные архитектуры нейронных сетей, фреймворки и библиотеки для их реализации в среде python.   Дмитрий Федосеев —  Практика использования setuptools Расказ об использование setuptools для подготовки ПО к распространению Дмитрий Никонов —  Apache Airflow: как не растерять свою бигдату Обзор архитектуры и возможностей инструмента разработки batch-процессов обработки данных - Apache Airflow     Иван Громов —  Кросс-доменная политика безопасности в вебе Особенности кросс-доменной безопасн...

Ну что ж, вот и пришло время расставания. Я больше не буду вести блог и радовать вас интересными ссылками, своими комментариями и разными интересными размышлениями. Надеюсь, что я действительно вас всех радовал. Ну а так-то любой всегда может найти в Телеграме . Всем счастливо оставаться.

Некоторое время назад на Geektimes вышла занимательная статья про критическую оценку результатов глубинного обучения . Статья очень занимательная и интересная, открывает много нового тем, кто интересуется, но не очень-то и погружён в тему Искусственного Интеллекта, искусственных нейронных сетей и глубинного обучения. Так что я рекомендовал бы прочитать сначала её, а потом вернуться к этой моей заметке, которая является своеобразным ответом на эту статью. Но если читать её неохота или нет времени, то вот тезисы: Для работы систем глубинного обучения необходимо много качественных данных, которые должны быть предварительно очищены и размечены специалистом. Чем глубже степень системы, тем больше данных требуется. Системы глубинного обучения работают только с теми типами данных, на которых происходило обучение, и они всё ещё не могут обобщать и переносить найденные закономерности на данные других типов, даже очень близких. Системам глубинного обучения очень сложно работать с иерархичес...

А вы вот задавались вопросом о том, откуда берутся специалисты по Искусственному Интеллекту? Ну ок, хорошо, я сам закончил МИФИ с дипломом, в котором написано «Специализация: искусственный интеллект», но это было около 20 лет назад, а с тех пор технологии шагнули о-го-го. Но даже если МИФИ на одной из кафедр выпускает каждый год порядка 20 таких инженеров, как я, из которых менее 1 % потом продолжает работать по специальности, то откуда вот они берутся? Никто не знает. А проблема есть — современные потребности в специалистах по ИИ вообще не закрываются. Вот и британские учёные об этом пишут . Собственно, вот и ответ на волнующий многих вопрос — как быть тем, кого технологии Искусственного Интеллекта выдавливают с работы и лишают рабочих мест? Надо учиться. И учиться надо в первую очередь новым технологиям, особенно технологиям ИИ. Иной здесь увидит проявление положительной обратной связи, но так оно и есть — раз есть неудовлетворённая потребность, её надо заполнять, а заполнить её м...

       Всякая неожиданная живность постоянно заводится в самых неожиданных местах. То же самое произошло и в Челябинске. Наше Machine Learning сообщество образовалось под эгидой ODS всея Руси и сейчас достаточно стремительно развивается. Как образовалось? Сначала просто завели тред в глобальном ODS Slack, а дальше закрутилось. Сейчас перешли в Телеграмм, где уже начинаются холивары за Random Forest:)     Локальные сообщества подразумевают встречи. У нас они начались достаточно рутинно: сначала организационная встреча, на которой поговорили об ML, обсудили совместные планы на жизнь и составили небольшую схему дальнейшего развития.     Если расшифровать и подытожить, к чему мы пришли, то появилось несколько форматов общения и развития сообщества: "Спикер жжёт" - обычный формат лекций. Мини-хакатон - что-то наподобие полноценного хакатона, но меньший по времени, в пределах 6 часов. Тренировки/зарешки - совместное решен...

А вот почитайте пока довольно длинное, но очень интересное чтение о том, какие достижения были получены в области компьютерного зрения в 2017 году . Ведь компьютерное зрение — это важнейшая часть Искусственного Интеллекта, и это так просто постольку, поскольку более 90 % информации об окружающей реальности человек получает через зрение. Зрительные нервные тракты являются самыми «толстыми», а зрительная кора обладает наиболее сложной ассоциативной структурой. Материал на английском языке и довольно сложный, но его чтение того стоит. Конечно, наибольшее количество достижений произошло на фоне применения новых архитектур искусственных нейронных сетей, и, в первую очередь, речь идёт о свёрточных сетях глубинного обучения. И из документы мы узнаем о: Как происходит распознавание образов и их классификация и локализация на изображениях, в том числе когда на одном изображении много таких образов. Как осуществляется детекция объектов и инцидентов, а также как делается трекинг таких объек...

Надо же, в МакКинси начинают понимать истинный смысл технологий Искусственного Интеллекта, но вместо радости они почему-то начинают бить в набат. Давайте-ка разберёмся уже наконец, что же такое эта самая персонификация. Персонификация сервисов — это полный учёт особенностей и потребностей каждого конкретного человека для максимального его удовлетворения. Этот подход возможен буквально во всех сферах жизни — предоставлении государственных и муниципальных услуг, питании и предоставлении материальных благ, образовании, здравоохранении и т. д. Раньше это было невозможно, отсюда возникали процессы стандартизации и унификации для усреднённого потребителя услуг. Далее — стандарты и протоколы (особенно хорошо это видно в области здравоохранения, чуть менее явно в образовании). И если тебе не повезло выбиться за 3 сигмы от нормы хоть в одну, хоть в другу сторону, то увы и печаль тебе. Если ты инвалид, твоя жизнь превратится в ад. Но если ты гений, то твоя жизнь тоже превратится в ад. Просто...

А вы уже читали про то, что создана церковь поклонения ИскИну (ИскИн, в отличие от ИИ, — это самоосознающее искусственное существо)? Один из ведущих мировых экспертов в области Искусственного Интеллекта Энтони Левандовски основал церковь «Путь Будущего» («Way of the Future»). При этом своей мотивацией говорит очень банальную вещь: «Сверхчеловеческий интеллект в конце концов появится, и лучше бы нам уже сейчас заниматься его задабриванием». Это напоминает мне аргумент Блёза Паскаля о вере — дескать лучше верить в бога, потому что если бога нет, то и ничего страшного, а если есть, то лучше бы верить :). Ну да ладно, журнал WIRED опубликовал целое интервью персонажа. В общем, почитайте интервью, там много всего интересного. Занятные тезисы: Мы уже сейчас выращиваем будущего бога, поэтому было бы здорово участвовать в этом процессе — и этот тезис очень мне лично близок, поскольку если ИскИн действительно когда-нибудь появится (а фундаментальных препятствий для этого нет), то он буде...

Вот, посмотрите, ИИ-алертная статья: Experts call for ethics rules to protect privacy, free will, as brain implants advance . Но здесь, как заметите, не обычные заплачки по поводу того, что нам поработит вышедший из-под контроля страшный и непонятный Искусственный Интеллект, а написано про нейроэтику и использование нейроинтерфейсов. И немудрено, так как с петицией выступили учёные, которые знают толк в вопросе. Так вот речь идёт о том, чтобы составить набор правил относительно использования нейроинтерфейсов для того, чтобы предотвратить появление «сверхчеловека». И, действительно, использование нейроинтерфейсов и нейроимплантов для расширения границ человеческих способностей предсказал ещё У. Гибсон в своих книгах из серии «Киберпространство» и спин-оффах к ним. С моей же точки зрения это возможность к осуществлению «третьего пути» в рамках магистрального направления «Искусственный Интеллект», и этот третий путь представляет собой создание искусственного интеллектуального существа ...

Компания IBM объявила о создании 50-кубитного квантового компьютера. Фактически, 2017 год стал годом квантовых технологий, и журнал «РБК» даже выпустил тематический выпуск по «квантам» в качестве первого выпуска 2018 года (кстати, рекомендую — хороший выпуск). Мы становимся свидетелями ускорения во многих областях науки и техники, и квантовые технологии — одна из важнейших. В общем, всем, кто направлен в будущее, я категорически рекомендую следить за тем, что происходит в области квантовых технологий, квантовых вычислений, квантового компьютера. И я здесь буду писать об этом время от времени. Для чего это нам? Я считаю, что создание универсального квантового компьютера приведёт к появлению настоящего («сильного») Искусственного Интеллекта. Всё дело в паре вещей — 1) квантовое превосходство и 2) гипотеза квантового сознания. Если первое вполне теоретически доказано при помощи всевозможных алгоритмов — Дойча, Гровера, Шора и ещё полсотни других, то второе остаётся недоказуемой гипоте...

Помнится, я писал уже о том, что в недрах Корпорации Добра разрабатывается искусственная интеллектуальная система, которая переписывает свой собственный код. Оказывается, что суть этого проекта — AutoML — в том, чтобы под заданную задачу, описанную на довольно высоком уровне, ИИ-система создала дочернюю ИИ-систему для эффективного решения поставленной задачи. Мотивация же проста: в мире очень серьёзен дефицит специалистов в области Искусственного Интеллекта. По некоторым оценкам — только 10 тысяч человек во всём мире (хе-хе). В общем, в обозначенной лаборатории Google хотят предоставить универсальный инструмент для создания эффективных ИИ-систем для массового коммерческого использования. Что ж, это довольно похвальная мотивация, ничего не скажешь. Но, принимая во внимание достижения в математической логике, возникают вопросы более серьёзного плана. Это так называемые «гёделевы вопросы» о том, что если такой ИИ-системе поставить задачу создать ИИ-систему для создания других очень э...

Вы, конечно же, уже смотрели немецкий мультфильм «Хочу весь мир и ещё 5 %» . Если нет, то скорее сделайте это. Немцы точно знают толк в эти вещах, уверяю вас. Эти 40 минут, которые вы потратите на просмотр, дадут вам больше понимания сути современного экономического порядка, чем вся предыдущая учёба на курсах по экономике. В общем, я яростно рекомендую посмотреть этот мультфильм (ну а потом, если проникнетесь, то могут порекомендовать фильмы из серии Zeitgeist — «Дух времени»). Посмотрели? Теперь вы знаете, в чём заключается современный экономический порядок. А это значит, что вы готовы погрузиться в изучение того, как он будет сломлен и какая технология это сделает. Конечно, вы уже подумали про блокчейн и криптовалюты. Если так, то вот вам просто изумительное чтение на это тему. Это очень длинные и не всегда понятные тексты, но я уверяю вас, они того стоят. Вообще, рекомендую распространять: Эра криптовалют: вызов биткойна и блокчейна глобальному экономическому порядку — части од...

Когда я проводил занятия с учениками средней школы в Университете Детей (забавная придумка на базе Политехнического Музея), то одним из первых тезисов, с которыми я выступал, был такой: «Через десять лет, когда вы выйдете из ВУЗов молодыми специалистами, вам придётся конкурировать за рабочие места не друг с другом, а с искусственными интеллектуальными системами, и именно поэтому сегодня мы учим вас основам Искусственного Интеллекта». И вот давеча в журнале Quartz появилась забавная заметка о профессиях будущего: The future of American jobs is taking care of the elderly . Там приводятся слова Бюро статистики труда США, которое выпустило аналитический отчёт о том, какие профессии будут наиболее востребованы через 10 лет. Спойлер: сиделки для богатых стариков с навыками оказания первой медицинской помощи. Что я хочу на это отметить. Через 10 лет, скорее всего, роботы не так сильно вытеснят рабочих с их рабочих мест, так что людям физического труда за себя бояться особо не стоит (хотя п...

Забавные новости приходят из-за рубежа. Эндрю Ын, один из ведущих мировых специалистов по машинному обучению и искусственному интеллекту, сооснователь MOOC-ресурса Coursera и вообще знаменитый человек вошёл в совет директоров компании Woebot, которая пишет одномённого чат-бота. Чат-бот, выполняющий роль психотерапевта. Хм, это что-то знакомое. Ах, да. Джозеф Вейценбаум написал первого в истории человечества чат-бота ELIZA в 1966 году, и она пародировала работу психотерапевта, делая это совсем тупым способом — просто перефразируя обращения пользователя. Но этот чат-бот имел такой успех, что даже сам его автор находился в недоумении, поскольку получал письма с благодарностями излеченных от депрессий и прочих психических состояний пациентов. Что ж, слава Элизы до сих пор не даёт покоя. Не знаю, насколько это тема монетизируема или вообще перспективна, но подобного рода чат-боты сегодня пишутся довольно быстро и самыми простыми средствами. Например, я использую для этих целей инструмен...

Для составления плана подготовки к ШАД, коллега посоветовал мне проанализировать, каким образом экзаменационные задачки распределяются по темам, и, в первую очередь, сосредоточиться на часто встречающихся разделах. Этим я и занималась на выходных. Сначала нужно было найти максимальное количество вариантов экзаменационных задач. Отдельно скажу, что на сайте ШАД выложены задачи с 2012 по 2016 год, в основном, в одном варианте. Однако порывшись в интернете, я нашла отличный ресурс , на котором размещено по 3, а иногда 4 варианта экзаменационных задач за каждый год, включая последний набор 2017 года. Этот ресурс оказался намного полезнее в моих изысканиях, чем сайт ШАДа :) Здесь же я нашла и краткий обзор по верхнеуровневому распределению задачек по тематикам. Согласно анализу распределение следующее*: алгебра - 23% мат. анализ - 22% теория вероятностей - 16% программирование - 14% графы - 8% комбинаторика - 7% остальные задачи (игры, логические и т.п.) - 10% *Некоторы...

Вы вот смеялись, когда я в прошлый раз написал про то, что биткойн может быть порождением искусственного разума, недружественного и рационально-расчётливого. А зря. Всё идёт к тому. Если вы ещё не слышали про разработку AutoML от Корпорации Добра, то почитайте: Google's AI Now Creates Code Better Than Its Creators . Там много английских букв, но почитайте — оно того стоит. Суть же проста. Где-то в тайных лабораториях Google полторы тысячи безымянных сотрудников разрабатывают нейросеть, которая предназначена для построения других нейросетей. Об этом нигде не пишут, об этом есть только самая скудная информация, почерпнутая из обрывков фраз топ-менеджеров Google, которые они обронили в кулуарах на конференциях. И всё. Самый страх у ИИ-борцев должен вызывать тот факт, что созданной нейросети дали задачу создать своего клона, и она справилась с этим лучше, чем её создатели. Механизм довольно простой — нейросеть получает от человека формальное описание задачи, под которую надо сделат...

Немного устаревшая новость, но сегодня, когда биткойн пробил планку в 10 000 $, она как никогда актуальна. В октябре министр экономического развития РФ Максим Орешкин пошутил , что если бы искусственный интеллект существовал, то, желая поработить мир, он должен был бы создать биткоин. Что ж, тогда это действительно выглядело как шутка. А сегодня уже не до шуток. Вчера вечером биткойн поднялся до 10 тысяч долларов, а за ночь «дотронулся» до 11 тысяч. На форумах криптоанархистов зубоскалят: «Не купил по 3, купишь по 5. Не купил по 5, купишь по 7. Не купил по 7, купишь по 10. Не купил по 10, купишь по 15». Ажиотаж неимоверный. Пузырь надувается положительной обратной связью. Всё больше и больше. Но причин для того, чтобы он лопнул, пока не видно. Вполне возможно, что справедливая рыночная цена для него ещё не достигнута. Если кому-то интересны детали про биткойны и криптоэкономику, то очень рекомендую цикл из трёх статей на Бит-Новостях «Эра криптовалют»: айнс , цвай , драй . Ну и я са...

Чтобы подготовится к поступлению в ШАД, я занимаюсь математикой с репетитором. Начали мы с линейной алгебры. После нескольких занятий, мне захотелось углубить полученные знания и понять, в каких сферах можно их применять. Для этого я приступила к поискам учебного пособия, в котором на простых жизненных примерах объяснялся бы теоретический материал.  В первую очередь, я обратилась к учебным пособиям, которые рекомендует ШАД: это учебники А.И. Кострикина, А.Г. Куроша и Э.Б. Винберга. Не могу сказать, что прочитала их от корки до корки, но просмотрела материал по пройденным с репетитором темам. Больше всего из этих учебников мне понравился Кострикин, потому что у него встречаются примеры из жизни, которые более-менее помогают разобраться, для чего люди изучали и изучают линейную алгебру. Что касается других предложенных ШАДом учебников, складывается впечатление, что доказательства нужны ради доказательств и никакого практического применения выведенным формулам и закономерностям не...

Вы же знаете, что в мире есть много людей, которые по каким-то причинам борются с научно-техническим прогрессом и отрицают необходимость создания Искусственного Интеллекта. Мы называем их «алармистами» или «ИИ-борцами». Самые известные из их числа — предприниматель Илон Маск (что не мешает ему владеть компанией Open AI), физик Стивен Хокинг и философ-трансгуманист Ник Бостром . Все их ранние поползновения больше напоминали мышиную возню — официальное заявление там, письмо в ООН или ещё что-то такое. Но вот внезапно появились, как грибы после дождя, всякие организации по запрету отдельных технологий. Самые громкие и крикливые хотят запретить автономное оружие. Посмотрите на ту качественную пропаганду, которой они занялись: Slaughterbots . Я вот сам уже какой день не могу отойти от просмотра этого ролика. Вот уж интересно, что именно они собрались запрещать? Оружие или автономные системы? Ведь не оружие убивает, а одни люди убивают других людей, и будут делать это, пока не будет ис...

На VentureBeat давеча опубликовали занятную заметку о том, зачем современным компаниям вкладываться в технологии Искусственного Интеллекта: 5 characteristics of AI technologies worth investing in — прочитайте, она небольшая и довольно стоящая. (Всё-таки, кратко: ИИ избавит от рутины, найдёт скрытые закономерности в больших данных для использования в бизнесе, сможет сопоставлять огромное количество данных, оптимизировать на этой основе бизнес и, наконец, предотвратит развитие опасных ситуаций). Но это всё ересь и ерунда. Главное, для чего вкладываться в технологии ИИ — это возможность персонификации сервисов для клиентов любого бизнеса. Раньше ведь как? Услуги предоставлялись на основе какой-никакой статистической обработки ранее известных случаев. Это касается не только сферы услуг, типа розничных продаж, медицины и образования, но и вообще всего, ведь даже если вы на заводе делаете уникальный опытный образец по договору с конкретным техническим заданием, то всё равно вы использует...