Поступить и учиться в ШАД от Яндекс – мечта многих начинающих специалистов по Data Science. Рассказываем, как это можно сделать, пройдя пять простых шагов. Обсудить
В апреле 2021 года начинается набор в «Школу анализа данных» – это бесплатная двухгодичная программа Яндекс для желающих освоить профессию Data Scientist или стать архитектором систем хранения и обработки больших данных. Мы составили небольшой гид по подготовке к поступлению и обучению в этой школе.
Набор проходит в три этапа:
Онлайн-тестирование: решение заданий теста за 5 часов;
Для поступающих в московское отделение второй этап состоит из двух частей: первая – математика и алгоритмы, вторая – программирование и основы анализа данных;
Заключительный этап – очное собеседование, во время которого придется решать задачи по математике, алгоритмам и программированию.
Источник
Шаг 1: Выясните, каких знаний вам не хватает
При поступлении в ШАД проверяются знания по общей программе, включающей базовые разделы высшей алгебры, математического анализа, комбинаторики, теории вероятностей, а также основы программирования и анализа данных. Оцените свои знания и начните интенсивную подготовку с практикой по темам, в которых вы еще не сильны. Для упрощения этой задачи в статье мы собрали все необходимые темы и ресурсы для их изучения.
Шаг 2: Математическая подготовка
Перед тем, как приступить к изучению специфических областей математики, ознакомьтесь с нашим материалом «Обучение Data Science: какие знания по математике нужны специалисту по анализу данных?», в котором собраны общие понятия и ресурсы, с помощью которых их можно освоить.
Алгeбра
Чек-лист из программы для поступления в «Школу анализа данных»:
Определение, четность, произведение подстановок. Разложение подстановок в произведение транспозиций и независимых циклов.
Комплексные числа. Геометрическое изображение, алгебраическая и тригонометрическая форма записи, извлечение корней, корни из единицы.
Системы линейных уравнений. Прямоугольные матрицы. Приведение матриц и систем линейных уравнений к ступенчатому виду. Метод Гаусса.
Линейная зависимость и ранг. Линейная зависимость строк (столбцов). Основная лемма о линейной зависимости, базис и ранг системы строк (столбцов). Ранг матрицы. Критерий совместности и определенности системы линейных уравнений в терминах рангов матриц. Фундаментальная система решений однородной системы линейных уравнений.
Определитель квадратной матрицы, его основные свойства. Критерий равенства определителя нулю. Формула разложения определителя матрицы по строке (столбцу).
Операции над матрицами и их свойства. Теорема о ранге произведения двух матриц. Определитель произведения квадратных матриц. Обратная матрица, ее явный вид (формула), способ выражения с помощью элементарных преобразований строк.
Векторное пространство, его базис и размерность. Преобразования координат в векторном пространстве. Подпространства как множества решений систем однородных линейных уравнений. Связь между размерностями суммы и пересечения двух подпространств. Линейная независимость подпространств. Базис и размерность прямой суммы подпространств.
Линейные отображения, их запись в координатах. Образ и ядро линейного отображения, связь между их размерностями. Сопряженное пространство и сопряженные базисы. Изменение матрицы линейного оператора при переходе к другому базису.
Билинейные функции, их запись в координатах. Изменение матрицы билинейной функции при переходе к другому базису. Ортогональное дополнение к подпространству относительно симметрической билинейной функции. Связь между симметричными билинейными и квадратичными функциями. Существование ортогонального базиса для симметрической билинейной функции. Нормальный вид вещественной квадратичной функции. Закон инерции.
Собственные векторы и собственные значения линейного оператора. Собственные подпространства линейного оператора, их линейная независимость. Условие диагонализируемости оператора.
Дополнительный материал: «Как линейная алгебра используется в машинном обучении?».
Математически анализ
Чек-лист из программы для поступления в «Школу анализа данных»:
Пределы и непрерывность. Пределы последовательностей и функций. Непрерывные функции.
Ряды. Числовые и функциональные ряды. Признаки сходимости (Даламбера, Коши, интегральный, Лейбница). Абсолютно и условно сходящиеся ряды.
Дифференцирование. Дифференцирование функций. Применение производной для нахождения экстремумов функций. Формула Тейлора.
Функции многих переменных. Частные производные. Градиент и его геометрический смысл. Гессиан. Метод градиентного спуска. Поиск экстремумов функций от многих переменных.
Интегрирование. Определенный и неопределенный интегралы. Методы интегрирования функций. Первообразные различных элементарных функций. Кратные интегралы (двойные, тройные), замена координат, связь с повторными.
Элементы функционального анализа: нормированные, метрические пространства, непрерывность, ограниченность.
Дополнительный материал: «Для чего нужен математический анализ в машинном обучении».
Комбинаторика
Чек-лист из программы для поступления в «Школу анализа данных»:
Основные правила комбинаторики. Правило подсчета количества комбинаторных объектов. Принцип Дирихле. Примеры.
Множества. Круги Эйлера, операции на множествах. Формула включений и исключений. Примеры.
Сочетания. Размещения, перестановки и сочетания. Бином Ньютона. Треугольник Паскаля. Сочетания с повторениями.
Дополнительный материал: «Первое занятие нашего курса по математике для Data Science доступно на YouTube».
Теория вероятностей
Чек-лист из программы для поступления в «Школу анализа данных»:
Основные понятия теории вероятностей. Определение вероятностного пространства, простейшие дискретные случаи (выборки с порядком и без него, упорядоченные и неупорядоченные), классическая вероятностная модель. Случайная величина, функция распределения.
Условные вероятности. Определение условной вероятности, формула полной вероятности, формула Байеса.
Математическое ожидание, дисперсия, корреляция. Определение математического ожидания, дисперсии, ковариации и корреляции, их свойства.
Независимость событий. Попарная независимость и независимость в совокупности.
Основные теоремы теории вероятностей. Неравенство Чебышева. Закон больших чисел. Центральная предельная теорема.
Распределения. Стандартные дискретные и непрерывные распределения, их математические ожидания, дисперсии и свойства: биномиальное; равномерное; нормальное; пуассоновское; показательное; геометрическое.
Дополнительный материал: «Зачем в науке о данных нужны теория вероятностей и статистика».
Шаг 3: Программирование
Для Data Scientist также важны сбор, очистка, обработка и систематизация данных. При решении этих задач и реализации моделей машинного обучения используются Python и R. Для поступления в «Школу анализа данных» нужно владеть хотя бы одним из основных языков программирования. Какой из них стоит выбрать для работы, мы обсуждали в статье «От «R против Python» к «R и Python»».
Чек-лист из программы для поступления в «Школу анализа данных»:
Простейшие конструкции языка программирования. Циклы, ветвления, рекурсия.
Анализ алгоритмов. Понятие о сложности по времени и по памяти. Асимптотика, O-символика. Инварианты, пред- и пост- условия. Доказательство корректности алгоритмов.
Простейшие структуры данных. Массивы, стеки, очереди, связные списки, Сравнение временных затрат при различных типах операций.
Строки и операции над ними. Представление строк. Вычисление длины, конкатенация.
Сортировки. Нижняя теоретико-информационная оценка сложности задачи сортировки. Алгоритмы сортировки вставками, пузырьком, быстрая сортировка, сортировка слиянием. Оценка сложности.
Указатели.Указатели и динамическое управление памятью.
Курсы для подготовки:
Программирование на Python
Питон Тьютор
Основы программирования на Python
Основы программирования на R
Анализ данных в R, часть 2
Шаг 4: Анализ данных
Крайне важно понимать, как подготовить базу данных для получения желаемых результатов без потери информации. Далее специалист по Data Science с помощью различных инструментов, методов, методологий и алгоритмов анализирует и оптимизирует информацию для создания эффективных бизнес стратегий.
Чек-лист из программы для поступления в «Школу анализа данных»:
Основные машинного обучения: классификация, регрессия, ранжирование, кластеризация. Обучение с учителем и без учителя.
Предобработка и очистка данных. Работа с пропущенными значениями.
Feature Engineering. Работа с категориальными признаками.
Переобучение: как его обнаружить и как с ним бороться. Разделение на обучающую и тестовую выборки. Методы регуляризации.
Сравнение моделей. Метрики в задачах классификации и регрессии. Методология подборара гиперпараметров.
Основные модели классификации и регрессии: линейные модели, решающие деревья. Ансамбли алгоритмов.
Курсы для подготовки:
Анализ данных
Машинное обучение и анализ данных
Data Science Methodology. Data Preparation (англ.)
Exploratory Data Analysis (англ.)
Шаг 5: Практика
После изучения необходимых тем, переходите к практическим занятиям. Это лучший способ закрепить полученные знания и подготовится к интервью, во время которого вам предстоит решать задачи в режиме реального времени.
Примеры упражнений:
Вступительный экзамен для нового трека
Задачи по анализу данных
Задачи из программы для поступления
***
Если вы хотите наработать необходимую для поступления в «Школу анализа данных» математическую базу и подготовиться к обучению на Data Scientist, обратите внимание на онлайн-курс «Библиотеки программиста». С помощью опытных преподавателей из МГУ сделать это будет намного проще, чем самостоятельно по книгам. Студенты могут выбрать отдельные разделы (например, линейную алгебру) или оплатить весь курс целиком с существенной скидкой.
