Занятие 1
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Вспоминаем линейную алгебру. Некоторые матричные разложения. Спектр матрицы. SVD. Skeleton. Градиент. Гессиан
Занятие 2
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Матрично-векторное дифференцирование. Автоматическое дифференцирование. Forward\Reverse Mode. Вычислительный граф
Занятие 3
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Выпуклость. Выпуклые, афинные множества. Сумма Минковского. Выпуклые функции. Неравенство Йенсена
Занятие 4.1
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Сопряженные множества. Сопряженные конусы. Многогранники
Занятие 4.2
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Сопряженные функции. Преобразование Лежандра
Занятие 5
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Субградиент. Субдифференциал. Теоремы Моро-Рокафеллара, Дубовицкого-Милютина. Условия оптимальности в субдифференциальной форме
Занятие 6
Условия оптимальности. Функция Лагранжа. Множители Лагранжа. Теорема Каруша - Куна - Таккера
Занятие 7
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Двойственность. Введение в двойственность. Двойственная задача. Two-way partitioning problem. Решение прямой задачи с помощью двойственной
Занятие 8
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Линейное программирование. Транспортная задача и другие формулировки прикладных задач как ЛП. Симплекс метод для решения ЛП
Занятие 9
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Двойственность в линейном программировании. Анализ чувствительности.
Занятие 10
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Классификация и обозначения в задачах оптимизации. Скорость сходимости. Линейный поиск. Неточная одномерная оптимизация. Правила Армихо - Гольдштейна. Условие Вульфа
Занятие 11
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Градиентный спуск. Теоремы сходимости в гладком случае (выпуклые, сильно выпуклые, PL).
Занятие 12
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Нижние оценки для градиентных методов. Ускоренный метод и Полиномы Чебышева.
Занятие 13
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Метод тяжёлого шарика. Метод Нестерова.
Занятие 14
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Метод сопряженных направлений. Ортогонализация Грамма - Шмидта. Понятие A-ортогональных векторов. Метод сопряженных градиентов
Занятие 14.5
Повторение материалов первого семестра. Решение задач.
Занятие 15
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Концепция методов адаптивной метрики. Метод Ньютона. Квазиньютоновские методы
Занятие 16
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Градиентные методы в условных задачах оптимизации - метод проекции градиента. Метод Франк - Вульфа. Метод зеркального спуска
Занятие 17
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Субградиентный метод. Теоремы сходимости в негладком случае (выпуклый случай). Особенности работы градиентного метода в практических негладких задачах. Задача наименьших квадратов с l_1 регуляризацией. Метод проекции субградиента. Метод зеркального спуска.
Занятие 18
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Проксимальный градиентный метод.
Занятие 19
📄 Презентация • 📝 Заметки • ▶️ Youtube • 💿 Скачать
Введение в стохастические градиентные методы. Батч, эпоха. Сходимость SGD.
Занятие 20
Методы редукции дисперсии. Адаптивные методы и Muon
Занятие 21
Muon: ортогонализация градиентов и спектральная оптимизация. LMO и сопряжённые нормы. Polar factor. Newton-Schulz. Ky Fan нормы.
Занятие 22
Обучение нейросетевых моделей и больших моделей. Mixed precision. Чекпоинтинг активаций. Learning rate schedulers. Large batch training. LARS, LAMB. MultiGPU training. ZeRO. LoRA.
Занятие 23
Двойственные методы: двойственный градиентный подъём, метод дополненного лагранжиана, ADMM
Занятие 24
Gradient Flow. Accelerated gradient flow.