Видеолекции курса Машинное обучение. Часть 2.

Лектор: Игорь Кураленок.

Продолжение курса Машинное обучение. Часть 1

Лекция 1. Уменьшение размерности: обзор, feature selection.

Лекция 2. Feature extraction: PCA.

Лекция 3. Feature extraction: ICA.

Лекция 4. Feature extraction: SOM, cluster analysis, JL-lemma.

Лекция 5. Embedded models: LASSO, случайные DFT проекции.

Лекция 6. Embedded models: compressed sensing, elastic net. Обзор имплементаций LASSO.

Лекция 7. Support Vector Machines.

Лекция 8. Нейронные сети: персептронные сети, обратное распространение ошибки, сети Хопфилда.

Лекция 9. Деревья решений: ID3/С4.5, CART, oblivious trees.

Лекция 10. Boosting/Bagging: random forests, adaboost.

Лекция 11. Gradient boosting. MatrixNet.

Лекция 12. Bonus: немного о collaborative filtering, факторизация, многомерная факторизация.

Дополнительные материалы:
Видеолекции курса Машинное обучение. Часть 1 (2012).
Видеолекции курса Машинное обучение (2013/2014).

Автор: Roman Brovko

Видеолекции курса Параллельное программирование.

Лектор: Евгений Калишенко.

В курсе будет рассказано про

• многопоточное программирование на примере
• С++: POSIX threads, Boost, OpenMP, Intell TBB и
• Java: threads, java.util.concurrent, Fork/Join framewok
• теорию параллельных вычислений: алгоритмы консенсуса, атомарные регистры, lock-free и wait-free алгоритмы, шаблоны || программирования
• вычислительные кластеры (на примере MPI)
• другие способы повышения производительности (транзакционная память, асинхронный ввод/вывод…)

Репозиторий: http://code.google.com/p/hpcource

Лекция 1. Введение.

1. Мотивация к применению параллельных вычислений
2. Закон Амдала
3. Общий взгляд на высокопроизводительные системы начиная от расширений SSE, через многоядерность к узлам кластеров
4. Обзор технологий многопоточного программирования
   • Posix threads
   • Java threads, Boost threads
   • OpenMP
   • Intel TBB
   • Java.util.concurrent
   • Fork/Join Framework

Лекция 2. Корректная работа с потоками.

1. Механизм запуска потока
2. Корректное завершение потоков
3. Сравнение различных потоков (POSIX, boost, java)
4. Обработка исключений

Лекция 3. Примитивы синхронизации.

1. Необходимость синхронизации: гонки данных
2. Реализация примитивов синхронизации: алгоритмы Петерсона и Лампорта
3. Виды мьютексов: рекурсивные/нерекурсивные, читатели/писатели…
4. Корректные захват/освобождение примитивов
5. CAS-операции и атомики

Лекция 4. Примитивы синхронизации — 2.

1. Condition variables: использование wait/notify
2. Алгоритмы синхронизации: грубая, тонкая

Лекция 5. Алгоритмы синхронизации.

1. Алгоритмы синхронизации: оптимистичная, неблокирующая
2. Классы алгоритмов: lock-free, wait-free
3. Пулы потоков

Лекция 6. Ошибки || программирования.

1. Гонки данных (Data Race)
2. Взаимная блокировка (Deadlock)
3. Блокировки при fork многопоточных программ
4. Инверсия приоритетов

Лекция 7. Атомарные снимки регистров.

1. SWMR-регистры
2. Lock-free snapshot
3. Wait-free snapshot

Лекция 8. OpenMP и Intel TBB.

1. Обзор OpenMP: параллельные секции, области видимости переменных, ограничения
2. Обзор Intel TBB: алгоритмы, аллокаторы, деревья задач, планирование

Лекция 9. Шаблоны || программирования.

• Структурные шаблоны
1. Декомпозиция по задачам
2. Геометрическая декомпозиция
3. Recursive Data
4. Pipeline
• Некоторые программные структуры
1. Parallel loops
2. Boss/Worker
• Разное
1. Double check
2. Local Serializer

Лекция 10. Кластерные вычисления.

• История и назначение стандарта
• Обмен сообщениями
  1. С блокировкой
  2. Без блокировки
  3. Отложенные запросы на взаимодействие
  4. Тупиковые ситуации (deadlock)
• Взаимодействие процессов
  1. Группы и коммуникаторы
  2. Операции коллективного взаимодействия процессов
  3. Редукция
  4. Виртуальные топологии
• Средства анализа производительности

Лекция 11. Map/Reduce — теория и практика.

• Идея Map/Reduce
• Hadoop
1. Обзор архитектуры
2. Примеры задач
3. Детали реализации
4. Популярные расширения
• Другие реализации M/R: достоинства и недостатки
1. Проблемы Hadoop
2. Spark
3. Disco
• Дополнительно
1. Что не надо использовать для построения M/R приложений
2. Отказоустойчивость M/R приложений

Продолжение следует…

Дополнительные материалы:
Сайт курса.
Видеолекции курса Параллельное программирование (2012).
Видеолекции курса Архитектура ЭВМ и основы ОС (2013).
Курс Параллельное программирование в ЗНУ. Лектор: Бувайло Дмитрий Павлович.

Автор: Roman Brovko

Видеолекции курса Обзорный курс по анализу данных.

Лекторы: Юлия Киселева, Алексей Катышев .

Целью курса является знакомство студентов с инструментами data mining, применяемых для больших объемов данных. Говоря большие данные, мы подразумеваем тот факт, что данные не помещаются в память. Data mining — это дисциплина, которая применяет различные алгоритмы для больших объемов данные с целью получения интересных фактов, мы будем фокусироваться на web data mining, то есть рассматривать в качестве примеров web data.

Лекция 1. Введение.

Лекция 2. Поиск похожих объектов. MapReduce.

Лекция 3. Поиск похожих объектов.

Лекция 4. Поиск ассоциативных правил.

Лекция 5. Кластеризация.

Лекция 6. Классификация текста.

Лекция 7. Системы рекомендации.

Лекция 8. Извлечение информации.

Лекция 9. Анализ ссылок.

Лекция 10. Анализ ссылок 2.

Лекция 11. Анализ данных для Интернет рекламы.

Видеолекции курса Базы данных.

Лекторы: Илья Тетерин, Вадим Цесько, Антон Волохов, Дмитрий Щитинин, Герман Андреев.

Лекция 1. Введение.

• О лекторе
• Организация курса
• Содержание курса
• Определения и примеры
• Классификация БД
• Домашнее задание

Лекция 2. Hash & Cache. CAP.

Hash & Cache:

• Hash table
• Архитектуры Web-приложений
• Cache
• Distributed cache
• Memcached
• Consistent hashing
• Redis

Consistency, Availability and Partition Tolerance:

• Remembrance Inc.
• CAP Theorem
• Транзакции

Лекция 3. Distributed Commit.

• 2PC & 3PC
• Отношение happens-before: Lamport Timestamps & Vector Clocks
• Протокол Raft
• Альтернативное домашнее задание

Лекция 4. Cassandra.

Лекция 5. MongoDB is a web-scale.

• Введение: терминология

• API: декларированные цели, особенности, запросы

• Устройство хранилища: работа с ФС, сложные запросы, индексы

• Репликация

• Шардирование: выбор ключа

• Секретный ингредиент

• Заключение: выводы, материалы

Лекция 6. Haystack.
Лекция «Haystack» про хранение фоток в Facebook по статье «Finding a Needle in Haystack: Facebook's Photo Storage»:

• Введение: материалы, мотивация, цифры, характер запросов, основные цели
• Background: типичная архитектура, предыдущее решение на NFS + NAS
• Архитектура: новая версия, задача, подход, компоненты (Directory, Cache, Store)
• Детали реализации: Store-файл, запросы, индекс, оптимизации
• Заключение: нагрузка
• Домашнее задание: промежуточные итоги, feature requests, общие замечания, тулзы

Лекция 7. HDFS.

Лекция 8. HBase.

Лекция 9. ZooKeeper.

Лекция 10. Lucene.

Лекция 11. Graph DB.

Презентация

Лекция 12. Multidimensional indexing.

Лекция 13. STM.

Дополнительные материалы:
Видеолекции курса Базы данных (2012).

Автор: Roman Brovko