Видеолекции курса Java.

Лектор: Алексей Владыкин.

Рекомендуемая литература по курсу:

• Bruce Eckel «Thinking in Java»
• Joshua Bloch «Effective Java»

Первоисточники:

• The Java Language Specification
• The Java Virtual Machine Specification

Лекция 1. Введение в Java.

• История и эволюция Java
• Особенности Java
• Разновидности Java
• Экосистема Java
• Неформальное знакомство с языком
• Стандартные инструменты JDK

Лекция 2. Примитивные типы в Java.

• Примитивные и ссылочные типы
• Тип boolean
• Тип char
• Целочисленные типы
• Вещественные типы
• Преобразование типов

Лекция 3. Массивы и строки в Java.

• Массивы
  • объявление, создание, инициализация, индексация
  • одномерные и многомерные, представление в памяти
  • java.util.Arrays
• Строки
  • строковые литералы
  • операции со строками
  • java.lang.StringBuilder
  • поддержка различных кодировок
  • регулярные выражения

Лекция 4. Объекты, классы и пакеты в Java.

• Основы ООП
• Объявление класса
• Использование класса
• Наследование
• Пакеты
• Модификаторы доступа
• Вложенные классы

Лекция 5. Управляющие конструкции и исключения в Java.

• Условные операторы (if, switch)
• Циклы (for, while, do)
• Операторы break и continue, метки
• Исключения, типы исключений
• Конструкция try/catch/finally, try с ресурсами, multicatch

Лекция 6. Стандартная библиотека: java.io + java.nio.file.

• Доступ к файловой системе: java.io.File и java.nio.file.*
• Потоки байт: InputStream, OutputStream
• Потоки символов: Reader, Writer
• java.io.StreamTokenizer и java.util.Scanner

Лекция 7. Стандартная библиотека: java.util.

• Collections Framework
  • Списки
  • Множества
  • Ассоциативные массивы
  • Generics

Лекция 8. Стандартная библиотека: java.lang.reflect.

• Reflection API
• Аннотации

Лекция 9. Разработка многопоточных приложений на Java, часть 1.

• Общие сведения о параллелизме
• Управление потоками
• Синхронизация потоков
• Модель памяти

Лекция 10. Разработка многопоточных приложений на Java, часть 2.

• Атомарные типы
• Примитивы синхронизации
• Коллекции
• ExecutorService
• ForkJoinPool

Лекция 11. Модульное тестирование на Java.

• Основные идеи
• JUnit
• Mockito
• Java Logging API

Лекция 12. Разработка сетевых приложений на Java.

• Сокеты
• URI и URL
• Библиотека Netty

Дополнительные материалы:
Личная страница лектора курса.

Автор: Roman Brovko

Видеолекции курса Технологии хранения и обработки больших объёмов данных.

Лекторы: Дмитрий Барашев, Александр Дольник.

Курс посвящён теоретическим и практическим аспектам технологий, связанных с хранением, обработкой и анализом больших объёмов данных. В основном будут рассматриваться технологии, ставшие массовыми относительно недавно, такие как распределённые файловые системы и NoSQL СУБД, но будут также затронуты возможности, предоставляемые привычными реляционных СУБД.

В материалах курса используются примеры программ на языке Python; кроме того, домашние задания тоже предполагают программирование на этом языке. Поэтому от слушателей требуется понимание элементарных конструкций этого языка и способность писать несложные программы, а также знание алгоритмов вообще. Знание реляционных СУБД и языка SQL тоже существенно облегчит восприятие некоторых тем курса.

Лекция 1. Распределенные файловые системы.
Поговорим о распределенных файловых системах. Рассмотрим основные аспекты их функционирования, немного затронем историю, подробнее углубимся в архитектуру G(oogle)FS, Apache HDFS и в некоторые интересные алгоритмы.

Лекция 2. Распределенная параллельная обработка данных технологией Map-Reduce.
Поговорим о том, что такое Map-Reduce, к каким задачам эту технологию можно применять и при каких условиях она будет эффективной. Повертим в руках игрушечный (но работающий!) Map-Reduce.

Семинар 2. Алгоритм коррекции ошибок Рида-Соломона.
Небольшой рассказ о применении матриц Вандермонда, метода Гаусса и конечных полей к вполне практическим вещам. Рассказывают Григорий Рожков и Дмитрий Харьковский.

Лекция 3. Полнотекстовый поиск.
Как производить полнотекстовый поиск в большом корпусе документов; какие структуры данных и какие методы обработки могут помочь; какой документ лучше удовлетворяет запросу, а какой хуже.

Лекция 4. Статический ранг документов. Распределенные вычисления на графах.
Статический не зависимый от запроса ранг документов и его конкретный вариант PageRank. Вычисление PageRank при помощи Map-Reduce. Системы распределенного выполнения алгоритмов на графах.

Лекция 5. Введени
е в NoSQL. Google Bigtable.
Предпосылки появления NoSQL СУБД, их разновидности, основные отличия от реляционных СУБД, и основные используемые технологии. Подробнее о Google Bigtable.

Семинар 5. Вероятностная модель информационного поиска.
Антон Алексеев расскажет о вероятностной модели информационного поиска.

Лекция 6. Согласованность в распределенных системах. Percolator.

Лекция 7. Средства интеграции больших объёмов данных.
Александр Дольник рассказывает об интеграции данных из разнородных источников и последующем их анализе.

Лекция 8. Создание ETL процесса: Case Study.
Александр Дольник демонстрирует создание ETL процесса по обработке отчетов о продажах в торговой сети.

Лекция 9. Поиск похожих документов.

Лекция 10. Алгоритмы кластеризации.

Автор: Roman Brovko

Видеолекции курса Машинное обучение.

Лекторы: Игорь Кураленок, Андрей Гулин.

Лекция 1. Машинное обучение: начало.

Постановка задачи. Виды обучения. “Дедуктивные” и “индуктивные” методы обучения.

Лекция 2. Один эксперимент.
Векторизация, факторы, интерпретация решений.

Лекция 3. Оценка методов обучения с учителем.
Отличия от стохастической оптимизации. Переобучение. Оценка качества обучения. Overfitting on validation. Кроссвалидация.

Лекция 4. Машинное обучение: обзор целевых функций.
Некоторые способы построения параметрической целевой функции: Lq, maximum a posteriori, метод максимального правдоподобия, метод максимальной энтропии.

Лекция 5. Переборные методы: сэмплирование.
Переборные методы. Сэмплирование пространства параметров.

Лекция 6. Генетические алгоритмы.
Генетические алгоритмы. Differential evolution.

Лекция 7. Линейные модели: введение.

Лекция 8. Линейные модели: уменьшаем variance.

Лекция 9. Линейные модели: сжатые чувства, SVM.

Лекция 10. Линейные модели: SVM (продолжение). Collaborative filtering.

Лекция 11. Генеративные вероятностные модели.

Лекция 12. Обзор методов оптимизации.

Лекция 13. Instance based learning (IBL).

Лекция 14. Обучение метрикам (по Brian Kulis).

Лекция 15. Обзор методов уменьшения размерности.

Лекция 16. Выбор свойств (feature selection).

Лекция 17. Уменьшение размерности: представление.

Лекция 18. Нейронные сети.

Лекция 19. Глубокое обучение.

Лекция 20. Деревья решений.

Лекция 21. Классификация.

Лекция 22. Классификация последовательностей (Андрей Гулин).

Лекция 23. GBDT. Смешанные модели.

Дополнительные материалы:
Видеолекции курса Машинное обучение. Часть 1 (2012).
Видеолекции курса Машинное обучение. Часть 2 (2012).

Автор: Roman Brovko