Видеолекции курса Технологии хранения и обработки больших объёмов данных

Видеолекции курса Технологии хранения и обработки больших объёмов данных.

Лекторы: Дмитрий Барашев, Александр Дольник.

Курс посвящён теоретическим и практическим аспектам технологий, связанных с хранением, обработкой и анализом больших объёмов данных. В основном будут рассматриваться технологии, ставшие массовыми относительно недавно, такие как распределённые файловые системы и NoSQL СУБД, но будут также затронуты возможности, предоставляемые привычными реляционных СУБД.

В материалах курса используются примеры программ на языке Python; кроме того, домашние задания тоже предполагают программирование на этом языке. Поэтому от слушателей требуется понимание элементарных конструкций этого языка и способность писать несложные программы, а также знание алгоритмов вообще. Знание реляционных СУБД и языка SQL тоже существенно облегчит восприятие некоторых тем курса.

Лекция 1. Распределенные файловые системы.
Поговорим о распределенных файловых системах. Рассмотрим основные аспекты их функционирования, немного затронем историю, подробнее углубимся в архитектуру G(oogle)FS, Apache HDFS и в некоторые интересные алгоритмы.


Посмотреть видео на сайте Лекториума

Дополнительные материалы


Скачать: Презентация

Лекция 2. Распределенная параллельная обработка данных технологией Map-Reduce.
Поговорим о том, что такое Map-Reduce, к каким задачам эту технологию можно применять и при каких условиях она будет эффективной. Повертим в руках игрушечный (но работающий!) Map-Reduce.


Посмотреть видео на сайте Лекториума

Дополнительные материалы


Скачать: Презентация
Реализация среды выполнения MR на Питоне и примеры программ

Семинар 2. Алгоритм коррекции ошибок Рида-Соломона.
Небольшой рассказ о применении матриц Вандермонда, метода Гаусса и конечных полей к вполне практическим вещам. Рассказывают Григорий Рожков и Дмитрий Харьковский.

Дополнительные материалы


Скачать: Презентация

Лекция 3. Полнотекстовый поиск.
Как производить полнотекстовый поиск в большом корпусе документов; какие структуры данных и какие методы обработки могут помочь; какой документ лучше удовлетворяет запросу, а какой хуже.


Посмотреть видео на сайте Лекториума

Дополнительные материалы


Скачать: Презентация

Лекция 4. Статический ранг документов. Распределенные вычисления на графах.
Статический не зависимый от запроса ранг документов и его конкретный вариант PageRank. Вычисление PageRank при помощи Map-Reduce. Системы распределенного выполнения алгоритмов на графах.


Посмотреть видео на сайте Лекториума

Дополнительные материалы


Скачать: Презентация

Лекция 5. Введени
е в NoSQL. Google Bigtable.
Предпосылки появления NoSQL СУБД, их разновидности, основные отличия от реляционных СУБД, и основные используемые технологии. Подробнее о Google Bigtable.


Посмотреть видео на сайте Лекториума

Дополнительные материалы


Скачать: Презентация

Семинар 5. Вероятностная модель информационного поиска.
Антон Алексеев расскажет о вероятностной модели информационного поиска.

Дополнительные материалы


Скачать: Презентация

Лекция 6. Согласованность в распределенных системах. Percolator.

Дополнительные материалы


Скачать: Презентация

Лекция 7. Средства интеграции больших объёмов данных.
Александр Дольник рассказывает об интеграции данных из разнородных источников и последующем их анализе.


Посмотреть видео на сайте Лекториума

Дополнительные материалы


Скачать: Презентация

Лекция 8. Создание ETL процесса: Case Study.
Александр Дольник демонстрирует создание ETL процесса по обработке отчетов о продажах в торговой сети.


Посмотреть видео на сайте Лекториума

Дополнительные материалы


Скачать: Презентация

Лекция 9. Поиск похожих документов.


Посмотреть видео на сайте Лекториума

Дополнительные материалы


Скачать: Презентация

Лекция 10. Алгоритмы кластеризации.


Посмотреть видео на сайте Лекториума

Дополнительные материалы


Скачать: Презентация

Автор: Roman Brovko

​Куриное филе с томатным соусом и двумя гарнирами Термомикс.

Ингредиенты:

  • 400 г куриного филе
  • 300 г капусты
  • 1 кг картофеля
  • 1 луковица
  • 1 морковь
  • 1 болгарский перец
  • укроп
  • петрушка
  • зеленый лук
  • соль
  • перец
  • приправы
  • 3-4 ст. л. томатной пасты
  • 450 г кипятка Читать →

Полезнушки CentOS7

Чего-то тут на-переделывали… Совсем не похож на 6.Х!

CentOS 7 настройка сервера (для сети)

Репозиториии:
rpm -Uvh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm 
(yum -y install epel-release)
rpm —import http://apt.sw.be/RPM-GPG-KEY.dag.txt
rpm -Uvh http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.3-1.el7.rf.x86_64.rpm
—
Обновление ядра и всего ПО, установленного из rpm:
yum update

 

Установка пакета для компиляции исходников:
yum groupinstall «Development Tools» Читать →

Вышивка бисером.

Чтобы отвлечься от сумок-косметичек-вязания попробовала себя в вышивке бисером.

Кулон-брошь «Летучая мышь» (продаётся) .

Размеры:  8 х 5,3 см. , цепочка 59 см.


Брошь-кулон вышита черно-серым и серебристым бисером, украшена стеклянным кристаллом и бусинами граната треугольной формы.

Задник из натуральной кожи, цепочка съемная.


Дальше еще одна бисерная работа и вязальный процесс.
Колье «Русалка» ( купить можно на ЯМ).


Размер: 
Ширина — 9 см
Высота (без кисти) — 6,5 см
Кисть — 6 см
Цепочка — 40 см

Вышито белым, серебристым, голубым (цвет аквамарин), прозрачным («бензиновым») бисером и хрустальными бусинами.

Задник — натуральная кожа белого цвета.

Кисточка-подвеска состоит из цепочек с мелкими звеньями — не цепляется, струится и приятна на ощупь. 🙂


Сейчас в процессе еще одна летучая мышь. 😉

Ну и вяжу я конечно, куда без этого? ;)))


Вяжу себе длинный свитер (или платье), осталось связать один рукав и воротник. 
К новому году буду в обновке. 🙂

Цвет «слива» — он гораздо темнее, чем получилось на фото. Потом при свете дня попробую пофотографироваться уже в готовой вещи.

 



Автор: Арбузова Анастасия
Дата публикации: 2015-12-04T06:13:00.000-08:00

Motor 0.5

Мы строили-строили и наконец построили.

Motor 0.5 (асинхронный драйвер для MongoDB) доехал до релиза.

Новая версия работает с asyncio.
Всем рекомендую

Автор: Andrew Svetlov