Digital October

Fuckup Nights Vol.XVII лекции Fuckup Nights Vol.XVII

истории о громких бизнес-неудачах, как уберечь компанию от краха

Azure Day Moscow 2018 конференция Azure Day Moscow 2018

ежегодная конференция, которую проводит сообщество Microsoft MVP

Waves Blockchain Hackathon хакатон Waves Blockchain Hackathon

Хакатон по блокчейну

Knowledge Stream: big data в действии

Important
10 июня 2013, 20:00 лекция

трансляция мероприятия

Несмотря на проблемы с установкой соединения между Москвой и офисом SAP в Амстердаме, возникшие незадолго до начала лекции, Бьярн Берг все-таки вышел на связь с участниками Knowledge Stream от Digital October. Этот эпизод показал, что технологии, кажущиеся передовыми сегодня, еще далеки от идеала.

А о том, что, оказывается, схожая ситуация наблюдается и в мире больших данных, профессор рассказал в ходе лекции.

«У меня есть очень интересная статистика, которой я хотел бы поделиться до начала, чтобы вы поняли, почему big data – то, о чем стоит задуматься каждому. Мир переживает «большой взрыв» в области данных – 90% информации, которую можно найти в сети сегодня, появилось там за последние три года».

«В одной только Европе уже накопилось порядка 200 петабайт данных,

 

а если сложить все то время, что человечество проводит в сети за день, мы получим семь миллиардов часов!

 

Это при том, что лишь где-то два миллиарда человек в мире имеют доступ в интернет – а еще пять ждут своей очереди; те же Азия и Африка только начинают выходить в онлайн».

«Что интересно, каждое подключенное к сети домохозяйство в среднем потребляет за день всего 350 мегабайт данных. Цифра кажется небольшой, но она стремительно растет. И мы уже столкнулись с фундаментальной проблемой: данные создаются быстрее, чем производятся компьютеры, которые смогут их хранить».

«Проблема вторая: если посмотреть на точки ежедневного соприкосновения с данными – СМИ, картинки, видео, переписка, покупки, – то все они очень не структурированы. Как охватить и, что еще важнее, проанализировать этот громадный пласт информации?»

«Крупные ритейлеры вроде Wallmart, Marks & Spencer, построив собственные хранилища данных, смогли, по сути, заглянуть в будущее, научились предсказывать смену трендов и лучше выстраивать свою ценовую политику. Как результат, тот же Wallmart увеличил свои продажи на $9.6 млрд. И это лишь один из примеров того, какие деньги скрываются за информацией».

 

«Но мы находимся еще в «каменном веке» вычислительных возможностей,

 

пытаемся анализировать данные «с молотком и зубилом».

«И есть конкретные вещи, которые сдерживают прогресс, вещи, в сегодняшнем информационном мире совершенно бесполезные. Это реляционные базы данных – они уже мертвы, просто не знают об этом, и жесткие диски, которые отмирают следом за ними».

«Мне этот процесс мне кажется столь же естественным, как вам – то, что от перфокарт мы пришли к iPad’ам. Ведь, заметьте, производители потребительской электроники уже массово отказываются от ненадежных и медленных жестких дисков в пользу совершенно иных запоминающих устройств. Просто сейчас это затронуло и корпоративную среду».

«Вот мы и подошли к теме in-memory computing, то есть доступу к данным непосредственно из оперативной памяти; платформам, которые делают аналитику и планирование в реальном времени возможными».

«Один из примеров таких платформ, к которому я имею непосредственное отношение, называется SAP HANA. В еще не отказались от жестких дисков полностью; они служат для бэкапа, и если банк памяти «упадет», система сама себя восстановит. Но сегодня практически все крупные вендоры софта и «железа», будь то Cisco, Dell, HP, Fujitsu или IBM, предлагают решения на базе этого комплекса. И подобные технологии – это индустриальный тренд, они разрабатываются не только SAP, но и, скажем, Oracle».

«То, что делают эти компании: меняют подход к обработке данных. Миллионы, миллиарды записей могут обрабатываться мгновенно, что делает операционную аналитику по-настоящему доступной. Если раньше для создания даже простого дашборда, содержащего минимум информации, требовалось огромное время на ожидание, пока данные будут агрегированы, то сейчас процесс становится чуть ли не интерактивным – гораздо более сложные визуализации данных загружаются за 2-4 секунды».

 

«То есть мы можем создавать аналитические инструменты, которые когда-то и представить себе не могли.

 

По сути, это работа со скоростью вашей сети. Если раньше вы запускали процесс создания отчета вечером, уходили домой, а результат получали с утра, теперь можно делать отчеты хоть сто раз в день. Так, крупные компании, имеющие филиалы по всему миру, теперь могут за доли секунды получать доступ к актуальным балансовым ведомостям всех своих подразделений: в случае реляционных баз данных это потребовало бы 3-4 дней!»

«И совершенно не имеет значения, сколько в вашей системе пользователей. Во-первых, этот момент делает подобные технологии все более графически-ориентированными, более удобными для восприятия мозгом, что особенно актуально с распространением мобильных устройств. Во-вторых, когда можно моментально выявлять операционные проблемы, многие решения переносятся с уровня высшего руководства на менеджеров среднего звена».

«Но когда я заявляю, что реляционные БД – давно пройденный этап, то говорю не просто о замене им, а о, фактически, единой глобальной базе данных, которая формируется на наших глазах. Ту же SAP HANA можно интегрировать с Google Maps, новостными и множеством других сервисов, запускать поверх нее несколько разноплановых инструментов аналитики одновременно».

 

«Но давайте абстрагируемся от чистого бизнеса и заглянем в будущее.

 

«Возьмем здравоохранение: создав хранилище снимков и сопутствующей информации, можно будет улучшить качество ранней диагностики. Сравнивая историю пациента с историями многих других, подобные системы смогут подсказывать доктору, на что еще обратить внимание при обследовании, возможно, заметят то, чему он сначала не придал значения».

«Еще один вариант применения таких технологий – борьба с преступность. Камеры стоят чуть ли не везде, но сейчас полиции не хватает мощностей, чтобы анализировать тысячи часов поступающих видео и распознавать лица нарушителей закона, объявленных в розыск и попавших в объектив. Системы типа HANA делают это возможным и, насколько знаю, в Англии уже тестируют подобные решения».

«Другой пример, также построенный на идее анализа поступающих изображений, относится к тому, что человек хочет знать ежедневно. Прогноз погоды. Метеостанции отдают информацию очень часто, но само моделирование пока занимает много времени. А ведь, в принципе, можно пойти еще дальше, построить глобальную сеть анализа и сбора данных, которая позволит лучше управлять ресурсами планеты».

 

«Но сначала нам предстоит заменить все традиционные системы хранения данных.

 

И тогда нас ждет прорыв, сравнимый с распространением парового двигателя в 19 веке».

 

Бесплатное участие в лекции стало возможным благодаря генеральному партнеру проекта Knowledge Stream – компании «Ростелеком», и интеллектуальному партнеру лекции – ОАО РВК.

Спикеры

637 show Юрий
Синодов
модератор, основатель Roem.ru
640 show Вадим
Табаков
менеджер по развитию направления Database&Technology, SAP
638 show Виктор
Комар
директор в дивизионе решений для управления данными, IBS
639 show Егор
Баяндин
директор по технологиям S7 Tour
641 show Вячеслав
Цыганов
вице-президент и IT-директор банка «Тинькофф Кредитные Системы»

генеральный партнер проекта

Ростелеком

интеллектуальный партнер лекции

Российская венчурная компания

при поддержке

SAP Labs

контакты

119072, Москва, Берсеневская набережная, 6, стр.3

+7 (499) 963–31–10
+7 (985) 766–19–25
do@digitaloctober.com