Мы вступили в эпоху больших данных (BigData). Камеры видеонаблюдения, информация о перелетах и переездах людей, истории болезней, транзакции, сотовая связь, покупки в магазинах – все это и многое другое формирует базы данных, которые постоянно пополняются и стремительно разрастаются.
Все эти данные – большая ценность, ресурс для анализа и прогнозов, пища для алгоритмов машинного обучения. Сегодня без них уже невозможно построить систему с по-настоящему высокой точностью.
BigData-исследования находятся на стыке наиболее востребованных направлений, это, можно сказать, сердце междисциплинарных исследований. Здесь и искусственный интеллект, и машинное обучение, и нейронные сети на службе медицины, биологии, экономики, социологии, логистики, физики, генетики, финансов; а также сложные семантические алгоритмы для поиска информации в интернете и нестандартные подходы к обеспечению безопасности программно-аппаратной инфраструктуры.
Технологии обработки больших данных и машинного обучения успешно трудятся в области поиска информации, прогноза погоды и игры в Го, они предсказывают спрос на товары, помогают распознавать изображения и звуки. Использование современных методов машинного обучения на действительно больших объемах данных позволяет конструировать системы с обширными возможностями.
Один из примеров системы, которую можно сделать в рамках конкурса, – создать алгоритм, рекомендующий фильмы, музыку и литературу конкретному пользователю, на основе оценок, которые поставили другие пользователи этого сервиса. Алгоритм сравнивает их и делает предсказание, какую оценку фильму поставил бы этот пользователь, если бы его посмотрел. Алгоритм может использовать информацию с популярных сайтов, таких как Кинопоиск, IMDB, litres или Википедия.
