Добыча данных, хранилища данных

Традиционные системы хранения не могут расширяться бесконечно или хотя бы достаточно быстро, что особенно критично для задач глубинного обучения, в случае когда данных больше, чем может поместиться на одной машине. Поэтому для поддержки работы с большими данными все чаще применяются распределенные горизонтально масштабируемые архитектуры хранения и обработки в памяти.

Создание озер научных данных актуально сегодня для всех стран, претендующих на ведущие роли в научных сообществах. В противном случае ученые из таких стран потеряют возможность контроля над хранимыми в рамках федерации данными.

Различные данные имеют для компании разную ценность, и затраты на их хранение должны быть адекватными. Ошибки в определении реальной ценности и востребованности данных в лучшем случае сведут на нет попытки сэкономить, а в худшем — приведут к рискам.

KDD — обнаружение знаний в базах данных — реальный способ повышения эффективности работы. Вопрос не в том, нужны ли такие технологии, а в том, как их применить в каждом конкретном случае.