Группа компаний, включая Google, Intel, AMD и Baidu, в сотрудничестве с Гарвардским и Стэнфордским университетами, а также еще рядом научно-исследовательских организаций опубликовали на GitHub альфа-версию MLPerf — системы, задуманной в качестве независимого от производителя инструментария для сравнительной оценки характеристик программных и аппаратных средств искусственного интеллекта. Предполагается, что MLPerf станет аналогом таких тестов, как SPEC (используется для оценки производительности компьютеров), TPC (применяется для сравнительного тестирования СУБД) и др. MLPerf позволяет оценить, например, время и стоимость решения типовых задач глубинного обучения при достижении уровня точности, отвечающего текущим стандартам отрасли. Среди задач, включенных в предварительную версию теста, можно назвать классификацию изображений, распознавание объектов, распознавание речи, машинный перевод, предоставление рекомендаций, анализ тональности и обучение с подкреплением. В состав теста входят код для каждой из задач, контейнер Docker для выполнения теста, скрипт для загрузки выборки данных и документация.