Флеш-память NAND не только сыграла ключевую роль в развитии мобильных вычислений, но и вызвала кардинальные перемены в системах хранения. Прежде всего речь идет о появлении нового уровня хранения, хотя и уступающего DRAM в скорости, но зато более дешевого. К тому же, по сравнению с дисковой подсистемой, решения на основе этой технологии намного быстрее. Не случайно компания EMC, крупнейший производитель СХД, объявила 2016-й годом флеша. Нынешний год заслуживает такой оценки еще в большей степени — он обещает стать поворотным в распространении 3D NAND и других технологических новшеств.

 

Рынок систем хранения развивается столь быстрыми темпами, что вся концепция хранения может кардинально измениться. Появление гиперконвергентных решений с распределенным хранилищем ставит под сомнение традиционный подход с использованием выделенных массивов и систем хранения. Накопители SSD способны обеспечить на порядок большую емкость, чем жесткие диски, при этом их производительность сопоставима с характеристиками RAID-массива. NVMe over Fabrics, в частности NVMe поверх Ethernet, позволяет подключить серверы к системам хранения с малой задержкой и тем самым претендует на место Fibre Channel. И все эти изменения стали возможны благодаря флеш-памяти NAND.

На высокую значимость флеш-памяти косвенно указывает тот факт, что ключевым для отрасли мероприятием становится Flash Memory Summit. С 2006 года число его участников выросло на порядок: последний по времени Flash Memory Summit посетило почти 6000 человек — больше, чем любое другое специализированное мероприятие по системам хранения. Среди ключевых тенденций и отраслевых проблем были отмечены потенциальная нехватка флеш-памяти в первой половине 2017 года, выпуск емких накопителей 3D NAND (на 60 Тбайт от Seagate и на 32 Тбайт от Samsung), появление стандарта на сетевую версию NVMe, перспективные разработки в области энергонезависимой памяти и др. Тема флеша занимает все больше места и на других тематических конференциях. В данной статье используются материалы докладов участников конференции «ПроSTOR-2016», в частности, доклада Григория Никонова, системного инженера HGST (подразделение Western Digital).

ВРЕМЯ 3D NAND

Технология плоской (двухмерной, 2D) флеш-памяти NAND достигла предела своего развития. С 1990 года характерный размер ячейки сократился с 1500 до 15 нм. Дальнейшее его уменьшение практически невозможно. Samsung обещала вывести на рынок технологию 14 нм, но какая-либо информация о ее коммерциализации отсутствует. Даже если компании удастся реализовать свои планы, то — с учетом складывающихся тенденций — это, вероятнее всего, будет последним словом в области технологий 2D NAND.

Технология трехмерной (3D) памяти NAND, или, как ее еще называют, вертикальной NAND (Vertical-NAND, V-NAND), позволяет преодолеть ограничения 2D NAND за счет размещения ячеек одна над другой в несколько (десятков) слоев. 3D NAND означает не просто изменение геометрии, а использование иных материалов и структуры (см. рис. 1). В частности, вместо традиционных МОП-транзисторов с плавающим затвором используется флеш-память с захватом заряда (Charge Trap Flash, CTF).

Рис. 1. 3D NAND означает не просто изменение геометрии, а использование иных материалов и структуры: вместо легированного поликристаллического кремния для хранения электронов применяется нитрид кремния, а плоская ячейка с захватом заряда сворачивается в цилиндр
Рис. 1. 3D NAND означает не просто изменение геометрии, а использование иных материалов и структуры: вместо легированного поликристаллического кремния для хранения электронов применяется нитрид кремния, а плоская ячейка с захватом заряда сворачивается в цилиндр

 

Процесс производства 3D NAND достаточно дорогостоящий. Как отмечает Григорий Никонов, экономически целесообразным является выпуск памяти 3D NAND с 64 либо 72 слоями (паритет по стоимости с 2D NAND может быть достигнут при 64 слоях). Несмотря на более высокую плотность размещения, ранее выпускаемая память 3D NAND с 36 и 48 слоями оказывалась более дорогой (в расчете на 1 Гбайт) по сравнению с 2D NAND 15 нм. В прошлом году 64-слойный чип анонсировала Micron, а в феврале свои 64-слойные чипы представили Samsung и Toshiba / Western Digital, причем обе компании намерены наладить их выпуск во второй половине текущего года.

Ввиду технологических и других сложностей, выпуск 3D NAND отстает от ранее провозглашенных планов. Переключив внимание на 3D NAND, производители приостановили не только развитие 2D NAND, но и наращивание производственных мощностей для ее производства, тем более что в предыдущие годы (2014-й и 2015-й) недостатка в такой продукции не наблюдалось (см. рис. 2). Именно по этой причине в первой половине 2017 года, пока не заработают на полную мощность новые (и модернизированные) фабрики по производству 3D NAND, можно ожидать дефицита флеш-памяти, а значит, и повышения цен.

Рис. 2. Изменение спроса на NAND
Рис. 2. Изменение спроса на NAND

 

Согласно прогнозу аналитиков KDB Daewoo Securities, ожидаемый дефицит в 2017 году составит 5 млн гигабайтов. Нехватка флеш-памяти прогнозировалась и в 2014–2015 годах, однако этого не случилось, что объясняется снижением темпов продаж смартфонов и планшетов, флеш-накопителей USB и флеш-карт. В то же время данная тенденция частично компенсируется увеличением устанавливаемой в них емкости. Одновременно наблюдается рост продаж SSD. Этот сегмент становится основным потребителем NAND: если в 2016 году на него приходилось 41,2% спроса на чипы NAND, то в 2017-м данный показатель составит уже 52,2%.

Что же касается жестких дисков, то, согласно исследованию «The Hard Disk Drive (HDD) And Solid State Drive (SSD) Industries: Market Analysis and Processing Trends», опубликованному Information Network, их продажи на мировом рынке снизятся с 469 млн штук в 2015 году до менее 400 млн штук в 2019-м, то есть на 14%. Поскольку в 2015 году количество проданных дисков сократилось на 17%, можно говорить, что рынок HDD стабилизируется, во всяком случае его падение замедляется. Как отметила в своем выступлении Эстер Спаньер, директор по развитию бизнеса Western Digital в регионе EMEA, даже с учетом вновь вводимых мощностей одной только флеш-памяти не хватит, чтобы удовлетворить потребности рынка в емкости хранения. Поэтому спрос на HDD сохранится по крайней мере в течение ближайших трех-четырех лет, а применяться они будут главным образом в дешевых емких хранилищах. Это, в частности, означает, что продажи дисков 2,5″ с частотой 15 К резко сократятся, поскольку эти диски дороги, но при этом проигрывают SSD в производительности.

2017 год станет переломным для 3D NAND: совокупная емкость накопителей, созданных с применением данной технологии, превзойдет аналогичный показатель для устройств 2D NAND. Этому, несомненно, будет способствовать ввод в эксплуатацию новых фабрик. По оценке Григория Никонова, общие инвестиции основных производителей флеш-памяти в модернизацию производства и строительство фабрик для 3D NAND составят 40 млрд долларов.

К крупнейшим производителям, в числе которых Samsung, Toshiba/WD/Sandisk, Micron/Intel и SK Hynix, в скором времени, весьма вероятно, добавится еще один игрок — китайская компания XMC. Китай стремится иметь собственное производство флеш-памяти, чтобы не зависеть от американских и корейских вендоров. Строящаяся фабрика рассчитана на выпуск 200 тыс. пластин ежемесячно (для сравнения, по оценке Lam Research, в конце 2016 года выпускалось 350–400 тыс. пластин 3D NAND), но массовый выпуск продукции начнется не ранее 2018 года, а выход на полную мощность может занять значительно больше времени.

НЕУБИВАЕМЫЙ ФЛЕШ

В 3D NAND TLC размер ячейки достаточно большой, соответственно, и количество хранящихся в ней электронов тоже велико. А это, в свою очередь, означает, что хранение трех битов на ячейку становится более надежным. Поэтому можно ожидать, что память 3D TLC NAND станет нормой в корпоративных приложениях. Такая память рассчитана на 2 тыс. циклов перезаписи, чего вполне достаточно для интенсивных по чтению нагрузок.

Весьма неожиданные результаты шестилетнего опыта использования SSD в одном из своих ЦОДов опубликовала компания Google. Как оказалось, твердотельные накопители на базе чипов SLC не обязательно надежнее SSD на базе MLC. Теоретически одноуровневая флеш-память SLC должна быть более износостойкой при операциях записи, чем многоуровневая MLC, поскольку в каждой ячейке хранится меньше информации и, следовательно, перезапись производится реже. Однако в случае облачных ЦОДов накопители используются круглосуточно, и на практике эти расчеты не подтверждаются.

В том же исследовании Google утверждается, что флеш-накопители надежнее жестких дисков — заменять их приходится реже, несмотря на больший процент неисправимых ошибок. Как следует из опыта использования флеш-накопителей не только в Google, но и в отрасли в целом, опасения относительно их быстрого износа оказались преувеличенными. Все боялись, что флеш-диски станут очень быстро терять емкость, будут ненадежными, а время жизни NAND окажется недостаточным. Однако эти опасения не оправдались. По данным HPE, у 85% SSD, проданных за все время их производства, ресурс до сих пор составляет не менее 90%.

«Огромное количество перезаписей никому не нужно, вся отрасль переходит на SSD с меньшим ресурсом, — говорит Григорий Никонов. — Мы (Western Digital) убираем из нашего портфеля линейку с 25 перезаписями в сутки». У SANdisk были устройства на 45 перезаписей в день, у Western Digital — на 25. В их «дорожных картах» такие линейки отсутствуют — максимальный ресурс у WD/SanDisk для накопителей составит 10 перезаписей. Некоторые вендоры ограничиваются продуктами, рассчитанными на три перезаписи и меньше, потому что востребованность в более износостойких продуктах невысока — нет такой нагрузки, которая может столь интенсивно нагружать SSD.

При этом появляются накопители, предназначенные для частого считывания информации (read intensive), прежде всего диски SAS, износоустойчивость которых рассчитана на одну перезапись в день. Три года назад Facebook высказала пожелание относительно дешевых емких флеш-накопителей для организации архива (о чем напомнила на прошлогоднем Flash Memory Summit). Судя по всему, в скором времени оно будет удовлетворено: Toshiba объявила о планах выпуска NAND SSD на базе четырехслойной памяти QLC емкостью 100 Тбайт в ближайшем будущем. Эти накопители рассчитаны на нагрузку 3–6 Пбайт, то есть на 30–60 перезаписей на протяжении всего срока использования. Таким образом, основной областью их применения может быть хранение редко востребованных данных.

ЭКСПРЕСС-ПОДКЛЮЧЕНИЕ

На рынке до сих пор преобладают SSD с интерфейсами SAS и SATA (см. рис. 3). «К удивлению многих аналитиков, растет доля SAS SSD, — отмечает Григорий Никонов. — SAS остается де-факто стандартом во всех СХД по причине наличия двух портов, предсказуемости, готовности всей инфраструктуры к работе с SAS». Обе технологии продолжают развиваться. В 2017-м — начале 2018 года можно ожидать появления дисков SAS объемом 8–16 Тбайт. Из-за особенностей форм-фактора возможности наращивания емкости дисков SATA ограниченны, в них сложно вместить более 4 Тбайт. Соответствующие накопители также должны появиться в 2017 году. Однако IDC прогнозирует заметное снижение доли флеш-накопителей SATA начиная с 2018 года.

Рис. 3. Рынок быстрых дисков  (в тысячах штук)
Рис. 3. Рынок быстрых дисков (в тысячах штук) 

 

Интерфейсы SAS и SATA разрабатывались в расчете на жесткие диски, поэтому они далеко не идеальны для подключения флеш-накопителей. Соответственно, предпочтительным интерфейсом становится комбинация шины PCIe c NVMe. PCIe реализует физический интерфейс, а NVMe — протокол для управления энергонезависимой памятью, имеющей этот интерфейс. Протокол NVMe специально разработан для устранения ограничений по пропускной способности при доступе к энергонезависимой памяти (он может использоваться не только с флеш-памятью, но и с другими ее разновидностями). NVMe предусматривает сокращенный (по сравнению с SCSI) набор команд для уменьшения накладных расходов процессора на обработку ввода-вывода. NVMe-накопители обеспечивают такие преимущества, как низкая задержка, параллельные запросы и высокая производительность.

Связка PCIe-NVMe позволяет осуществлять высокоскоростной обмен данными при установке флеш-накопителей внутри серверов. Однако если сервер подключен к внешней системе хранения, то преимуществами флеш-памяти в производительности не удастся воспользоваться в полной мере — сеть хранения оказывается узким местом. Для устранения этого препятствия разрабатывается набор протоколов NVMe, ориентированных на работу поверх различных сетевых инфраструктур (NonVolatile Memory express over Network Fabrics, NVMf, официально принятым сокращением является NVMe-oF). Он предполагает передачу команд NVMe через сети Ethernet, Infiniband и Fibre Channel.

Первая спецификация на NVMf была принята в начале лета 2016 года. По оценке NVM Express Inc., некоммерческой организации, которая занимается развитием NVMe, протокол NVMe over Fabrics на 90% совпадает с протоколом NVMe. Задача состояла в том, чтобы задержка между хостом NVMe и удаленным целевым устройством хранения увеличилась не более чем на 10 мкс по сравнению с локальной задержкой (когда накопитель подключается по шине PCIe).

Спецификация версии 1.0 предусматривает передачу сообщений NVMe по InfiniBand и через RoCE и iWARP по Ethernet, которые поддерживают RDMA, сетевой аналог прямого доступа к памяти, обеспечиваемого PCIe (см. рис. 4). Вариант NVMe поверх Fibre Channel (NVMe over Fabrics using Fibre Channel, FC-NVMe) разрабатывается комитетом T11, входящим в состав международного комитета по стандартам ИТ (International Committee for Information Technology Standards, INCITS) и отвечающим за разработку стандартов Fibre Channel. Стандарт планировали представить в конце прошлого года, но на момент написания статьи информация о его принятии отсутствовала. FC-NVMe будет обеспечивать худшую по сравнению с NVMf производительность, поскольку FC не поддерживает прямого доступа к памяти, однако он позволит ускорить FC за счет исключения стека ввода-вывода FC.

Рис. 4. NVMe over Fabrics позволяет вместо PCIe использовать альтернативные виды транспорта, в частности InfiniBand, и благодаря этому увеличить расстояние между хостом NVMe и накопителем NVMe
Рис. 4. NVMe over Fabrics позволяет вместо PCIe использовать альтернативные виды транспорта, в частности InfiniBand, и благодаря этому увеличить расстояние между хостом NVMe и накопителем NVMe 

 

По оценке 451 Research, потребуется еще пара лет на устранение шероховатостей спецификации, чтобы она могла получить широкое распространение. Как бы то ни было, в ядре Linux 4.8 уже появилась поддержка целевых устройств NVMf. Emulex (подразделение Broadcom) заявила, что ее HBA-адаптеры последнего поколения поддерживают данный стандарт. Многоядерную систему на чипе BlueField, поддерживающую RDMA Offload, представила Mellanox. Как утверждается, эта SoC идеально подходит для контроля и подключения полок с флеш-накопителями NVMf. О своем намерении использовать NVMf и/или FC-NVMe для внешнего подключения систем хранения 3PAR сообщила HPE. Так что уже в скором времени можно ожидать появления внешних СХД, которые будут способны выдавать более 10 млн IOPS с очень низкими задержками даже при доступе по сети.

ДАЛЬНЕЙШАЯ СУДЬБА ФЛЕША

Впрочем, дальнейшая судьба флеш-памяти далеко не безоблачна. Как отмечает Григорий Никонов, дорожная карта развития NAND пока просматривается максимум на 2–3 поколения вперед. После освоения производства 64-слойной памяти следующим рубежом станут 96-слойные, а затем 128-слойные ячейки. Как ожидается, соответствующие продукты появятся уже в 2018 году. После этого наращивание количества слоев становится проблематичным, так как выдерживать необходимые размеры в литографическом процессе очень тяжело.

Для преодоления этого барьера потребуется новая технология — string stacking, предполагающая укладку двух или более отдельных устройств одно поверх другого. Эта технология уже находится в разработке. Так, в прошлом году Micron анонсировала 64-уровневый чип, который, по-видимому, представляет собой стек из двух 32-уровневых чипов один поверх другого, причем главная трудность состоит в реализации способа их соединения. Но даже эта технология, вероятно, имеет технологический предел в 300 слоев (3 чипа по 96 слоев). Из-за технических проблем ставится вопрос и об экономической целесообразности ее производства.

Выпускаемые сейчас продукты существенно различаются по стоимости, емкости и производительности: с одной стороны, это сверхбыстрая и дорогая память в кеше процессоров и довольно дорогая DRAM, а с другой — емкие и относительно недорогие SSD и тем более HDD. А между этими предложениями имеется значительный пробел. «Память, которая в этот зазор попадает, должна практически не уступать по скорости DRAM, но в то же время быть дешевле и менее энергоемкой», — указывает Григорий Никонов. Это новое поколение энергонезависимой памяти получило название «память для хранения» (Storage Class Memory, SCM).

Таким образом, понятие SCM подразумевает емкую память, где сервер мог бы хранить не только данные, необходимые ему для вычислений в конкретный момент, как в случае DRAM, но и всю информацию (или ее большую часть), которая может ему потребоваться в дальнейшем и которая обычно размещается в системах хранения. Типовые SSD с интерфейсами SAS или SATA неспособны обеспечить сравнимую с DRAM производительность, поэтому на роль SCM не подходят.

Однако в качестве SCM могут использоваться флеш-карты PCIe. Имея прямое соединение с центральным процессором, они обеспечивают сопоставимую пропускную способность с DRAM без необходимости преобразования унаследованных протоколов. Еще более высокие характеристики по производительности способна обеспечить флеш-память в формате DIMM (то есть размещение флеш-модуля в слоте памяти) за счет устранения задержки в шине PCIe. Первоначально такие модули будут использоваться для расширения текущей памяти DRAM, а со временем они могут стать заменой DRAM.

SCM прокладывает путь к появлению универсальной памяти. Такая память, скорее всего, будет основана на других принципах, нежели хранение электронов. По словам Сешубабу Десу, технического директора 4DS Memory, память — это, по сути, изменение какого-либо состояния электронным путем. Многочисленные разработки ведутся в области резистивной памяти, где измеряемой (и изменяемой) характеристикой является сопротивление. Сопротивление материала можно менять множеством способов (см. рис. 5) — изменением магнитной поляризации (память FeRAM), направления магнитного спина (MRAM/STTRAM) или агрегатного состояния (PСM, PRAM), путем создания проводящей нити (ReRAM/CBRAM) и др.

Рис. 5. В отличие от DRAM и NAND, в резистивной памяти значения «0» и «1» определяются не разностью потенциалов, а разностью сопротивлений. Изменение сопротивления материала может достигаться разными способами
Рис. 5. В отличие от DRAM и NAND, в резистивной памяти значения «0» и «1» определяются не разностью потенциалов, а разностью сопротивлений. Изменение сопротивления материала может достигаться разными способами

 

Предсказать, какая из технологий победит, пока не представляется возможным. По мнению Григория Никонова, наиболее перспективными являются память на перемене фаз (Phase Change Memory, PCM) и память с созданием проводящей нити. В первом случае предполагается использование халькогенидного стекла. Этот материал достаточно легко перевести из аморфного состояния в кристаллическое и обратно при помощи электрического импульса. В зависимости от продолжительности подачи и напряжения импульса материал становится либо кристаллическим, либо аморфным. В результате у него меняется сопротивление — на два-три порядка. Изменение агрегатного состояния проявляется и в изменении отражающей способности, благодаря чему этот эффект давно используется в перезаписываемых CD/DVD.

По-видимому, разновидностью PCM является память 3D X-Point, создаваемая альянсом Intel/Micron, хотя разработчики утверждают, что это не так. Как и в других случаях, подробная информация о технологии не раскрывается. Немного технических подробностей известно и о памяти с формированием проводящих нитей. Общий принцип следующий: на оксид металла, который находится между двумя электродами, подается напряжение, в результате чего в непроводящем диэлектрике начинают формироваться проводящие нити. Как только нить сформировалась, сопротивление ячейки становится очень низким. Изменение полярности напряжения приводит к разрушению этой проводящей нити, в результате сопротивление резко вырастает (см. рис. 6).

Рис. 6. Повышение напряжения приводит к формированию проводящей нити в диэлектрике (MeOX), а изменение полярности напряжения — к ее разрушению
Рис. 6. Повышение напряжения приводит к формированию проводящей нити в диэлектрике (MeOX), а изменение полярности напряжения — к ее разрушению

 

Разработки находятся на разной стадии готовности, но в ближайшие годы их массового вывода на рынок ожидать не приходится, так что до 2020 года (а скорее всего, и после) флеш-память останется жизнеспособной опцией.

Дмитрий Ганьжа, главный редактор «Журнала сетевых решений/LAN», diga@lanmag.ru