Суперкомп'ютер Stampede

Міністерство освіти і науки України Тернопільський національний технічний університет імені Івана Пулюя Кафедра комп’ютерних систем та мереж Реферат Суперкомп’ютер Stampede

Тернопіль — 2014

Зміст

1. Загальна інформація про суперкомп’ютер Stampede

2. Прискорювач Intel Xeon Phi: карти Intel у суперкоп’ютері Stampede

3. Архітектура Intel Xeon Phi

4. Апаратна частина Intel Xeon Phi

5. Екскурсія по суперкомп’ютеру Stampede

6. Мережа

7. Stampede: сховище даних Список використаної літератури

1. Загальна інформація про суперкомп’ютер Stampede

Stampede входить в топ 10 суперкомп’ютерах світу. Станом на листопад 2013 року він займає 7-му сходинку рейтингу top500.org. Він встановлений і є власністю Texas Advanced Computing Center/Univ., Остін, штат Техас, США.

Наведемо деякі характеристики суперкомп’ютера Stampede, за даними рейтингу top500.org.

Таблиця 1 — Хаактеристики Stampede

Рисунок 1 — Зовнішній вигляд Stampede

2. Прискорювач Intel Xeon Phi: карти Intel у суперкоп’ютері Stampede

Щоб наздогнати конкурентів та задовольнити зростаючий попит на обчислювальні потужності, компанія Intel представила прискорювачі Xeon Phi 5110P та 3100.

Рисунок 2 — Прискорювач Intel Xeon Phi

У прискорювач інтегровано 60 ядер x86 з 512-розрядними векторними модулями, які працюють на частоті більше 1 ГГц та забезпечують швидкість обчислень більше 1 ТФлопс подвійної точності. Вони розташовані на двохслотовій карті PCI Express зі спеціальною прошивкою на базі Linux.

Безумовно, ядра не розраховані на обробку основних задач, з якими стикаються процесори сімейства Core або Atom. Їх стихія — паралельні задачі, які здатні використовувати велику кількість ядер для максимального ефекту.

Для чого може знадобитись такий прискорювач? Прогнозування погоди, медичні задачі, дослідження в області енергетики, моделювання, фінансовий аналіз — тут вже використовуються апаратні засоби AMD та NVIDIA.

Intel робить те саме, проте її продукція не потребує переробки коду під CUDA або OpenCL. Таким чином, виробники ПЗ можуть оптимізувати свої програми під Xeon Phi, використовуючи C, C++, Fortran з певними доповненнями, які допомагають використовувати цей прискорювач.

3. Архітектура Intel Xeon Phi

У корпорації Intel великий портфель технологій, розроблених її інженерами. Тим не менш, архітектура Many Integrated Cores — це дещо більше, ніж купа модифікованих процесорів Pentium, створених за 22-нм процесом.

Наведемо деякі характеристики:

· Ядра х86 з підтримкою 64-біт

· 4 потоки на ядро, до 61 ядра на прискорювач

· 512 біт SIMD

· 512 КБ кеш L2 на ядро (до 30,5 МБ на всю карту)

· 6−8 ГБ пам’яті GDDR5 на карту

· 22-нм тривимірні транзистори

· Підтримка Red Hat Enterprise Linux 6. x або SuSE Linux 12+

Навіть у старшої моделі Xeon Phi значно менше ядер, ніж у звичайного графічного процесора. Але порівнювати ядра MIC та CUDA у співвідношення один до одного неможна.

Одне ядро Xeon Phi — це чотирипоточний модуль з 512-бітним набором команд SIMD. Для вірного співставлення не варто звертати увагу на маркетингове означення поняття «ядра» .

Цікаво, що карта працює під керуванням Linux. Навряд чи на неї можна встановити пакет LAMP, але напевно знайдуться охочі спробувати. Однак на карту Xeon Phi можна увійти через SSH та дізнатись про неї більше інформації.

Рисунок 3 — Скріншот сесії по SSH на дослідному зразку Intel Xeon Phi з початком та кінцем 6100 рядків команди cat/proc/cpuinfo

На наступній діаграмі, яка описує архітектуру ядра MIC, Intel стверджує, що менше двох процентів області ядра та кеша на кристалі характерні для логіки х86. Хоча процесори Xeon E5−2680, які працюють на суперкомп’ютері Stampede, складаються з 2,27 млрд. транзисторів, родовід х86 стосується процесора 8086 з 20−30 тисячами транзисторів.

суперкомп’ютер stampede intel мережа Рисунок 4 — Ядро Knights Corner

Звичайно, навіть сучасні десктопні процесори неймовірно складні, що підкреслює важливість отримання та передачі даних найбільш ефективним способом.

За аналогією з процесорами Sandy Bridge та Ivy Bridge, прототип під назвою Knights Corner використовує кільцеву шину, що дозволяє максимально ефективно використовувати пропускну здатність та доступну площу кристала. Оскільки кожне ядро має великий кеш, процесор здатний уникнути падіння продуктивності, пов’язаного з надходженням даних з пам’яті GDDR5.

Рисунок 5 — Мікроархітектура Knights Corner

4. Апаратна частина Intel Xeon Phi

Моделі Xeon Phi 5110P та 3100 базуються на однаковому залізі, але мають характеристики, які краще підходять для певних цільових обчислювальних задач. У таблиці видно, що дві лінійки оснащені різними системами охолодження. 5110P має лише радіатор, а у серії 3100 є моделі з активним та пасивним охолодженням.

У 5110Р більше пам’яті та ширше шина. Тепловий пакет процесора з 60 ядрами на частоті більше 1 ГГц сягає 225 Вт. Хоча у цієї карти немає активного охолодження, 5110Р все-таки необхідний достатній повітряний потік для розсіювання такої кількості тепла.

Таким чином, карта призначена виключно для стійкових серверів, корпусні вентилятори яких продувають повітря через радіатор карти та випускають його через задню скобу.

Термічний пакет серії 3100 складає вже 300 Вт. Вони оснащуються виключно 6 ГБ пам’яті GDDR5. Всього на карті встановлено 57 ядер та 28,5 МБ кеша другого рівня.

Виникає питання, за рахунок чого TDP цих моделей вище? Швидше за все, вони працюватимуть на вищій тактовій частоті. За аналогією з 5110Р, Xeon Phi 3100 з пасивним охолодженням вимагатиме відповідної серверної системи охолодження.

Однак модель з власним вентилятором цілком може підійти для робочих станцій.

5. Екскурсія по суперкомп’ютеру Stampede

Intel хотіла продемонструвати, що Xeon Phi — це не просто продукт, який рятує репутацію компанії та виправдовує останні 8 років розробки, починаючи з проекту Larrabee.

Замість того, щоб просто оголосити про появу нових карт, компанія запросила журналістів на презентацію процесу побудови суперкомп’ютера Stampede. На момент візиту вже було встановлено більше двох тисяч таких карт.

Рисунок 6 — Монтаж карт У процесі установки кожна карта встановлюється у спеціальне шасі, а потім монтується у сервер Dell. Кожен вузол PowerEdge C8220x «Zeus» містить два процесора Xeon E5−2680 та 32 ГБ оперативної пам’яті. Ось так виглядає сервер.

Рисунок 7 — Сервер Dell

Підвішена карта у верхньому лівому куті - підтримка Infiniband. Два роз'єми LGA 2011 прикриті пасивними радіаторами та оточені чотирма слотами DIMM. Кожен слот DIMM з ECC підтримує 4 ГБ пам’яті. Праворуч знаходиться місце під 2,5-дюймовий накопичувач. У Stampede стоять звичайні жорсткі диски.

Рисунок 8 — Серверна стійка Сині світлодіоди всередині деяких вузлів — це карти Xeon Phi. Прискорювачі Intel забезпечують приблизно 7 з 10 ПФлопс продуктивності суперкомп’ютера.

Але Stampede складається не лише з тисяч процесорів та прискорювачів. Для віддаленої візуалізації встановлено 128 карт NVidia Tesla K20 разом з 16 серверами із загальним обсягом пам’яті 1 ТБ та двома GPU для аналізу великих обсягів даних. Насправді, на додачу до всього перерахованого, до складу суперкомп’ютера входить безліч інших компонентів.

6. Мережа У системах з багатьма вузлами досить складно забезпечити ефективний зв’язок між ними. Stampede працює на обладнанні Mellanox Infiniband FDR, яке має малі затримки та забезпечує прямий доступ до пам’яті. Оптоволоконні кабелі від серверів підключені до комутатора, вбудованого до кожної стійки.

Рисунок 9 — Infiniband FDR

У суперкомп’ютері всі вузли пов’язані центральними комутаторами. На фотографії видно ще не до кінця завантажений з'єднаннями комутатор Mellanox.

Рисунок 10 — Комутатор Mellanox

Великий радіус згинання дозволить уникнути переламу кабелю. Серед 120 кілометрів проводу знайти неробоче з'єднання буде непросто.

Ось так виглядає повністю заповнений комутатор.

Рисунок 11 — Повністю завантажений комутатор Mellanox

7. Stampede: сховище даних Обсягів окремих дисків у кожному вузлі недостатньо для збереження величезних обсягів даних, необхідних для роботи суперкомп’ютера. Тому встановлюються додаткові вузли збереження.

Рисунок 12 — Додаткові вузли збереження Ми очікували побачити ряди відсіків для дисків з можливістю гарячої заміни, але були вражені тим, що побачили. Принаймні, поки нам не пояснили конфігурацію цих дисків.

Рисунок 13 — Полиця з дисками Звичайні 2,5-дюймові диски, розміщені по два у товщину та по 8 рядів у довжину, забезпечують сховище обсягом більше 14 ПБ разом з оперативною пам’яттю 270 ТБ. Ці полиці можна витягнути для заміни дисків без відключення кабелів. Дійсно елегантне рішення.

Список використаної літератури

1. Stampede — PowerEdge C8220, Xeon E5−2680 8C 2.700GHz, Infiniband FDR, Intel Xeon Phi SE10P

URL: http://www.top500.org/system/177 931

2. Огляд Intel Xeon Phi: карти Intel у суперкомп’ютері TACC

URL: http://supercomputer.com.ua/ua/250-oglyad-intel-xeon-phi-karti-intel-u-superkompyuteri-tacc.html

3. Texas Advanced Computing Center

URL: https://www.tacc.utexas.edu/stampede/