Суперкомп'ютери

року міністерство освіти Російської Федерации.

НОВОСИБІРСЬКИЙ ДЕРЖАВНИЙ ТЕХНІЧНИЙ УНИВЕРСИТЕТ.

Кафедра Автоматики і Обчислювальною Техники.

Реферат на задану тему: «Сучасні суперЕОМ «.

Факультет: АВТ Викладач: … Група: АП-318 Студент: Цырендылыков Батор

Новосибирск,.

2003 г.

Зміст: Суперкомп’ютери — що це? 3 Суперкомп’ютери — навіщо це? 5 Суперкомп’ютери — як і? 7 Усі нове — це добре забуте старе 9 Хіба ж тепер використав світі? 12 Якщо десь прибуде, то десь обов’язково зменшиться 14 Додатка 16.

Перші 25 суперкомп’ютерів зі списку Top500 (листопад 2003): 16.

Надскладні обчислювальні завдання, які вирішуються на суперкомп’ютерах. 18.

Класифікація архітектур обчислювальних систем (Класифікація Флинна).

Найпоширеніші сьогодні суперкомп’ютери: 21 Список використаної літератури: 23.

Суперкомп’ютери — що это?

Про те, що існують певні містичні «досить потужні «комп'ютери чув, напевно, кожен. У насправді, нещодавно було багато розмов про постачання Гідрометеоцентр Росії могутніх комп’ютерів фірми Cray Research. У пресі регулярно проходять повідомлення про нелегальних поставках обчислювальної техніки, попадающей під ембарго американського уряду. Знову-таки, якщо комп’ютер безпосередньо з ім'ям Deep Blue самого Гаррі Каспарова, він, погодьтеся — й тут інтуїція Вас не підвела, ніяк може бути простий персоналкой.

Багатьом подібні комп’ютери і залишаються таємницею під сімома печатками, певної TERRA INCOGNITA, з якою асоціації завжди пов’язані з чимось великим: величезні розміри, великі завдання, потужні фірми та самої компанії, неймовірні швидкості роботи, чи щось інше, але це завжди буде «на межі «, навіщо «звичайного «явно мало, а підійде лише «супер », суперкомп’ютер чи супер-ЭВМ. У цьому вся інтуїтивному сприйнятті є неабияка частка істини, оскільки до класу супер-ЭВМ належать лише ті комп’ютери, які мають максимальну продуктивність нині. Бистре розвиток комп’ютерної індустрії визначає відносність цього поняття — те, що десяток років тому можна назвати суперкомп’ютером, сьогодні під визначення не потрапляє. Наприклад, продуктивність персональних комп’ютерів, використовують Pentium-II/300MHz, порівняти з продуктивністю суперкомп’ютерів початку 1970;х років, проте за сьогоднішнім мірками суперкомпьютерами є ні ті, ні другие.

У кожному комп’ютері все основні параметри тісно пов’язані. Важко собі уявити універсальний комп’ютер, має високе швидкодію і мізерну оперативну пам’ять, або величезну оперативну пам’ять та її невеличкої обсяг дисків. За логікою, бачимо: супер-ЭВМ це комп’ютери, що мають у час як максимальну продуктивність, а й максимальний обсяг оперативної та дискової пам’яті, і навіть спеціалізоване ПО, з допомогою якого ефективно всього цього воспользоваться.

Визначень суперкомпьютерам намагалися давати багато, іноді серйозних, іноді іронічних. Зокрема, літ п’ять тому, коли цю тему піднімалася в конференції comp. parallel, Кен Батчер (Ken Batcher) запропонував такий варіант: суперкомп’ютер — цей прилад, сводящее проблему обчислень до проблемі ввода/вывода. Усе правильно, як кажуть є частка жарти: що раніше довго обчислювалося, часом скидаючи щось на диск, на супер-ЭВМ може виконатися миттєво, переводячи стрілки неефективності на щодо повільні устрою ввода/вывода.

Так що ж, і які суперкомп’ютери перебувають у час у світі? Ось лише кілька прикладів, що б основні параметри машин цього класса.

CRAY T932, векторно-конвейерный комп’ютер фірми CRAY Research Inc. (в час це підрозділ Silicon Graphics Inc.), вперше випущений 1996 року. Максимальна продуктивність одного процесора дорівнює майже 2 млрд. операцій на секунду, оперативна пам’ять нарощується до 8Гб (Гіга це у тисячу разів більше, ніж Мега), дискове простір до 256 000Гб (тобто. 256Тб, Тера це у тисячу разів більше, ніж Гіга). Комп’ютер в максимальної конфігурації містить 32 подібних процесора, працюючих над єдиної загальної пам’яттю, тому максимальна продуктивність всієї обчислювальної системи становить понад 60 млрд. операцій на секунду.

IBM SP2, массивно-параллельный комп’ютер фірми IBM (іноді такі комп’ютери називають комп’ютерами з масовим паралелізмом). У цей час будується з урахуванням стандартних мікропроцесорів PowerPC 604e чи POWER2 SC, з'єднаних між собою через високошвидкісної комутатор, причому кожен має власну локальну оперативну пам’ять і дискову підсистему. Характеристики цих мікропроцесорів відомий і особливих здивувань не викликають, однак у однієї SP системи їх то, можливо об'єднано дуже багато. Зокрема, максимальна система, встановлена на Pacific Northwest National Laboratoriy (Richland, USA), містить 512 процесорів. З числа процесорів, можна сумарну потужність всієї обчислювальної системы…

HP Exemplar, комп’ютер з кластерної архітектурою від Hewlett-Packard Inc. Зокрема, модель V2250 (клас V) побудовано основі мікропроцесора PA-8200, котрий з тактовою частотою 240MHz. До 16 процесорів можна поєднати у межах одного вузла із загальною оперативної пам’яттю до 16Гб. Натомість вузли у межах однієї обчислювальної системи з'єднуються між собою через високошвидкісні канали передачі данных.

ASCI RED, дітище програми Accelerated Strategic Computing Initiative, — це найбільш потужний нинішній момент комп’ютер. Збудований на замовлення Міністерства енергетики США, він об'єднує 9152 (!) процесорів Pentium Pro, має 600Гб сумарною оперативної пам’яті і загальну продуктивність 1800 мільярдів операцій на секунду. Людині потрібно було 57 000 років, щоб з калькулятором виконати всі ті операції, які цей комп’ютер робить за 1 секунду!

Прості розрахунки доводять, що й помірні конфігурації таких комп’ютерів можуть коштувати чимало мільйон доларів — з цікавості прикиньте, скільки стоять, скажімо, лише 600 Гбайт оперативної пам’яті? Виникає ціла ряд природних вопросов:

Які завдання настільки важливі, що потрібні комп’ютери вартістю кілька долларов?

Або, які завдання настільки складні, що хорошого Pentium-IV не достаточно?

Суперкомп’ютери — навіщо это?

А, щоб оцінити складність розв’язуваних практично завдань, візьмемо конкретну предметну область, наприклад, оптимізацію процесу видобутку нафти. Маємо підземний нафтової резервуар із якоюсь число пробурених свердловин — з одних на поверхню відкачують нафту, на інших назад закачується вода. Потрібно змоделювати ситуації у даному резервуарі, щоб оцінити запаси нафти чи зрозуміти потреба у додаткових скважинах.

Приймемо спрощену схему, коли він моделируемая область відображається в куб, однак і ту буде достатньо оцінки числа необхідних арифметичних операцій. Розумні розміри куба, у яких можна одержувати правдоподібні результати — це 100*100*100 точок. У кожній точці куба треба обчислити від 5 до 20 функцій: три компоненти швидкості, тиск, температуру, концентрацію компонент (вода, на газ і нафту — це мінімальний набір компонент, на більш реалістичних моделях розглядають, наприклад, різні фракції нафти). Далі, значення функцій перебуває, як рішення нелінійних рівнянь, що потребує від 200 до 1000 арифметичних операцій. І нарешті, якщо досліджується нестаціонарний процес, тобто. потрібно зрозуміти, як цю систему поводиться у часі, то робиться 100−1000 кроків із часу. Що получилось:

106(точек сетки)*10(функций)*500(операций)*500(шагов за часом) = 2.5*1012.

2500 мільярдів арифметичних операцій до виконання самого розрахунку! А зміна параметрів моделі? А відстеження поточну ситуацію при зміні вхідних даних? Такі розрахунки треба робити багаторазово, що накладає дуже жорсткі вимоги на продуктивність використовуваних обчислювальних систем.

Приклади використання суперкомп’ютерів можна знайти лише у нафтовидобувної промисловості (див. Приложение).

За даними Марка Міллера (Mark Miller, Ford Motor Company), для виконання crash-тестов, у яких реальні автомобілі розбиваються про бетонну стіну з одночасним вимірюванням необхідних параметрів, зйомкою і наступної обробкою результатів, компанії Форд довелося б від 10 до 150 прототипів нових моделей при загальних витратах від 4 до 60 мільйонів доларів. Використання суперкомп’ютерів дозволило скоротити кількість прототипів однією треть.

1995 року корпус автомобіля Nissan Maxima вдалося зробити на 10% міцніше завдяки використанню суперкомп’ютера фірми Cray (The Atlanta Journal, 28 травня, 1995 р). З допомогою нього були знайдені як слабкі точки кузова, а й найбільше ефективний засіб їх видалення. Зовсім свіжий приклад — це такий розвиток однієї з найбільших світових систем резервування Amadeus, використовуваної тисячами агенцій із 180 000 терміналів у понад ста країнах. Установка двох серверів Hewlett-Packard T600 по 12 процесорів в кожному дозволила довести ступінь оперативної доступності центральної системи до 99.85% при поточної завантаженні близько 60 мільйонів запитів в сутки.

І такі приклади можна знайти всюди. Свого часу дослідники фірми DuPont шукали заміну хлорофлюорокарбону. Потрібно було знайти матеріал, має самі позитивні властивості: незаймистість, стійкість до корозії і низька токсичність, але не матимуть шкідливого на озоновий шар Землі. Уже за тиждень було проведено необхідні розрахунки на суперкомп’ютері зі спільними витратами майже п’ять тисяч доларів. За оцінками спеціалістів DuPont, використання традиційних експериментальних методів досліджень потребує близько трьох місяців і 50 тисяч доларів — і не враховуючи часу, необхідного на синтез й очищення необхідної кількості вещества.

Суперкомп’ютери — як это?

Ви що, схоже, суперкомп’ютери у самому справі мають право існування. Тепер потрібно прояснити, очевидно, основний вертящийся мовою питання — чого вони вважають буде настільки швидким? Варіантів відповіді може бути кілька, серед яких два мають явну перевагу: розвиток елементної бази й використання нових рішень на архітектурі компьютеров.

Спробуймо розібратися, який із чинників є вирішальним у досягненні сучасних фантастичних показників продуктивності. Щоб одержати дозвіл цього питання звернімося історичних фактів. Відомо, що у комп’ютері EDSAC (1949 р.), що мав час такту 2мкс, можна було виконати 2*n арифметичних операцій за 18*n мс, тобто у середньому 100 арифметичних операцій на секунду. Порівняємо із сучасним суперкомп’ютером CRAY C90: час такту приблизно 4нс, а пікова продуктивність близько 1 мільярда арифметичних операцій на секунду.

Що ж виходить? Продуктивність комп’ютерів цей період зросла приблизно десять мільйонів раз. Зменшення часу такту є способом збільшенням продуктивності, однак це складова (з 2мкс до 4нс) у загальному обсягу дає внесок лише 500 раз. Звідки ж узялася інше? Відповідь очевидна — використання нових рішень на архітектурі комп’ютерів, серед яких основне його місце займає принцип паралельної обробки данных.

Цей принцип, втілюючи ідею одночасного виконання кількох дій, має чи два різновиди: конвейерность та власне паралельність. Обидва виду паралельної обробки інтуїтивно зрозумілі, тому зробимо лише невеликі пояснения.

Паралельна обробка. Якщо якесь пристрій виконує одну операцію за одиницю часу, то тисячу операцій воно виконає тисячу одиниць. Якщо припустити, що є п’ять так само незалежних пристроїв, здатних працювати одночасно, то таку ж тисячу операцій система з п’яти пристроїв може виконати не за тисячу, а й за двісті одиниць часу. Аналогічно система з N пристроїв таку ж роботу виконає 1000/N одиниць часу. Такі аналогії можна знайти й у житті: якщо одне солдатів вскопает город за 10 годин, то рота солдатів із п’ятдесяти людина із здібностями, працюючи одночасно, впораються з тією ж роботою за 12 хвилин — принцип паралельності в действии!

Конвеєрна обробка. Що потрібно для складання двох речовинних чисел, які у формі з плаваючою коми? Ціле безліч дрібних операцій як-от порівняння порядків, вирівнювання порядків, складання мантисс, нормалізація тощо. Процесорам перших комп’ютерів виконували все ці «микрооперации «кожної пари аргументів послідовно одна за однієї до того часу, доки сягали остаточного результату, і тільки після цього переходили до опрацювання наступній пари слагаемых.

Ідея конвеєрної обробки залежить від виділенні окремих етапів виконання загальної операції, причому кожен етап, виконавши своєї роботи, передавав б результат наступному, одночасно приймаючи нову порцію вхідних даних. Отримуємо очевидний виграш швидкістю обробки з допомогою суміщення колись рознесених у часі операцій. Припустимо, що у операції можна назвати п’ять микроопераций, кожна з яких виконується за одиницю часу. Якщо є одне неподільне послідовне пристрій, то 100 пар аргументів воно обробить за 500 одиниць. Якщо кожну микрооперацию виділити в окремий етап (чи інакше кажуть — щабель) конвеєрного устрою, то, на п’ятої одиниці часу різній стадії обробки такого устрою будуть перебуває п’ять пар аргументів, а весь набір із сотні пар буде оброблений за 5+99=104 одиниці часу — прискорення проти послідовним пристроєм майже на п’ять раз (по числу щаблів конвейера).

Здається, конвеєрну обробку з успіхом замінити звичайним паралелізмом, навіщо продублювати основне пристрій стільки раз, скільки щаблів конвеєра передбачено виділити. У насправді, п’ять пристроїв попереднього прикладу опрацюють 100 пар аргументів за 100 одиниць часу, що швидше часу роботи конвеєрного устрою! У чому справа? Відповідь проста, збільшивши вп’ятеро число пристроїв, ми значно збільшуємо як обсяг апаратури, і і її. Уявіть собі, що на автозаводі вирішили прибрати конвеєр, зберігши темпи випуску автомобілів. Якщо раніше конвеєрі одночасно перебувала тисяча автомобілів, то, діючи за аналогією з попереднім прикладом треба набрати тисячу бригад, кожна з яких (1) нездатні повністю зібрати автомобіль з початку до кінця, виконавши сотні різноманітних операцій, і (2) зробити це те ж час, що машину раніше знаходилася на конвеєрі. Уявіть собівартість такого автомобіля. Хіба що Ламборгини на думку, але й виникла конвеєрна обработка…

Сьогодні паралелізмом в архітектурі комп’ютерів замало кого здивуєш. Усі сучасні мікропроцесори, чи це Pentium IV чи PA-8200, MIPS R10000 чи Power2 SuperChip використовують той чи інший вид паралельної обробки. На презентаціях нових чипів й у прес-релізах корпорацій це подається за останнє слово техніки і найпередовіший край науку й це справді такий, якщо розглядати реалізацію цих принципів саме у однієї кристалла.

Разом про те, самі цих ідей з’явилися дуже довго. Спочатку вони впроваджувалися в передових, тому одиничних, комп’ютерах свого часу. Потім після належної відпрацювання технологій і здешевлення виробництва вони спускалися в комп’ютери середнього класу, і, нарешті, сьогодні це повному обсязі втілюється у робочих станціях і персональних компьютерах.

Усі нове — це добре забуте старое.

Щоб переконатися, що це основні нововведення в архітектурі сучасних процесорів насправді використовувалися ще від часів, коли ні мікропроцесорів, ні поняття суперкомп’ютерів не було, зробимо маленький екскурс до історії, почавши практично з народження перших ЭВМ.

Усі найперші комп’ютери, наприклад, EDSAC, EDVAC, UNIVAC, спочатку зчитували дані послідовно біт за битому з пам’яті, та був їх аналогічно обробляли в арифметическом устройстве.

1953 р. Першим комерційно доступним комп’ютером, використовує разряднопаралельну пам’ять (на CRT) і разрядно-параллельную арифметику, став комп’ютер IBM 701. До речі буде вказано, найбільшу популярність у то час отримала модель IBM 704 (1955 р.), проданої у кількості 150 примірників (!), у якій, крім згаданих особливостей, була вперше застосована пам’ять на ферритовых осердях і апаратне арифметичне пристрій з плаваючою точкой.

1958 г. Процесорам перших комп’ютерів самі управляли вводом/выводом. Проте швидкість роботи найшвидшої зовнішнього устрою, а, по тим часів це магнітна стрічка, був у 1000 разів менша швидкості процесора, під час операцій ввода/вывода процесор фактично простоював. У 1958 г. до комп’ютера IBM 704 приєднали 6 незалежних процесорів ввода/вывода, котрі після отримання команд могли працювати паралельно з основним процесором, а сам комп’ютер перейменували на IBM 709. Ця модель вийшла навдивовижу вдалою, оскільки разом із модифікаціями було продано близько 400 примірників, причому той був виключений в 1975 року — 20 років существования!

1961 г. Складається комп’ютер IBM STRETCH, має дві принципово важливі особливості: випереджаюче перегляд вперед для вибірки команд і розшарування пам’яті на два банку узгодження низькою швидкості вибірки з пам’яті і швидкості виконання операций.

1963 г. У Манчестерському університеті розроблений комп’ютер ATLAS, використовує конвеєрний принцип виконання команд. Виконання команд розбите на виборах 4 стадії: вибірка команди, обчислення адреси операнда, вибірка операнда і виконання операції, які дозволяли зменшити час виконання команд загалом з 6-ї мкс до 1,6 мкс. Заради справедливості слід відзначити, що даний комп’ютер узагалі залишив помітний слід розвитку обчислювальної техніки: крім сказаного, у ньому уперше було використана мультипрограммная операційна система, джерело якої в використанні віртуальної пам’яті і системи прерываний.

1964 р. Фірма Control Data Corporation (CDC) за безпосередньої участі однієї з засновників, Сеймура Р. Крэя (Seymour R. Cray) випускає комп’ютер CDC-6600 — перший комп’ютер, у якому використовувалося кілька незалежних функціональних пристроїв. Щоб з сьогоденням наведемо деякі параметри комп’ютера: час такту 100нс, продуктивність 2−3 млн. операцій на секунду, оперативна пам’ять розбита на 32 банку з 4096 60-ти розрядних слів, цикл пам’яті 1мкс, 10 незалежних функціональних пристроїв. Машина мала величезний успіхом науковому ринку, активно витісняючи машини фірми IBM.

1969 р. CDC випускає комп’ютер CDC-7600 з вісьома незалежними конвейерными функціональними пристроями — поєднання паралельної і конвеєрної обработки.

У 1967 року було розпочато робіт над проектом ILLIAC IV, першим матричним процесором, що об'єднує 256 одночасно працюючих процессорных елементів. Наприкінці 1971 року виготовлено система з 64-х процесорів, в 1974 г. вона введена в експлуатацію, проте доведення йшла до 1975 року. Попри те що, що вибудували у 4 рази менше задуманого, та й є лише одна примірнику, а грошей до результаті витратили вчетверо більше, даний проект надав значний вплив на архітектуру наступних машин такого класу таких, як PEPE, BSP, ICL DAP й низки других.

У 1972;му році С. Крэй залишає CDC і засновує свою компанію Cray Research, що у 1976 р. випускає перший векторно-конвейерный комп’ютер CRAY-1: час такту 12.5нс, 12 конвеєрних функціональних пристроїв, пікова продуктивність 160 мільйонів операцій на секунду, оперативна пам’ять до 1Мслова (слово — 64 розряду), цикл пам’яті 50нс. Головним нововведенням лежить введення векторних команд, які працюють із цілими масивами незалежних даних, і дозволяють змогли ефективно використати конвеєрні функціональні устройства.

У цьому цей самий екскурс до історії можна закінчити, оскільки роль паралелізму та в розвитку архітектури комп’ютерів вже очевидна.

Попутно слід зазначити, що паралелізм це передова технологія, використовувана переважають у всіх сучасних суперкомп’ютерах, а й досить страшна сила. Черговий приклад тому з’явився нещодавно. По повідомленню Electronic Frontier Foundation, Джон Гилмор (John Gilmore) і Поль Кочер (Paul Kocher) змогли зламати 56-битный код, використовуваний банками і деякими військовими організаціями США, з допомогою зібраної у домашніх умовах паралельної обчислювальної системы.

Розкритий алгоритм шифрування, відомого як DES (Data Encryption Standard), використовує 56-битные ключі, і при тому, що зараз у реальних ситуаціях у часто використовуються лише 40-битные. До справжнього моменту урядові органи США стверджували, що терористи, ні будь-які інші кримінальні структури неспроможна зробити комп’ютер, взламывающий DES.

Уся десятилітня робота з розшифровування було пророблено за 56 годин за комп’ютером, що складається з більш як 1000 процесорів: 27 плат по 64 процесора у кожному. Кожна плата була приєднана до звичайної персоналке, що й керувала всім процесом. Гилмор назвав свою систему Deep Crack — м’який натяк на шаховий комп’ютер Deep Blue від IBM. Ввечері 17 липня нинішнього року після перевірки 17,902,806,669,197,312 ключів комп’ютер визначив, що зашифрованим пропозицією було: «It «p.s time for those 128-, 192-, and 256- bit keys. «.

Хіба ж тепер використав мире?

З яких напрямам йде розвиток високопродуктивної обчислювальної техніки нині? Таких напрямів четыре.

1. Векторно-конвейерные комп’ютери. Особливістю таких машин є, по-перше, конвеєрні функціональні пристрої і, по-друге, набір векторних інструкцій у системі команд. На відміну від традиційного підходу, векторні команди оперують цілими масивами незалежних даних, що дозволяє ефективно завантажувати доступні конвеєри. Типовим представником цього напряму є лінія векторно-конвейерных комп’ютерів CRAY компанії Cray Research.

2. Массивно-параллельные комп’ютери з розподіленої пам’яттю. Ідея побудови комп’ютерів цього тривіальна: візьмемо серійні мікропроцесори, постачимо кожен своєї локальної пам’яттю, з'єднаємо у вигляді деякою комунікаційної середовища, наприклад, мережею — ось і всі. Чеснот в НАКу такий архітектури маса: якщо потрібна висока продуктивність, можна додати ще процесорів, і якщо обмежені фінанси чи заздалегідь відома необхідна обчислювальна потужність, то легко підібрати оптимальну конфигурацию.

Проте й вирішальний «мінус », який зведе багато «плюси «нанівець. Річ у тому, що межпроцессорное взаємодія в комп’ютерах цього йде набагато повільніше, ніж відбувається локальна обробка даних самими процесорами. Саме тому написати ефективну програму для таких комп’ютерів дуже складно, а деяких алгоритмів іноді просто неможливо. До даному класу можна віднести комп’ютери Intel Paragon, IBM SP1, Parsytec, певною мірою IBM SP2 і CRAY T3D/T3E, хоча у цих комп’ютерах вплив зазначеного мінуса значно ослаблене. А до того класу можна вважати і мережі комп’ютерів, які дедалі частіше розглядають як дешеву альтернативу вкрай дорогим суперкомпьютерам.

3. Паралельні комп’ютери із загальною пам’яттю. Уся оперативна пам’ять таких комп’ютерів поділяється кількома однаковими процесорами. Це знімає проблеми попереднього класу, але додає нові - число процесорів, мають доступом до спільної па-м'яті з суто технічних причин не можна зробити великим. На даний напрям входять багато сучасних многопроцессорные SMP-компьютеры, наприклад, сервер HP T600 чи Sun Ultra Enterprise 5000.

4. Кластери. Останній напрям, слід сказати, перестав бути самостійним, а скоріш є комбінації попередніх трьох. З кількох процесорів, традиційних чи векторно-конвейерных, і спільної них пам’яті сформуємо обчислювальний вузол. Якщо обчислювальної потужності отриманого вузла недостатньо, то об'єднаємо кілька вузлів високошвидкісними каналами. Таку архітектуру називають кластерної, і з такому принципу побудовано CRAY SV1, HP Exemplar, Sun StarFire, NEC SX-5, останні моделі IBM SP2 та інші. Саме цей напрям є найбільш перспективним на цей время.

Двічі на рік збираються дані на формування списку п’ятисот самих потужних обчислювальних установок світу (Top500). Остання редакція списку вийшла листопаді нинішнього року, за якою перше місце займає комп’ютер Earth-Simulator, але в другий позиції стоїть комп’ютер ASCI Q — AlphaServer від Hewlett-Packard, який би 8192 процесора Sc45.

Якщо десь прибуде, то десь обов’язково уменьшится.

На жаль, дива у житті рідко трапляються. Гігантська продуктивність паралельних комп’ютерів, і супер-ЭВМ з лишком компенсується труднощами їх використання. Почати з найпростіших речей. Маєте програму і доступ, скажімо, до 256-процессорному комп’ютера. Що ви очікуєте? І зрозуміло що: ви законно очікуєте, що буде виконуватися в 256 раз швидше, ніж одному процесорі. Ось як раз цього, швидше за все, і будет.

Припустимо, що у вашій програмі частка операцій, потрібно виконувати послідовно, дорівнює f, де 0.