Диференціація функцій і спеціалізація окремих підсистем почала розвиватися з появи окремих підсистем і процесорів для обслуговування введення/виводу, комунікаційних мереж, зовнішній пам'яті і тому подібне
У векторних СУПЕРЕОМ забезпечена гранична продуктивність для процесів скалярної і векторної обробки, яка присутня в більшості завдань. Завдання, що містять високий ступінь внутрішнього паралелізму, можуть бути добре адаптовані до систем масового паралелізму. Реальні завдання і, тим більше, пакети завдань містять цілий ряд алгоритмів, що мають різні рівні паралелізму. У СУПЕРЕОМ окрім основного процесора (машини) включалися зовнішні машини. У різних системах можна спостерігати елементи спеціалізації в напрямах автономного виконання функцій операційної системи, системи програмування і підготовки завдань. Зазвичай це виражається в наступній формі:
• ці допоміжні функції можуть виконуватися паралельно з основними обчисленнями;
• для реалізації не потрібний багато хто з тих засобів, які забезпечують високу продуктивність основного процесора, наприклад, можливість виконання операцій з плаваючої коми і векторних операцій.
Надалі, при інтеграції скалярної, векторної і паралельної обробки в рамках єдиної обчислювальної підсистеми склад цих допоміжних функцій має бути доповнений функціями аналізу програм з метою забезпечення необхідного рівня паралелізму і розподілу окремих часток програми по різних гілках обчислювальної підсистеми.