потоки/OpenMP + MPI
используются стандартные ядра
внутри одной машины обмен через общую память,
между машинами обмен через MPI


GPU+MPI
используются ядра GPU
внутри одной платы обмен через общую память
между платами передача через PCIExpress или память
между машинами обмен через MPI

эмуляция SMP-системы с общей памятью с помощью специальной ОС и аппаратных средств RDMA 