У меня есть несколько программ, которые потребляют в среднем пару гигабайт памяти, и, до сих пор, в пике не превышали 3 гигабайт адресного пространства, доступного в linux. Однако, с ними приходилось прибегать к некоторым трюкам при выделении памяти. Программа часто использует realloc для увеличения размера выделенного памяти, и поэтому может постепенно фрагментировать адресное пространство. Как следствие, очередная попытка realloc может привести к неудаче несмотря на то, что суммарно выделяется меньше 3-х гигабайт, т.к. не будет найдено непрерывное адресное пространство нужной длины. Особенно это проявлялось с массивами большого размера. В качестве трюков я в некоторых случаях выделял вместо запрошенного числа байт на 10% больше (10% получены рассчетным путем, чтобы с запасом покрывало будущее перевыделение памяти в том участке кода; в другом участке могут быть свои значения). А если размер массива составляет 1 гигабайт, и хочется увеличить до 1.5, то такое почти всегда завершалось неудачей (для таких случаев приходилось пользоваться b+tree).

С переходом на 64 бита виртуальное адресное пространство заметно увеличивается (если не ошибаюсь, в последних процессорах intel - 48 бит). Как следствие, шансы найти непрерывный участок адресного пространства резко увеличиваются в разы (как я полагаю, в десятки тысяч раз).

Это преимущество возникает у 64 битной программы несмотря на то, что она потребляет не более того объема, что доступно для 32 битной программы.

PS. не забывайте, что физическая память все равно ограничена, и oom killer никто не отменял.

А почему не трехмерные, наконец? Сделать несколько слоев: слой ядра, слой памяти ... Вспоминается "неправильно ты бутерброд ешь, колбасу надо на язык класть, так вкуснее".

Как мне кажется, уже сейчас нетрудно реализовать многослойную архитектуру, избавиться от планарности. Сколько теорий как уложить граф на плоскости без пересечений? А ведь можно уже сейчас убрать все соединения между компонентами, заменив их оптической сквозной передачей данных через все другие компоненты - кому надо, свои данные "поймают".

Взять и изготовить компоненту с ядрами, на него положить такую же, память оперативную, память дисковую, что еще хотим? Пусть себе общаются, разделяя каналы, напрямую: кто с кем хочет. Может это будет плитка, а может и куб, а может додекаэдр? Что это я остановился на плотных упаковках…

Стало не хватать мощности? Купил еще один слой, положил поверх существующих - компьютер стал быстрее, умнее. Надо памяти? "Насыпьте мне еще чуток."

А у меня 2*4 ядер на на сервере, 8 дисков в четырех в парах рейд-0, и 400 млн файлов, которые надо переконвертировать: считать в старой версии и записать в более новой. Никакие даже 100 ядер не помогут ускорить процесс, все упирается в поиск файла на диске (операционной системой непосредственно для открытия), мизерная работа, и запись. Все это идет через одну и ту же шину, несколько дисков, ...

Остается рыдать над отставанием компонентов от CPU.