GEEK – человек (изменено мною), со странностями. Часто так называют людей зациклившихся на каком-то профессиональном предмете, например "a computer geek". В принципе, сейчас его значение как бы и не ругательное. Но раньше это слово имел оттенок сугубо негативный, будучи синонимом таких замечательных терминов как creep и weirdo (странная, отталкивающая, мерзкая личность).

На второй день я сам докладывался, и как раз тогда я и получил ответ на мой вопрос. Я рассказывал о различных способах заставить или подсказать компилятору завекторизовать тот или иной блок цикла. А как известно, наиболее часто используемый участок кода (hotspot) и является циклом в несколько строчек. Презентацию в pdf формат вы можете скачать тут, а если интересуют ссылки по AVX, то тут . Так что не буду особо останавливаться на докладе.

Начиная свой доклад, я понятия не имел с какой аудиторией имею дело. Но прощупав аудиторию, я понял,  что имею дело с высококвалифицированными разработчиками Игр. О разнице разработчиков Игр и вычислительных пакетов я узнал потом, но как оказалось проблемы и желания у все похожи. Все хотят мира во всем мире или хотя бы инструкцию вычисления векторного произведения, так как инструкция вычисления скалярного произведения (dot product) уже есть в SSE4. Между делом, напомню еще раз о существований опции компилятора –vec-report[n] (n=1..5), которая поможет Вам разобраться с причинами по которым компилятору не удалось завекторизовать цикл или удалось, но частично.

Вот и подходит к концу время, выделенное мною для этого поста. Так что если тема не раскрыта, предлагаю обсудить ее. А под конец хочу поинтересоваться: Используете ли вы векторные библиотеки Intel C++ I32vec4, F32vec4, I8vec16? И если нет, то почему. Лично я не пользовался, т.к. о существовании таких библиотек даже и не знал)))

В помощь германским школьникам существует Германский (Немецкий) Музей. Гуляя по музею, во дворе и внутри трудно не заметить огромное количество школьников от мало до велика, которые пришли на экскурсии в музей. Где их детально знакомят с экспонатами. И я подозреваю, что они не бегут галопом по всем секциям (как у меня получилось), а приходят в музей несколько раз на различные экскурсии. Еще я заметил группу студентов, которые крутились в секции гидравлики, детально рассматривая таблички и экспонаты. И выполняли какой-то тест.
В музее 50 секций, расположенных на более чем 47 000 квадратных метров, где выставлены научные и инженерные разработки от истоков, заканчивая настоящим временем. Название музея, может внести замешательство, так как экспонаты со всего мира,  а не только германские разработки. Гуляя по залам музея, я просто впал в детство. Все о чем я читал, слышал или изучал когда-то, я увидел вживую. Причем, часть экспонатов можно было потрогать руками. И как оказалось, те, которые нельзя было трогать руками, трогались с превеликим удовольствием. Вдобавок к экспонатам, есть еще стенды с кнопочками, которые меня особо позабавили. Такие стенды на практике показывают свойства предмета, функциональность, суть кого-нибудь процесса. Если помните лабораторные работы по физике, химии, экологии и т.д., так это тоже самое, только гораздо интереснее и в большем количестве. Там даже есть зал с моими любимыми головоломками, которые для меня, как демотиваторы  для многих. Время в музее летит незаметно, только ноги дают знать о пройденном расстоянии. Да и на это есть в музее решение: часто встречаются массажные кресла и другие забавные приспособления, где за символическую плату можно привести себя в порядок и дальше приступить к путешествию по музею.
Я хочу поблагодарить Геннадия Федорова, который посоветовал посетить германский музей. А теперь наслаждайтесь фотографиями(они сами много чего расскажут), все-таки первый рабочий день после длительных праздников.

Надеюсь я вас заинтересовал! Будете в Мюнике, постарайтесь выделить время для этого музея. Но не забывайте об отечественных музеях. К примеру, Нижегородский Музей Науки.

Всех поздравляю с прошедшими праздниками. Спасибо за внимание.

Такое не встретишь в фантастических фильмах, а тут все реально. Меня сразу заинтересовало столь необычное расположение стоек «СКИФ Аврора». Оказалось, что это хитрое маркетинговое и инженерное решение. Длина сетевых кабелей, соединяющих стойки, не превосходит 1 м.
У нас с Александром(А) состоялся шуточный разговор:
Я: Почему бы не расположить все стойки по кольцу?
А:  А как тогда попадать внутрь кольца? Нереально.
Я: Как нереально? Через телепортер.
В результате посчитали, что «СКИФ Аврору» как раз можно будет использовать при разработке телепортера.
Заканчивая рассказ о «СКИФ Аврора», хочу сказать, что решение «СКИФ Аврора» уже сейчас позволяет создать самый компактный в мире пета-флопсный (Pflops) суперкомпьютер (плотность упаковки вычислительной мощности в 2 раза выше по сравнению со всеми другими разработками – на сегодня это свыше 40 Tflops в одной стойке), причем российского производства – для достижения такого уровня производительности в этом году достаточно использование 25 стоек «СКИФ Аврора» (энергопотребление – 2,84 МВт), а уже в 2012 году будет достаточно всего 5 стоек (при этом энергопотребление сократится до 0,73 МВт).
Еще  меня сильно порадовала книга “Суперкомпьютерные технологии в науке, образовании и промышленности”, которую даже показывали президенту РФ. Книга напечатана в отличном качестве и на отличной бумаге. Язык далеко не научный, сама книга нацелена на аудиторию читателей, которые как раз ничего не знают о супер компьютерах. В ней рассказывается что и под каким соусом подается в высокопроизводительных вычислениях. Советую ее всем! Её просто приятно и подержать в руках, и полистать, не вдаваясь в подробности.

Заканчивая этот блог, хочу поблагодарить организаторов этой конференции за теплую и дружескую обстановку во время проведения ПАВТ'2010.

Все материалы конференции можно найти тут.

(Начало воспоминаний о Летней школе Intel 2007 читайте в первой и второй частях).

На третий день знакомства с Дмитрием Мишурой я получил от него свое первое и основное задание. Я работал над сделкой. Суть сделки заключалась в следующем: некая организация объявляет конкурс на покупку могучего кластера для определенных задач. Далее производители кластеров пытаются подобрать оптимальную конфигурацию кластера под конкретные приложения заказчика. В свою очередь, сборщики кластеров обращаются в Интел за помощью. В сделке, над которой работал я, фигурировало четыре приложения. Время их работы надо было проверить на различных кластерах, а сами приложения заточить под конкретные процессоры. Насколько я помню, мне досталось одно приложение из этой сделки. Что конкретно не помню, что-то на C/C++ с MPI.

Но не это главное. Главное то, что сумма сделки исчислялась не в тысячах, не в десятках тысяч, а в сотнях тысяч долларов США. Представляете? И какому-то стажеру доверили такое дело. Сейчас я уже понимаю, что мои основные результаты, скорее всего, были перепроверены несколько раз. Ведь в прошлом году я уже успел побывать наставником одного летнего школьника и знаю, что за стажерами нужен глаз да глаз. Но как без этого? Как переучить приучить студента сразу после университета к серьезной работе? Ведь чаще всего студент привык выполнять только лабораторные работы, т.е. делать что-то, чтобы отстали. И наш брат не задумывается о том, что после придут люди, которые будут использовать его код в своем бизнесе. На практике иногда получается, что весь код, который сделал студент, переделывают с нуля. Ведь разбираться и переделывать подчас дороже, чем сделать все “правильно” заново. Но мы отклонились от темы.

Возвращаюсь к моей задачке. В первую очередь надо было разобраться в сборке сложного химического приложения и его запуске. А также подобрать опции компиляции, при которых производительность была наиболее высокая, но при этом результат оставался в пределах допустимой ошибки. После двух недель работы я получил так называемый Baseline. То есть время исполнения последовательных и распределенных вычислений с наиболее оптимальными ключами компиляции.

Вы подумаете: ”Ха! Две недели, что-то многовато?”. На самом деле ничего удивительного в этом нет: во-первых, приложение работало с одним набором входных параметров несколько часов. Во-вторых, сборка приложения занимала какое-то время. В-третьих, даже в Intel на кластерах постоянная очередь, - они ведь просто так не простаивают, постоянно молотят различные расчеты. Проблем зарезервировать один или два узла для своих расчетов не было, но когда дело доходило до 256 и более ядер, то оставалось надеяться на удачу, ставя задание в очередь вечером и ожидая результата утром.

Так или иначе, я получил Baseline. Далее была оптимизация приложения... В двух словах расскажу о сути. Надо было найти список наиболее часто используемых участков кода (hotspots). А потом посмотреть, как компилятор векторизует циклы в этих участках. И если у компилятора не получилось векторизовать оптимально, помочь ему различными способами. Способы эти достаточно хорошо известны, если появится интерес – укажу на некоторые мануалы по оптимизации в комментариях. К счастью, приложение было написано правильно, да и компилятор много чего оптимизировал автоматически. А я был молод и зелен, поэтому ручной оптимизацией удалось выжать немного. Но главное - полученный результат устроил как моего наставника, так и моего менеджера.

Второе и последнее задание я получил в наследство от инженера, который ушел в отпуск. Мне в наследство досталось его приложение на Фортране. Изначально это приложение было написано под PVM (Parallel Virtual Machine). Суть PVM следующая: всеми заданиями управляет сервер-узел (процесс) и все общение происходит через него. В свое время это была новая и хорошая методология, но есть нюанс: пока сервер-процесс обрабатывает результаты от клиента, клиент простаивает без задачи. Вот по этой причине PVM и ушел в прошлое, а сменил его MPI, где любые процессы независимо общаются между собой. После прихода MPI в «нашем» приложении все функции PVM заменили подобными по функциональности операциями пересылок MPI. Но профиль пересылок остался тем же: основной процесс управлял всеми другими. Скорее всего, этим занималась уже совсем другая команда разработчиков, которой не удалось (или не хватило времени) раскусить суть работы распределенного приложения. Это привело к ужасной масштабируемости приложения. Она (масштабируемость) особо не наблюдалось. Мне хватило времени только на то, чтобы разобраться в коммуникациях (какие данные кем, кому и когда пересылаются) и я передал мои результату другому инженеру – школа уже подходила к концу.

Вряд ли имеет смысл подробно останавливаться на всех тех знаниях, которые я получил во время стажировки. И так понятно, что стажер знакомится с множеством технологий, с логикой работы большой корпорации, с реальными проектами, с общими знаниями вроде подготовки и проведения презентаций, и так далее и тому подобное… Я хочу остановиться на двух моментах, которые мне больше всего запомнились и помогли в будущем.

В первый же день знакомства с нами общались, скажем так, люди, которые стояли у истоков Интел в России. Вот тогда я второй раз услышал: «Чтобы стать экспертом в чем-то, надо не раз обломать зубы о гранит. Только упорством и своим потом можно получить нужный результат». Это стало моим девизом в основных жизненных активностях. Конечно, без фанатизма .

Вторую историю, которая меня до сих пор поражает, я услышал от Нестеренко Людмилы Всеволодовны. Во время моей стажировки в Нижнем Новгороде проходила технологическая школа для преподавателей. В рамках этого мероприятия инженеры компании Интел проводили мастер-классы для преподавателей из различных городов России. А преподаватели рассказывали о курсах, которые они разработали для студентов. Основной темой этой школы были параллельные и распределенные технологии программирования. Школа проходила в ННГУ им Н.И. Лобачевского, куда меня взяли лаборантом. В счет этого я прослушал все курсы и получил официальный сертификат . В это время там постоянно присутствовала Людмила Всеволодовна, и мне частенько удавалось пообщаться с ней один на один. Впрочем, мы до сих пор остаемся с ней в теплых и дружеских отношениях.

Так вот, как-то она ездила в город N с одной из ее школ и предложила все желающим студентам пообщаться с ней на темы дополнительного образования, будущего места работы, и так далее. А у Людмилы Всеволодовны есть что рассказать, вы уж мне поверьте. На встречу записались и пришли только иностранные студенты. И ни одного (!) российского студента (!!!). Я сам сейчас периодически провожу бесплатные мастер-классы для университетов. И что поражает, - посещаемость не радует. Складывается такое ощущение, что наш брат российский студент витает в облаках, совершенно не задумываясь о своем будущем и считая, что все само придет на блюдечке с голубой каемочкой. Конечно, есть исключения, но, к сожалению, они только подтверждает правило.

Не хочу заканчивать на этой грустной ноте…

Летом в Нижнем Новгороде есть чем заняться и помимо работы: вечерние и ночные прогулки по Волжской набережной, катание на велосипедах, относительно недалеко есть таинственное озеро Светлояр и Дивеевский монастырь… Да и сам город красивый! А для особ, которым не хватает адреналина, есть у летних школьников хорошая традиция: прыжок с парашютом. Да, от офиса или гостиницы до Волги пешком 20 минут.

На этом все. Всем дочитавшим – спасибо!

В первый же день все закрутилось с девяти утра. Сначала общее собрание всех летних школьников, где “мама” Intel Summer School Людмила Всеволодовна Нестеренко (и не только она) направила нас на путь истинный. Потом было несколько тренингов по безопасности и знакомство с офисом. Вот как раз тогда меня первый раз поразил Интел. Чистый офис, у всех одинаковые рабочие места, будь это глава офиса, инженер, или летние школьники. О самом офисе не буду долго распространяться - на Хабре писали о Московском офисе, Нижегородский выглядит точно так же.

Далее нам выдали оборудование: ноутбук, док-станцию (о существовании которой я вообще первый раз услышал) и всю периферию. Представляете, какие-то студенты или аспиранты неизвестно откуда получили такое оборудование? Мне с моей университетской закалкой это показалось сказкой. Более того, в процессе работы некоторым выдавали рабочие станции, топовые графические ускорители и прочие серьезные железяки – если, конечно, того требовал проект. Но что поразило еще больше, так это огромный ассортимент всяческих чаев, кофе и горячего шоколада, причем на каждом этаже и совершенно бесплатно . Мне этот абзац почему-то напомнил Гарри Гарисона серию «Билл, Герой Галактики». Те моменты, когда сержант ходил по деревушкам и пытался заманить деревенских работяг в ряды Имперской армии.

Возможно, меня многие не поймут, но я в то время уже привык к спартанским условиям: тебе надо? Иди и сам купи. Или приложи кучу сил и потрать вагон времени, чтобы получить нужное оборудование: все эти заявки, тендеры и т.д. А тут все для человека, все ради человека. Весь рабочий процесс оптимизирован так, чтобы сотрудники не отвлекались на мелочи. Мы даже вывели свою формулу вычисления КПД работника, где ~20% непроизводительного труда занимал горячий шоколад.

Впрочем, я совсем отвлекся от сути. Попал я в команду «Customer Response Team». До сих пор, кстати, не понимаю, почему эта команда так называется. Во главе команды стоят два менеджера Андрей Нарайкин и Валерий Черепенников.

Своего ментора (Дмитрий Мишура) я впервые увидел под вечер первого или второго дня. Потом оказалось, что он отсыпался после ночной работы. Причину, того, почему он работал ночью, я не помню. Но в последствии я тоже практиковал ночные смены - бывали такие ситуации, когда утром студенты, идущие в офис, пересекались с теми, кто шел в общежитие отсыпаться из офиса.

Наше общение началось с короткого технического интервью. Проходило оно следующим образом: Дима спрашивал, знаю ли я слова MPI, OpenMP, single precision, double precision, PBS и т.д. В результате оказалось, что я не знал, как работает планировщик заданий на кластерах и как поставить задачу в очередь на счет. А также мало чего понимал в ассемблере. На том и разошлись. Точнее, я ушел с заданием изучить в короткие сроки ассемблер . А заодно - ознакомиться с принципами работы PBS…

А чем я на самом деле занялся в команде CRT и чем все это закончилось читайте в моем следующем посте.

Спасибо, с вами был Кирилл Мавродиев.

В апреле-мае 2007 года я был аспирантом первого года обучения Уфимского Государственного Авиационного Технического Университета. На тот момент у меня была выбрана специализация, вокруг которой вращались все мои профессиональные интересы. Занимался я распределенными вычислениями, начиная с конфигурации небольших кластеров и заканчивая разработкой гидродинамического симулятора для суперкомпьютеров. Точнее, распараллеливанием уже готового последовательного гидродинамического симулятора.

Как-то раз приходит мне электронное письмо о Летней школе Интел и предлагается заполнить анкету на участие. Надо сказать, что к тому времени я уже успел поучаствовать в Зимней школе параллельного программирования в ННГУ, так что более-менее представлял что такое «Летние школы». Тем не менее, на заполнение заявки у меня ушла… целая неделя. Как-никак это было мое первое резюме, которое я заполнял с конкретной целью: стать стажером Intel Summer School. До этого я заполнял шаблонные резюме, но это было скорее для галочки, ведь я не искал никакой дополнительной работы, мне вполне хватало того, что было: удаленная поддержка пары почтовых серверов, преподавательская работа в двух университетах и договорная научная работа в одном из них .

Как мою кандидатуру выбрали, я узнал уже только в Интеле. Но я не буду забегать вперед, все по порядку: в анкете я указал всё, чему я учился в университете, все, чему я научился во время администрирования Linux серверов, всё, что уже использовал на практике. По моей анкете можно было восстановить всю мою историю в деталях, начиная с 9-ого класса.

Недели две после отправки анкеты не было никаких звонков и писем. Я уже начал волноваться, не сразило ли мое резюме менторов Intel наповал в буквальном смысле этого слова . К счастью, оно сразило в переносном.

То, что моя анкета «прошла», я узнал из электронного письма. Затем был дублирующий звонок. После этого было еще несколько малоинтересных событий, все шло своим ничем не примечательным ходом, за исключением одного момента: моему начальнику в университет пришло письмо от заморской компании, с названием, типа “Бейкер Стрит”. В письме интересовались моей персоной. Проверяли, одним словом.

В конце концов все формальности были соблюдены, и я отправился в великий и могучий город Нижний Новгород…

To be continued..

Ну и последнее, где без пляски с бубном не обойтись. Это отличие компиляции (calling conventions) Fortran и С/C++ приложений в Windows и Linux. А именно, нижние(lowercases) и верхние(upperceses) регистры в объектных файлах и библиотеках. А также, наличие подчеркиваний(underscores). Но это отдельная песня, о которой я расскажу потом, опосля, значит.

И закончить хочу словами Юрия Визбора:

“
Нет дороге окончанья, есть зато ее итог.
Дороги трудны, но хуже без дорог,

”.

1. Задать вопрос на англоязычном или русскоязычном форуме.
2. Задать вопрос на сайте технической поддержки.

В чем же отличие?
На форуме все могут оставить свои комментарии. Таким образом помочь как можно быстрее разобраться с проблемой. На сайте технической поддержки могут задавать вопросы только те пользователи, которые купили лицензию на продукт. Тем самым купили и поддержку. В каждом из географических регионов мы по очереди несем боевой пост на сайте технической поддержки. Для этого есть определенное ПО, которое упрощает жизнь техническим консультантам: распределяет вопросы по категориям, сообщает о новых сообщениях от пользователя, и т.д.

Во время своего дежурства, я часто встречаюсь с вопросами, которые связаны с ограничениями по памяти в 64-битном Windows. Казалось бы, установил 64-битную систему и живи без бед. Но не так все просто. С переходом на 64-битную систему увеличивается только динамическая память, доступная приложению. В свою очередь, ограничения по статической памяти и стэку остаются теми же самыми, что и в 32-битной системе.
32-битная ОС Windows*:

• Статическая память - 2GB
• Динамическая память - 2GB
• Стек - 1GB (по умолчанию 1 MB)

64-битная ОС Windows*:

• Статическая память - 2GB
• Динамическая память - 8TB
• Стек - 1GB (по умолчанию 1 MB)

Как раз об этом написал Доктор Фортран в своей статье.
Более подробную информацию можно найти на сайте Microsoft здесь.