Искусством делать новости я владею не очень. Хотел было написать что-то в духе «российский программист решил величайшую математическую задачу современности», но… Надо как-нибудь записаться на мастер-класс к матерым журналистам, например, к Вильянову .

А пока приходится писать по-простому: Ильнар Борханов второй раз подряд становится победителем конкурса от ISN-Russia. Это значит, что главный приз - процессор Intel® Core™ i7-920 и материнка DX58SO того же производителя уже совсем скоро отправятся к нему в Москву Казань. Ильнар, не забудьте написать во что выльется этот апгрейд
И мои поздравления, разумеется!

Лирическое отступление. Глупо отрицать - я изначально рассчитывал получить от кого-нибудь из участников работу, превосходящую по производительности грандов вроде QuickPi. Ильнар не дал умереть моим надеждам - пусть и на одной платформе, но его работа быстрее. Дело за малым: наши эксперты на нее внимательно посмотрят, вместе с Ильнаром подкрутят что следует, и будет всем счастье .

Второе место с минимальным отрывом занимает Евгений Ключников из Санкт-Петербурга, более известный как Eustas. Евгений сделал ставку на масштабируемость, так что в относительно недалеком будущем его вариант превзойдет по производительности решение Ильнара. Это когда в типовом процессоре будет ядер 100 примерно. Надеюсь дожить до этого светлого момента

А еще отдельное спасибо Евгению за интересное развитие темы численной оценки масштабируемости. Евгений, давайте продолжим этот разговор - мне это пригодится в следующем конкурсе!

Третье место – Николай Лабинский, Украина, Донецк. Его работа демонстрирует хорошее сочетание производительности и масштабируемости. Что характерно, Николай сделал два различных решения на двух разных языках за два дня. Могу себе представить, что он мог бы сотворить за месяц

Помимо материальных призов я вышлю каждому победителю лицензию на Intel® Parallel Studio. Даже если вы не занимаетесь оптимизацией на своей основной работе,  в следующих наших конкурсах эта лицензия вам пригодится.

Еще раз всем спасибо за участие! Мне было весьма интересно, надеюсь и вам -тоже. Тем, кто не вошел в тройку лидеров, не стоит расстраиваться: подпишитесь на RSS ленту конкурсов ISN и вы всегда будете знать последние новости.

И раз уж речь зашла о наших планах и конкурсах… Я только что закончил черновик очередного анонса. Не пугайтесь, никакого кодирования на этот раз -  мне ведь тоже нужно иногда отдыхать. По большому секрету: новый конкурс будет запущен уже на следующей неделе, а анонс его будет звучать примерно так:

«Приближается пора отпусков, и мы предлагаем провести оставшиеся перед долгожданным отдыхом дни весело и с пользой. Российская команда ISN приглашает к участию в конкурсе «Объясни на пальцах 2».  По сложившейся традиции, вам предстоит истолковать несколько терминов из области параллельного программирования. Причем сделать это нужно так, чтобы суть вопроса поняла даже ваша кошка . И если у вашей кошки плохое чувство юмора, у наших судей оно хорошее. Включайте свою фантазию  и постарайтесь найти веселое, короткое, и технически корректное объяснение знакомых понятий.

Мы не знаем, куда отправится отдыхать автор лучших объяснений, но наш приз - новенький нетбук Lenovo он точно возьмет с собой.»

Всем удачи и хороших выходных! Оставайтесь на связи.

Участники и болельщики районных соревнований программистов «Параллельные гонки» уже заждались результатов. Покорнейше прошу прощения за задержку! Все таблицы уже готовы, однако, давайте начнем с начала…

А вначале я прочитал пост Максима Дмитриченко о его экспериментах с простеньким алгоритмом расчета Пи. В течение следующих нескольких дней число Пи преследовало меня и днем, и ночью: сперва я натолкнулся на Super Pi в папке со всяким хламом на домашнем компьютере, потом на пост Джоэля у него в блоге, потом на статью в википедии… Это судьба – подумал я

С доисторических времен IBM XT люди вычисляли Пи на персональных компьютерах решая свои доисторические задачи: в основном задачи бенчмаркинга (чтобы потом померяться) и задачи стресс-тестирования разогнанных систем (опять же, чтобы померяться ). Увы, и ах, но у современного человека ядер больше одного. А это значит, что древние способы померяться средства вычисления Пи не в состоянии разогреть процессор выше комнатной температуры. Ситуацию нужно как-то менять, - решил я. Так и появилось конкурсное задание: написать быструю реализацию вычисления Пи с заделом лет на 10 вперед. То есть реализацию, показывающую хорошие результаты на компьютерах с количеством ядер от двух до двухсот (данное предложение не содержит конфиденциальной информации о планах выпуска продукции Intel; это просто поток сознания автора ).

Соответственно появились идея ввести два критерия оценки результатов. Критерий наших реалий - абсолютная производительность на современном серийном процессоре. И критерий масштабируемости, суть есть задел на будущее. Я намеренно уравнял значимость критериев, чтобы дать участникам достаточный  простор для деятельности: каждый был волен действовать в интересах настоящего или будущего, или и того, и другого.

Ну а потом началась битва. Первым свою работу прислал ilnarb, он сделал ставку на производительность. Потом был eustas, который явно проигрывал в производительности, но демонстрировал хорошую масштабируемость. Как и ожидалось, в последний день меня просто завалили вариациями самых разных алгоритмов и усовершенствований. Было несколько реализаций Чудновского, Беллард, Бэлей-Борвейн-Плоффе, и еще какие-то, которые я не смог идентифицировать.

Выяснилось, что алгоритм Чудновского с точки зрения масштабируемости оставляет желать. Из всех просмотренных мной вариантов ни один не показывает адекватного прироста скорости начиная с >четырех ядер. Хотя, безусловно, он лучший с точки зрения «актуальной» производительности. Ведь сейчас 2-4 ядра – это мэйнстрим. Вероятно, поэтому данный алгоритм и выбрали еще двое  участников: unnamed_ages и m_krivov.

Если смотреть в будущее, то решения участников eustas и labinskiy оказались куда лучше масштабируемыми. По крайней мере, программка eustas-а – отличный стресс-тест! Грузит все 24 ядра на 99%.

Надо заметить, что кроме выбора стратегии участников поджидало множество других трудностей: перенос приложений на 64-битные платформы, баги в библиотеках, реализация таймера, сессия... К счастью, большинство трудностей были преодолены или ловко обойдены ценой нескольких бессонных ночей, сотен мегабайтов трафика, десятков часов прогонов на различных системах и прочей атрибутики, присущей любому программисту переживающему релиз.

Много букв? Терпение, уже почти все, мне осталось только рассказать о небольших изменениях в методе расчета масштабируемости. И можно отправляться смотреть турнирные таблицы. Я вынужден признать свое поражение: Дмитрий Вьюков и Алексей Куканов сходу раскритиковали мой подход. Он действительно не учитывал одного важного факта: данные-то у нас ненормализованные. Поэтому я несколько изменил начальный алгоритм:

1. Приводим результаты исполнения на трех платформах к «ядрогерцу», то есть делим полученный результат на количество ядер и на частоту. Получается производительность, показанная в пересчете на 1 ядро в 1 гигагерц. Например, программа выдала 1 590 290 знаков. Делим на 2 ядра и на 1.83, получаем 434 505 знаков для Core 2 Duo E6320.
2. Нормализуем приведенный к «ядрогерцу» результат по самой слабой платформе. Получается падение (или прирост) производительности по отношению к младшей тестовой платформе. Например, принять E6320 за единицу, то Core i7 показывает 0.476, а Xeon E7450 * 4 = 0.076.
3. Считаем STDEV (именно отклонение, а не среднее т.к. нас интересует линейность результатов), и по наименьшему среднеквадратическому отклонению получаем расстановку сил…
4. …По которой и начисляем очки используя логарифмическую шкалу.

Ну а теперь главное:  результаты занесены в турнирную таблицу, вот здесь можно скачать файл MS Excel со всеми формулами.

Почему я не спешу объявлять победителей и открывать шампанское? Дело в том, что я мог где-то ошибиться, напутать с цифрами, сделать что-то еще не так. Пожалуйста, проверьте меня. Если все нормально, то завтра вечером мы торжественно объявим победителей на основании общего рейтинга. А если есть замечания – пишите!

Да, и еще: обсуждение конкурса предлагаю продолжить в форуме. Все пожелания, мнения, советы пишем туда – мне все интересно. У меня ведь масса идей в запасе, знаете ли .

Насколько интересным будет следующий конкурс зависит только от вас.

Удачи!

Тем, кто участвует в конкурсе «Параллельные гонки» осталось чуть более трех дней на доработку решений. На данный момент получено три работы, две уже внесены в турнирную таблицу, третья на подходе. Напомню, что по условиям конкурса участники имеют право присылать несколько версий своих работ. Это значит, что даже если вы еще не достигли просветления совершенства – имеет смысл сделать первую пробу. Еще есть шанс успеть сделать более чем одну итерацию.

Несмотря на довольно низкую активность конкурсантов, мы коллегиально решили не менять правила конкурса. Тем не менее, я позволил себе сделать кое-какие незначительные  послабления: давайте будем считать, что допустимая погрешность измерений не 5%, а 10.  Дело в том, что некоторые алгоритмы не позволяют оценить время расчетов с необходимой точностью, и увеличение погрешности это отчасти компенсирует. Но! Сильно надеюсь, что уважаемые участники не станут злоупотреблять «лишними» секундами.

Пару слов о текущих трудностях. Их много

1) Как уже неоднократно писали в прессе, нужно быть внимательным к 64-битным системам. Производительность неоптимизированных под 64 бита приложений существенно ниже, чем того хотелось бы. Как с этим бороться? Советую начать с чтения очень хорошей статьи Андрея Карпова «7 шагов по переносу программы на 64-битную систему».

2) Алгоритмы. Собственно, есть два подхода: быстрые, но относительно плохо распараллеливаемые алгоритмы типа Чудновских, и относительно медленные, но хорошо масштабируемые алгоритмы типа Plouffe-Bellard. Тут-то и нужно вспомнить о том, что у нас есть такой критерий оценки конкурсных работ, как масштабируемость…

3) …которая, собственно, является следующей трудностью. Я достойно воспринял критику предложенного метода оценки масштабируемости, и завтра попробую опубликовать детальный пост по этому поводу. Эх, уже предчувствую, как мне достанется!

4) Frameworks со сложными требованиями… Категорически приветствуя различные среды выполнения, хотелось бы отметить: давайте четко разделять прикладную задачу и Framework. Например, если вы пишите под .NET, то исполняемым файлом будет простая .NET сборка. В дополнительных требованиях укажите, какой именно Framework требуется. Этим вы облегчите мою жизнь, и позволите другим убедиться в преимуществах используемой вами технологии. То же касается рантайм библиотек.

5) Организационная трудность, она же – самая большая ТРУДНОСТЬ. Планируя данный конкурс, я принципиально решил не использовать рекламу. Несмотря на майский «глухой» период, сессию, глобальный конкурс «Threading Challenge» - мне хотелось проверить как работает эта система. Информация о конкурсе распространялась по сети «из рук в руки». Огромное спасибо Дмитрию Вьюкову и всем тем, кто разместил объявление о конкурсе у себя в блогах и в форумах. А нам, организаторам, предстоит  серьезная работа по улучшению social media маркетинга.

Ну и напоследок: в какой-то степени задача «максимум» данного конкурса выполнена. А именно: решение пользователя ilnarb превосходит по производительности QuickPi (!) на одной из тестовых платформ. Респект!

Всем удачи!

Ну что, настало время взрослых состязаний? Мы официально объявляем конкурс «Параллельные гонки: формула ‘π’» открытым. Шины прогреты, ограждение на трассе установлено. Тестовые машины подготовлены, и я закончил публикацию официальных документов. Получилось слегка витиевато, как и положено писать официальные бумаги. Под вечер попробую изложить то же самое коротко, простым человеческим языком.

Начну с призов. Итак, победитель получит набор из процессора Core i7 и материнской платы Intel DX58SO. Полагаю, что победит профессиональный программист, поэтому еще один приз – лицензия на набор профессиональных же инструментов для разработки параллельных приложений Intel® Parallel Studio.
Те, кто займет второе и третье места тоже получат Parallel Studio, а еще беспроводные наушники Sennheiser RS-120.

Кстати, насчет наушников – я сам к таким присматриваюсь, так что давайте договоримся – призеры, напишите мне потом, понравилось ли вам звучание этих Зенхейзеров.

Теперь о задании. Надо написать параллельную программу, вычисляющую константу π (та, что 3.1415926535…) с максимально возможной точностью, причем за заданное время – 60 секунд. Просто? А вот и посмотрим .

Постоянные читатели ISN блога наверное уже заметили, что я алгоритмами расчета Пи уже давненько интересуюсь. Известных формул существуем великое множество, часть из них практически не распараллеливается, часть распараллеливается  так себе, а часть – распараллеливается хорошо, но считается медленно.  Следовательно, конкурс будет с интригой: оценивать конкурсные работы мы будем как по критерию абсолютной производительности, так и с точки зрения масштабируемости на машинах от 2-х до 24-х ядер. Причем весовые коэффициенты равны, так что конкурсантам предстоит подумать о стратегии: самое быстрое приложение может оказаться плохо масштабируемым, и приз достанется кому-то другому.

Это еще не все сложности. Третьим критерием будет критерий «оперативность». Суть его в том, что из двух конкурсных работ при прочих равных победит та, которую прислали раньше.

Довольно о сложностях, давайте о приятном. Вы можете присылать несколько версий своей работы, и практически не отходя от кассы увидеть свой рейтинг в турнирной таблице. Если кто-то умудрился получить более высокий рейтинг, а у вас есть потенциал для оптимизации, – присылаете следующую версию, получаете новый рейтинг.

О рейтингах подробно написано на главной странице и в официальных правилах, поэтому в блоге поговорим о том “как на самом деле система работает”. Для примера возьмем программку QuickPi v4.5 – это, пожалуй, самая быстрая штуковина для расчета Пи (для настольных компьютеров), а соревноваться она будет с программой PiFast v4.3.

Прогон на базовой тестовой системе (кстати, описание тестовых систем) дал такие результаты:

Глядя на эти данные видно, что QuickPi уделывает PiFast вдвое. Интересно, связано ли это как-то с разницей в значении слов Quick и Fast? Но не будем делать преждевременных выводов – поехали дальше... Прогон на трех тестовых системах дал вот такую картинку рейтинга масштабируемости:

Где “1core 1Ghz” – значение производительности в десятичных знаках, приведенное к условно одному ядру, работающему на условной частоте в один условный гигагерц. А среднее квадратическое отклонение – показатель разброса результатов от среднего значения, или по-простому формула STDEVP в Excel. Таким образом, PiFast оказался более медленным, но лучше масштабируемым. Что делать? Нам на помощь приходит критерий оперативности. Предположим, что мы получили PiFast на 5 дней позже. Суммарный рейтинг будет выглядеть таким образом:

И QuickPi становится абсолютным чемпионом.
Впрочем, это мы еще посмотрим - я уверен, что кто-то из вас напишет программу, которая будет еще быстрее.

Напоследок: одна из самых коротких программ, написанная неким Dik T. Winter состоит всего из 160 символов и выглядит так:

 int a=10000,b,c=2800,d,e,f[2801],g;
main()
{for(;b-c;)f[b++]=a/5;for(;d=0,g=c*2;c-=14,printf("%.4d",e+d/a),e=d%a)
for(b=c;d+=f[b]*a,f[b]=d%--g,d/=g--,--b;d*=b);}

К сожалению, считает только 800 знаков.

Всем удачи в конкурсе! Завтра напишу, что у меня получилось  из алгоритма, который упоминал Максим Дмитриченко в своем блоге.

ЗЫ. Как обычно начать размышления советую с википедии.

В то время как сообщество замерло в ожидании официальных результатов первого задания Threading Challenge и в предвкушении майских праздников, русская часть команды ISN сосредоточенно работает над новым конкурсом.

Оркестр, туш!

Итак, в понедельник, 4 мая, мы официально объявим задание конкурса «Параллельные гонки,
первый этап 2009 года». Надеюсь, конкурс будет интересным - как для постоянных участников сообщества ISN, так и для вновь прибывших.  По крайней мере, мы постарались учесть все ваши предложения, сделанные вот тут.

Добавлю интриги: сам себе задам некоторые вопросов, и сам же на них отвечу :

• Зачем нам еще один конкурс?
  Действительно, многие наши коллеги-программисты уже бьются за главный приз конкурса «Threading Challenge». Это глобальное и достаточно длительное мероприятие. Нам же хотелось устроить что-то свое, я бы сказал - семейное. Что-то, что мы могли бы обсудить и о чем поспорить на нашем родном русском языке.
• Можно ли принимать участие в нескольких конкурсах сразу?
  Почему бы и нет? Если время вам позволяет – милости просим!
• Какова продолжительность конкурса «Параллельные гонки»?
  1 месяц - с 4 мая по 4 июня 2009 года
• Какую задачу нужно будет решить?
  Это пока секрет. Скажу только, что задача будет связана с программированием, а критериями успешности ее решения будут абсолютная производительность, масштабируемость на современных многоядерных платформах, плюс наименьшее время имплементации.
• Какой планируется приз?
  Ценный . Мы позаботились о том, чтобы потраченное вами время и продемонстрированное мастерство были достойно вознаграждены.
• Кто будет судить конкурс?
  Я торжественно провозглашаю себя главным судьей, потому что из всех моих коллег я хуже всех понимаю в программировании. Значит, мне и быть главным. Те, кто понимает, будут  помогать мне своими мудрыми советами.

Я понимаю, что мои вопросы и ответы только окончательно все запутали. Ничего страшного, - задавайте свои, а я на них обязательно отвечу.

Всем удачи! Теплых вам майских праздников!