Table of Contents

Языки программирования с бенчмаркингом являются важной практикой в разработке программного обеспечения, которая включает в себя систематическое измерение и сравнение характеристик производительности различных языков программирования и их реализации. Этот комплексный процесс оценки помогает разработчикам, архитекторам и организациям принимать решения, основанные на данных, о том, какие языки следует принимать для конкретных проектов, оптимизировать существующие кодовые базы и понимать компромиссы между различными технологическими решениями. Устанавливая количественные показатели и стандартизированные процедуры тестирования, бенчмаркинг обеспечивает объективное понимание того, как языки программирования работают в различных условиях и нагрузках.

Понимание языковых бенчмаркингов программирования

В основе бенчмаркинга языков программирования лежит измерение производительности, позволяющее проводить справедливые сравнения между различными языками и их реализациями. Вы не можете сравнивать языки программирования, вы можете только сравнивать реализации языков программирования, что является важным отличием. Например, Python имеет несколько реализаций, включая CPython, PyPy и IronPython, каждая с совершенно разными характеристиками производительности. Аналогично, Ruby имеет реализации MRI и JRuby, которые ведут себя по-разному при различных рабочих нагрузках.

Процесс бенчмаркинга включает в себя создание контролируемых сред, где различные языковые реализации могут быть протестированы против идентичных задач с использованием эквивалентных алгоритмов. Это гарантирует, что сравнения отражают фактическую производительность среды выполнения языка, компилятора или интерпретатора, а не различия в алгоритмических подходах или реализациях библиотеки. В plb2 все реализации используют один и тот же алгоритм для каждой задачи, и их узкие места производительности не попадают в функции библиотеки. Мы не намерены сравнивать разные алгоритмы или качество стандартных библиотек на этих языках. Plb2 нацелен на оценку производительности языка, когда вам нужно реализовать новый алгоритм на языке.

Современные усилия по бенчмаркингу значительно эволюционировали от простых микро-меток до комплексных наборов тестов, которые оценивают языки по нескольким измерениям. В настоящее время он использует CI для генерации результатов бенчмарков, чтобы гарантировать, что все числа генерируются из одной и той же среды почти в одно и то же время, обеспечивая согласованность и воспроизводимость результатов. Этот подход устраняет переменные среды, которые могут искажать сравнения и предоставлять более надежные данные для принятия решений.

Основные методологии бенчмаркинга

Стандартные тестовые наборы

Стандартизированные наборы эталонов обеспечивают согласованные воспроизводимые рабочие нагрузки, которые позволяют проводить справедливые сравнения между различными реализациями языков программирования. Наиболее известным и самым продолжительным языковым эталоном являются Компьютерные языковые бенчмарк-игры, которые служили ориентиром для сравнения языковых характеристик в течение многих лет. Эти стандартизированные наборы обычно включают в себя множество вычислительных задач, предназначенных для подчеркивания различных аспектов производительности языка.

Язык программирования Benchmark v2 (plb2) оценивает производительность 25 языков программирования на четырех задачах с интенсивностью процессора, представляя современный подход к комплексному языковому бенчмаркингу. Задачи в таких бенчмарках тщательно отбираются для представления реальных вычислительных задач, оставаясь при этом достаточно простыми для реализации эквивалентно на разных языках.

При разработке пакетов эталонных тестов крайне важно включать в себя различные типы задач, которые выполняют различные языковые функции и характеристики времени выполнения. Четыре задачи в plb2 занимают несколько секунд для быстрой реализации. Задачи: nqueen: решение проблемы 15-queens. Алгоритм был вдохновлен второй реализацией C из кода Rosetta. Он включает в себя вложенные петли и операции с целыми битами. Это разнообразие гарантирует, что эталоны захватывают широкий спектр характеристик производительности, а не оптимизируют для одного варианта использования.

Эквивалентная реализация кода

Один из наиболее практичных и широко используемых методов бенчмаркинга включает в себя написание эквивалентных фрагментов кода на разных языках программирования и измерение их производительности в одинаковых условиях. Этот метод требует тщательного внимания, чтобы убедиться, что реализации действительно представляют идиоматический код на каждом языке при сохранении алгоритмической эквивалентности. Цель состоит в том, чтобы сравнить, как каждый язык обрабатывает одни и те же логические операции, а не сравнивать разные алгоритмические подходы.

При реализации эквивалентного кода на разных языках разработчики должны учитывать несколько факторов. Во-первых, код должен быть идиоматичным для каждого языка, используя нативные конструкции и шаблоны, которые опытные разработчики на этом языке будут естественным образом использовать. Во-вторых, реализации должны избегать языковых оптимизаций, которые не будут доступны на других языках, если эталон специально не направлен на измерение эффективности таких оптимизаций. В-третьих, все реализации должны использовать один и тот же фундаментальный алгоритм для обеспечения справедливого сравнения.

Этот подход дает ценную информацию о реальных различиях в производительности, с которыми разработчики могут столкнуться при создании приложений. Однако он требует значительного опыта в нескольких языках программирования, чтобы гарантировать, что каждая реализация является правильной и репрезентативной для типичных моделей использования на этом языке.

Автоматизированные инструменты бенчмаркинга

Современный бенчмаркинг в значительной степени опирается на автоматизированные инструменты и фреймворки, которые обеспечивают точные измерения при минимизации человеческих ошибок и несоответствий окружающей среды. Эти инструменты обычно включают функции синхронизации, возможности профилирования и функции статистического анализа, которые помогают обеспечить надежные и воспроизводимые результаты. Автоматизация имеет важное значение для проведения комплексных бенчмарков, которые могут включать сотни или тысячи тестовых заданий на нескольких языковых реализациях.

Для большинства основных языков программирования существуют библиотеки и фреймворки бенчмаркинга, обеспечивающие стандартизированные интерфейсы для измерения производительности. Эти инструменты часто включают такие функции, как периоды разминки для учета компиляции «точно в срок» (JIT), статистический анализ для выявления выпадающих и возможности отчетности, которые представляют результаты в легко усваиваемых форматах. Многие современные основы бенчмаркинга также поддерживают непрерывную интеграцию, позволяя отслеживать производительность с течением времени по мере развития кодовых баз.

Автоматизация процессов бенчмаркинга также позволяет создавать более сложные сценарии тестирования, такие как стресс-тестирование в различных условиях нагрузки, тестирование на давление в памяти и параллельные тесты исполнения. Эти автоматизированные инструменты могут имитировать реальные условия более точно, чем подходы к ручному тестированию, предоставляя представление о том, как языки работают в производственных сценариях.

Основные показатели эффективности

Время исполнения и время ответа

Время отклика (время выполнения) – время между началом и завершением задачи важно для отдельных пользователей. Время выполнения представляет собой одну из самых фундаментальных и интуитивно понятных метрик производительности в бенчмаркинге языка программирования. Время выполнения определяется как прошедшее время настенных часов от начала до конца параллельной программы, обеспечивая прямую меру того, сколько времени занимает программа для завершения своей работы.

Время отклика — это время от начала до завершения задачи. При измерении времени выполнения важно различать различные типы измерений времени. Время процессора относится конкретно к времени, которое процессор тратит на выполнение инструкций, в то время как время настенных часов включает в себя все задержки, такие как операции ввода/вывода, системные вызовы и ожидание ресурсов.

В plb2 мы измеряем время пропущенных настенных часов, потому что это число, которое пользователи часто видят. Этот ориентированный на пользователя подход к измерению отражает практическую реальность, что конечные пользователи заботятся о общем времени до завершения, а не только о времени обработки процессора. Однако для определенных типов анализа, отделяя время процессора от времени ожидания, можно дать ценную информацию о том, где существуют узкие места производительности.

Измерения времени отклика могут быть далее классифицированы на минимальное, максимальное и среднее время отклика. Измеряет наименьшее количество времени, которое система занимает для ответа на запрос пользователя. Это представляет собой наилучший сценарий. Измеряет самое длинное количество времени, которое система занимает для ответа на запрос пользователя. Это представляет наихудший сценарий. Понимание распределения времени отклика, включая измерения процентиля, такие как 95-й или 99-й процентиль, обеспечивает более полную картину производительности, чем только средние значения.

Пропускная способность и способность к обработке

Пропускная способность (ширина полосы) - общий объем работы, выполненной за заданное время, важен для менеджеров центров обработки данных. В то время как время выполнения фокусируется на индивидуальном завершении задачи, пропускная способность измеряет общую способность системы обрабатывать работу. Пропускная способность - это мера того, сколько запросов может обрабатывать ваше веб-приложение в течение определенного периода времени, и часто измеряется в транзакциях в секунду (TPS).

Метрики вычислительной производительности включают такие меры, как пропускная способность, задержка и время выполнения, которые имеют решающее значение для оценки эффективности операций.Пропускная способность становится особенно важной при оценке языков для серверных приложений, конвейеров обработки данных или любого сценария, когда система должна обрабатывать несколько одновременных операций или обрабатывать большие объемы данных.

Пропускная способность, с другой стороны, измеряет объем работы, которую система может выполнить за единицу времени, часто выраженный как задачи в секунду или инструкции в секунду; в то время как время выполнения фокусируется на индивидуальной производительности задачи, пропускная способность отражает емкость системы. Это различие имеет решающее значение, потому что система может преуспеть в одной метрике, выполняя плохо в другой. Например, язык может иметь отличное время выполнения одной задачи, но плохую пропускную способность из-за ограничений в возможностях одновременной обработки.

При сравнительном анализе пропускной способности важно проводить тестирование в различных условиях нагрузки, чтобы понять, как масштабируются языковые реализации. Это включает тестирование с увеличением числа одновременных операций, изменением размеров данных и различными типами рабочих нагрузок. Понимание характеристик пропускной способности помогает предсказать, как система будет вести себя при производственных нагрузках, и выявить потенциальные ограничения масштабируемости.

Потребление памяти и управление

Использование памяти представляет собой критически важную метрику производительности, которая значительно влияет как на производительность приложений, так и на эксплуатационные расходы. Обычно измеряются показатели использования ресурсов, такие как использование центрального процессора (ЦП), потребление памяти, энергоэффективность и энергопотребление. Потребление памяти влияет не только на скорость работы приложений, но и на их масштабируемость и затраты на инфраструктуру, необходимые для их поддержки.

Потребление памяти в процессе бенчмарка, сообщаемое как база + увеличение, где база является RSS перед эталоном и увеличение является пиковым увеличением RSS во время бенчмарка. Этот подробный подход к измерению памяти обеспечивает понимание как базовых требований к памяти во время выполнения языка, так и дополнительной памяти, потребляемой во время фактических вычислений.

Различные языки программирования используют совершенно разные стратегии управления памятью, от ручного управления памятью на языках, таких как C и C++, до автоматического сбора мусора на языках, таких как Java, Python и Go. Эти различия имеют глубокие последствия для моделей потребления памяти. Языки с сбором мусора могут показывать периодические всплески использования памяти, поскольку объекты накапливаются до сбора, в то время как управляемые вручную языки обычно показывают более предсказуемые шаблоны использования памяти, но требуют более тщательного программирования, чтобы избежать утечек.

Одна из важных областей, которую plb2 не оценивает, - это производительность распределения памяти и/или сбора мусора. Это может способствовать более практической производительности, чем генерация машинного кода. Тем не менее, сложно разработать реалистичный микро-значок для оценки распределения памяти. Это признание подчеркивает сложность комплексного бенчмаркинга характеристик производительности, связанных с памятью.

Эффективность использования и обработки CPU

Использование процессора измеряет, насколько эффективно реализация языка программирования использует доступные ресурсы процессора. Другими словами, он обуславливает, насколько занят процессор. Ресурсы могут быть процессором, оперативной памятью, памятью, пропускной способностью и т. Д. Высокое использование процессора во время вычислительно-интенсивных задач обычно указывает на эффективное использование ресурсов, в то время как низкое использование может указывать на узкие места в других частях системы, таких как операции ввода-вывода или шаблоны доступа к памяти.

Понимание шаблонов использования процессора помогает определить, является ли реализация языка связанной с вычислениями или ограничена другими факторами. Например, программа, которая показывает низкое использование процессора, несмотря на длительное время выполнения, может тратить значительное время на ожидание доступа к памяти, ввода/вывода диска или сетевых операций. Эта информация направляет усилия по оптимизации, выделяя, где улучшения будут иметь наибольшее влияние.

Хотя ни одна реализация не использует многопоточность, языковые среды выполнения могут выполнять дополнительную работу, такую как сбор мусора, в отдельном потоке. В этом случае время процессора (пользователь плюс система) может быть дольше, чем прошедшее время настенных часов. Julia, в частности, занимает заметно больше времени процессора, чем время настенных часов. Это наблюдение иллюстрирует, как поведение времени выполнения языка может повлиять на измерения использования процессора и почему важно учитывать как время процессора, так и время настенных часов при оценке производительности.

Современные многоядерные процессоры добавляют еще одно измерение к анализу использования процессора. Языки и среды выполнения, которые эффективно используют несколько ядер, могут достичь более высокого общего использования процессора и лучшей пропускной способности, чем те, которые ограничены однопоточной производительностью. Использование ЦП в многоядерных сценариях требует тщательного рассмотрения таких факторов, как планирование потоков, сродство с ядром и межядерные накладные расходы на связь.

Категории реализации языка и характеристики производительности

Интерпретируемые языки

Чисто интерпретируемые (QuickJS, Perl и CPython, официальная реализация Python). Неудивительно, что они являются одними из самых медленных языковых реализаций в этом бенчмарке. Интерпретируемые языки выполняют код, считывая и выполняя инструкции непосредственно без предварительной компиляции машинного кода. Этот подход предлагает преимущества с точки зрения скорости разработки, портативности и динамических возможностей, но обычно приводит к более медленному выполнению по сравнению с компилируемыми альтернативами.

Производительность интерпретируемых языков обусловлена накладными расходами на саму интерпретацию.Каждая инструкция должна быть проанализирована, проанализирована и выполнена во время выполнения, что вводит значительные накладные расходы по сравнению с выполнением предварительно компилированного машинного кода.Кроме того, интерпретируемым языкам часто не хватает сложных оптимизаций, которые могут выполнять компиляторы, опередившие время, такие как удаление мертвого кода, постоянная складываемость и расширенное распределение регистров.

Несмотря на ограничения производительности, интерпретируемые языки остаются популярными для многих случаев использования, когда скорость разработки, простота использования и портативность перевешивают скорость выполнения.Они превосходят в скриптинге, быстром прототипировании и приложениях, где вычислительные накладные расходы преобладают операциями ввода-вывода или внешними вызовами службы, а не чистыми вычислениями.

Собранные языки Just-In-Time

JIT compiled (Dart, Bun/Node, Java, Julia, LuaJIT, PHP, PyPy и Ruby3 с YJIT). Они, как правило, быстрее, чем чистая интерпретация. Тем не менее, в этой группе существует большая дисперсия. Just-in-time compilation представляет собой промежуточную основу между интерпретацией и опережающей компиляцией, предлагая улучшенную производительность по сравнению с чистой интерпретацией, сохраняя при этом некоторые из гибкости и динамических возможностей интерпретируемых языков.

Компиляторы JIT работают путем мониторинга исполнения программ и компиляции часто исполняемых кодовых путей для оптимизации машинного кода во время выполнения. Такой подход позволяет выполнять временные решения оптимизации на основе фактического поведения программы, потенциально достигая производительности, которая конкурирует или превышает заранее составленный код для горячих кодовых путей. Два JavaScript-движка (Bun и Node) и Julia работают хорошо. Они примерно в два раза быстрее, чем PyPy.

Однако компиляция JIT вводит свои собственные сложности и компромиссы. Некоторые языковые среды выполнения на основе JIT занимают до ~0,3 секунды для компиляции и разминки. Мы не выделяем это время запуска. Тем не менее, поскольку большинство эталонов работают в течение нескольких секунд, включая время запуска, не сильно влияет на результаты. Этот период разминки может быть значительным для краткосрочных программ или приложений с частыми холодными запусками, такими как бессерверные функции.

Эффективность компиляции JIT значительно варьируется в разных реализациях. Такие факторы, как сложность компилятора JIT, качество профилирования среды выполнения и характеристики исполняемого кода, влияют на производительность. Некоторые реализации JIT достигают замечательной производительности, приближаясь или сопоставляя статически скомпилированный код, в то время как другие обеспечивают более скромные улучшения по сравнению с интерпретацией.

Впереди времени компилируемые языки

Оптимизируя двоичные файлы для конкретного оборудования, эти компиляторы, как правило, генерируют самые быстрые исполняемые файлы. Впереди времени (AOT) скомпилированные языки перед выполнением переводят исходный код в машинный код, что позволяет проводить обширную оптимизацию и, как правило, обеспечивает наилучшую производительность среди стратегий реализации языка.

Компиляция AOT позволяет использовать сложные методы оптимизации, которые трудно или невозможно выполнить во время выполнения. Они включают оптимизацию всей программы, оптимизацию под управлением профиля и аппаратные оптимизации, которые используют преимущества конкретных функций процессора. Ключевые характеристики, способствующие скорости языка, включают: Управление памятью низкого уровня: Предоставление разработчикам прямого контроля над памятью (например, C / C++ или Rust). Компиляция с нативным машинным кодом: Устранение накладных расходов на интерпретацию (например, C, C++, Rust, Go).

Языки C, C++ и Rust иллюстрируют подход компиляции AOT, предлагая разработчикам мелкозернистый контроль над управлением памятью и системными ресурсами. Разработанный в начале 1970-х годов, C остается одним из самых быстрых языков из-за его низкоуровневых возможностей. Он предлагает прямой доступ к памяти, что позволяет точно контролировать системные ресурсы и минимальные накладные расходы на время выполнения, поскольку код компилируется непосредственно в машинный код. Это приводит к очень быстрому исполнению и эффективной компиляции.

Компромисс для этой производительности обычно заключается в увеличении сложности разработки и более длительном времени компиляции. Языки, скомпилированные AOT, часто требуют более тщательного программирования, чтобы избежать ошибок, таких как утечки памяти, переполнение буфера и неопределенное поведение. Однако для критически важных приложений, таких как операционные системы, игровые движки, высокочастотные торговые системы и встроенное программное обеспечение, преимущества производительности компиляции AOT часто необходимы.

Расширенные аспекты бенчмаркинга

Экологическая последовательность

Поддержание согласованных сред тестирования абсолютно необходимо для получения надежных и воспроизводимых результатов бенчмарка. Облегчить бенчмаркинг в реальных серверных средах, поскольку в настоящее время все больше и больше приложений развертываются в размещенных облачных виртуальных машинах или докерах / подманах (через k8s). Это, вероятно, получит совсем другой результат, чем то, что вы получаете на своем компьютере. Это наблюдение подчеркивает важность бенчмаркинга в средах, которые очень напоминают развертывания производства.

Факторы окружающей среды, которые могут существенно повлиять на результаты бенчмарков, включают модель процессора и тактовую частоту, доступную память, тип и скорость хранения, версию и конфигурацию операционной системы, фоновые процессы и системную нагрузку, сетевые условия для распределенных бенчмарков и версии компилятора или среды выполнения. Даже, казалось бы, незначительные различия в этих факторах могут привести к существенным изменениям в измеренной производительности.

Современные методы бенчмаркинга часто используют технологии контейнеризации, такие как Docker, для обеспечения согласованных сред для различных тестовых запусков и машин. Системы непрерывной интеграции могут автоматически запускать бенчмарки в контролируемых средах, отслеживая производительность с течением времени и обнаруживая регрессии. Эта автоматизация помогает поддерживать согласованность и предоставляет исторические данные о производительности, которые могут выявлять тенденции и определять, когда изменения влияют на производительность.

Статистический характер и изменчивость

Для получения значимых выводов из эталонных данных необходим надлежащий статистический анализ. Все значения представлены в виде: медианное ± медианное абсолютное отклонение. Использование статистических показателей, таких как медианное и медианное абсолютное отклонение, обеспечивает более надежные результаты, чем простые средние, которые могут быть искажены выбросами.

Измерения производительности по своей сути содержат изменчивость из-за таких факторов, как планирование ЦП, эффекты кэша, шаблоны распределения памяти, время сбора мусора и системные прерывания. Запуск эталонов несколько раз и применение статистического анализа помогает учитывать эту изменчивость и обеспечивает доверительные интервалы для результатов. Этот подход различает подлинные различия производительности и случайные вариации.

Наилучшие методы в области эталонной статистики включают в себя выполнение каждого эталона несколько раз, отбрасывание выпадающих значений с использованием соответствующих статистических методов, представление отчетности как о центральной тенденции (средней или средней), так и о изменчивости (стандартное отклонение или среднее абсолютное отклонение), расчет доверительных интервалов для сопоставлений показателей и использование соответствующих статистических тестов для определения того, являются ли наблюдаемые различия статистически значимыми.

Тепло и устойчивое состояние

Многие языковые реализации, особенно те, которые используют компиляцию JIT, демонстрируют различные характеристики производительности во время первоначального исполнения по сравнению с операциями с постоянным состоянием. Период разогрева позволяет компиляторам JIT профилировать выполнение кода, идентифицировать горячие пути и генерировать оптимизированный машинный код.

Для языков, скомпилированных в JIT, измерение только производительности холодного запуска может значительно недооценивать устойчивую производительность, в то время как измерение только теплой производительности может не отражать опыт краткосрочных программ или приложений с частыми перезагрузками. Всесторонние контрольные показатели должны измерять как холодный запуск, так и теплую производительность, четко различая два сценария.

Соответствующий подход зависит от оцениваемого варианта использования. Долгосрочные серверные приложения в первую очередь заботятся о стабильной производительности после разминки, в то время как бессерверные функции или инструменты командной строки более чувствительны к производительности холодного запуска. Понимание этих различных сценариев помогает обеспечить соответствие результатов бенчмарка реальным моделям использования.

Оптимизация справедливости и идиоматического кода

Обратите внимание, что реализации могут использовать различные оптимизации, например, с или без многопоточности, пожалуйста, прочитайте исходный код, чтобы проверить, является ли это справедливым сравнением или нет. Эта осторожность подчеркивает критическую проблему в бенчмаркинге языка: обеспечение того, чтобы сравнения были справедливыми, но все же представляли реалистичное использование каждого языка.

Идиоматический код на одном языке может выглядеть очень отличающимся от идиоматического кода на другом языке, даже при реализации одного и того же алгоритма. Например, функциональные языки программирования поощряют разные шаблоны, чем императивные языки, а объектно-ориентированные языки структурируют код иначе, чем процедурные языки. Бенчмарки должны стремиться использовать идиоматические шаблоны для каждого языка при сохранении алгоритмической эквивалентности.

Вопрос справедливости оптимизации становится особенно сложным при рассмотрении особенностей языка. Должны ли бенчмарки использовать инструкции SIMD, если они доступны на одном языке, но не на других? Должны ли они использовать языковые примитивы параллелизма? Ответ зависит от целей бенчмарка. Если цель состоит в измерении производительности необработанного языка, реализации должны быть как можно более похожими. Если цель состоит в измерении практической производительности для реальных приложений, использование языковых оптимизаций может быть уместным.

Методы расчета практических результатов

Расчет времени исполнения

Расчет времени выполнения лежит в основе большинства усилий по бенчмаркингу производительности. Базовый подход предполагает запись временных меток до и после выполнения кода и вычисление разницы. Однако для достижения точных измерений требуется внимание к нескольким деталям. Для сбора точной информации о времени следует использовать таймеры высокого разрешения, особенно для быстро исполняемого кода. Большинство современных языков программирования обеспечивают доступ к таймерам высокого разрешения через стандартные библиотеки.

При измерении времени выполнения важно минимизировать накладные расходы самого измерения. Код времени должен быть максимально легким, чтобы избежать искажения измерений. Для очень быстрых операций может потребоваться выполнить код несколько раз в цикле и разделить общее время на количество итераций, чтобы получить точное время выполнения.

Производительность обратно связана со временем исполнения. Это фундаментальное соотношение означает, что сокращение времени исполнения напрямую повышает производительность. При сравнении двух реализаций ускорение можно вычислить как соотношение их времени исполнения. Если компьютер А запускает программу за 10 секунд, а компьютер В запускает одну и ту же программу за 20 секунд, насколько быстрее A, чем B? Скорость А над B = 20/10 = 2, что указывает на то, что A в два раза быстрее B.

Измерение использования памяти

Точное измерение памяти требует понимания различных типов метрик памяти. Размер набора резидентов (RSS) представляет собой часть памяти, занятую процессом, который хранится в оперативной памяти. Использование пиковой памяти указывает на максимальную память, потребляемую во время выполнения. Скорость распределения памяти измеряет, насколько быстро программа распределяет память, что может повлиять на частоту сбора мусора и общую производительность.

Большинство операционных систем предоставляют инструменты и API для измерения использования памяти процесса. На Unix-подобных системах файловая система /proc предоставляет подробную информацию о памяти. Языки программирования часто включают библиотеки или модули для запроса использования памяти из программ. Для более детального анализа профилировщики памяти могут отслеживать шаблоны распределения, выявлять утечки памяти и анализировать шаблоны доступа к памяти.

Использование памяти (%) = (Используемая память / Общая память) * 100. Эта формула обеспечивает основанную на проценте меру использования памяти, которая может быть полезна для понимания того, насколько близко система находится к ее пределам памяти. Высокое использование памяти может привести к ухудшению производительности из-за увеличения подкачки или замены, что делает эту важную метрику для мониторинга во время бенчмаркинга.

Вычислительная пропускная способность Metrics

Расчеты пропускной способности обычно включают подсчёт количества операций, выполненных в течение определённого периода времени. Основная формула: Пропускная способность = Количество операций/Период времени. Это может быть выражено в различных единицах в зависимости от контекста, таких как транзакции в секунду, запросы в секунду или операции в секунду.

Для точных измерений пропускной способности важно обеспечить, чтобы система достигла устойчивого состояния до начала измерений. Это означает, что время для разминки, кэширования населения и компиляции JIT должно быть принято в течение достаточно длительного периода, чтобы сгладить краткосрочные изменения и обеспечить стабильные результаты.

При проведении бенчмаркинга пропускной способности под нагрузкой важно проводить тестирование на различных уровнях параллелизма, чтобы понять, как система масштабируется. Это включает в себя постепенное увеличение числа одновременных операций и измерение пропускной способности на каждом уровне. Результаты обычно показывают, что пропускная способность увеличивается с параллелизмом до точки, а затем плато или даже уменьшается по мере доминирования разногласий и накладных расходов.

Анализ использования CPU

Анализ использования процессора помогает понять, насколько эффективно программа использует доступные ресурсы процессора. Операционные системы предоставляют различные инструменты для мониторинга использования процессора, включая утилиты командной строки, такие как top , htop и vmstat на Unix-подобных системах и диспетчер задач или монитор производительности на Windows. Эти инструменты показывают как общее использование процессора, так и использование ядра, что важно для понимания многопоточной производительности.

Инструменты профилирования обеспечивают более подробный анализ ЦП, определяя, какие функции или разделы кода потребляют больше всего времени ЦП. Эта информация неоценима для усилий по оптимизации, поскольку она подчеркивает, где улучшения будут иметь наибольшее влияние. Современные профилиры могут предоставлять графы вызовов, графики пламени и другие визуализации, которые облегчают понимание шаблонов использования ЦП.

При анализе использования процессора важно различать время пользователя (время, затрачиваемое на выполнение кода приложения) и системное время (время, затрачиваемое на операции ядра от имени приложения). Высокое системное время может указывать на чрезмерные системные вызовы, операции ввода/вывода или переключение контекста, предлагая различные стратегии оптимизации, чем высокое пользовательское время.

Сценарии реальных мировых бенчмаркингов

Производительность Web Application

Веб-приложения представляют уникальные проблемы сравнительного анализа из-за их распределенного характера и зависимости от нескольких компонентов, включая веб-серверы, серверы приложений, базы данных и сетевую инфраструктуру.Сравнительные веб-приложения требуют измерения не только производительности кода приложения, но и всего цикла запроса-ответа, включая задержку сети, время обработки сервера и выполнение запросов базы данных.

Ключевые показатели для бенчмаркинга веб-приложений включают задержку запроса (время от инициации запроса до завершения ответа), пропускную способность (запросы в секунду, с которыми может справиться приложение), одновременную емкость пользователя (максимальное количество одновременных пользователей, которых может поддерживать система) и частоту ошибок при различных условиях нагрузки. Эти показатели помогают определить, может ли приложение соответствовать требованиям к производительности и выявить узкие места.

Инструменты тестирования нагрузки, такие как Apache JMeter, Gatling и Locust, имитируют несколько одновременных пользователей, получающих доступ к веб-приложению, предоставляя представление о том, как система работает в реалистичных условиях нагрузки. Эти инструменты могут генерировать подробные отчеты, показывающие распределение времени отклика, пропускную способность с течением времени и частоту ошибок, помогая выявлять проблемы производительности, прежде чем они повлияют на реальных пользователей.

Обработка данных и аналитика

Приложения для обработки данных, включая системы пакетной обработки, платформы потоковой обработки и аналитические платформы, имеют различные эксплуатационные характеристики, чем интерактивные приложения. Эти системы обычно обрабатывают большие объемы данных, делая критические показатели пропускной способности и масштабируемости. Системы обработки данных с бенчмаркингом включают измерение того, как быстро они могут обрабатывать наборы данных различных размеров и сложности.

Важные соображения для эталонов обработки данных включают размер и сложность данных, поскольку производительность часто значительно варьируется с входными характеристиками. Тестирование должно включать как небольшие, так и большие наборы данных для понимания поведения масштабирования. Кроме того, тип выполняемых операций (фильтрация, агрегация, соединения, преобразования) по-разному влияет на производительность на разных языках и в рамках.

Эффективность памяти становится особенно важной для приложений обработки данных, поскольку работа с большими наборами данных может быстро исчерпать доступную память. Языки и фреймворки, поддерживающие эффективную потоковую или неосновную обработку, могут обрабатывать более крупные наборы данных, чем те, которые требуют, чтобы все данные вписывались в память. Контрольные показатели должны измерять как скорость обработки, так и требования к памяти, чтобы обеспечить полную картину производительности.

Параллельная и параллельная обработка

Современные приложения все больше полагаются на одновременную и параллельную обработку для достижения высокой производительности на многоядерных процессорах. Эффективные модели параллелизма: Эффективное использование многоядерных процессоров (например, Go, Rust). Для сравнения одновременных приложений требуется измерение не только сырой производительности, но и того, насколько эффективно масштабы приложений с дополнительными ядрами.

Ключевые показатели для одновременного бенчмаркинга включают ускорение (насколько быстрее работает параллельная версия по сравнению с последовательным выполнением), эффективность (ускорение, деленное на количество используемых ядер) и масштабируемость (как изменяется производительность по мере добавления большего количества ядер). Эти показатели помогают понять, эффективно ли приложение использует доступные аппаратные ресурсы.

Конкурентные эталоны должны учитывать такие факторы, как накладные расходы на создание потоков, затраты на синхронизацию, сцепление блокировок и эффекты когерентности кэша. Эти накладные расходы могут значительно повлиять на производительность и могут привести к тому, что параллельные реализации будут работать хуже, чем последовательные, если не будут тщательно управляться. Понимание этих факторов помогает в разработке эффективных параллельных приложений и правильной интерпретации результатов бенчмарка.

Общие ошибки бенчмаркинга и лучшие практики

Избегать микро-чертежных ловушек

Микро-знаки, которые измеряют производительность небольших изолированных фрагментов кода, могут быть ценными для понимания конкретных особенностей языка или операций. Однако они также представляют значительные риски получения вводящих в заблуждение результатов. Оптимизация компилятора может значительно повлиять на результаты микро-знаков способами, которые не отражают реальную производительность. Например, компиляторы могут устранить мертвый код, выражения с постоянными сгибами или встроенные функции способами, которые заставляют микро-знаки работать быстрее, чем эквивалентный код в реальных приложениях.

Чтобы избежать ошибок микро-знаков, убедитесь, что эталонный код действительно выполняет значимую работу, которую нельзя оптимизировать. Используйте результаты бенчмарка, чтобы предотвратить оптимизацию компилятора от устранения измеряемого кода. Тестируйте реалистичные данные и шаблоны доступа, а не искусственные или чрезмерно регулярные данные, которые могут извлечь выгоду из кэширования или прогнозирования. Рассмотрим более широкий контекст, в котором будет работать код, включая такие факторы, как давление кэша от другого кода, шаблоны распределения памяти и взаимодействие с другими компонентами системы.

В то время как микро-метки имеют свое место в понимании конкретных характеристик производительности, макро-метки, которые измеряют полные приложения или существенные подсистемы, обычно обеспечивают более надежные показатели реальной производительности. Эти более масштабные бенчмарки лучше отражают сложные взаимодействия и компромиссы, которые характеризуют фактическое поведение приложений.

Обеспечение воспроизводимости

Воспроизводимые эталоны необходимы для отслеживания производительности с течением времени, сравнения различных реализаций и проверки усилий по оптимизации. Достижение воспроизводимости требует тщательного внимания к факторам окружающей среды, методологии измерения и документации. Все аспекты эталонной среды должны быть документированы, включая спецификации оборудования, версию операционной системы, компилятор или версии времени выполнения и любые соответствующие настройки конфигурации.

Использование контроля версий для эталонного кода гарантирует сохранение точного измеряемого кода и его повторный запуск в будущем. Автоматизированные наборы эталонов, которые работают в рамках непрерывной интеграции, обеспечивают постоянный мониторинг производительности и могут быстро обнаруживать регрессии. Эти системы должны архивировать результаты бенчмарка вместе с экологической информацией, создавая историческую запись производительности с течением времени.

При обмене результатами бенчмарка следует предоставлять достаточно подробную информацию для воспроизведения результатов другими лицами. Это включает в себя не только анализируемый код, но и методологию, количество итераций, подход к статистическому анализу и любые соответствующие экологические факторы. Прозрачность методологии бенчмаркинга повышает доверие к результатам и позволяет другим подтверждать результаты.

Интерпретация результатов правильно

Результаты бенчмарков следует интерпретировать в контексте, учитывая конкретные проверенные сценарии и их релевантность для случаев предполагаемого использования. Язык, который хорошо работает на интенсивных вычислительных вычислениях с процессором, может плохо выполнять задачи, связанные с ввода-вывода или манипулированием строками. Понимание этих нюансов предотвращает чрезмерное обобщение из ограниченных результатов бенчмарка.

Эффективность - это только один фактор в решениях по выбору языка. Другие соображения включают в себя производительность разработчиков, зрелость экосистемы, доступность библиотек, поддержку сообщества, ремонтопригодность и экспертизу команды. Язык, который на 10% медленнее, но обеспечивает на 50% более быструю разработку, может быть лучшим выбором для многих проектов. Сравнительные показатели информируют об этих решениях, но не должны быть единственным определяющим фактором.

При сравнении результатов контрольных показателей учитывайте величину различий. Небольшие различия в производительности (менее 10-20%) могут быть незначимыми с учетом изменчивости измерений и не могут приводить к заметным различиям в реальных приложениях. Сосредоточьтесь на существенных, последовательных различиях, которые могут повлиять на пользовательский опыт или эксплуатационные расходы.

Инструменты и рамки для языковых бенчмаркингов

Языковые библиотеки бенчмаркинга

Большинство языков программирования предоставляют встроенные или сторонние библиотеки, специально предназначенные для бенчмаркинга. Эти библиотеки выполняют общие задачи бенчмаркинга, такие как измерения времени, статистический анализ и отчетность о результатах. Например, Python предлагает модуль таймтайм для простых измерений времени и библиотеки, такие как pytest-benchmark для более комплексного бенчмаркинга. Java предоставляет JMH (Java Microbenchmark Harness), сложную структуру, предназначенную для предотвращения общих ошибок бенчмаркинга.

Эти языковые инструменты понимают нюансы своих соответствующих периодов выполнения и могут учитывать такие факторы, как разминка компиляции JIT, сбор мусора и другие специфические для выполнения действия. Они обычно предоставляют такие функции, как автоматические периоды разминки, статистический анализ нескольких прогонов и обнаружение аномалий измерения. Использование этих установленных инструментов вместо написания пользовательского кода времени помогает обеспечить точные и надежные измерения.

При выборе библиотеки бенчмаркинга учитывайте такие факторы, как простота использования, точность измерений, возможности статистического анализа, интеграция с рамками тестирования и функциями отчетности.Хорошо продуманные библиотеки бенчмаркинга позволяют легко писать надежные бенчмарки и правильно интерпретировать результаты, снижая вероятность распространенных ошибок.

Межъязыковые платформы бенчмаркинга

Несколько платформ и проектов сосредоточены конкретно на межъязыковом бенчмаркинге, предоставляя стандартизированные наборы тестов и инфраструктуру для сравнения разных языков. Эти платформы предлагают ценные ресурсы для понимания относительной языковой производительности в различных задачах. Игра с бенчмарками компьютерного языка уже давно служит эталоном для сравнения языковой производительности, обеспечивая реализации различных алгоритмов на десятках языков.

Современные платформы бенчмаркинга часто используют непрерывную интеграцию и облачную инфраструктуру для обеспечения согласованных сред тестирования. Они могут предоставлять веб-интерфейсы для изучения результатов, сравнения языков и понимания характеристик производительности. Некоторые платформы также принимают вклад сообщества, позволяя разработчикам предоставлять оптимизированные реализации и улучшать качество бенчмарков с течением времени.

При использовании кросс-языковых бенчмаркинговых платформ внимательно изучите реализации, чтобы понять, что измеряется. Различные реализации могут использовать разные алгоритмы, уровни оптимизации или языковые функции, которые могут значительно повлиять на результаты. Понимание этих различий помогает правильно интерпретировать результаты и применять результаты к конкретным случаям использования.

Инструменты профилирования и анализа производительности

Инструменты профилирования дополняют бенчмаркинг, предоставляя подробную информацию о том, где программы тратят время и потребляют ресурсы. Профилировщики процессоров идентифицируют горячие точки в коде, показывая, какие функции или линии потребляют наибольшее время выполнения. Профилировщики памяти отслеживают шаблоны распределения, идентифицируют утечки и анализируют использование памяти с течением времени. Эти инструменты помогают понять не только то, как быстро работает код, но и почему он выполняет так, как он делает.

Современные профилировщики предлагают сложные возможности визуализации, включая графики пламени, деревья вызовов и виды временной шкалы, которые позволяют легко понять сложные характеристики производительности. Они часто могут профилировать производственные системы с минимальными накладными расходами, обеспечивая понимание реальной производительности, а не просто базовые сценарии. Интеграция с средами разработки делает профилирование естественной частью рабочего процесса разработки.

Различные подходы к профилированию подходят для разных сценариев. Отбор проб профилировщиков периодически отбирает состояние программы, обеспечивая статистическую информацию с низкими накладными расходами. Профилировщики приборов вставляют код измерения в программы, обеспечивая точные измерения, но с более высокими накладными расходами. Гибридные подходы объединяют методы для балансирования точности и воздействия на производительность. Понимание этих компромиссов помогает выбрать соответствующие инструменты профилирования для конкретных потребностей.

Энергоэффективность и экологические соображения

По мере роста вычислительной инфраструктуры и усиления экологических проблем в качестве важной метрики эффективности стала появляться энергоэффективность. Энергопотребление пакета процессоров во время эталона: PP0 (ядра) + PP1 (неядра, такие как GPU) + DRAM. Этот комплексный подход к измерению энергии отражает полное энергопотребление вычислительных задач.

Энергоэффективные языки программирования и их реализация могут значительно снизить эксплуатационные расходы и воздействие на окружающую среду, особенно для крупномасштабных развертываний. Центры обработки данных потребляют огромное количество электроэнергии, и даже небольшие улучшения в области энергоэффективности могут привести к существенной экономии затрат и сокращению выбросов углерода. Это делает энергоэффективность все более важным фактором в усилиях по выбору и оптимизации языков.

Измерение энергопотребления требует специализированных аппаратных или программных средств, которые могут контролировать энергопотребление во время выполнения программы. На некоторых платформах интерфейсы операционной системы обеспечивают доступ к данным о энергопотреблении. Выделенное оборудование для измерения мощности предлагает более точные измерения, но требует дополнительной настройки. По мере того, как энергоэффективность становится более важной, ожидайте, что потребление энергии станет стандартной метрикой в усилиях по языковому бенчмаркингу.

Связь между производительностью и энергоэффективностью не всегда проста. Более быстрое выполнение обычно означает меньше потребляемой энергии в целом, но некоторые оптимизации, которые улучшают скорость, могут увеличить потребляемую мощность. Понимание этих компромиссов помогает принимать обоснованные решения о стратегиях оптимизации и выборе языка, особенно для приложений, которые работают непрерывно или в больших масштабах.

Будущие тенденции в языковом программирования бенчмаркинг

Область бенчмаркинга языков программирования продолжает развиваться по мере появления новых языков, изменения аппаратных архитектур и изменения требований приложений. Современные тенденции аппаратного обеспечения, такие как гетерогенные вычисления, специализированные ускорители и все более сложные иерархии памяти, создают новые проблемы для бенчмаркинга. Языки и среда выполнения должны адаптироваться к этим изменениям, а бенчмарки должны развиваться для измерения производительности на новых аппаратных архитектурах.

Облачные вычисления и контейнеризация изменили способ развертывания и запуска приложений, что делает важным бенчмарк в облачных средах, а не только на голом металле. Бессерверные вычисления вводят новые соображения производительности в отношении холодного времени запуска и распределения ресурсов. Эти модели развертывания требуют новых подходов бенчмаркинга, которые учитывают их уникальные характеристики.

Машинное обучение и рабочие нагрузки ИИ представляют собой все более важную область применения с конкретными требованиями к производительности. Языки и фреймворки, оптимизированные для этих рабочих нагрузок, могут показывать очень разные характеристики производительности, чем те, которые оптимизированы для традиционных вычислительных задач. Специализированные бенчмарки для рабочих нагрузок ML / AI помогают оценивать языки и фреймворки для этих вариантов использования.

По мере развития языков программирования и появления новых парадигм методологии бенчмаркинга должны адаптироваться к улавливанию соответствующих характеристик производительности.Основные принципы справедливого сравнения, согласованности в отношении окружающей среды и статистической строгости остаются неизменными, но конкретные показатели и методологии будут продолжать развиваться, чтобы отражать меняющиеся технологические ландшафты и требования к приложениям.

Ключевые показатели эффективности Резюме

Понимание и измерение правильных показателей производительности имеет важное значение для эффективного бенчмаркинга языка программирования. Вот полный обзор наиболее важных показателей для отслеживания:

  • Время выполнения: Общее время, прошедшее от начала программы до завершения, представляющее собой наиболее фундаментальную метрику производительности, которая непосредственно влияет на пользовательский опыт.
  • Потребление памяти: Количество оперативной памяти, используемой программой во время выполнения, включая как базовые требования, так и пиковое использование, что влияет как на производительность, так и на эксплуатационные расходы
  • Производительность: Количество операций, транзакций или запросов, обрабатываемых за единицу времени, критически важно для понимания емкости системы и масштабируемости
  • Использование процессора: Процент ресурсов процессора, потребляемых во время выполнения, указывающий, насколько эффективно программа использует доступную вычислительную мощность
  • Время ответа: Время между инициированием запроса и получением ответа, особенно важное для интерактивных приложений и веб-сервисов
  • Задержка: Задержка между действием и его эффектом, часто измеряемая при различных процентилях (50-й, 95-й, 99-й) для понимания распределения времени отклика
  • Масштабируемость: Как изменяется производительность при увеличении рабочей нагрузки или ресурсов, что указывает на то, может ли система эффективно справляться с ростом
  • Потребление энергии: Количество электроэнергии, потребляемой во время исполнения, все более важно для экологических и затратных соображений
  • Время запуска: Время, необходимое для инициализации и начала выполнения, особенно актуально для недолговечных процессов и бессерверных функций
  • Конкурентная производительность: Насколько эффективно язык или реализация обрабатывает несколько одновременных операций, критически важных для современных многоядерных процессоров

Заключение

Сравнение языков программирования представляет собой сложную, но важную практику для принятия обоснованных решений о выборе технологий, стратегиях оптимизации и проектировании системы. Систематическое измерение производительности по нескольким измерениям - время выполнения, использование памяти, пропускная способность, использование процессора и потребление энергии - разработчики и организации могут понять компромиссы между различными языками и реализациями.

Эффективное сопоставление требует внимания к методологии, экологической согласованности, статистической строгости и соответствующей интерпретации результатов. Хотя микро-эталоны могут обеспечить понимание конкретных языковых особенностей, всеобъемлющие контрольные показатели, которые измеряют реальные приложения или существенные подсистемы, обычно обеспечивают более надежные показатели практической эффективности. Понимание различий между интерпретируемыми, JIT-компилированными и AOT-компилированными языками помогает установить соответствующие ожидания и выбрать подходящие языки для конкретных вариантов использования.

Поскольку вычисления продолжают развиваться с новыми аппаратными архитектурами, моделями развертывания и областями применения, методы бенчмаркинга должны адаптироваться, чтобы оставаться актуальными. Однако фундаментальные принципы справедливого сравнения, воспроизводимых измерений и соответствующей контексту интерпретации остаются постоянными. Применяя эти принципы и используя соответствующие инструменты и методологии, разработчики могут использовать бенчмаркинг для создания более быстрых, более эффективных и более экономичных программных систем.

Для получения дополнительной информации о производительности языка программирования и методологиях бенчмаркинга изучите такие ресурсы, как Компьютерная игра с бенчмарками языка , Язык программирования бенчмарк v2 и современные платформы бенчмаркинга , которые обеспечивают всестороннее сравнение на нескольких языках и примерах использования. Кроме того, консультирование академических исследований и передовой практики в отрасли помогает обеспечить, чтобы усилия по бенчмаркингу давали значимые, действенные идеи, которые способствуют лучшим техническим решениям.