Обработка изображений в реальном времени для хирургических навигационных систем

Что такое обработка изображений в реальном времени в хирургии?

Обработка изображений в режиме реального времени в хирургической навигации относится к мгновенному захвату, анализу и улучшению визуальных данных во время оперативной процедуры. В отличие от традиционных рабочих процессов визуализации, которые требуют минут для создания одного кадра, системы реального времени работают с частотой кадров 30-60 кадров в секунду (fps) с сквозной задержкой ниже 100 миллисекунд. Эта низкая задержка имеет решающее значение, потому что даже задержка 200 мс может вызвать видимое несоответствие между отображаемым изображением и фактическим положением хирургического инструмента, увеличивая риск повреждения ткани. Процессинг трубопровода обычно включает снижение шума, усиление контраста, обнаружение края и мультимодальный синтез изображений, все выполняется на специализированном оборудовании, таком как GPU или FPGA, чтобы удовлетворить строгие временные ограничения.

Современная визуализация в реальном времени основана на комбинации входов датчиков - оптических камер, флюороскопии, ультразвука и структурированных световых сканеров - и программных алгоритмов, которые могут регистрировать и накладывать эти потоки данных на трехмерную модель пациента. Конечной целью является предоставление хирургу динамического, живого просмотра, который выделяет критические структуры, такие как кровеносные сосуды, нервы и опухолевые поля, что позволяет принимать решения с точностью до миллиметра.

Ключевые технологии хирургической навигации

Оптические системы слежения

Оптический трекинг является наиболее широко используемой технологией в коммерческих хирургических навигационных платформах. В нем используются две или более инфракрасных (ИК) камеры, расположенных вокруг хирургического поля, для обнаружения отражающих маркеров, прикрепленных к инструментам и анатомии пациента. Система триангулирует позиции маркеров в 3D-пространстве с субмиллиметровой точностью. Современные системы от таких компаний, как NDI (Northern Digital Inc.] , достигают ошибок отслеживания ниже 0,25 мм RMS. Однако оптическое отслеживание требует четкой линии зрения между массивом камеры и маркерами, которые могут быть затруднены хирургической командой, шторами или жидкостями. Для смягчения этого некоторые системы используют активные маркеры, которые излучают ИК-свет, обеспечивая больший диапазон и устойчивость к помехам окружающего света.

Электромагнитное отслеживание

Электромагнитное (ЭМ) отслеживание использует передатчик, который генерирует низкочастотное магнитное поле и небольшие сенсорные катушки, встроенные в инструменты. Поскольку магнитные поля проникают в большинство материалов, ЭМ-отслеживание не требует линии обзора, что делает его идеальным для эндоскопических и основанных на игле процедур, где анатомия заслоняет оптические маркеры. Основным ограничением является искажение от ферромагнитных объектов в ИЛИ (например, металлических столов, имплантатов). Современные ЭМ-системы, такие как системы из Технологии Вознесения , включают алгоритмы калибровки, которые компенсируют известные искажения, достигая точности 0,5-2 мм. Гибридные оптические ЭМ-системы появляются для объединения сильных сторон обоих модальностей.

Регистрация изображений

Регистрация изображений - это процесс согласования данных предоперационной визуализации (КТ, МРТ, ПЭТ) с интраоперационной анатомией пациента. Без точной регистрации навигация бесполезна. Существуют два основных метода регистрации:

Обработка в режиме реального времени постоянно обновляет регистрацию по мере перемещения пациента или деформации тканей. Например, во время операции на печени форма печени изменяется с дыханием; деформируемые алгоритмы регистрации деформируют предоперационную модель, чтобы соответствовать изображениям с помощью ультразвука или стереокамеры, сохраняя точность навигации на протяжении всего дыхательного цикла.

Дополненная реальность Overlays

Дополненная реальность (AR) улучшает естественное представление хирурга, проецируя цифровую информацию непосредственно на оперативную область.

Обработка в режиме реального времени необходима для AR, потому что наложение должно обновляться с частотой обновления дисплея (обычно 60-90 Гц) и должно регулировать движения головы, движения инструментов и дыхание пациента. Исследования показали, что процедуры, управляемые AR, уменьшают необходимость отводить взгляд от хирургического поля, улучшая координацию рук и глаз и сокращая оперативное время до 20% в определенных операциях на позвоночнике.

Роботизированная интеграция

Хирургические роботы, такие как da Vinci Xi и новые платформы ROSA, включают обработку изображений в режиме реального времени для обеспечения управления замкнутым контуром. Камеры, установленные на потоковых изображениях конечного эффекта робота, которые обрабатываются для обнаружения положения инструмента, деформации ткани и даже взаимодействия между инструментами. Обработанные данные поступают обратно в систему управления робота, чтобы гарантировать, что наконечник инструмента остается на запланированной траектории. Например, в роботизированной артропластике коленного сустава профилирование костей в режиме реального времени с использованием интегрированной оптической камеры гарантирует, что резка пилы останавливается именно на запланированной глубине, предотвращая повреждение связок и хряща.

Клинические применения обработки изображений в реальном времени

Нейрохирургия

Нейрохирургия была одним из первых принявших обработку изображений в реальном времени для навигации. Во время резекции опухоли предоперационная МРТ сливается с интраоперационным ультразвуком или КТ для компенсации сдвига мозга (деформация ткани мозга после открытия черепа). Алгоритмы обработки в реальном времени обновляют наложение каждые несколько секунд, позволяя хирургу видеть, куда мигрировал запас опухоли. При глубокой стимуляции мозга (DBS) размещение электродов сочетается с предоперационной трактографией, чтобы избежать внутренней капсулы и оптимизировать размещение свинца. Исследование 2022 года в журнале нейрохирургии сообщило, что обработка изображений в реальном времени уменьшила среднюю ошибку нацеливания DBS с 1,8 мм до 0,9 мм.

Ортопедическая хирургия

В операциях по замене суставов и позвоночника навигация в реальном времени использует фтороскопические изображения или оптические камеры для отслеживания инструментов относительно костных ориентиров. Для общей артропластики тазобедренного сустава обработка в реальном времени вычисляет длину ноги и корректировки смещения на лету, уменьшая частоту послеоперационного вывиха. Многоцентровое исследование (NCT03547583) продемонстрировало, что навигация по замене тазобедренного сустава с обратной связью изображения в реальном времени достигла 92% скорости размещения ацетабулярной чашки в безопасной зоне Левиннека по сравнению с 68% в обычном размещении свободной руки. Хирурги позвоночника используют навигацию по вставке винта в реальном времени: система накладывает запланированную траекторию винта на живую флюороскопию, и положение сверла регулируется в реальном времени, чтобы избежать нарушения стенки педикулы.

Отоларингология (ENT)

Эндоскопическая хирургия синуса и процедуры основания черепа значительно выигрывают от обработки изображения в реальном времени, потому что анатомия узкая и окружена критическими структурами, такими как зрительный нерв и сонная артерия. Электромагнитное отслеживание в сочетании с регистрацией КТ в реальном времени позволяет хирургу видеть виртуальное положение эндоскопа на предоперационном сканировании. Недавние достижения включают сегментацию параназальных пазух от конусно-лучевой КТ, приобретенной во время процедуры, что позволяет системе выделять полипы или опухолевую ткань в цвете, когда хирург перемещается через полость синуса.

Кардиоторакальная и сосудистая хирургия

В малоинвазивной кардиохирургии слияние предоперационного КТА в режиме реального времени с внутриоперационной трансэзофагеальной эхокардиографией (ТЭЭ) обеспечивает 3D-дорожную карту сердечных камер и больших сосудов. Это имеет решающее значение для замены транскатетерного аортального клапана (TAVR), где клапан должен быть точно выровнен с нативным аннулусом. Живые флюороскопические изображения обрабатываются для отслеживания устройства имплантации и прогнозирования конечного положения, позволяя корректировать перед развертыванием. Тот же принцип применяется к фенестратному ремонту эндоваскулярной аневризмы (FEVAR), где регистрация в режиме реального времени гарантирует, что фенестрации выстраиваются в линию с почечными и брыжеечными артериями.

Преимущества обработки в реальном времени в хирургической навигации

Улучшенная точность и уменьшенные ошибки

Обработка изображений в режиме реального времени дает хирургам непрерывную обратную связь о местоположении инструмента относительно желаемой цели. Это снижает вероятность непреднамеренного разрезания нерва, прокалывания сосуда или резекции здоровой ткани. В спинальной хирургии частота неправильного расположения винта педиклы снизилась с 15-20% в случаях с использованием рук в режиме реального времени до менее 5% при навигации в режиме реального времени. Мгновенная коррекция петли означает, что если инструмент дрейфует из-за дрожания рук или движения пациента, дисплей обновляется в течение миллисекунд, предупреждая хирурга об ошибке.

Короткие оперные времена

Устраняя необходимость приостановки операции для получения флюороскопии или ультразвукового изображения, обработка в режиме реального времени уменьшает общую длину процедуры. Мета-анализ 12 исследований по замене коленного сустава показал, что хирургическое время было сокращено в среднем на 15 минут, что коррелирует с более низкими показателями инфекции и более коротким воздействием анестезии. Для сложных процедур, таких как резекция опухоли таза, способность видеть интерфейс опухоли-косточки в режиме реального времени может сократить фазу рассечения на 30–40 минут.

Повышение безопасности и уменьшение осложнений

Обратная связь в реальном времени позволяет хирургу идентифицировать и избегать критических структур даже тогда, когда они не видны непосредственно. Например, при функциональной эндоскопической хирургии синуса (FESS) навигация в реальном времени снижает частоту утечки спинномозговой жидкости на 60%, предупреждая хирурга, когда инструмент приближается к основанию черепа. В ортопедии обратная связь с натяжением связок в реальном времени во время замены коленного сустава обеспечивает сбалансированные нагрузки на мягкие ткани, снижая риск послеоперационной нестабильности и ревизионной хирургии.

Улучшение подготовки и образования

Хирурги могут использовать навигацию в режиме реального времени для сравнения своих собственных движений с «идеальной» траекторией эксперта, генерируемой системой. Обработанные изображения могут записывать такие показатели, как отклонение от запланированного пути, плавность движения и время, проведенное в «зонах ошибок». Эти объективные данные ускоряют кривую обучения и обеспечивают действенную обратную связь, которая невозможна только с традиционным наблюдением.

Проблемы и ограничения

Вычислительные требования и задержка

Процессорный конвейер для навигации в реальном времени — захват изображений, денозирование, регистрация, сегментация и рендеринг — требует огромной вычислительной пропускной способности. Объемы МРТ или КТ высокого разрешения (256 ]3 до 512 3 должны быть искажены и наложены со скоростью 30 кадров в секунду, требуя мощных графических процессоров. Многие ИТ-инфраструктуры больницы не имеют пропускной способности и вычислительной мощности для таких рабочих нагрузок, часто вызывая компромисс между качеством изображения и частотой кадров. Решения для граничных вычислений и выделенные ускорители FPGA разрабатываются, но они добавляют стоимость и сложность к системам, которые уже дороги (типичная навигационная консоль может превышать 300 000 долларов США).

Регистрация дрифт и деформация тканей

Даже при обновлении в реальном времени регистрация может дрейфовать из-за изменений положения пациента, дыхательных движений или манипулирования хирургом мягких тканей. Мягкие ткани, такие как печень, мозг и почки, особенно проблематичны, потому что они деформируются на протяжении всей процедуры. Текущие деформируемые алгоритмы регистрации являются вычислительно тяжелыми и могут не сходиться достаточно быстро для действительно реального времени. В результате многие клиницисты периодически перерегистрируются (каждые 5-10 минут), что добавляет время и потенциал для ошибки.

Калибровка и системная интеграция

Каждый инструмент должен быть точно откалиброван в систему слежения, процесс, который добавляет шаги к хирургическому рабочему процессу. Массивы трекера должны быть стерилизованы или покрыты стерильными шторами без ухудшающей точности. Неправильная калибровка - например, согнутая игла или свободный маркер - может привести к систематическим ошибкам в несколько миллиметров. Интеграция с существующим оборудованием для визуализации в больнице (КТ, МРТ, ультразвук) требует стандартизированных протоколов и интерфейсов, которые все еще развиваются. Отсутствие универсальных аппаратных и программных стандартов означает, что навигационные системы от разных поставщиков часто не могут совместно использовать данные или работать вместе без проблем.

Стоимость и доступность

Небольшие больницы и хирургические центры в странах с низким и средним уровнем дохода часто не могут позволить себе первоначальные инвестиции. Даже в условиях с высоким уровнем ресурсов стоимость стерилизуемых навигационных расходных материалов (маркеры, датчики, шторы) может добавить несколько сотен долларов к процедуре. В результате использование обработки изображений в реальном времени сосредоточено в крупных академических центрах и третичных реферальных больницах, что ограничивает его более широкое влияние на глобальную хирургическую помощь.

Будущие направления и новые исследования

Искусственный интеллект и машинное обучение

ИИ обещает устранить многие из существующих ограничений. Модели глубокого обучения могут выполнять сегментацию органов, опухолей и сосудов из необработанных данных визуализации в миллисекундах, намного быстрее, чем традиционные алгоритмы. Эти модели также могут прогнозировать деформацию тканей на основе граничных условий, позволяя деформировать в реальном времени регистрацию без итеративной оптимизации. Например, сверточная нейронная сеть (CNN), обученная интраоперационному ультразвуку и предоперационной МРТ, может выводить поле деформации менее чем за 50 мс, позволяя непрерывную коррекцию сдвига мозга. Исследователи также изучают обучение усилению для автоматической оптимизации параметров регистрации для каждого конкретного пациента и хирургической фазы.

Облако и край вычисления

Для разгрузки тяжелой обработки с локальной консоли разрабатывается облачная навигация. Тонкий клиент в ИЛИ отправляет зашифрованные данные визуализации на высокопроизводительный облачный сервер, который запускает конвейер обработки и передает результаты обратно. С сетями 5G, предлагающими задержку до 10 мс между ИЛИ и облаком, эта архитектура может сделать дорогостоящее навигационное оборудование ненужным. Крайние вычисления, где обработка выполняется на локальном устройстве шлюза, обеспечивают промежуточную основу за счет снижения задержки при сохранении конфиденциальности данных. Такие компании, как Stryker и Medtronic активно изучают гибридные решения edge-cloud для своих навигационных платформ следующего поколения.

Носимые и бесконтактные дисплеи

Интерфейс хирурга развивается от мониторных дисплеев до носимых AR-очков и даже бесконтактных голографических дисплеев. Эти системы требуют рендеринга в реальном времени, который синхронизируется с движением головы хирурга, которое можно отслеживать с помощью камер внутри-вне. Новые технологии микро-LED и лазерного сканирования луча могут создавать высококонтрастные изображения с низкой задержкой даже при ярком освещении ИЛИ. Следующий рубеж — это , тактильная добавка : использование данных изображения в реальном времени для создания тактильной обратной связи, которая направляет руку хирурга к цели или от опасной зоны, сочетая визуальную и силовую информацию для действительно интуитивной навигации.

Автономная навигация

Заглядывая дальше, обработка изображений в реальном времени может позволить полуавтономным хирургическим роботам, которые выполняют заранее запланированную траекторию с человеческим наблюдением. Робот будет непрерывно обрабатывать изображения камеры для обнаружения препятствий, регулировки скорости и даже перепланировки своего пути в реальном времени, если анатомия движется. Ранние прототипы автономных роботов для измельчения костей (например, для краниотомии или установки зубного имплантата) показали, что визуальное сервоприводство в реальном времени может достичь субмиллиметровой точности без ручного управления джойстиком. Основные нормативные и защитные препятствия остаются, но техническая осуществимость быстро растет.

Заключение

Обработка изображений в режиме реального времени лежит в основе современной хирургической навигации, обеспечивая беспрецедентную точность, безопасность и эффективность в процедурах, начиная от нейрохирургии и заканчивая ортопедией. В то время как такие проблемы, как вычислительные затраты, дрейф регистрации и сложность интеграции, сохраняются, быстрые достижения в области ИИ, облачных вычислений и аппаратного обеспечения дополненной реальности, готовы преодолеть их. По мере того, как эти технологии созревают и становятся более доступными, хирургия с изображением в режиме реального времени станет стандартом ухода во всем мире, уменьшая осложнения и улучшая результаты для миллионов пациентов. Хирурги и медицинские учреждения, которые инвестируют в понимание и принятие этих систем сегодня, будут лучше всего позиционировать себя, чтобы завтра возглавить свои области.