Využití superpočítačů k vytváření 3D modelů tkání za účelem jejich vizualizace

Partner: Misterine s.r.o.

Odvětví: zdravotnictví

Misterine je pražská vývojářská společnost, která se specializuje na inovativní softwarová řešení s využitím rozšířené reality (AR) a virtuální reality (VR) pro různá průmyslová odvětví po celém světě. Svůj technologický potenciál firma dále rozšiřuje prostřednictvím vzdělávací VR infrastruktury a digitalizace odvětví služeb. Jejich Misterine Studio & App umožňuje uživatelům vytvářet, upravovat a přehrávat AR manuály pro lepší pochopení složitých manuálních postupů. Dále spolupracuje se subjekty zaměřenými na digitální transformaci a využívá potenciál AR při vizualizaci dat ke zjednodušení pracovních postupů a optimalizaci přenosu dat.

AR a VR řešení společnosti Misterine umožňují lepší vizualizaci a vzdělávání prostřednictvím poutavých 3D zážitků. V rámci spolupráce Národní centrum kompetence pro HPC (NCK) využilo dlouhodobých zkušeností vědců z IT4Innovations národního superpočítačového centra, kteří vytvořili 3D modely tkání za účelem jejich vizualizace s využitím superpočítačů. Takovéto modely tkání lze použít například pro AR trénink z lékařských obrazových dat. Začlenění nových funkcí do stávajících workflow aplikace Misterine a zajištění bezproblémové integrace s workflow NCK při zachování integrity dat představovalo hlavní výzvu. Úkolem tedy bylo popsat možnou integraci těchto workflow, optimalizovat vizuální věrnost a výkon přidáním vhodných materiálů do 3D sítě nebo objemu, přidat možnost řezání vytvořených modelů a snížit složitost topologie geometrie, aby se přizpůsobila AR a VR zařízením.

3D model jater, který lze zobrazit v AR/VR.

NCK navrhlo metody, jak rozšířit možnosti softwaru Misterine Studio při zobrazení tkání v AR a umožnit provádění workflow z příkazového řádku. Superpočítač IT4Innovations zpracovává data a využívá modely hlubokého učení na bázi umělé inteligence k vytváření 3D modelů tkání prostřednictvím vzdálené inference umělé inteligence. NCK poskytlo řešení pro řezání modelů v obecném směru, což umožnilo detailní vizualizaci vnitřní struktury s realistickými texturami. Řezání sítě lze dosáhnout pomocí nástrojů pro výběr a logických operací, zatímco řezání objemu lze provádět pomocí knihovny VTK nebo manipulovat s maskovacími poli.

Národní centrum kompetence pro HPC nabídlo způsob, jak dosáhnout souvislých dlaždicových textur ve středním rozlišení a vhodných procedurálních materiálů pro síťové (mesh) i objemové (volume) formáty určené pro lékařská zobrazovací data, které zajišťují realistické vykreslování v AR a VR prostředích. V tomto případě rovněž byly využity metody pro redukci geometrie, včetně decimování, opětovného síťování a signed distance funkcí (SDF), které umožňují přesné řízení topologie 3D sítí a optimalizaci výkonu.


Martin Klíma, technický ředitel Misterine s.r.o.

„Současné workflow Misterine postrádá podporu 3D modelů generovaných z lékařských snímků. Nové metody pomohou rozšířit možnosti tohoto softwaru, umožní zobrazovat jednotlivé tkáně v rozšířené realitě (AR) a usnadní automatické vytváření a jeho spouštění z příkazového řádku. To následně umožní vyškolit uživatele ve využívání AR pro zkoumání lékařských obrazových dat. Vizualizace může lékařům a výzkumným pracovníkům poskytnout cenné poznatky, které jim umožní studovat a analyzovat tkáně s větší přesností. Zvýší tak celková kvalita a využitelnost softwaru Misterine Studio pro lékařské zobrazovací aplikace.
Pomocí superpočítačů se podařilo zkrátit dobu trénování modelů umělé inteligence ze souborů dat získaných počítačovou tomografií (CT). To pomůže společnosti Misterine s pokročilými možnostmi zpracování dat metodou hlubokého učení. Řešení také pomohou při optimalizaci workflow, snížení složitosti a realistického vykreslování pomocí AR a VR zařízení.“