Detail publikace
DEMIS: Electron Microscopy Image Stitching using Deep Learning Features and Global Optimisation
Elektronová mikroskopie, Zobrazování celých preparátů, Sešívání obrázků,
Neuronové sítě
Přesné sešívání překrývajících se obrazových dlaždic je nezbytné pro rekonstrukci
rozsáhlých mozaik snímků z elektronové mikroskopie (EM) při zobrazování velkých
preparátů. Současné přístupy k sešívání se spoléhají na tradiční příznaky
a globální zarovnání založené pouze na translaci a konstrukci minimální kostry
grafu (MST). To vede k neoptimálnímu globálnímu zarovnání, protože se zanedbávají
rotační chyby a pracuje se pouze s transformacemi odhadnutými z párových shod
příznaků. Díky tomu dochází k vyřazení cenných informací spojených s jednotlivými
příznaky. Navíc mohou mít tradiční příznaky problémy s opakujícími se texturami.
S ohledem na nedostatky aktuálních metod a nedávné pokroky v oblasti hlubokého
učení navrhujeme DEMIS, novou metodu sešívání snímků z EM. DEMIS využívá
k hledání shod příznaků Local Feature TRansformer (LoFTR) a optimalizuje
translační a rotační parametry přímo na úrovni jednotlivých příznaků. Pro
vyhodnocení a trénování jsme připravili EM424, syntetickou sadu dat vytvořenou
rozdělením EM snímků s vysokým rozlišením na pole překrývajících se dlaždic.
Abychom umožnili vyhodnocení i na neanotovaných datech z reálných aplikací,
navrhujeme rovněž nereferenční metriku kvality sešívání založenou na optickém
toku. Experimenty využívající novou metriku ukazují, že DEMIS dokáže zlepšit
průměrné výsledky z 32,11 na 2,28 ve srovnání se současnými přístupy k sešívání
(1408% zlepšení).
@inproceedings{BUT193985,
author="Petr {Šilling} and Michal {Španěl}",
title="DEMIS: Electron Microscopy Image Stitching using Deep Learning Features and Global Optimisation",
booktitle="Proceedings of the 18th International Joint Conference on Biomedical Engineering Systems and Technologies - BIOIMAGING",
year="2025",
pages="255--256",
publisher="Institute for Systems and Technologies of Information, Control and Communication",
address="Porto",
doi="10.5220/0013314900003911",
isbn="978-989-758-731-3",
url="https://www.scitepress.org/publishedPapers/2025/133149/pdf/index.html"
}