Deep Learning ermöglicht Referenz

Nature Communications Band 13, Artikelnummer: 3297 (2022) Diesen Artikel zitieren

7567 Zugriffe

5 Zitate

37 Altmetrisch

Details zu den Metriken

Die volumetrische Bildgebung mittels Fluoreszenzmikroskopie wird oft durch die anisotrope räumliche Auflösung eingeschränkt, bei der die axiale Auflösung schlechter ist als die laterale Auflösung. Um dieses Problem anzugehen, stellen wir eine Deep-Learning-fähige, unbeaufsichtigte Superauflösungstechnik vor, die anisotrope Bilder in der volumetrischen Fluoreszenzmikroskopie verbessert. Im Gegensatz zu den bestehenden Deep-Learning-Ansätzen, die aufeinander abgestimmte hochauflösende Zielbilder erfordern, reduziert unsere Methode den Aufwand in der Praxis erheblich, da für das Training eines Netzwerks nur ein einziger 3D-Bildstapel erforderlich ist, ohne dass a priori Kenntnisse über die Bildentstehung erforderlich sind Prozess, Registrierung von Trainingsdaten oder separate Erfassung von Zieldaten. Dies wird auf der Grundlage des optimalen transportgesteuerten, zykluskonsistenten generativen gegnerischen Netzwerks erreicht, das aus einem ungepaarten Matching zwischen hochauflösenden 2D-Bildern in der lateralen Bildebene und niedrig aufgelösten 2D-Bildern in anderen Ebenen lernt. Mithilfe der konfokalen Fluoreszenzmikroskopie und der Lichtblattmikroskopie zeigen wir, dass das trainierte Netzwerk nicht nur die axiale Auflösung verbessert, sondern auch unterdrückte visuelle Details zwischen den Bildebenen wiederherstellt und Bildartefakte entfernt.

Die dreidimensionale (3D) Fluoreszenzbildgebung enthüllt wichtige Strukturinformationen über eine biologische Probe, die mit einem zweidimensionalen (2D) Bild normalerweise nicht erhältlich sind. Jüngste Fortschritte bei Methoden zur Gewebereinigung1,2,3,4,5 und der Lichtblatt-Fluoreszenzmikroskopie (LSFM)6,7,8,9 haben eine optimierte 3D-Visualisierung von biologischem Gewebe in einem beispiellosen Maßstab und in einer beispiellosen Geschwindigkeit ermöglicht, manchmal sogar in noch feinerer Auflösung Einzelheiten. Dennoch ist die räumliche Auflösung in der 3D-Fluoreszenzmikroskopie noch lange nicht perfekt; eine isotrope Auflösung bleibt schwierig zu erreichen.

Unter Anisotropie in der Fluoreszenzmikroskopie versteht man typischerweise eine stärkere Unschärfe in der axialen Bildebene. Ein solches räumliches Ungleichgewicht der Auflösungen kann auf viele Faktoren zurückgeführt werden, darunter Lichtbeugung, axiale Unterabtastung und den Grad der Aberrationskorrektur. Selbst für die hochauflösende Mikroskopie10, die im Wesentlichen die Lichtbeugungsgrenzen überschreitet, wie z. B. 3D-Strukturbeleuchtungsmikroskopie (3D-SIM)11,12 oder stimulierte Emissionsdepletionsmikroskopie (STED)13, bleibt die Anpassung der axialen Auflösung an die laterale Auflösung bestehen Herausforderung14. Während LSFM, bei dem der Fluoreszenzanregungspfad nicht unbedingt mit dem Detektionspfad übereinstimmt, eine erhebliche Verbesserung der axialen Auflösung bietet9, ist eine wirklich isotrope Punktspreizfunktion (PSF) für die meisten modernen Lichtblattmikroskopietechniken schwer zu erreichen Die axiale Auflösung ist normalerweise zwei- bis dreimal schlechter als die laterale Auflösung15,16,17.

In den letzten Jahren der Bildwiederherstellung in der Fluoreszenzmikroskopie hat sich Deep Learning als alternativer, datengesteuerter Ansatz entwickelt, der die klassischen Dekonvolutionsalgorithmen ersetzt. Deep Learning hat den Vorteil, dass es die statistische Komplexität einer Bildzuordnung erfasst und eine durchgängige Bildtransformation ermöglicht, ohne die Parameter mühsam von Hand feinabstimmen zu müssen. Einige Beispiele umfassen die Verbesserung der Auflösung über verschiedene Bildgebungsmodalitäten und numerische Aperturgrößen18 hin zu Isotropie19,20 oder weniger Rauschen19. Während diese Methoden ein gewisses Maß an Flexibilität beim Betrieb der Mikroskopie bieten, müssen diese Deep-Learning-basierten Methoden für das Netzwerktraining gewisse Kenntnisse über eine Zieldatendomäne voraussetzen. Für die isotrope Rekonstruktion beispielsweise Weigert et al19,20. verwendeten eine überwachte Lernstrategie, bei der hochauflösende laterale Bilder mit niedrig aufgelösten axialen Bildern gepaart wurden, die mit einem expliziten PSF-Modell unscharf wurden. Zhang et al21. implementierte eine GAN-basierte Superauflösungstechnik mit einem Bildverschlechterungsmodell aus dem Mikroskop. In beiden Fällen ist der Bildverschlechterungsprozess nicht dynamisch erlernbar, und eine solche Annahme eines festen Bildverschlechterungsprozesses erfordert, dass der Erfolg der Bildwiederherstellung auf der Genauigkeit von Priors beruht, und fügt Mikroskopikern eine weitere Operationsebene hinzu. Darüber hinaus kann die Leistung in einem realen Datensatz eingeschränkt sein, wenn die anfängliche Annahme der Bildverschlechterung nicht korrekt ist. Insbesondere bei der volumetrischen Fluoreszenzbildgebung mit hohem Durchsatz unterliegen die Bildgebungsbedingungen häufig Schwankungen und die visuellen Eigenschaften von Proben gelten als vielfältig. Folglich könnte die einheitliche Übernahme früherer Informationen in einem großflächigen Bild zu einer Überanpassung des trainierten Modells führen und die Leistung und Zuverlässigkeit der Bildwiederherstellung verschlechtern.

Angesichts dieser Herausforderung ist der jüngste Ansatz des unbeaufsichtigten Lernens unter Verwendung eines zykluskonsistenten generativen gegnerischen Netzwerks (cycleGAN)22 eine vielversprechende Richtung, um den Lösungsraum für schlecht gestellte inverse Probleme in der Optik einzugrenzen23,24. Insbesondere ist es in der Praxis von Vorteil, da für das Training keine übereinstimmenden Datenpaare erforderlich sind. Wenn sie als optimales Transportproblem zwischen zwei Wahrscheinlichkeitsverteilungen formuliert wird23,25, kann die unüberwachte, lernbasierte Dekonvolutionsmikroskopie die Verteilungen unscharfer Mikroskopiebilder erfolgreich in hochauflösende Mikroskopiebilder transportieren, indem sie die Unschärfe-PSF schätzt und damit entfaltet24. Dementsprechend ist es im Vergleich zu GAN26, wie in einer früheren Arbeit theoretisch analysiert wurde, weniger anfällig für die Generierung künstlicher Merkmale23. Wenn darüber hinaus die Struktur des PSF teilweise oder vollständig bekannt ist, könnte einer der Generatoren durch eine einfache Operation ersetzt werden, was die Komplexität des CycleGAN deutlich reduziert und das Training stabiler macht24. Dennoch besteht eines der verbleibenden technischen Probleme darin, dass es schwierig ist, unter ähnlichen experimentellen Bedingungen, wie z. B. Rauschprofilen und Beleuchtungsbedingungen, zusätzliche Volumina hochauflösender Mikroskopiebilder zu erhalten, damit diese als unübertroffene Zielverteilung für den optimalen Transport verwendet werden können. Insbesondere das Erhalten eines solchen Referenztrainingsdatensatzes mit einer isotropen 3D-Auflösung bleibt in der Praxis eine Herausforderung.

Um dieses Problem anzugehen, stellen wir hier ein unbeaufsichtigtes Deep-Learning-Framework vor, das die axiale Auflösung in der volumetrischen Fluoreszenzmikroskopie bei einem einzelnen 3D-Eingabebild blind erhöht. Das Netzwerk kann mit einem Bildstapel trainiert werden, der eine anisotrope räumliche Auflösung aufweist, ohne dass hochauflösende isotrope 3D-Referenzvolumina erforderlich sind. Dadurch wird die Notwendigkeit, zusätzliche Trainingsdatensätze unter ähnlichen experimentellen Bedingungen zu erfassen, vollständig vermieden. Unser Framework nutzt die Möglichkeit, abstrakte Darstellungen von Objekten zu erstellen, die kohärent in seitlichen und axialen Ansichten abgebildet werden: zum Beispiel 2D-Schnappschüsse von Neuronen, um ein verallgemeinertes 3D-Neuronenaussehen zu rekonstruieren. Anschließend nutzt unser unüberwachtes Lernschema die abstrakten Darstellungen, um nur die auflösungsrelevanten Informationen aus den Bildern sowie unterabgetastete oder unscharfe Details in axialen Bildern zu entkoppeln. Diese Strategie bietet einen Vorteil bei Anwendungen für großflächige Volumenbilder, beispielsweise der gesamten kortikalen Region eines Gehirns. Abbildung 1a veranschaulicht unseren Ansatz. Wir haben den Erfolg des Frameworks in der Simulation, der konfokalen Fluoreszenzmikroskopie (CFM) und der Open-Top-Lichtblattmikroskopie (OT-LSM) demonstriert. Im CFM-Experiment haben wir uns mit der Anisotropie befasst, die hauptsächlich durch Lichtbeugung und axiale Unterabtastung verursacht wird. Wir haben die Ergebnisse mit einem 3D-Bild verglichen, das separat im rechten Winkel aufgenommen wurde. Im OT-LSM-Experiment bestand unser Ziel darin, zu testen, ob unsere Methode Anisotropie angehen kann, die durch eine Mischung aus mehreren bildverschlechternden Faktoren bestimmt wird, von denen viele nicht einfach mit einer PSF-Faltung modelliert werden: z. B. Bewegungsartefakte aus der Probenvibration durch der Bühnendrift. In allen Fällen war unser referenzfreier, auf Deep Learning basierender Superauflösungsansatz wirksam bei der Verbesserung der axialen Auflösung, während gleichzeitig die Informationen in der lateralen Ebene erhalten blieben und auch die unterdrückten Mikrostrukturen wiederhergestellt wurden.

a In der Fluoreszenzmikroskopie unterliegt die 3D-Bildgebung häufig einer Anisotropie, die durch Lichtbeugung und Unterabtastung in Scanrichtung entsteht. Unser Ansatz für die Superauflösung mit einer Stichprobe besteht darin, bidirektionale Transformationen G und F zwischen der Mannigfaltigkeit mit hoher Auflösung und der Mannigfaltigkeit mit niedriger Auflösung zu lernen, indem wir aus lateralen und axialen Schnitten oder lateralen und axialen MIPs Proben nehmen. b Schematische Darstellung des Frameworks. Die generativen Netzwerke G und F lernen die datenspezifische Transformationszuordnung zwischen Bildern mit niedriger Auflösung und Bildern mit hoher Auflösung, indem sie lernen, axiale Bilder mit Superauflösung zu erstellen bzw. den Prozess umzukehren. G und F verwenden 3D-Faltungsschichten, und die diskriminierenden Netzwerke DX und DY steuern den Lernprozess für G und F und verwenden 2D-Faltungsschichten. Der Rückschluss auf ein großes Volumen wird iterativ auf Teilvolumina mit überlappenden benachbarten Blöcken durchgeführt. c Ergebnisse der blinden Entfaltung nach unserer Methode, mit vergrößerten ROIs (dargestellt als gelb gepunktete Kästchen) zusätzlich für (d) und (h). d Beurteilung der Rekonstruktionsgenauigkeit in 2D. Die Signale wurden mithilfe der Otsu-Methode vom Hintergrund segmentiert und zur Quantifizierung mit PSNR und SSIM dargestellt. e 3D-Visualisierung großräumiger Inferenzen. Als Testvolumen zur Berechnung von PSNR und MS-SSIM wurde eine zufällige Region von 7003 Voxeln ausgewählt. Der Farbbalken stellt die zwischen 0 und 1 normierte Signalintensität dar. f Leistungsvergleich mit PSNR und MS-SSIM am Testvolumen unter verschiedenen Bildgebungsbedingungen: axiale Unschärfe und Z-Achsen-Unterabtastung. Die Unterabtastung erfolgt nach der axialen Gaußschen Unschärfe mit einer Standardabweichung von 4. g Leistungsvergleich mit SSIM und PSNR von MIP-Bildern. Zur Erstellung von MIP-Bildern wurden Querschnitte (n = 47 nicht überlappende unabhängige Proben) mit 15 Schnitttiefen aufgenommen. „Lateral“ bezieht sich auf seitliche Abschnitte des Volumens, das vor der Unschärfe senkrecht gedreht wurde, um eine hochauflösende Referenz bereitzustellen. h Auflösungsverbesserung durch FWHM-Nichtübereinstimmung mit der Grundwahrheit, mit Querschnittsintensitätsprofilen von markierten Linien in vergrößerten ROIs von c. Wir haben die FWHM-Fehlanpassungen von röhrenförmigen Objekten (n = 317 nicht überlappende unabhängige Proben) in Bezug auf die Grundwahrheit gemessen. Die Rekonstruktion durch die Netzwerkausgabe zeigt eine spürbare Verbesserung der Rekonstruktionsgenauigkeit. Um FWHMs zu berechnen, wurden die Intensitätsprofile in Gaußsche Funktionen eingepasst. Für die in den Feldern (g) und (h) dargestellten Boxplots zeigt die Box den Interquartilbereich (IQR) zwischen dem ersten Quartil (Q1) und dem dritten Quartil (Q3) des Datensatzes mit der zentralen Markierung (horizontal). Linie), die den Median zeigt, und die Whisker, die das Minimum (Q1-1,5*IQR) und das Maximum (Q3+1,5*IQR) angeben. Ausreißer werden durch rautenförmige Markierungen jenseits der Whiskers dargestellt.

Die Gesamtarchitektur des Frameworks wurde von den optimalen transportgesteuerten zykluskonsistenten generativen gegnerischen Netzwerken (OT-cycleGAN)23 inspiriert. Abb. 1b veranschaulicht das Lernschema des Frameworks. Wir verwenden zwei generative 3D-Netzwerke (G und F in Abb. 1b), die lernen, aus einem anisotropen 3D-Bild (dem Vorwärts- oder Superauflösungspfad) ein isotropes 3D-Bild und umgekehrt (dem Rückwärts- oder Unschärfepfad) zu erzeugen. Um den generativen Prozess dieser Netzwerke einzudämmen, verwenden wir zwei Gruppen von 2D-Diskriminierungsnetzwerken (DX und DY in Abb. 1b). Unsere wichtigste Innovation beruht auf einer effektiven Orchestrierung des Netzwerklernens basierend auf der Art und Weise, wie die diskriminierenden Netzwerke während der Lernphase Stichproben durchführen. Im Vorwärtspfad vergleichen die diskriminierenden Netzwerke von DX 2D-Axialprojektionsbilder aus dem generierten 3D-Bild mit 2D-Lateralbildern aus dem realen 3D-Bild, während die lateralen Bildinformationen erhalten bleiben. Projektionsbilder aus dem erzeugten Volumen werden als Maximum-Intensity-Projektionen (MIP) mit einer zufälligen Tiefe innerhalb eines vorgegebenen Bereichs erhalten und sollen die seitlichen visuellen Informationen emulieren, die von den benachbarten Schichten projiziert werden. Diese Probenpaarung zum Trainieren der diskriminierenden Netzwerke regt das generative 3D-Netzwerk G dazu an, nur die axiale Auflösung in der 3D-Volumenausgabe zu verbessern. Andererseits vergleichen die diskriminierenden Netzwerke von DY im Rückwärtspfad 2D-Bilder aus dem rekonstruierten 3D-Bild mit 2D-Bildern aus dem realen 3D-Bild in jeder entsprechenden orthogonalen Ebene; Das generative 3D-Netzwerk F lernt, den Bildwiederherstellungsprozess rückgängig zu machen. Der Zykluskonsistenzverlust stabilisiert den Lernprozess und führt dazu, dass G und F zueinander invers sind. Durch das Erreichen des Gleichgewichts der Verlustkonvergenz in Form eines Mini-Max-Spiels26 durch dieses Ensemble der diskriminierenden und generativen Netzwerke wird das Netzwerk G darauf trainiert, die Transformation von der ursprünglichen anisotropen Auflösung zur gewünschten isotropen Auflösung zu lernen.

Wir haben zunächst die Anisotropie in einem synthetischen 3D-Bild simuliert und unser Framework für die Aufgabe der blinden Entfaltung getestet. Das synthetische Volumen mit 900 × 900 × 900 Voxeln enthält 10.000 röhrenförmige Objekte, die zufällig platziert und durch ein elastisches gitterbasiertes 3D-Verformungsfeld deformiert wurden. Dieses Simulationsmodell ermöglicht eine nichtlineare Verflechtung der Röhren miteinander und eignet sich ideal für die Simulation biologischer Proben mit komplexen röhrenförmigen Netzstrukturen wie Mikrotubuli oder neuronalen Netzwerken. Das Bild wurde dann mit einem Gaußschen Kernel gefaltet, der nur axial mit einer Standardabweichung von 4 verwischt. Ergänzende Abbildung 1 veranschaulicht diesen Erzeugungsprozess. Die Netzwerke wurden anhand einer Bildprobe trainiert, und während des Trainings und der Inferenz verwendeten wir Mini-Batches mit Unterregionen von 1203–1443 Voxeln. Nach der Schlussfolgerung wurden die Unterbereiche wieder in den ursprünglichen Bildraum gestapelt (Abb. 1b).

Abbildung 1c–h zeigt die Ergebnisse der blinden Entfaltung mit der vorgeschlagenen Methode. Nach der blinden Entfaltung löste die Netzwerkausgabe die komplizierte Verschränkung der Röhren auf, die zuvor durch die axiale Unschärfe maskiert wurde, wie in den Regionen von Interesse (ROIs) in Abb. 1c visuell dargestellt, z. Um die Auflösungsverbesserung im großen Maßstab zu quantifizieren, haben wir zufällig einen Bereich von 700 × 700 × 700 Voxeln ausgewählt und das maximale Signal-Rausch-Verhältnis (PSNR) und das Multiskalen-Strukturähnlichkeitsindexmaß (MS-SSIM)27 berechnet Metriken. Wir stellten fest, dass die PSNR- und MS-SSIM-Metriken im 3D-Netzwerkausgang um etwa 2 dB bzw. 0,16 höher waren (Abb. 1e): Eingangs-PNSR und MS-SSIM betrugen 16,94 dB bzw. 0,70 und Ausgangs-PSNR und MS-SSIM betrugen 19,03 dB bzw. 0,86. Um die Auswirkung der Bildverschlechterung auf die Leistung des Netzwerks zu bewerten, haben wir verschiedene Bildbedingungen trainiert und getestet: den Grad der axialen Unschärfe und der axialen Unterabtastung. Der Grad der axialen Unschärfe wurde durch die Standardabweichung des Gaußschen Kernels gesteuert, und die axiale Unterabtastung wurde zusätzlich zur Gaußschen Unschärfe mit einer Standardabweichung von 4 durchgeführt und ahmt den Unterabtastungsprozess in der Fluoreszenzmikroskopie nach, indem Schnitte mit genommen werden Intervalle: z. B. bedeutet 4×, dass alle vier Scheiben auf der z-Achse ein Schnitt genommen wird. Nach der Unterabtastung wurden die Bilder durch bilineare Interpolation wieder auf die ursprünglichen Abmessungen verkleinert. Wir haben festgestellt, dass die Leistung des Netzwerkoutputs über die verschiedenen Degradationsstufen hinweg konstant höher war (Abb. 1f). Da das Ziel des Lernens darin bestand, axiale Volumina mithilfe von MIPs der erzeugten Volumina zu verbessern, haben wir auch PSNR und das Strukturähnlichkeitsindexmaß (SSIM) von 47 axialen MIP-Bildern mit 700 × 700 Pixeln gemessen und die Ergebnisse mit entsprechenden lateralen MIP-Bildern von verglichen das im senkrechten Winkel abgebildete Referenzvolumen als laterale Auflösungsreferenz. Die Metriken der Netzwerkausgabe wurden denen der lateralen MIP-Bilder besser angenähert (Abb. 1g).

Um die Rekonstruktionsfähigkeit zu beurteilen, haben wir zufällig 317 röhrenförmige Objekte ausgewählt und die FWHM-Fehlanpassungen (Vollbreite bei halbem Maximum) des Eingabe- und Ausgabebilds in Bezug auf die Grundwahrheit berechnet (Abb. 1h). Die mittlere FWHM-Diskrepanz der Netzwerkausgabe war mit einer Diskrepanz von 0,61 Pixeln etwa fünfmal geringer als die Diskrepanz von 2,95 Pixeln in der Eingabe. Die Netzwerkausgabe zeigte außerdem eine geringere Standardabweichung von 0,60 Pixel im Vergleich zu 2,41 Pixeln in der Eingabe. Als alternative Methode haben wir auch Signale aus dem Hintergrund segmentiert, indem wir verschiedene histogrammbasierte Binarisierungsmethoden verwendet haben: Otsus Methode28, Iterative Self-Organizing Data Analysis Technique29 (ISODATA) und Mean-Thresholding30. Abb. 1d zeigt ein Beispiel für die Segmentierung nach der Otsu-Methode. Bei allen Segmentierungsmethoden waren die PSNR- und SSIM-Metriken für die Netzwerkausgabe durchweg höher als für die Eingabe (ergänzende Abbildung 2). Um die Entfaltungsgenauigkeit des Ausgabebilds weiter zu bewerten, haben wir vor und nach der Entfaltung auch eine Fourier-Spektrum-Analyse durchgeführt, um die Wiederherstellung der Hochfrequenzinformationen besser zu visualisieren, und gezeigt, dass die Frequenzinformationen der Ausgabe im Vergleich zur Eingabe stärker angenähert sind nah an dem der Grundwahrheit und ihrem lateralen Gegenstück (ergänzende Abbildung 3). Darüber hinaus ist uns aufgefallen, dass unser Framework während des Trainings als interpretierbar angesehen werden kann. Wir könnten das Unschärfe-PSF-Modell annähern, indem wir die Impulsantwort durch das generative Netzwerk im Rückwärtspfad berechnen, das ursprünglich als linearer Unschärfekern modelliert wurde, der den axialen Unschärfeprozess emuliert (ergänzende Abbildung 4).

Wir haben die Auflösungsverbesserung in der axialen Ebene durch die Abbildung einer kortikalen Region eines Thy 1-eYFP-Mausgehirns mithilfe von CFM demonstriert. Die Probe wurde vom Gewebe befreit und mittels optischer Schnitte in 3D abgebildet. Der optische Schnitt im CFM erzeugte einen starken Kontrast zwischen der lateralen Auflösung und der axialen Auflösung mit einer geschätzten lateralen Auflösung von 1,24 µm bei einer Z-Tiefe von 3 µm. Das Bildvolumen, dessen physikalische Größe etwa 1270 × 930 × 800 µm3 beträgt, wurde zur Rekonstruktion mithilfe bilinearer Interpolation isotrop auf eine Voxelgröße von 1 µm neu abgetastet. Um eine Referenz bereitzustellen, die die Authentizität der Auflösungsverbesserung bestätigt, haben wir die Probe zusätzlich abgebildet, nachdem wir sie physisch um 90 Grad gedreht hatten, sodass ihre hochauflösende laterale XY-Ebene beim Teilen mit der axialen XZ-Ebene des Originalvolumens übereinstimmt die axiale YZ-Ebene. Das Referenzvolumen wurde dann mithilfe des BigWarp-Plugins31 auf Zelle-zu-Zelle-Ebene im Eingabebildraum registriert. Obwohl die separat erfasste Referenz aufgrund ihrer unabhängigen Abbildungsbedingung und potenziellen Registrierungsfehler weit von einem perfekten Ground-Truth-Bild entfernt ist, bietet sie dennoch die beste verfügbare Referenz dafür, ob die durch das Framework rekonstruierten Details mit den tatsächlichen physikalischen Messungen übereinstimmen.

In unserem Test des CFM-Volumens stellte das trainierte Netzwerk die zuvor stark anisotrope Auflösung auf eine nahezu perfekte isotrope Auflösung wieder her. Wir haben die Verbesserung der Auflösung veranschaulicht, indem wir den Abstand auf einem aufgelösten axialen Bild und den entsprechenden Abstand im lateralen Bild für eine Struktur verglichen haben, die zwischen der lateralen und axialen Ebene symmetrisch ist. Ein Beispiel, das in Abb. 2a dargestellt ist, ist ein basaler Dendrit, der hauptsächlich zylindrisch ist. In diesem Beispiel lag der Unterschied im Nanobereich (∼0,05 µm). Da die Texturunterschiede zwischen den lateralen Bildern und den superaufgelösten axialen Bildern für das menschliche Auge nicht wahrnehmbar waren, führten wir vor und nach der Wiederherstellung eine Fourier-Spektrum-Analyse durch und zeigten, dass die Frequenzinformationen der Ausgabe wiederhergestellt wurden, um mit denen der lateralen Bildgebung übereinzustimmen (Ergänzung). Abb. 5).

Es wurden kortikale Regionen des Gehirns einer Thy 1-eYFP-Maus abgebildet. Mit der vorgeschlagenen Methode wurde in einem CFM-Volumen eine nahezu isotrope Auflösung erreicht. Axiale Bilder wurden durch das generative neuronale Netzwerk blind verbessert, das auf einem einzelnen CFM-Volume trainiert und getestet wurde, das 1–2 Gigabyte im Speicher umfasst. Die Auflösungsverbesserung in den axialen Ebenen war global und im gesamten Bildraum konsistent (siehe auch ergänzende Abbildung 6). Die konvergierenden Querschnittsintensitätsprofile eines zylindrischen Dendriten in der XY-Ebene (gelbe Linie) und der 1,71 µm und XZ FWHM von 1,76 µm, stark reduziert gegenüber dem eingegebenen XZ FWHM von 6,04 µm. Maßstabsbalken: 100 µm, 50 µm, 20 µm (2D) und 20 µm (3D) in zunehmender Zoomreihenfolge. b Die Ergebnisse der Bildwiederherstellung („Netzwerk“) zeigen die oberen kortikalen Regionen des Mauskortex als MIP-Bilder mit einer Dicke von 150 µm. Die Ergebnisse wurden mit der ursprünglichen axialen Bildgebung („Eingabe“) und der Referenz-lateralen Bildgebung („90° gedreht“) verglichen. Vergrößerte ROIs werden als gelbe Kästchen markiert. Unterdrückte oder unscharfe Details wurden in den Netzwerkausgabebildern wiederhergestellt und mit der seitlichen Bildgebung abgeglichen. Maßstabsbalken: 50 µm (obere ROIs), 10 µm (mittlere ROIs), 20 µm (untere ROIs). c 3D-Rekonstruktion von Pyramidenneuronen in der oberen kortikalen Schicht vor und nach der Wiederherstellung, mit neuronalen Spuren. Eine Verbesserung der Auflösung in der Axialebene ermöglicht eine präzisere und detailliertere Rekonstruktion der neuronalen 3D-Morphologie. Wir haben die zusätzlichen neuronalen Spuren überprüft, indem wir die entsprechenden Stellen aus der seitlichen Bildgebung bestätigt haben. Die Unterabtastung und die Z-Unschärfe machten es schwieriger, Neuriten zu verfolgen, die senkrecht zur Scanrichtung verlaufen (Pfeile in 2D-ROIs), wohingegen eine genauere Verfolgung anhand der Netzwerkausgabe möglich war. Maßstabsbalken: 50 µm (3D) und 10 µm (2D ROI). d PSNR-Verteilung von MIP-Bildern als Abstandsmetrik zum Referenzbild, mit paarweisen Verbesserungen. MIP-Bilder (n = 31 unabhängige Bilder) stammten aus 140 × 140 µm2 großen Querschnitten mit einer Tiefe von 150 µm. Bei den Boxplots zeigt die Box den IQR zwischen Q1 und Q3 des Datensatzes an, wobei die mittlere Markierung den Median zeigt und die Whiskers das Minimum (Q1-1,5*IQR) und das Maximum (Q3+1,5*IQR) angeben. e Querschnittsintensitätsprofile von markierten Linien in vergrößerten ROIs aus (b). Die um 90° gedrehte Linie wird am Eingang registriert. In den Feldern (a) und (c) stellen die Farbbalken die zwischen 0 und 1 normierte Signalintensität dar.

Wir untersuchten die anatomische Genauigkeit der aufgelösten Details, indem wir sie mit dem Referenzbild (in Abb. 2b, c als um 90° gedreht gekennzeichnet) verglichen, das eine hochauflösende Übereinstimmung mit dem ursprünglichen axialen Bild im Mikrometermaßstab liefert. Wir stellten fest, dass das Netzwerk nicht nur erfolgreich die axiale Bildtextur in den hochauflösenden Bildbereich übersetzte, sondern auch zuvor unterdrückte Details wiederherstellte, die durch die Referenzbildgebung verifiziert wurden. In Übereinstimmung mit dem Referenzbild gab das Netzwerk im gesamten Bildraum präzise verbesserte anatomische Merkmale des Nervengewebes aus (Abb. 2a und ergänzende Abb. 6). Wie in Abb. 2b, c dargestellt, ermöglichte das Netzwerk eine erweiterte zytoarchitektonische Untersuchung der kortikalen Region, da das Netzwerk die adaptive Wiederherstellung wichtiger anatomischer Merkmale verwaltete, die in der Morphologie, Dichte und Konnektivität in der kortikalen Region variieren. Beispielsweise wurden in den oberen kortikalen Schichten die zuvor unscharfen apikalen Dendriten von Pyramidenneuronen aufgelöst (ROIs in der Mitte links in Abb. 2b). Die Netzwerkausgabe enthüllte auch bisher unbekannte kortikale Mikroschaltkreise von Pyramidenneuronen und Interneuronen (untere ROIs in Abb. 2b). Das Querschnittsintensitätsprofil (Abb. 2e) veranschaulicht eine solche Wiederherstellung unterdrückter Details, die zuvor in der axialen Bildgebung unscharf waren. Wir haben festgestellt, dass das Netzwerk zwar die axiale Auflösung verbesserte, jedoch keine erkennbaren Verzerrungen oder Artefakte in der lateralen Ebene verursachte.

Eine solche Wiederherstellung unterdrückter Details führte zu einer spürbaren Verbesserung bei der Rekonstruktion der neuronalen Morphologien aus dem erhöhten Ausgabevolumen. Wir verfolgten zwei Pyramidenneuronen mithilfe von NeuroGPS-tree32, der aktuellen Standardmethode zur neuronalen Verfolgung, beispielsweise der Segmentierung, gefolgt von einer Korrektur durch den Menschen. Die Nachzeichnung erfolgte blind ohne Kenntnis anderer Bildgegenstücke. Abbildung 2c zeigt die Ergebnisse. Im visuellen Vergleich waren die Verfolgungen der Netzwerkausgabe in keiner Richtung eingeschränkt, wohingegen der NeuroGPS-Baum im Eingabebild keine Neuriten verfolgen konnte, die durch die Z-Achsen-Unterabtastung unterbrochen wurden (2D-ROI in Abb. 2c). . Vergleiche neuronaler Aufzeichnungen aus Eingabe, Netzwerk und Referenzbildgebung sind in der ergänzenden Abbildung 7 dargestellt. Um die anatomische Genauigkeit der durch das Netzwerk rekonstruierten Details zu quantifizieren, haben wir die Rekonstruktionen durch das Netzwerk durch schichtweise Überprüfung der Daten untermauert Ausgabe von Durchzeichnungen auf Bildern aus der seitlichen Bildgebung. Die Überprüfung wurde auf der Ebene der Untersuchung der Verzweigung rekonstruierter Neuriten durch Löschung falsch positiver Ergebnisse durchgeführt. Beispielsweise wurden in einem verifizierten Binärbild verfolgte Bildbereiche mit nicht übereinstimmenden Neuriten auf Nullen und diejenigen mit übereinstimmenden Neuriten auf Einsen gesetzt. Die Verfolgungsergebnisse und der Überprüfungsprozess werden in den Zusatzfilmen 1 und 2 näher beschrieben. Anschließend haben wir die biologische Präzision der Aufzeichnungen gemessen, indem wir das Verhältnis zwischen den ursprünglichen Aufzeichnungen und den überprüften Aufzeichnungen berechnet haben. Die Genauigkeiten der Neuronenrekonstruktion aus den beiden Testneuronen betrugen 98,31 % und 98,26 %.

Um die Verbesserung der axialen Auflösung auf Signalebene zu quantifizieren, identifizierten wir 31 nicht überlappende ROIs mit jeweils 140 × 140 µm2 in den axialen Eingangsbildern und den lateralen Referenzbildern, in denen identische neuronale Strukturen unterscheidbar waren und in ähnlicher Weise durch Fluoreszenzemission visuell erkannt wurden. Anschließend haben wir den Abstand des maximalen Signal-Rausch-Verhältnisses (PSNR) der Eingangs-ROIs und der Netzwerk-Ausgangs-ROIs mit den entsprechenden Referenz-ROIs gemessen und verglichen. Das Netzwerk führte zu einer mittleren PSNR-Verbesserung von 2,42 dB pro Paar eines Eingangs-ROI gegenüber einem Ausgangs-ROI (Abb. 2d). Diese Analyse legt nahe, dass die vom Netzwerk wiederhergestellten Strukturdetails anatomisch genaue Merkmale umfassen, die in der seitlichen Bildgebung besser erkennbar waren. Wir stellten fest, dass ihre metrischen Unterschiede nicht vollständig die Wahrnehmungsgenauigkeit der wiederhergestellten Details widerspiegelten und auf Unterschiede in der Fluoreszenzemission zwischen den Bildgebungssitzungen durch Bildgebung aus einem anderen Winkel zurückzuführen waren (siehe ergänzende Abbildung 8). Wir haben die Generalisierungsfähigkeit des Frameworks weiter getestet, indem wir andere biologische Zell- oder Gewebetypen trainiert und getestet haben, indem wir Rattengehirngewebe mit CFM abgebildet haben: mit fluoreszierenden GFAP-Markern markierte Astrozyten und mit Lektin markierte Blutgefäße (siehe ergänzende Abbildungen 9 und 10). ). In unseren Bewertungen zeigte das Framework biologisch bedeutsame Verbesserungen der Bildqualität und Rekonstruktion.

Die Lichtblattmikroskopie (LSM) ist eine spezielle mikroskopische Technik zur Hochdurchsatz-Zellbildgebung großer Gewebeproben, einschließlich optisch gereinigter Gewebe. Um die Bildwiederherstellungsfähigkeit unseres Frameworks weiter zu untersuchen, haben wir die Entfaltungsfähigkeit eines experimentell gemessenen PSF auf einem offenen LSM-System (OT-LSM) getestet33. Wir haben 0,5-µm-Fluoreszenzkügelchen mit OT-LSM im Bildstapel mit einer physikalischen Gesamtgröße von 360 × 360 × 160 µm3 abgebildet. Das Bild wurde zur isotropen Rekonstruktion mithilfe bilinearer Interpolation auf eine Voxelgröße von 0,5 µm erneut abgetastet. Die Perlen wurden willkürlich verteilt, wobei einige Perlen näher beieinander lagen. Die Ergebnisse unseres Frameworks sind in Abb. 3 dargestellt. Nach der Entfaltung zeigte die 2D- und 3D-Rekonstruktion der Netzwerkausgabe eine nahezu isotrope Auflösung, was zu einer nahezu sphärischen Form führte (Abb. 3a). Dieser Entfaltungseffekt war bei einzelnen fluoreszierenden Perlen konsistent. Um die Leistung der Entfaltung zu quantifizieren, haben wir 2D-FWHM-Werte von mehr als 300 zufällig ausgewählten hellen Flecken berechnet und die laterale FWHM und die axiale FWHM vor und nach der Bildwiederherstellung verglichen. Wie in Abb. 3b gezeigt, stimmen die FWHM-Verteilungen der hellen Flecken im wiederhergestellten Bild nahezu identisch mit denen der Eingabe in der lateralen Ebene überein. Die Netzwerkausgabe korrigierte die axiale Dehnung der PSF, wobei eine mittlere axiale FWHM von ∼3,91 ± 0,28 µm auf ∼1,95 ± 0,12 µm reduziert wurde, was sehr nahe an der mittleren FWHM von ∼1,98 ± 0,13 µm aus der seitlichen Eingabe liegt. Das Netzwerk führte zu einer sehr geringen Abweichung in der lateralen Ebene mit einer mittleren FWHM-Fehlanpassung von ∼0,13 ± 0,06 µm.

Die 0,5 µm großen Fluoreszenzkügelchen wurden abgebildet, um die PSF des OT-LSM-Systems experimentell zu modellieren. a Ein Beispiel für die PSF-Entfaltung, visualisiert in 3D und 2D. Die Intensitätsprofile wurden in Gaußsche Funktionen eingepasst. Axiale Verlängerung ist ein häufiges Problem in der Fluoreszenzmikroskopie. Unser Framework löst es auf die ursprünglich kugelförmige fluoreszierende Perle auf. Schnittbilder wurden im Signalbereich des Eingabebildes visualisiert. Die Farbbalken stellen die zwischen 0 und 1 normalisierte Signalintensität dar. Maßstabsbalken: 10 µm (links), 1 µm (Mitte und rechts). b FWHMs experimentell gemessener PSFs in der lateralen und axialen Ebene vor und nach der PSF-Entfaltung. Wir haben helle Flecken von denselben Orten extrahiert, bevor wir die Methode angewendet haben (n = 300 Punkte für die XY-Ebene und 305 Punkte für die YZ-Ebene aus nicht überlappenden unterschiedlichen Regionen). Jeder Punkt wurde in eine 2D-Gauß-Funktion eingepasst, mit der FWHM berechnet wurde. Die PSFs in der Axialebene wurden mit nahezu identischer Auflösung entfaltet wie die in der Lateralebene. Beim Boxplot zeigt die Box den IQR zwischen Q1 und Q3 des Datensatzes an, wobei die mittlere Markierung den Median zeigt und die Whiskers das Minimum (Q1-1,5*IQR) und das Maximum (Q3+1,5*IQR) angeben. Ausreißer werden durch sternförmige Markierungen jenseits der Whiskers dargestellt.

Die Abbildung einer großen Probe mit hoher Auflösung, beispielsweise die Abbildung eines gesamten Mausgehirns mit einer Auflösung im Submikrometerbereich, kann zu einer Anhäufung unerwarteter Bildartefakte führen, die bei einer niedrigeren Auflösung nicht wahrnehmbar sind. In der LSM-Mikroskopie sind diese Artefakte häufig Nebenprodukte eines schlecht kalibrierten oder installierten Mikroskops. Insbesondere erfordern Standard-OT-LSM-Systeme34,35, dass der Anregungspfad und der Abbildungspfad senkrecht zueinander sind, und können zu ungleichmäßigen Verzerrungen der Bildqualität zwischen der XZ-Ebene und der YZ-Ebene führen, obwohl diese Anisotropie durch eine enge Fokussierung gemildert werden kann Anregung33. Um unser Framework blind auf eine Kombination unbekannter Bildverschlechterungsprozesse zu testen, haben wir auf einem OT-LSM-System mit mehreren Bildartefakten trainiert und getestet, zu denen nicht nur die Unschärfeartefakte durch sphärische Aberration gehören, die durch die Nichtübereinstimmung des Brechungsindex zwischen Luft und Luft verursacht werden Immersionsmedium, aber auch andere Artefakte, die sich ungleichmäßig über den Bildraum erstrecken: zum Beispiel Bildverdopplungsartefakte durch fehlende Synchronisation zwischen der Bewegung des Anregungslasers und dem Rolling Shutter des Detektionssensors oder Bewegungsunschärfeartefakte durch vorbeiziehende physikalische Proben die motorisierte Bühne. Wir haben unser Framework getestet, um diese Probleme blind anzugehen, und zwar anhand einer Bildgebung in einer einzigen Sitzung ohne Vorabinformationen von Treuhandmarkern oder anderen herkömmlichen Methoden zur Verhinderung dieser Artefakte. Da das Anisotropieproblem für dieses OT-LSM-System erfordert, dass das Netzwerk zwei unterschiedliche Bildtransformationen in jeder orthogonalen Ebene lernt und im gesamten Bildraum inkonsistent ist, haben wir eine Variation des Frameworks implementiert, die separate Diskriminatoren für die YZ-Ebene und die XZ-Ebene verwendet ersetzt die Projektionsabtastung durch Scheibenabtastung für die diskriminierenden Netzwerke.

Wir haben die kortikale Region eines mit Thy 1-eYFP markierten, von Gewebe befreiten Maushirns mit OT-LSM abgebildet, das eine physikalische Größe von ∼930 × 930 × 8600 µm3 hat. Das Bild wurde zur isotropen Rekonstruktion mithilfe bilinearer Interpolation auf eine Voxelgröße von 0,5 µm erneut abgetastet. Es wird geschätzt, dass das Mikroskopiesystem eine Bildauflösung von ca. 0,5 µm seitlich und ca. 4,6 µm axial hat, mit einem Z-Tiefen-Scanintervall von 1 µm und mehrere Bildartefakte erzeugt, wie oben aufgeführt. Die schematischen Darstellungen des OT-LSM-Systems finden Sie in der ergänzenden Abbildung 11. Wie in Abbildung 4a dargestellt, stellten wir fest, dass die Verschlechterung der Bildqualität in axialen Bildern durch das OT-LSM-System zwischen der XZ- und der YZ-Ebene nicht identisch war , da XZ- und YZ-Bilder in unterschiedlichem Maße durch die Lichtausbreitung, die sich an der Y-Achse ausrichtet, und Vibrationen durch die seitliche Bewegung der vom Gewebe gereinigten Probe während des Scannens beeinflusst wurden.

a Vergleich der Bildqualitäten zwischen den orthogonalen Bildebenen in einem unkalibrierten OT-LSM unter Verwendung von MIP-Bildern eines ausgewählten 3D-ROI. Maßstabsleiste: 100 µm und 25 µm (vergrößerte ROIs). b 3D-Rekonstruktionen von Somata und Basaldendriten von Pyramidenneuronen, mit axialen MIP-Bildern ausgewählter 3D-ROIs. Das Netzwerk korrigierte den Verdopplungseffekt in der XZ-Ebene und verstärkte außerdem den Kontrast zwischen den Signalen und dem Hintergrund. Die Auflösungsverbesserung war in der XZ-Ebene und der YZ-Ebene konsistent. Die Eingabe- und Ausgabebilder wurden im gleichen Intensitätsspektrum visualisiert. Der Farbbalken stellt die zwischen 0 und 1 normalisierte Signalintensität dar. Maßstabsbalken: 25 µm. c YZ- und XZ-MIP-Bilder aus der Eingabe, dem Entfaltungsergebnis des Richardson-Lucy-Algorithmus und der Netzwerkausgabe. Die Entfaltung und Artefaktkorrektur in der Netzwerkausgabe war über 8600 Schichtbilder des OT-LSM-Volumens hinweg konsistent. Die MIP-Bilder haben eine Tiefe von 150 µm. Die Experimente wurden mit sechs unabhängigen Bildvolumina wiederholt und erzielten ähnliche Ergebnisse. Maßstabsbalken: 50 µm und 10 µm (vergrößerte ROIs).

Wie in Abb. 4c gezeigt, zeigte die Netzwerkausgabe eine gleichmäßig verbesserte Auflösung zwischen der XZ- und YZ-Ebene und erhöhte gleichzeitig den Kontrast zwischen Signalen und Hintergrund. Diese Verbesserung ermöglichte eine detailliertere Rekonstruktion der neuronalen 3D-Morphologien (Abb. 4b). Für einen visuellen Vergleich der wiederhergestellten Details haben wir das Bildvolumen mithilfe des Richardson-Lucy (RL)-Entfaltungsalgorithmus36,37 basierend auf dem experimentell erfassten PSF-Modell entfaltet (Abb. 3). Die RL-Entfaltung wurde mit dem Fiji-Plugin DeconvolutionLab38 mit 10 Iterationen durchgeführt. Im RL-Entfaltungsbild fanden wir übereinstimmende Details, die zuvor durch sphärische Aberration im Eingabebild unterdrückt wurden (Abb. 4c). Auflösungsverbesserungen in beiden Axialebenen führten zu nicht wahrnehmbaren Unterschieden in Textur und Genauigkeit. Da die Bildverschlechterung jedoch im gesamten Bildraum unregelmäßig war, konnte das RL-Entfaltungsbild die zusätzlichen Bildartefakte, die nicht durch die gegebene PSF modelliert wurden, nicht beheben. Im Gegensatz dazu korrigierte das Netzwerk viele dieser Bildartefakte. Beispielsweise wurden die Bildverdopplungsartefakte aufgrund der Asynchronität zwischen Anregung und Detektion sichtbar reduziert (XZ-Ebenenbilder in Abb. 4b und XZ-Ebenen-ROIs in Abb. 4c). Die durch die Bühnendrift verursachten horizontalen Welligkeitsartefakte wurden ebenfalls korrigiert (ROIs der YZ-Ebene in Abb. 4c und ergänzende Abb. 12). Wir haben festgestellt, dass die Artefaktkorrektur im gesamten Bildraum konsistent war.

Zur quantitativen Bewertung des Gerüsts im LSM-System haben wir nahezu isotrope Grundwahrheitsbilder erzeugt, indem wir das Mikroskop33 auf eine laterale Auflösung von ∼ 0,5 µm und eine axiale Auflösung von ∼ 1,9 µm kalibriert und die meisten der vorherigen Bildartefakte erheblich reduziert haben . Anschließend simulierten wir einen tiefenweisen PSF-Unschärfeprozess durch Anwendung eines axialen Gaußschen Kernels mit einer Standardabweichung von 10. Wir trainierten und testeten an einem Bildvolumen von ∼490 × 130 × 150 µm3. In unseren Tests mit dem Originalmodell konnte das Netzwerk die meisten der unscharfen axialen unscharfen Informationen erfolgreich wiederherstellen. Ergänzende Abbildung 13 zeigt die Ergebnisse dieses Experiments. Im Vergleich zum RL-Entfaltungsbild zeigen die Netzwerkausgabebilder eine Wiederherstellung feiner Details (vergrößerte ROIs in der ergänzenden Abbildung 13a). Darüber hinaus stellten wir fest, dass das Netzwerk im Vergleich zur Grundwahrheit auch die horizontalen Streifenartefakte korrigierte, die durch die axiale Unterabtastung verursacht wurden und in den Grundwahrheits-ROIs in der ergänzenden Abbildung 13a dargestellt sind. Um die Verbesserung der axialen Auflösung zu quantifizieren, haben wir das Testvolumen in acht nicht überlappende Bereiche unterteilt und die Bildqualitätsmetriken für ihre jeweiligen MIPs mit 17,5 µm Tiefen berechnet. PSNR und MS-SSIM wurden als referenzbezogene Metriken verwendet, und BRISQUE39 wurde als nicht referenzbezogene Bildqualitätsmetrik verwendet, um die wahrnehmungsmäßige Natürlichkeit des Ausgabebildes im Vergleich zur Eingabe und der Grundwahrheit zu bewerten. Wir haben Verbesserungen bei allen Metriken festgestellt (ergänzende Abbildung 13b). Die BRISQUE-Metrik legt nahe, dass die ausgegebenen Bilder wahrnehmungsmäßig natürlicher waren als die unscharfen Eingaben und sich kaum von der Grundwahrheit unterschieden. Außerdem stellten wir insgesamt eine PSNR-Verbesserung um 1,98 dB bei der 3D-Ausgabelautstärke fest.

Bisher haben wir die Wirksamkeit unserer Methode in Simulation, CFM und OT-LSM demonstriert, die viele Unterschiede bei der Bilderzeugung aufweisen. Dementsprechend gehen wir davon aus, dass das Framework auch auf andere Formen im Spektrum der Fluoreszenzmikroskopie anwendbar ist, da die wesentliche Komponente des Lernens nicht von den Bedingungen eines Bilderzeugungsprozesses abhängt.

In dieser Arbeit haben wir eine auf Deep Learning basierende Superauflösungstechnik entwickelt, die die axiale Auflösung der konventionellen Fluoreszenzmikroskopie durch Lernen aus hochauflösenden lateralen Bildern verbessert. Die Stärke unseres Frameworks liegt in der Nutzung des unüberwachten Lernens aus nicht übereinstimmenden Datenpaaren: Es ermöglicht die Lokalisierung des Lernens der Bildtransformation in einem benutzerdefinierten 3D-Einheitsraum und damit die Entkopplung von regionalen Variationen der Bildeigenschaften, wie z. B. Aberrationen oder Artefakte, die auf natürliche Weise bei einem Fluoreszenzbildgebungsprozess entstehen. In unseren Experimenten mit Simulation, CFM und OT-LSM haben wir gezeigt, dass diese Funktion einen deutlichen Vorteil für die isotrope Rekonstruktion unterdrückter Details in der volumetrischen Fluoreszenzmikroskopie im großen Maßstab darstellt, bei der der Grad der Bildverschlechterung über den Bildraum variiert.

Deep-Learning-Modelle, die auf einer GAN-Architektur basieren, die auf unbeaufsichtigtem Lernen basiert, zeichnen sich durch die Generierung sehr plausibler Details auf hoher Ebene aus und sind für Aufgaben wie die Übertragung von Kunststilen22,40 oder sogar die Optimierung von Details auf hoher Ebene41 bekannt. Wenn es jedoch darum geht, Mikroskopbilder in der Biologieforschung zu verbessern, sind gut generierte Details ein zweischneidiges Schwert. Die hohe Plausibilität der Details macht es schwierig, die Authentizität restaurierter Bilder zu bestätigen, insbesondere ohne Bezug auf echte biologische Beweise. In diesem Artikel haben wir sowohl theoretische Beweise aus den Simulationsstudien als auch experimentelle Beweise aus der orthogonalen Bildgebung und künstlichen Unschärfe bereitgestellt, um die Gültigkeit solcher rekonstruierter Hochfrequenzinformationen zu untermauern. Die Ergebnisse bestätigten, dass unser OT-cycleGAN-Netzwerkdesign das Problem der Abweichung von der Authentizität anging, indem es den Lösungsraum durch die Formulierung des optimalen Transports und das physikalisch inspirierte Design des Degradationsmodells im Rückwärtspfad strikt einschränkte und gleichzeitig diese hervorragende generative Kraft nutzte zur Rekonstruktion hochfrequenter Informationen. Darüber hinaus bieten unsere Ablationsstudien einen tieferen Einblick in die wesentlichen Komponenten unseres Rahmenwerks (Ergänzende Anmerkung 1 und Ergänzende Abbildung 14).

In der Praxis ist unsere Methode nicht mit einer Universallösung für jedes Anisotropieproblem in der Mikroskopie zu verwechseln. Bei Bedarf können Benutzer zusätzliche Schritte zur Visualisierung in die Nachbearbeitung einbeziehen. Beispielsweise können einige visuelle Artefakte auftreten, je nachdem, wie Bilder visualisiert werden: 2D im Vergleich zu 3D oder dem Intensitätsbereich für die Visualisierung. Ergänzende Abbildung 15 zeigt ein Beispiel für solche Fälle. Da die diskriminierenden Netzwerke mit 2D-MIP-Bildern trainiert werden, erscheinen solche visuellen Artefakte möglicherweise besser erkennbar, wenn sie ausschließlich als 2D-MIP-Bilder visualisiert werden. Diese Artefakte sind jedoch nicht auf falsche Rekonstruktionen zurückzuführen, wie in der ergänzenden Abbildung 15 dargestellt. Bei vollständiger 3D-Visualisierung gibt es keine störende Struktur. In Fällen von Bildvolumina, bei denen sich der lokale Kontrast zwischen Teilvolumina während der Trainingsiterationen merklich ändert, während die meisten Artefakte in sehr niedrigen Intensitätsbereichen liegen und kaum sichtbar bleiben, können sie bei der Visualisierung in einem stark gesättigten Intensitätsbereich sichtbarer erscheinen. In solchen Fällen können Benutzer das Ausgabebild mithilfe von Histogram-Matching42 lokal entsprechend dem Histogramm des Eingabebildes normalisieren. Ergänzende Abbildung 16 zeigt unseren Test mit dem Bildvolumen aus dem PSF-Entfaltungsexperiment; Allein die Nachbearbeitung erhöhte das lokale Signal-Rausch-Verhältnis (SNR).

Schließlich liegt der Hauptvorteil unserer Methode in ihrer einfachen Implementierung. Wie in den ergänzenden Abbildungen gezeigt. Wie aus den 9 und 10 hervorgeht, ist der Rahmen nicht unbedingt durch die Art der abgebildeten Gewebe oder fluoreszierenden Markierungsmarker eingeschränkt. Dementsprechend sollte unsere Methode auf eine Vielzahl von Bildgebungsszenarien in der volumetrischen Fluoreszenzmikroskopie anwendbar sein. Es reduziert auch den Aufwand in der Praxis erheblich, da für das Training eines Netzwerks nur ein einziger 3D-Bildstapel erforderlich ist, ohne vorherige Kenntnis des Bilderzeugungsprozesses, Registrierung von Trainingsdaten oder separate Erfassung von Zieldaten. Eine Kombination dieser Faktoren wird im Allgemeinen als notwendig erachtet43 für die meisten herkömmlichen Deep-Learning-basierten Superauflösungsmethoden. Aus diesem Grund gehen wir davon aus, dass unsere Methode die bisher bestehenden Schwierigkeiten bei der Anwendung von Superauflösung auf volumetrische Mikroskopiedaten erheblich verringern wird.

Um eine zufällige Netzstruktur mit röhrenförmigen Objekten zu simulieren, haben wir zunächst zufällig 20.000 Punkte in einem 3D-Bildraum von 900 × 900 × 900 Voxeln ausgewählt, um 10.000 lineare Linien mit einer Dicke von zwei Pixeln zu zeichnen. Anschließend haben wir ein elastisches gitterbasiertes 3D-Deformationsfeld mit 70 Gitterpositionen und einem Sigma-Wert von 3 angewendet. Das deformierte Volumen wurde dann normalisiert und als Ground-Truth-Volumen behandelt. Um ein unscharfes Volumen zu erhalten, haben wir einen Z-unscharfen Gaußschen Kernel mit einer Standardabweichung von 4 angewendet. Die ergänzende Abbildung 1 veranschaulicht diesen Prozess.

Tg(Thy1-eYFP)MJrs/J-Mäuse wurden durch Genotypisierung identifiziert, nachdem heterozygote mutierte Mäuse gezüchtet worden waren, und die Mäuse wurden für 10 Generationen auf den C57BL/6-WT-Hintergrund rückgekreuzt und dann in derselben Tierhaltung am Korea Brain Research Institute gehalten (KBRI). Die Mäuse wurden in Gruppen von 2–5 Tieren pro Käfig mit ad libitum Zugang zu Standardfutter und Wasser in einem 12/12-Hell/Dunkel-Zyklus mit „Licht an“ um 07:00 Uhr bei einer Umgebungstemperatur von 20–22 °C gehalten C und Luftfeuchtigkeit (ca. 55 %) durch einen konstanten Luftstrom. Das Wohlbefinden der Tiere wurde regelmäßig überwacht. Alle Tierversuche folgten den Tierpflegerichtlinien, die vom Institutional Animal Care Use Committee (IACUC) des KBRI (IACUC-18-00018) genehmigt wurden. Zur Vorbereitung der Hirnschnitte von Mäusen wurden die Mäuse durch Injektion einer Mischung aus Zoletil (30 mg/kg) und Xylazin (10 mg/kg Körpergewicht) anästhesiert. Mäuse wurden mit 20 ml frischer kalter phosphatgepufferter Kochsalzlösung (PBS) und 20 ml 4 %iger Paraformaldehydlösung (PFA) unter Verwendung einer peristaltischen Pumpe perfundiert und ganze Mäusegehirne wurden extrahiert und 1–2 Tage lang bei 4 °C in 4 % PFA fixiert C. Die fixierten Mäusehirne wurden koronal in 500 µm Dicke geschnitten. Anschließend wurden die Gehirnschnitte zur optischen Reinigung eine Stunde lang in einer Lösung zur Anpassung des Brechungsindex (RI) (C-Match, 1,46 RI, Crayon Technologies, Korea) bei 37 °C inkubiert. Die vorgeschlagene Methode wurde auf die Bilder der optisch gereinigten Gewebeproben angewendet. Für die Probenvorbereitung für ergänzende Abbildungen. 9 und 10 siehe Ergänzende Anmerkung 2.

Für die CFM-Bildgebung wurden die optisch gereinigten Gewebeproben auf einer 35-mm-Deckglas-Bodenschale montiert und während der Bildaufnahme unter Verwendung eines aufrechten konfokalen Mikroskops (Nikon C2Si, Japan) mit einem Plan-Apochromat-10-fach-Objektiv in die RI-Matching-Lösung eingetaucht (NA = 0,5, WD = 5,5 mm). Die Z-Stapel der optischen Schnitte wurden in Abständen von 3 oder 4 µm aufgenommen.

Für die OT-LSM-Bildgebung verwendeten wir ein kürzlich entwickeltes Mikroskopiesystem33, dessen Design auf der oben offenen Lichtblattmikroskopie mit Wasserprismen basiert34,35. Um Anisotropie zu induzieren, haben wir die enge Fokussierung des Anregungslichtblatts über das Bildfeld ausgeschlossen. Das System umfasst einen ETL (EL-16-40-TC-VIS-5D-M27, Optotune) als Teil des Beleuchtungsarms für die axiale Abtastung des Anregungslichtblatts und eine sCMOS-Kamera (ORCA-Flash4.0 V3 Digital CMOS). Kamera, Hamamatsu) im Rolling-Shutter-Modus, um das Emissionslicht der Probe zu sammeln. Das System verwendet eine 10-fache Luftobjektivlinse (MY10X-803, NA 0,28, Mitutoyo) sowohl im Beleuchtungs- als auch im Bildgebungsarm, die bei +45° und -45° auf die Probenoberfläche zeigt. Das maßgeschneiderte Flüssigkeitsprisma wurde mit der passenden RI-Lösung für den senkrechten Lichteinfall auf die Klärlösung versehen. Die Anregungslichtquelle war entweder ein 488-nm- oder ein 532-nm-CW-Laser (Sapphire 488 LP-100, Coherent; LSR532NL-PS-II, JOLOOYO).

Für die OT-LSM-Gehirnbilder wurde ein Medianfilter mit einem Radius von 2 Pixeln angewendet, um das Salz-und-Pfeffer-Rauschen zu entfernen, das bei der Fluoreszenzbildgebung entsteht. Alle Bilder wurden auf eine affine Skalierung zwischen 0 und 1 normalisiert, wobei eine prozentuale Sättigung verwendet wurde, wobei der untere und obere Wert 0,25 % für die synthetischen Bilder, 0,03 % für die CFM-Bilder und 3 % für die OT-LSM-Bilder betrug. Da das OT-LSM-System in beiden OT-LSM-Experimenten eine Probe bei 45° oder –45° abbildet, haben wir eine Scherung in der YZ-Ebene als affine Transformation angewendet, um den richtigen Probenraum zu rekonstruieren. Die Bildvisualisierung wurde mit der Fiji-Software44 und Paraview45 durchgeführt.

Zwei Pyramidenneuronen wurden aufgrund der Sichtbarkeit ihrer Verbindungsneuriten ausgewählt. Sie wurden zunächst automatisch mit der NeuroGPS-Tree-Software verfolgt. Die Soma-Standorte wurden manuell mit der V3D-Software46 ausgewählt. Die NeuroGPS-Tree-Software nutzte diese Soma-Positionen zur Verfolgung mit den Parametern Binärschwelle und Spurschwelle, die empirisch durch manuelle Beobachtung und Korrektur ausgewählt wurden. Nach der ersten Nachverfolgung wurden die Nachzeichnungen in ein binäres Bildvolumen konvertiert und anhand des schichtweisen Vergleichs mit dem Quellbildvolumen manuell korrigiert, wobei die passenden Neuriten auf Einsen und der Rest auf Nullen gesetzt wurden. Im Verifizierungsschritt wurden die Aufzeichnungen dann auf die entsprechenden Stellen im registrierten Referenzvolumen übertragen, das nach einer physikalischen Drehung der Probe um 90 Grad separat abgebildet wurde. Die Überprüfung erfolgte Schicht für Schicht durch Überprüfung der Spuren auf den Referenzbildschichten (Zusatzfilme 1 und 2). Beispielsweise wurden die Bildbereiche mit nicht übereinstimmenden Neuriten auf Null und die Bildbereiche mit übereinstimmenden Neuriten auf Eins gesetzt. Die Präzision wurde dann wie folgt berechnet:

Hier stellen B, H und T die Breite, Höhe und Tiefe des verfolgten Volumens dar. V und C stellen das binär verifizierte Volumen nach der referenziellen Überprüfung bzw. das binär korrigierte Volumen vor der referenziellen Überprüfung dar.

Um unseren Algorithmus abzuleiten, gehen wir davon aus, dass der hochauflösende Zielraum \({{{{\mathcal{X}}}}}}\) aus imaginären 3D-Bildvolumina mit einer isotropen Auflösung gemäß einem Wahrscheinlichkeitsmaß µ besteht, während der Eingaberaum \({{{{\mathcal{Y}}}}}}\) aus gemessenen 3D-Volumina mit einer anisotropen Auflösung mit einer schlechteren axialen Auflösung besteht, die einem Wahrscheinlichkeitsmaß \(\nu\) folgt. Gemäß dem optimalen transportgesteuerten Zyklus GAN23 würden wir ein Bildvolumen in \({{{{{\mathcal{Y}}}}}}\) in \({{{{{\mathcal{X}} transformieren. }}}}}\) können wir dieses Problem lösen, indem wir die Wahrscheinlichkeitsverteilung \(\nu\) nach µ und umgekehrt im Sinne der statistischen Distanzminimierung in \({{{{{\mathcal{X}} }}}}\) und \({{{{{\mathcal{Y}}}}}}\) gleichzeitig23, was mit einem CycleGAN implementiert werden kann. In unserer Implementierung ist es die Aufgabe der diskriminierenden Netzwerke, solche statistischen Abstände abzuschätzen und die generativen Netzwerke anzuleiten, die Abstände zu minimieren. Da \({{{{{\mathcal{X}}}}}}\) aus imaginären isotropen Volumina mit hoher Auflösung besteht, können wir den statistischen Abstand zu \({{{{{\mathcal{X) leider nicht direkt messen }}}}}}\) aus den generierten Volumes. Diese technische Schwierigkeit kann durch die folgende Beobachtung gelöst werden: Da für jedes 3D-Volumen eine isotrope Auflösung angenommen wird, \({{{{{\boldsymbol{x}}}}}}\,{{{{{\mathcal{\in } }}}}}\,{{{{{\mathcal{X}}}}}}\), sollten die XY-, YZ- und XZ-Ebenen die gleiche Auflösung haben wie die laterale Auflösung des Eingabevolumens (d. h. die XY-Ebene des Eingabevolumens \({{{{{\boldsymbol{y}}}}}}\,{{{{{\mathcal{\in }}}}}}\,{{{{{\mathcal {Y}}}}}}\)). Dementsprechend können wir den statistischen Abstand zu den imaginären Volumina in \({{{{{\mathcal{X}}}}}}\) messen, indem wir den statistischen Abstand als die Summe der statistischen Abstände in XY, YZ definieren. und XZ-Flugzeuge unter Verwendung des folgenden gegnerischen Verlusts der kleinsten Quadrate:47

Dabei beziehen sich die Indizes xy, yz und xz auf Schichtinformationen auf der xy-, yz- und xz-Ebene und die Indizes xyproj, yzproj und xzproj beziehen sich auf Maximalintensitätsprojektionen auf der XY-, YZ- und XZ-Ebene. Die Projektion berücksichtigt Z-verschwommene Projektionen auf der lateralen Ebene von benachbarten Schichten. Hier wird yxy, ein XY-2D-Schnittbild aus dem Bildvolumen y, als XY-, YZ- und XZ-Ebenenreferenzen aus der imaginären isotropen Volumenverteilung \({{{{{\mathcal{X}}}}}} verwendet. \) und mit den entsprechenden Ebenen des wiederhergestellten Volumens G(y) verglichen.

Andererseits ist die Rückwärtspfad-Diskriminatorgruppe DY darauf trainiert, den folgenden Verlust zu minimieren:

so dass XY-, YZ- und XZ-Ebenenbilder des unscharfen Volumens \(F({{{{{\boldsymbol{x}}}}}})\) der Verteilung der XY-, YZ- und Eingabevolumen \({{{{\boldsymbol{y}}}}}}\,{{{{{\mathcal{\in }}}}}}\,{{{{{\mathcal{Y}} }}}}\).

Beachten Sie, dass G ein 3D-Generator ist, der 3D-Unschärfe oder Upsampling für ein Eingabebildvolumen durchführt. Während dieses 3D-Restaurierungsprozesses besteht die Möglichkeit, dass die ursprünglichen XY-Schnittbilder verzerrt werden. Daher sollte der Generator G so trainiert werden, dass er die Auflösung sowohl in XZ- als auch in YZ-Schichten verbessert, aber auch die Leistung in der XY-Ebene nicht beeinträchtigt. Dieses Problem betrifft auch den Generator F im Rückwärtspfad. Daher benötigen wir Diskriminatoren sowohl für die axiale als auch für die laterale Abtastung während des 3D-Wiederherstellungsschritts im Vorwärtspfad und des 3D-Degradationsschritts im Rückwärtspfad. Wenn außerdem keine Diskrepanz in der Bildqualität zwischen den beiden Axialebenen besteht, kann nur ein diskriminierendes Netzwerk verwendet werden, um aus beiden Axialebenen zu lernen (d. h. \({D}_{X}^{\left(2\right). )}={D}_{X}^{\left(3\right)}\) und \({D}_{Y}^{\left(2\right)}={D}_{Y} ^{\left(3\right)}\)). Beispiele für diesen Fall waren beispielsweise die Simulationsstudien und das CFM-Experiment.

Dann ist das vollständige Ziel für das Training des neuronalen Netzwerks wie folgt gegeben:

wobei \({{{{{{\mathcal{L}}}}}}}_{{{{{{\mathcal{c}}}}}}}{{{{{\mathcal{y}}}} }}{{{{{\mathcal{c}}}}}}}\left(G,F\right)\) bezieht sich auf den Zykluskonsistenzverlust und wird als Summe absoluter Differenzen berechnet, auch bekannt als L1-Verlust zwischen F (G(y)) und y. λ als Gewicht des Zykluskonsistenzverlusts wird in unseren Experimenten auf 10 festgelegt. Die Zielfunktion der zykluskonsistenzerhaltenden Architektur zielt darauf ab, das Gleichgewicht zwischen der generativen Fähigkeit und der diskriminierenden Fähigkeit des Modells zu erreichen, indem sie die Bilddaten so nah wie möglich an die geschätzte Zieldomäne transformiert und gleichzeitig die Reversibilität des Modells bewahrt Zuordnungen zwischen den Domänen. Das generative versus diskriminative Gleichgewicht wird durch die Konvergenz des gegnerischen Verlusts in beiden Pfaden der Bildtransformation erreicht, da die generativen Netzwerke lernen, den Verlust zu maximieren, und die diskriminativen Netzwerke als ihr Gegner lernen, den Verlust zu minimieren.

Die resultierende Architektur besteht aus zwei tiefschichtigen generativen Netzwerken, jeweils im Vorwärtspfad und im Rückwärtspfad, und vier oder sechs diskriminierenden Netzwerken, in jeweils zwei Gruppen im Vorwärtspfad und im Rückwärtspfad. Das Schema ist in Abb. 1b dargestellt, und die detaillierten Beschreibungen der Netzwerkdesigns finden Sie in der ergänzenden Abbildung 17 und den ergänzenden Anmerkungen 3 und 4.

Das generative Netzwerk G im Vorwärtspfad basiert auf der 3D-U-Net-Architektur48, die aus dem Downsampling-Pfad, der unteren Schicht, dem Upsampling-Pfad und der Ausgabeschicht besteht. Andererseits ist das generative Netzwerk F im Rückwärtspfad anpassbar und austauschbar, je nachdem, wie gut das generative Netzwerk den Unschärfe- oder Downsampling-Prozess emulieren kann. Wir haben empirisch nach einer optimalen Wahl zwischen der 3D-U-Net-Architektur und dem tiefen Lineargenerator49 ohne den Downsampling-Schritt gesucht (siehe ergänzende Abbildung 17b). Wir wählten den Deep Linear Generator als F für Simulationen, die CFM-Gehirnbilder und die OT-LSM-Fluoreszenzperlenbilder und wir wählten das 3D-U-Net als F für die OT-LSM-Gehirnbilder. Die Kernelgrößen im tiefen Lineargenerator variieren je nach Tiefe der Faltungsschichten (siehe ergänzende Abbildung 17b).

Vor der Trainingsphase für die OT-LSM-Bilder haben wir das gesamte Volumen in Teilbereiche von 2003–2503 Voxeln mit überlappenden angrenzenden Bereichen von 20–50 Voxeln in der Tiefe unterteilt. Die Anzahl der Unterregionen beträgt ∼3000 für die Bilddaten des Gehirns und ∼580 für die Bilddaten der fluoreszierenden Perlen. Dann haben wir pro Iteration zufällig einen Bereich für das Batch-Training zugeschnitten und ihn als Datenerweiterungstechnik auf einer zufällig ausgewählten Achse gespiegelt. Die Ausschnittgröße betrug 132 × 132 × 132 Voxel für die Gehirnbilder und 100 × 100 × 100 Voxel für die Fluoreszenzperlenbilder.

Während sich die axiale Auflösung bei OT-LSM zwischen der XZ- und der YZ-Ebene unterscheidet, da der Beleuchtungspfad an der YZ-Achse ausgerichtet ist, ist die axiale Auflösung bei der CFM-Bildgebung über die XY-Ebene hinweg konsistent. Aus diesem Grund haben wir für die CFM-Bilder das gesamte Bildvolumen (1–2 Gigabyte) in den Speicher geladen und als Datenerweiterungstechnik zufällig entlang der Z-Achse gedreht. Dann haben wir eine Region zufällig zugeschnitten und pro Iteration auf einer zufällig ausgewählten Achse gedreht. Aus diesem Grund wurden die Netzwerke mit einem ganzen Bildvolumen trainiert, wobei der Trainingsfortschritt in Iterationen statt in Epochen markiert wurde. Die Ausschnittgröße ist auf 144 × 144 × 144 Voxel festgelegt. Während der Inferenzphase in allen Experimenten wird die Ausschnittgröße auf 120 × 120 × 120 Voxel mit überlappenden Bereichen von 30 Voxeln Tiefe festgelegt, und wir haben die Ränder aus jedem Ausgabe-Unterbereich um eine Tiefe von 20 Voxeln herausgeschnitten, um Schwachstellen zu entfernen Signale in der Nähe der Ränder, bevor sie wieder zum ursprünglichen Bildraum zusammengesetzt werden. In allen Experimenten ist die Batchgröße pro Iteration auf 1 festgelegt.

In den generativen 3D-U-Net-Netzwerken haben alle 3D-Faltungsschichten die Kernelgröße 3, den Schritt 1 mit der Füllgröße 1 und alle transponierten Faltungsschichten haben die Kernelgröße 2, den Schritt 2 usw Polsterung. In den tiefen linearen generativen Netzwerken haben die sechs Faltungsschichten abwechselnd die Kernelgrößen [7,5,3,1,1,1] mit der Schrittweite 1 und den Füllgrößen [3,2,1,0, 0,0]. In den diskriminierenden Netzwerken haben die Faltungsschichten eine Kernelgröße von 4, einen Schritt von 2 und eine Füllgröße von 1. Für die axiale Projektionstiefe legen wir sie bei jeder Iteration auf eine zufällige Tiefe fest, die auf 2 bis 15 Slices beschränkt ist für die CFM-Bildgebung des Gehirns und zwischen 2 und 10 Schichten für die Simulationsstudien, die Fluoreszenzkügelchen-Bildgebung, die CFM-Bildgebung von Astrozyten und die synthetisch unscharfe OT-LSM-Bildgebung.

In allen Experimenten wurden alle Lernnetzwerke mit der Kaiming-Initialisierung50 initialisiert und mit dem Adaptive Moment Estimation (Adam)-Optimierer51 mit einer Startlernrate von 1 × 10−4 optimiert. Für die CFM-Bilder und die OT-LSM-Gehirnbilder wurde das Training auf einem Desktop-Computer mit einer GeForce RTX 3090-Grafikkarte (Nvidia) und einer Intel(R) Core(TM) i7-8700K-CPU bei 3,70 GHz durchgeführt. Die Trainingszeit eines Modells unterschied sich je nach Art des Bildes und Hyperparametern wie der Größe des ROI pro Trainingsiteration. Beispielsweise wurde das Training für ein Basismodell der Simulation bei der 11.000. Iteration ausgewählt und dauerte bei einem 16-Bit-Bildvolumen von 1483 Voxeln pro Iteration etwa 19 Stunden. Der GPU-Speicherverbrauch lag in diesem Fall bei ca. 24 GB. Die Inferenz dauerte bei einem Testvolumen von 7003 Voxeln 3–5 Minuten. In unserer Implementierung umfasst das U-Net-Modell 7,077 Millionen Trainingsparameter, der tiefe lineare Generator umfasst 0,647 Millionen Trainingsparameter und jedes diskriminierende Netzwerk enthält 2,763 Millionen Trainingsparameter. Die Leistung der trainierten Netzwerke wurde mithilfe von PSNR, SSIM, MS-SSIM27, BRISQUE39 und SNR gemessen. Die Definitionen von PSNR, SSIM und SNR in dieser Studie werden in den Ergänzenden Anmerkungen 5, 6 bzw. 7 beschrieben.

Sofern nicht anders angegeben, wurden alle neuronalen Netze einmal pro Satz von Hyperparametern und Eingabedaten trainiert. Im Hinblick auf die Schlussfolgerung wurden alle Experimente unabhängig voneinander mindestens dreimal pro Bildvolumen wiederholt, wodurch ähnliche Ergebnisse erzielt wurden. Hier ist der vorgeschlagene Rahmen referenzfrei und wird auf großformatige Bilder angewendet, bei denen biologische Merkmale über den Bildraum hinweg variieren können. In allen Experimenten wurde der gesamte Bildraum untersucht und zeigte ähnliche Ergebnisse.

Weitere Informationen zum Forschungsdesign finden Sie in der mit diesem Artikel verlinkten Nature Research Reporting Summary.

Trainings- und Testdaten für die Simulation, das CFM-Experiment, das OT-LSM-Experiment zur PSF-Entfaltung und das OT-LSM-Experiment mit künstlicher Unschärfe sowie Testdaten für das OT-LSM-Experiment zur Artefaktkorrektur sind in der Zenodo-Datenbank hinterlegt unter https://doi.org/10.5281/zenodo.635294852. Trainingsdaten für das OT-LSM-Experiment zur Artefaktkorrektur sind aufgrund von Größenbeschränkungen auf begründete Anfrage beim entsprechenden Autor erhältlich. Quelldaten werden mit diesem Dokument bereitgestellt.

Der Code für Netzwerktraining und -vorhersage (in Python/PyTorch) ist im Github-Repository53 öffentlich verfügbar.

Chung, K. et al. Strukturelle und molekulare Untersuchung intakter biologischer Systeme. Natur 497, 332–337 (2013).

Artikel ADS CAS Google Scholar

Chung, K. & Deisseroth, K. Klarheit für die Kartierung des Nervensystems. Nat. Methoden 10, 508–513 (2013).

Artikel CAS Google Scholar

Yang, B. et al. Einzelzell-Phänotypisierung in transparentem, intaktem Gewebe durch Ganzkörper-Clearing. Zelle 158, 945–958 (2014).

Artikel CAS Google Scholar

Richardson, DS & Lichtman, JW Klärende Gewebereinigung. Zelle 162, 246–257 (2015).

Artikel CAS Google Scholar

Hama, H. et al. Skalen: Eine optische Clearing-Palette für die biologische Bildgebung. Nat. Neurosci. 18, 1518–1529 (2015).

Artikel CAS Google Scholar

Santi, PA Lichtblatt-Fluoreszenzmikroskopie: Ein Rückblick. J. Histochemistry Cytochemistry 59, 129–138 (2011).

Artikel CAS Google Scholar

Huisken, J., Swoger, J., Bene, FD, Wittbrodt, J. & Stelzer, EH Optische Schnitte tief im Inneren lebender Embryonen durch selektive Flächenbeleuchtungsmikroskopie. Wissenschaft 305, 1007–1009 (2004).

Artikel ADS CAS Google Scholar

Keller, PJ, Schmidt, AD, Wittbrodt, J. & Stelzer, EH Rekonstruktion der frühen Embryonalentwicklung von Zebrafischen durch Rasterlichtblattmikroskopie. Wissenschaft 322, 1065–1069 (2008).

Artikel ADS CAS Google Scholar

Verveer, PJ et al. Hochauflösende dreidimensionale Abbildung großer Proben mit lichtblattbasierter Mikroskopie. Nat. Methoden 4, 311–313 (2007).

Artikel CAS Google Scholar

Hell, SW Optische Fernfeld-Nanoskopie. Wissenschaft 316, 1153–1158 (2007).

Artikel ADS CAS Google Scholar

Gustafsson, MG Überschreitung der lateralen Auflösungsgrenze um den Faktor zwei mithilfe der strukturierten Beleuchtungsmikroskopie. J. Microsc. 198, 82–87 (2000).

Artikel CAS Google Scholar

Schermelleh, L. et al. Subbeugungs-Mehrfarbenbildgebung der Kernperipherie mit 3D-Mikroskopie mit strukturierter Beleuchtung. Science 320, 1332–1336 (2008).

Artikel ADS CAS Google Scholar

Hell, SW & Wichmann, J. Durchbrechen der Beugungsauflösungsgrenze durch stimulierte Emission: Fluoreszenzmikroskopie mit stimulierter Emission und Depletion. Opt. Lette. 19, 780 (1994).

Artikel ADS CAS Google Scholar

Schermelleh, L., Heintzmann, R. & Leonhardt, H. Ein Leitfaden zur hochauflösenden Fluoreszenzmikroskopie. J. Cell Biol. 190, 165–175 (2010).

Artikel CAS Google Scholar

Power, RM & Huisken, J. Ein Leitfaden zur Lichtblatt-Fluoreszenzmikroskopie für die Multiskalen-Bildgebung. Nat. Methoden 14, 360–373 (2017).

Artikel CAS Google Scholar

Ahrens, MB, Orger, MB, Robson, DN, Li, JM & Keller, PJ Funktionelle Bildgebung des gesamten Gehirns mit zellulärer Auflösung mittels Lichtblattmikroskopie. Nat. Methoden 10, 413–420 (2013).

Artikel CAS Google Scholar

Glaser, AK et al. Lichtblattmikroskopie für die objektträgerfreie, zerstörungsfreie Pathologie großer klinischer Proben. Nat. Biomed. Ing. 1, 1–10 (2017).

Artikel Google Scholar

Wang, H. et al. Deep Learning ermöglicht eine modalitätsübergreifende Superauflösung in der Fluoreszenzmikroskopie. Nat. Methoden 16, 103–110 (2019).

Artikel CAS Google Scholar

Weigert, M. et al. Inhaltsbewusste Bildwiederherstellung: Die Grenzen der Fluoreszenzmikroskopie erweitern. Nat. Methoden 15, 1090–1097 (2018).

Artikel CAS Google Scholar

Weigert, M., Royer, L., Jug, F. & Myers, G. Isotrope Rekonstruktion von 3D-Fluoreszenzmikroskopiebildern mithilfe von Faltungs-Neuronalen Netzen. In Medical Image Computing and Computer Assisted Intervention – MICCAI 2017 (Hrsg. Descoteaux, M. et al.) 126–134 (Springer, Cham, 2017).

Zhang, H. et al. Hochdurchsatzfähige, hochauflösende Deep-Learning-Mikroskopie basierend auf einem registrierungsfreien generativen kontradiktorischen Netzwerk. Biomed. Opt. Express 10, 1044 (2019).

Artikel Google Scholar

Zhu, J.-Y., Park, T., Isola, P. & Efros, AA Ungepaarte Bild-zu-Bild-Übersetzung mithilfe zykluskonsistenter gegnerischer Netzwerke (2017). Vortrag gehalten auf der International Conference on Computer Vision (ICCV), 22.–29. 2017.

Sim, B., Oh, G., Kim, J., Jung, C. & Ye, JC Optimales transportgetriebenes CycleGAN für unbeaufsichtigtes Lernen bei inversen Problemen. SIAM J. Imaging Sci. 13, 2281–2306 (2020).

Artikel MathSciNet Google Scholar

Lim, S. et al. CycleGAN mit einem Unschärfekern für die Dekonvolutionsmikroskopie: Optimale Transportgeometrie. IEEE Trans. Computational Imaging 6, 1127–1138 (2020).

Artikel MathSciNet Google Scholar

Villani, C. Optimaler Transport: Alt und Neu Bd. 338 (Springer Science & Business Media, 2008).

Goodfellow, I. et al. Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N. & Weinberger, KQ (Hrsg.) Generative Adversarial Nets. (Hrsg. Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N. & Weinberger, KQ) Advances in Neural Information Processing Systems, Bd. 27 (Curran Associates, Inc., 2014).

Wang, Z., Simoncelli, E. & Bovik, A. Multiskalige strukturelle Ähnlichkeit zur Bildqualitätsbewertung (2003). Vortrag gehalten auf der 37. Asilomar-Konferenz zu Signalen, Systemen und Computern, 9.–12. 2003.

Otsu, N. Eine Schwellenwertauswahlmethode aus Graustufenhistogrammen. IEEE Trans. Syst., Mann, Cybern. 9, 62–66 (1979).

Artikel Google Scholar

Ridler, TW & Calvard S. Bildschwellenwertbildung unter Verwendung einer iterativen Auswahlmethode. IEEE Trans. Syst., Mann, Cybern. 8, 630–632 (1978).

Artikel Google Scholar

Glasbey, C. Eine Analyse histogrammbasierter Schwellenwertalgorithmen. CVGIP: Grafik. Modelle Bildprozess. 55, 532–537 (1993).

Google Scholar

Bogovic, JA, Hanslovsky, P., Wong, A. & Saalfeld, S. Robuste Registrierung von Kalziumbildern durch erlernte Kontrastsynthese (2016). Vortrag gehalten auf dem International Symposium on Biomedical Imaging (ISBI), 13.–16. 2016.

Quan, T. et al. Neurogps-Baum: Automatische Rekonstruktion großer neuronaler Populationen mit dichten Neuriten. Nat. Methoden 13, 51–54 (2016).

Artikel CAS Google Scholar

Kim, B. et al. Offene axial geschwenkte Lichtblattmikroskopie. Biomedical Optics Express 12, 2328–2338 (2021).

McGorty, R. et al. Oben offenes selektives Planbeleuchtungsmikroskop für konventionell gelagerte Proben. Optics Express 23, 16142–16153 (2015).

Mcgorty, R., Xie, D. & Huang, B. High-na-Open-Top-Selektivebene-Beleuchtungsmikroskopie für die biologische Bildgebung. Optics Express 25, 17798–17810 (2017).

Richardson, WH Bayesianische iterative Methode zur Bildwiederherstellung. J. Optical Soc. Bin. 62, 55 (1972).

Artikel ADS Google Scholar

Lucy, LB Eine iterative Technik zur Berichtigung beobachteter Verteilungen. The Astronomical J. 79, 745–754 (1974).

Sage, D. et al. Deconvolutionlab2: Eine Open-Source-Software für die Dekonvolutionsmikroskopie. Methoden 115, 28–41 (2017).

Artikel CAS Google Scholar

Mittal, A., Moorthy, AK & Bovik, AC Bewertung der Bildqualität ohne Referenz im räumlichen Bereich. IEEE Trans. Bildprozess. 21, 4695–4708 (2012).

Artikel ADS MathSciNet Google Scholar

Isola, P., Zhu, J.-Y., Zhou, T. & Efros, AA Bild-zu-Bild-Übersetzung mit bedingten gegnerischen Netzwerken (2017). Vortrag gehalten auf der Conference on Computer Vision and Pattern Recognition (CVPR), 21.–26. 2017.

Karras, T., Laine, S. & Aila, T. Eine stilbasierte Generatorarchitektur für generative gegnerische Netzwerke (2019). Vortrag gehalten auf der Conference on Computer Vision and Pattern Recognition (CVPR), 16.–20. 2019.

Gonzalez, RC & Woods, RE Digitale Bildverarbeitung (Pearson, 2018).

Belthangady, C. & Royer, LA Anwendungen, Versprechen und Fallstricke von Deep Learning für die Rekonstruktion von Fluoreszenzbildern. Nat. Methoden 16, 1215–1225 (2019).

Artikel CAS Google Scholar

Schindelin, J. et al. Fidschi: eine Open-Source-Plattform für die Analyse biologischer Bilder. Nat. Methoden 9, 676–682 (2012).

Artikel CAS Google Scholar

Ayachit, U. The ParaView Guide: A Parallel Visualization Application (Kitware, Inc., Clifton Park, NY, USA, 2015).

Peng, H., Ruan, Z., Long, F., Simpson, J. & Myers, E. V3d ermöglicht die Echtzeit-3D-Visualisierung und quantitative Analyse umfangreicher biologischer Bilddatensätze. Nat. Biotechnologie. 28, 348–353 (2010).

Artikel CAS Google Scholar

Mao, X. et al. Generative gegnerische Netzwerke der kleinsten Quadrate (2017). Vortrag gehalten auf der International Conference on Computer Vision (ICCV), 22.–29. 2017.

Ronneberger, O., Fischer, P. & Brox, T. U-net: Faltungsnetzwerke für die biomedizinische Bildsegmentierung (2015). Vortrag gehalten auf der International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 5.–9. 2015.

Bell-Kligler, S., Shocher, A. & Irani, M. Blinde superauflösende Kernelschätzung unter Verwendung eines internen GAN (2019). Vortrag gehalten auf der Konferenz und dem Workshop zu Neural Information Processing Systems (NeurIPS), 8.–14. 2019.

He, K., Zhang, Vortrag gehalten auf der International Conference on Computer Vision (ICCV), 11.–18. 2015.

Kingma, DP & Ba, J. Adam: Eine Methode zur stochastischen Optimierung (2014). Vorabdruck unter https://arxiv.org/abs/1412.6980.

Park, H. et al. Datensatz zur referenzfreien isotropen Superauflösung für die volumetrische Fluoreszenzmikroskopie (2022). Zenodo https://doi.org/10.5281/zenodo.6352948.

Park, H. Neuroclear: Referenzfreie isotrope Superauflösung für volumetrische Fluoreszenzmikroskopie (2022). Zenodo https://doi.org/10.5281/zenodo.6371391.

Referenzen herunterladen

HP und JCY wurden von der National Research Foundation of Korea unterstützt (Grant NRF-2020R1A2B5B03001980 und NRF-2017M3C7A1047904). Die Gehirnproben transgener Mäuse wurden von Dr. Chang Man Ha vom Korea Brain Research Institute zur Verfügung gestellt.

Abteilung für Bio- und Gehirntechnik, Korea Advanced Institute of Science and Technology, Daejeon, Südkorea

Hyoungjun Park & Jong Chul Ye

Abteilung für Physiologie und Biomedizinische Wissenschaften, Seoul National University College of Medicine, Seoul, Südkorea

Myeongsu Na & Sunghoe Chang

Abteilung für Integrative Biowissenschaften und Biotechnologie, Pohang University of Science and Technology, Pohang, Südkorea

Bumju Kim & Ki Hean Kim

Fakultät für Maschinenbau, Pohang University of Science and Technology, Pohang, Südkorea

Soohyun Park & Ki Hean Kim

Neurowissenschaftliches Forschungsinstitut, Seoul National University College of Medicine, Seoul, Südkorea

Sunghoe Chang

Kim Jaechul Graduate School of AI, Korea Advanced Institute of Science and Technology, Daejeon, Südkorea

Jong Chul Ye

Sie können diesen Autor auch in PubMed Google Scholar suchen

HP hat die Forschung konzipiert und umgesetzt. JCY betreute das Projekt in Konzeption und Diskussion. MN hat die CFM-Bilddaten erstellt. SC überwachte die CFM-Bildgebung. BK und SP generierten die OT-LSM-Bilddaten. KK überwachte die OT-LSM-Bildgebung. HP und JCY haben das Manuskript geschrieben.

Korrespondenz mit Jong Chul Ye.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Nature Communications dankt den anonymen Gutachtern für ihren Beitrag zum Peer-Review dieser Arbeit. Peer-Reviewer-Berichte sind verfügbar.

Anmerkung des Herausgebers Springer Nature bleibt hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten neutral.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Park, H., Na, M., Kim, B. et al. Deep Learning ermöglicht eine referenzfreie isotrope Superauflösung für die volumetrische Fluoreszenzmikroskopie. Nat Commun 13, 3297 (2022). https://doi.org/10.1038/s41467-022-30949-6

Zitat herunterladen

Eingegangen: 18. Mai 2021

Angenommen: 10. Mai 2022

Veröffentlicht: 08. Juni 2022

DOI: https://doi.org/10.1038/s41467-022-30949-6

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.

Blog