Spektrale Organfingerabdrücke für maschinelles Lernen

Wissenschaftliche Berichte Band 12, Artikelnummer: 11028 (2022) Diesen Artikel zitieren

1978 Zugriffe

6 Zitate

14 Altmetrisch

Details zu den Metriken

Die visuelle Unterscheidung von Gewebe während einer Operation kann schwierig sein, da verschiedene Gewebe dem menschlichen Auge ähnlich erscheinen. Hyperspektrale Bildgebung (HSI) beseitigt diese Einschränkung, indem jedem Pixel hochdimensionale Spektralinformationen zugeordnet werden. Während frühere Arbeiten ihr allgemeines Potenzial zur Gewebeunterscheidung gezeigt haben, war die klinische Umsetzung aufgrund der derzeitigen mangelnden Robustheit und Generalisierbarkeit der Methode begrenzt. Insbesondere fehlt der wissenschaftlichen Gemeinschaft ein umfassender spektraler Gewebeatlas, und es ist nicht bekannt, ob die Variabilität der spektralen Reflexion in erster Linie durch den Gewebetyp und nicht durch die aufgezeichnete Person oder spezifische Aufnahmebedingungen erklärt wird. Der Beitrag dieser Arbeit ist dreifach: (1) Basierend auf einem kommentierten medizinischen HSI-Datensatz (9059 Bilder von 46 Schweinen) präsentieren wir einen Gewebeatlas mit spektralen Fingerabdrücken von 20 verschiedenen Schweineorganen und Gewebetypen. (2) Mithilfe des Prinzips der gemischten Modellanalyse zeigen wir, dass die größte Variabilitätsquelle im Zusammenhang mit HSI-Bildern das beobachtete Organ ist. (3) Wir zeigen, dass eine HSI-basierte vollautomatische Gewebedifferenzierung von 20 Organklassen mit tiefen neuronalen Netzen mit hoher Genauigkeit (> 95 %) möglich ist. Wir kommen aus unserer Studie zu dem Schluss, dass eine automatische Gewebeunterscheidung auf der Grundlage von HSI-Daten machbar ist und somit die intraoperative Entscheidungsfindung unterstützen und den Weg für kontextbewusste computergestützte Chirurgiesysteme und autonome Robotik ebnen könnte.

Die Unterscheidung von Gewebezuständen, Pathologien und kritischen Strukturen vom gesunden umgebenden Gewebe während einer Operation kann schwierig sein, da verschiedene Körpergewebe dem menschlichen Auge ähnlich erscheinen. Während die herkömmliche intraoperative Bildgebung durch die Nachahmung des menschlichen Auges eingeschränkt ist, beseitigt die hyperspektrale Bildgebung (HSI) diese willkürliche Einschränkung, nur die Farben Rot, Grün und Blau (RGB) aufzuzeichnen. HSI weist jedem Pixel eines herkömmlichen zweidimensionalen digitalen Bildes eine dritte Dimension spektraler Informationen zu. Die Spektralinformationen enthalten die wellenlängenspezifische Reflexionsintensität jedes Pixels. Dadurch entsteht ein dreidimensionaler Datenwürfel mit zwei räumlichen Dimensionen (x, y) und einer dritten spektralen Dimension (λ). HSI findet Anwendung in verschiedenen Bereichen wie Geologie und Meeresstudien, Landwirtschaft, Lebensmittelindustrie, automatisierter Abfallsortierung1,2 und wurde kürzlich während einer NASA-Weltraummission auf dem Mars eingesetzt.

In den letzten Jahren wurden umfangreiche Anstrengungen unternommen, die HSI-Technologie im Gesundheitswesen zu implementieren. Beispiele für potenzielle zukünftige klinische Anwendungen umfassen die quantitative Bewertung der Gewebesauerstoffversorgung und Blutperfusion3,4, Entzündungen und Sepsis5, Ödeme6 oder Malignität7 sowie computergestützte Entscheidungsfindung und automatisierte Organidentifizierung8. Diese haben das Potenzial, zukünftige Entwicklungen wie intraoperative kognitive Assistenzsysteme oder sogar die Automatisierung der Roboterchirurgie zu unterstützen. Trotz der vielversprechenden Forschung ist die klinische Umsetzung der HSI-basierten automatischen Gewebedifferenzierung noch nicht gelungen. Dies kann auf einen aktuellen Mangel an Robustheit und Generalisierbarkeit zurückgeführt werden, die die wichtigsten Anforderungen für die klinische Anwendung sind. Diesbezüglich bleiben mehrere offene Forschungsfragen bestehen. Insbesondere kann die Variabilität von HSI-Messungen aus den inhärenten Unterschieden zwischen mehreren beobachteten Gewebetypen resultieren (erwünschter Effekt), aber auch aus der Variabilität zwischen Subjekten oder der Variabilität der Bildaufnahmebedingungen (beides unerwünscht). Uns sind keine früheren Arbeiten bekannt, die dieses wichtige Thema systematisch untersucht haben, und unser Ziel ist es letztendlich, ein umfassendes Verständnis hyperspektraler Organdaten zu vermitteln, das Potenzial HSI-basierter Analysen zu veranschaulichen und solide Basisdaten zu präsentieren, auf denen weitere Studien aufbauen können.

Für die automatische Gewebecharakterisierung auf der Grundlage von HSI-Daten sind die folgenden zwei Eigenschaften äußerst wünschenswert: Erstens sollten sich die Spektren verschiedener Organe erheblich voneinander unterscheiden. Und zweitens sollten die Spektren desselben Organs über alle Bildaufnahmebedingungen und Personen hinweg relativ konstant sein. Vor diesem Hintergrund und angesichts der im obigen Abschnitt aufgezeigten Literaturlücke ist der Beitrag dieser Arbeit dreifach:

Spektrale Fingerabdrücke: Wir präsentieren die erste umfassende Analyse spektraler Gewebeeigenschaften für ein breites Spektrum physiologischer Organe und Gewebetypen in einem Schweinemodell. Basierend auf 9059 Bildern von 46 Schweinen und 17.777 Anmerkungen generieren wir spezifische spektrale Fingerabdrücke für insgesamt 20 Organe.

Varianzanalyse: Wir zeigen, dass der größte Teil der spektralen Varianz durch Organunterschiede erklärt werden kann.

Auf maschinellem Lernen basierende Organ- und Gewebeklassifizierung mit HSI: Wir zeigen, dass ein neuronales Netzwerk mit hoher Genauigkeit (> 95 %) zwischen Organklassen unterscheiden kann, was darauf hindeutet, dass HSI ein hohes Potenzial für die intraoperative Organ- und Gewebeunterscheidung hat.

Dieses Projekt liefert Einblicke in das spektrale Reflexionsvermögen von 20 Schweineorganen in insgesamt 9059 Bildern von 46 Tieren (Abb. 1). Unsere Daten zeigen, dass verschiedene Organe charakteristische Spektren aufweisen, die daher als Organ-„Fingerabdrücke“ bezeichnet werden. Wie in den grauen schweinespezifischen Reflexionskurven in Abb. 1 zu sehen ist, können Abweichungen bei den Spektralmessungen nicht nur auf das Organ, sondern auch auf die Personen und/oder die spezifischen Messbedingungen zurückzuführen sein. Ein wesentliches Ziel dieser Arbeit bestand daher darin, die Wirkung der verschiedenen Variationsquellen zu quantifizieren.

Gewebeatlas mit spektralen Fingerabdrücken von 20 Organen und spezifischen Gewebetypen. Magen (A = 39; n = 849), Jejunum (A = 44; n = 1546), Dickdarm (A = 39; n = 1330), Leber (A = 41; n = 1454), Gallenblase (A = 28; n = 526), Pankreas (A = 31; n = 530), Niere (A = 42; n = 568), Milz (A = 41; n = 1353), Blase (A = 32; n = 779), Omentum (A = 23; n = 570), Lunge (A = 19; n = 652), Herz (A = 19; n = 629), Knorpel (A = 15; n = 586), Knochen (A = 14; n = 537), Haut (A = 43; n = 2158), Muskel (A = 15; n = 560), Peritoneum (A = 28; n = 2042), Hohlvene (A = 15; n = 353), Niere mit Gerota-Faszie (A = 18; n = 393), Gallenflüssigkeit (A = 13; n = 362). A gibt die Anzahl der Tiere an; n gibt die Anzahl der Messungen insgesamt an. Die Diagramme zeigen den mittleren Reflexionsgrad (ℓ1-normalisiert auf Pixelebene) einzelner Schweine (grau) sowie den Gesamtmittelwert (blau) ± 1 Standardabweichung (SD) (schwarz) mit Wellenlängen von 500 bis 1000 nm auf der x-Achse Reflexionsgrad in willkürlichen Einheiten auf der y-Achse.

Um die HSI-Variabilität aufgrund von Individuen und Messbedingungen zu veranschaulichen, wurde t-verteiltes Stochastic Neighbor Embedding (t-SNE)9 auf unsere ℓ1-normalisierten Daten angewendet (Abb. 2). Es zeigt, dass bestimmte Gewebetypen wie Milz und Leber stark isolierte Cluster bilden, während andere Organe wie Magen, Bauchspeicheldrüse und Jejunum dazu neigen, sich zu überlappen, was auf eine geringere Unterscheidbarkeit hinweist.

Visualisierung der spektralen Ähnlichkeit mit t-verteiltem Stochastic Neighbor Embedding (t-SNE) als nichtlinearem Dimensionsreduktionstool für die ℓ1-normalisierten Daten; Ein Punkt stellt das mittlere Spektrum innerhalb einer Region of Interest (ROI) eines Organs in einem Bild eines Schweins dar. Es ist zu erkennen, dass Organe wie Milz und Leber isolierte Cluster bilden, während andere Organe wie das Jejunum sich mit den übrigen überlappen.

Um die Auswirkung verschiedener Variationsquellen zu quantifizieren, haben wir lineare gemischte Modelle auf eine hochstandardisierte Teilmenge von Daten angewendet, die von 11 Schweinen erhalten wurden (P36–P46, wie in der ergänzenden Abbildung 1 dargestellt). Die Analyse wurde zunächst für alle Organe durchgeführt (Abb. 3) und anschließend nach Organen stratifiziert (Abb. 4). Bei der Analyse für alle Organe wurde bei jeder Wellenlänge der Anteil der erklärten Variation10 im beobachteten Reflexionsgrad in die Komponenten „Organ“, „Schwein“, „Winkel“, „Bild“ und „Wiederholung“ zerlegt, wobei „Winkel“ den Anteil beschreibt der Variation, die durch den Winkel zwischen der Organoberfläche und der optischen Achse der Kamera erklärt wird, „Bild“ beschreibt den Anteil der Variation, der durch verschiedene Messungen an verschiedenen Organpositionen am selben Schwein oder Variationen in den kommentierten Bereichen erklärt wird, und „Wiederholung“ beschreibt den Anteil der Variation, der durch mehrere Aufnahmen desselben Bildes unter identischen Messbedingungen erklärt wird.

Variationsquellen hyperspektraler Daten. (Anteil der) Variabilität des Reflexionsgrads, erklärt durch jeden Faktor unter Verwendung linearer gemischter Modelle. Zu den Faktoren gehören „Orgel“, „Schwein“, „Winkel“, „Bild“ und „Wiederholung“. Für jede erfasste Wellenlänge wurde ein unabhängiges lineares Mischmodell mit festen Effekten für die Faktoren „Organ“ und „Winkel“ sowie zufälligen Effekten für „Schwein“ und „Bild“ angepasst. Die Variation über die Wiederholungen hinweg wurde durch die Restvariation angegeben. Je größer der Variabilitätsanteil für „Organ“, desto eher kann der Reflexionsgrad als Organmerkmal angesehen werden. Die schattierten Bereiche stellen 95 % (punktweise) Konfidenzintervalle dar, die auf parametrischem Bootstrapping basieren. Die Zahlen stellen den Median über die Wellenlängen dar.

Variationsquellen hyperspektraler Daten, geschichtet nach Organ. Erklärte Variationsanalyse, geschichtet nach Organ unter Verwendung linearer gemischter Modelle. Für jedes Organ und jede Wellenlänge wurden unabhängige lineare gemischte Modelle mit festen Effekten für „Winkel“ und zufälligen Effekten für „Schwein“ und „Bild“ angepasst. Die Variation über Wiederholungen hinweg wird durch die verbleibende erklärte Standardabweichung angegeben. Die schattierten Bereiche stellen 95 % (punktweise) Konfidenzintervalle dar, die auf parametrischem Bootstrapping basieren. Die Zahlen in jedem Unterdiagramm stellen den Median über die Wellenlängen dar.

Unsere Analyse wurde für ℓ1-normalisierte Medianspektren durchgeführt. Unsere Ergebnisse legen nahe, dass der Haupteinflussfaktor auf die HSI-Datenvariation über Wellenlängen hinweg der Faktor „Organ“ war, mit einem durchschnittlichen Anteil der erklärten Variabilität von 83,4 %. Der Faktor „Bild“ erklärte im Durchschnitt 13,8 % der Variation, während die anderen Faktoren mit 2,3 % für „Schwein“, 0,1 % für „Winkel“ und 0,2 % für „Wiederholung“ nur eine vernachlässigbare Variation erklärten. Dies deutet darauf hin, dass HSI-Daten viel stärker für Organe als für die beobachteten Probanden oder andere Einflussfaktoren charakteristisch sind. Der Prozentsatz, zu dem die Varianz des Reflexionsvermögens durch die Komponenten erklärt wurde, variierte leicht in verschiedenen Teilen des aufgezeichneten elektromagnetischen Spektrums. Die durch Organe erklärte Variabilität nahm bei Wellenlängen unter 900 ab, während Schwein und Bild eine zunehmende Rolle spielten.

Bei der Stratifizierung nach Organ wurde die Varianz des Reflexionsgrads in die gleichen Komponenten mit Ausnahme von „Organ“ zerlegt. Gemäß Abb. 4 erklären „Winkel“ und „Wiederholung“ einen vernachlässigbaren Teil der Varianz in allen Organen, mit Ausnahme der Milz, wo für einige Wellenlängen eine gewisse erklärte Variation des Winkels beobachtet werden kann. Für „Schwein“ und „Bild“ bestehen Unterschiede zwischen den Organen. Bei Organen, bei denen alle Linien relativ nahe bei Null liegen (z. B. Magen), gibt es eine geringe Heterogenität im Reflexionsgrad zwischen verschiedenen Bildern und Schweinen, sodass diese Organe die ausgeprägtesten organcharakteristischen Spektralsignaturen aufweisen. Andererseits hatten Organe mit größerer erklärter Varianz für die Komponenten „Schwein“ und „Bild“ (z. B. Gallenblase) folglich weniger organcharakteristische Spektralsignaturen. Organklassen mit den höchsten kumulativen Varianzkurven, die durch andere Faktoren als „Organ“ erklärt werden, und daher mit den geringsten organcharakteristischen Spektralsignaturen über die Beobachtungen hinweg waren Milz und Gallenblase (Ergänzungstext 3 und Ergänzungstabelle 1).

Bei einigen Organen, beispielsweise dem Herzen, schwankte das Reflexionsvermögen stark zwischen den Schweinen (Wert für „Schwein“ vergleichsweise hoch), innerhalb eines Schweins jedoch relativ gering (Wert für „Bild“ vergleichsweise niedrig). Daher waren die für Herzen gemessenen Reflexionen bei einzelnen Schweinen heterogen. Andererseits war bei anderen Organen die Heterogenität innerhalb von Schweinen (dh zwischen Bildern desselben Schweins) etwas größer (Wert für „Bild“ hoch) als zwischen Schweinen (Wert für „Schwein“ niedrig), z. B. Niere mit Gerota-Faszie. Daher ist die für die Niere mit Gerota-Faszie gemessene Reflexion tendenziell bei einzelnen Schweinen homogen, ein einzelnes Bild der Niere mit Gerota-Faszie kann jedoch aufgrund der Heterogenität innerhalb eines Schweins unzuverlässig sein.

Ein Deep-Learning-basierter Ansatz wurde verwendet, um die Annotationen von 20 Organklassen aus den oben dargestellten Spektren mit einer durchschnittlichen Genauigkeit von 95,4 % ± 3,6 % bei Schweinen in einem Hold-out-Testsatz zu klassifizieren. Fehlklassifizierungen sind Orgelanmerkungen, die nicht der richtigen Orgelklasse, sondern einer der anderen 19 Klassen zugeordnet wurden und nur bei 486 von 9895 Annotationen im Testsatz auftraten (Abb. 5). Während 16 der 20 Organklassen bei allen Testschweinen eine durchschnittliche Sensitivität von ≥ 90 % aufwiesen, wurde die geringste durchschnittliche Sensitivität bei den Testschweinen für die Organklassen Gallenblase (74,0 %) und Herz (73,9 %) ermittelt im Durchschnitt bei Schweinen am häufigsten mit Blase bzw. Niere verwechselt. Über alle Organklassen hinweg lag die durchschnittliche Sensitivität bei 93,0 % ± 6,3 %, während die durchschnittliche Spezifität bei 99,8 % ± 0,2 % lag und ein durchschnittlicher F1-Score von 92,3 % ± 6,5 % erreicht wurde.

Ergebnisse der Deep-Learning-basierten Organklassifizierung. (a) Verwirrungsmatrix, die für einen Hold-out-Testsatz erstellt wurde, der 9895 Anmerkungen aus 5293 Bildern von 8 Schweinen umfasste, die nicht Teil der Trainingsdaten waren. Verwirrungsmatrizen wurden pro Schwein berechnet und spaltenweise normalisiert (dh durch die Spaltensumme dividiert), basierend auf der absoluten Anzahl der (falsch)klassifizierten Anmerkungen. Diese normalisierten Verwirrungsmatrizen wurden über Schweine hinweg gemittelt, wobei nicht vorhandene Einträge (z. B. aufgrund fehlender Organe bei einem Schwein) ignoriert wurden. Jeder Wert in der Matrix stellt somit den durchschnittlichen Anteil der Anmerkungen dar, die als Spaltenklasse gekennzeichnet und als Zeilenklasse vorhergesagt wurden. Die Zahlen in Klammern geben die Standardabweichung bei den Schweinen an. Zur besseren Übersichtlichkeit werden in der Verwirrungsmatrix keine Nullwerte angezeigt. Da auf demselben Bild mehrere Organe erscheinen können, übersteigt die Anzahl der Anmerkungen die Anzahl der Bilder. (b) Exemplarisches Bild mit mehreren Organanmerkungen eines Experten. (c) Durch Deep Learning klassifizierte Organe.

Die visuelle Unterscheidung und Beurteilung von biologischem Gewebe ist nicht trivial, da unterschiedliche Gewebe und Körperstrukturen dem menschlichen Auge oft ähnlich erscheinen. Da die herkömmliche optische Bildgebung während einer Operation nur durch die Nachahmung des menschlichen Sehvermögens Rot, Grün und Blau unterscheidet, ist ihr intraoperativer Nutzen manchmal begrenzt. Da die HSI dieser Einschränkung nicht unterliegt und wesentlich mehr Informationen umfasst, handelt es sich um eine außergewöhnliche Bildgebungsmodalität mit großem Potenzial für die Gewebeidentifizierung und -bewertung. Obwohl der Einsatz in der Medizin derzeit stetig zunimmt, ist das volle Potenzial dieser Bildgebungsmodalität noch nicht ausgeschöpft. Dies kann auf offene Forschungsfragen zur Robustheit und Generalisierbarkeit von HSI-Daten zurückgeführt werden.

Strukturelle Eigenschaften von Gewebe verursachen Unterschiede in den spektralen Eigenschaften, die für die ordnungsgemäße Organdifferenzierung und andere klinische Anwendungen signifikant genug sein könnten. Die vorhandene Literatur zu Spektralmessungen konzentrierte sich jedoch hauptsächlich auf bestimmte biologische Pigmente wie Hämoglobin, Porphyrin und Melanin11,12 und ging kaum auf die Komplexität der Spektraleigenschaften verschiedener Gewebe und Organe ein. Dennoch gibt es zahlreiche Veröffentlichungen zu spektralen Eigenschaften von Organen, die wohl die Grundlage für die aktuelle Anwendung von HSI in der Chirurgie bildeten. Die aktuelle Literatur weist jedoch Einschränkungen hinsichtlich Messungen mit geringerer Wellenlängenauflösung13,14, Ex-vivo-Material15 oder Messungen mit inkompatibler und nicht vergleichbarer Technologie auf, die keinen Vergleich zwischen verschiedenen Studien ermöglichen. Andere Veröffentlichungen sind sehr detailliert, liefern jedoch weniger intuitive Daten, die sich auf optische Streuung statt auf Reflexion oder Absorption konzentrieren16. Trotz des großen Nutzens, den solche Literaturquellen für unsere Gemeinschaft gebracht haben16, gibt es bis heute keine systematische Datenbank oder Untersuchung von Reflexionsspektren für eine Vielzahl physiologischer Organe in einer größeren Kohorte – weder für Menschen noch für Tiere.

Kategorische Anforderungen an eine solche spektralmedizinische HSI-Datenbank als Nachschlagewerk sind Präzision, Einheitlichkeit und Vergleichbarkeit des Messgeräts, die von der HSI-Community in den vergangenen Jahren gefordert wurden17. Während HSI in früheren Jahrzehnten in der Medizin nicht zu finden war, gab es in den letzten Jahren umfangreiche Bemühungen, diese Technologie im Gesundheitswesen zu implementieren. Allerdings handelte es sich bei den meisten der ursprünglich entwickelten HSI-Systeme um selbstgefertigte Prototypen und selbstgebaute Lösungen verschiedener Institutionen auf der ganzen Welt, die sich in der spektralen Auflösung und Reichweite sowie den verwendeten Detektoren und optischen Komponenten unterschieden17,18,19,20,21,22, 23,24,25,26,27. Mit diesen Provisorien konnten zwar hochinteressante Erkenntnisse für verschiedene medizinische Anwendungen gewonnen werden, es mangelte ihnen jedoch an Standardisierung und Vergleichbarkeit, da andere Forschungsgruppen die Einzelteile besorgen und diese Messgeräte selbst bauen mussten17. Außerdem gibt es eine große Variabilität z. B. bei Spektralbereichen, Beleuchtung, optischen Komponenten wie Filtern und räumlicher Auflösung. Diese Aspekte machten nachhaltige große klinische Studien und systematische multizentrische Forschung unmöglich. Hinsichtlich der spektralen Auflösung, der Detektoren, der dispersiven Geräte und der von den verschiedenen Geräten abgedeckten Spektralbereiche von 200 nm bis 2500 nm17 konnte eine große Vielfalt an Geräten beobachtet werden.

Das in diesem Projekt eingesetzte HSI-Kamerasystem ist das erste kommerziell verfügbare und medizinisch zertifizierte System, das die meisten der oben genannten Anforderungen erfüllt, allerdings kann nur ein begrenzter Wellenlängenbereich aufgezeichnet werden (500–1000 nm) und der sichtbare Bereich wird nicht vollständig abgedeckt. Während frühere und weniger standardisierte HSI-Systeme für die Untersuchung spezifischer und isolierter Forschungsfragen effizient waren, förderte die Reproduzierbarkeit und Generalisierbarkeit kommerziell verfügbarer Systeme spürbar eine Zunahme der Forschungsanstrengungen im Bereich HSI. Ein Indikator für diese verstärkten Forschungsbemühungen ist der Anstieg der Zahl von Forschungsprojekten in den letzten Jahren, darunter Tierstudien mit Ratten28 und Schweinen29,30,31,32, Konferenzbeiträge33,34, narrative Rezensionen35,36,37 und andere Veröffentlichungen38,39. Mit diesem neuen System und seinen Vorteilen wurde erneut ein besonderer Fokus auf frühe klinische Studien mit explorativem Charakter gelegt1,40,41,42,43,44,45,46,47,48,49,50,51,52,53, 54,55. Allerdings gibt es neuartige Möglichkeiten, die noch nicht ausgeschöpft wurden. Dazu gehören vor allem die spektrale Charakterisierung von biologischem Gewebe und die Ergänzung einer großen medizinischen HSI-Datenbank durch maschinelles Lernen und Deep Learning. Einige Studien haben bereits einzelne Aspekte biologischen Gewebes spektral charakterisiert, beispielsweise die Unterschiede zwischen bestimmten Krebsentitäten und ihrem zugehörigen physiologischen Gewebe56. Allerdings wurden diese Studien meist mit nicht reproduzierbaren Aufbauten oder manchmal in vitro ohne Kenntnis der Gewebeperfusion durchgeführt, was für bestimmte bradytrophe Gewebe akzeptabel sein könnte, aber zu Einschränkungen bei der Anwendbarkeit auf die meisten typischerweise gut durchbluteten Organe führt57. Darüber hinaus beleuchten die meisten der bisher vorliegenden Studien nur spezifische medizinische Aspekte und erweitern das allgemeine Verständnis der spektralen Gewebeeigenschaften nicht ausreichend.

Die Prinzipien der spektralen Gewebedifferenzierung wurden bereits erfolgreich nachgewiesen, allerdings nur in der laparoskopischen Chirurgie mit spärlicher multispektraler Information und, was am wichtigsten ist, in weniger Organklassen58,59. Die Frage, die der vorliegenden Studie zugrunde lag, war, ob diese spektralen Unterschiede stark genug wären, um von einem HSI-System erkannt zu werden, und anschließend konsistent genug wären, um Organe zu charakterisieren und eine Organdifferenzierung möglich zu machen.

Zum ersten Mal wurde HSI mit dem Ziel angewendet, (1) die spektralen Eigenschaften verschiedener Gewebetypen in einem Schweinemodell systematisch zu charakterisieren, (2) zu analysieren, inwieweit diese Spektren durch Organ- oder Gewebetypen im Vergleich zu unerwünschten Effekten wie z B. Variabilität zwischen Subjekten und Variationen der Bildaufnahmebedingungen und (3) der Nachweis, dass eine automatische, auf maschinellem Lernen basierende Gewebeklassifizierung selbst mit einer ungewöhnlich hohen Anzahl von Klassen mit hoher Genauigkeit erreicht werden kann. Mit HSI wurden insgesamt 20 verschiedene Schweineorgane erfasst. Die resultierende Datenbank umfasst 9059 Aufnahmen mit 17.777 kommentierten Orgelregionen.

Spektrale Fingerabdrücke dieser Organe wurden in Abb. 1 extrahiert und t-SNE wurde ausgewählt, um die Unterscheidbarkeit der jeweiligen HSI-Spektren visuell zu beurteilen (Abb. 2). Während euklidische Abstände in zweidimensionalen Darstellungen aus hochdimensionalen Daten mit Vorsicht interpretiert werden müssen, geben Clustering und Überlappung einen guten Hinweis auf die Differenzierbarkeit der zugrunde liegenden Spektren. Es war nun wichtig zu bewerten, inwieweit Unterschiede im Reflexionsgrad auf das Organ oder alternativ auf das einzelne Schwein oder auf Geräusche anderer definierter und undefinierter Faktoren zurückzuführen sind, da dies den allgemeinen Nutzen von HSI-Daten bestimmen würde.

Lineare gemischte Modelle konnten zeigen, dass der größte Anteil der spektralen Reflexionsvariabilität auf den Faktor „Organ“ statt auf „Schwein“, „Winkel“, „Bild“ und „Wiederholung“ zurückzuführen war. Dies deutet darauf hin, dass die Beiträge interindividueller Unterschiede und Bildaufnahmebedingungen von Organunterschieden dominiert wurden. Während Bildaufnahmebedingungen wie die Beleuchtung stark standardisiert waren, wurde bewusst auf eine künstliche Überstandardisierung verzichtet, um dennoch den Bedingungen im realen Operationssaal zu entsprechen. Von den anderen Faktoren, die für die Variabilität des spektralen Reflexionsgrads verantwortlich sind, war „Bild“ der relevanteste, was darauf hinweist, dass verschiedene Regionen desselben Organs spektrale Unterschiede aufweisen. Mögliche Erklärungen für diesen Befund sind eine inhomogene Verteilung des Bindegewebes, der Blutgefäße und der Fibrose innerhalb jedes Organs sowie unterschiedliche Mengen an enthaltenem Blutvolumen aufgrund von Spannungen auf der Gewebeoberfläche oder Peristaltik. Diese Erkenntnis explizit für den Einflussfaktor „Bild“ ist für die Betrachtung möglicher realer intraoperativer Anwendungen und Versuche von hoher Relevanz, da sie – abhängig von der Tiefe der Analyse – die Notwendigkeit mit sich bringt, verschiedene Bereiche des untersuchten Organs zu erfassen, wie wir es getan haben .

Ein maschineller Lernalgorithmus hatte in einem unabhängigen Testsatz zur Identifizierung von Organklassen in vorab kommentierten Regionen eine durchschnittliche Genauigkeit von über 95 %, was diese Arbeit zu einem soliden Proof of Concept für die automatische Gewebeklassifizierung mit maschinellem Lernen auf der Grundlage von HSI-Daten macht. Es ist jedoch zu berücksichtigen, dass die automatische semantische Szenenannotation möglicherweise noch eine weitere Herausforderung darstellt. Darüber hinaus haben wir nur das mittlere Spektrum einer vorkommentierten Region in einer Aufnahme berücksichtigt und somit Textur- und Kontextinformationen ignoriert, was die Organidentifizierung weiter verbessern könnte. Bemerkenswert ist, dass bereits hervorragende Klassifizierungsergebnisse erzielt werden konnten, obwohl die Eingabe des neuronalen Netzwerks auf die Organreflexion ohne Texturinformationen beschränkt war. Organe mit ähnlicher Zellzusammensetzung wie Magen und Jejunum zeigten ähnliche Reflexionsspektren, konnten aber dennoch gut unterschieden werden. Fehlklassifizierungen traten hauptsächlich zwischen Blase und Gallenblase, Niere und Herz oder Hohlvene und Knochen auf.

Neben der Untersuchung physiologischer Organe ist auch die systematische Untersuchung pathologischer Zustände von Bedeutung und muss Gewebeischämie, Stase, Entzündung und Malignität umfassen. Die Tatsache, dass diese unphysiologischen Organzustände aus ethischen Gründen bei Patienten nicht gezielt induziert werden können, erfordert die Verwendung eines großen Tiermodells mit menschenähnlichen Merkmalen und bekannten spektralen Gewebeeigenschaften und war der Grund für die Wahl eines Schweinemodells für die vorliegende Studie eine Grundlage für die zukünftige Analyse pathologischer Gewebespektren.

Für eine ordnungsgemäße Interpretation der Ergebnisse dieser Arbeit müssen bestimmte Einschränkungen der HSI-Technologie berücksichtigt werden. Eine Einschränkung ist die relativ geringe zeitliche Auflösung aktueller HSI-Systeme mit nur einer Aufnahme alle 30 s und jeweils etwa sieben Sekunden Aufnahmezeit. Während kompaktere und schnellere Geräte in der Entwicklung sind60, schränkt diese Einschränkung derzeit mögliche Anwendungsbereiche ein. Dies beeinträchtigt jedoch nicht die Gültigkeit der in dieser Arbeit präsentierten Daten. In Anwendungsbereichen, die eine höhere zeitliche Auflösung, aber nicht unbedingt eine feinkörnige Wellenlängenauflösung erfordern, bietet die multispektrale Bildgebung (MSI) eine Lösung61,62. MSI ermöglicht eine Bildgebung mit nahezu Videorate und kann unter Berücksichtigung von Erkenntnissen aus der HSI-Forschung höchstwahrscheinlich erheblich verfeinert werden.

Eine weitere Einschränkung von HSI ist die im Allgemeinen kurze und wellenlängenabhängige Eindringtiefe von Licht in biologisches Gewebe. Bei der Messung von Gewebe mit einer Dicke von weniger als mehreren Millimetern wie dem Omentum musste mit zunehmenden Eindringtiefen zwischen 700 und 1000 nm gerechnet werden. Daher wurde durch visuelle Kontrolle sichergestellt, dass das Omentum nur an Stellen mit ausreichender Dicke vermessen wurde. Die photoakustische Tomographie, eine Technologie, die tiefer in biologisches Gewebe eindringen kann, könnte ergänzend zu HSI63 zur Gewinnung zusätzlicher Informationen beitragen.

Weitere Einschränkungen ergeben sich durch die räumliche Auflösung von nur 680 × 480 Pixeln (Breite × Höhe). Organe mit kleinerer Oberfläche, z. B. die Gallenblase, waren schwieriger zu kommentieren als andere, da weniger Pixel verfügbar waren. Neben den technologischen Einschränkungen basierte die vorgestellte Gewebeidentifizierung auf vorkommentierten Regionen von Interesse (ROIs). Die semantische Organsegmentierung muss in zukünftigen Studien untersucht werden.

Diese Arbeit ist die erste, die spektrale Eigenschaften und Beziehungen von Organen innerhalb einer großen Kohorte von Organklassen und Individuen systematisch untersucht. Mithilfe eines hochgradig standardisierten Ansatzes konnten wir die spektralen Fingerabdrücke für jedes Organ extrahieren und Faktoren untersuchen, die die spektralen Eigenschaften beeinflussen. Wir konnten den Nachweis erbringen, dass die Gewebetypen und nicht das einzelne Tier oder die Aufnahmebedingungen den größten Einfluss auf das Reflexionsspektrum hatten, was von größter Bedeutung ist, wenn man versucht, den möglichen Wert von HSI für medizinische Anwendungen abzuschätzen. Diese Studie kann als Referenzwerk angesehen werden, das den Weg für die weitere spektrale Organbewertung (z. B. pathologische Gewebezustände) ebnet, die eine genaue Kenntnis der spektralen Eigenschaften physiologischen Gewebes erfordert. Mögliche zukünftige Anwendungen, die auf diesen Ergebnissen basieren, umfassen die Erweiterung computergestützter Entscheidungsfindung, intraoperative kognitive Assistenzsysteme oder sogar die Automatisierung robotergestützter Chirurgie. Es ist zu erwarten, dass unsere Hauptbefunde zu organabhängigen Reflexionsmustern in menschlichen Daten bestätigt werden. Um HSI in der klinischen Medizin fest zu etablieren, ist eine Übertragung dieser Studie auf Humandaten unerlässlich.

Diese Tierstudie wurde vom Ausschuss für Tierversuche des Regierungspräsidiums Baden-Württemberg in Karlsruhe, Deutschland, genehmigt (G-161/18 und G-262/19). Alle im Versuchslabor verwendeten Tiere wurden gemäß den deutschen Gesetzen zur Tiernutzung und -pflege sowie gemäß den Richtlinien des Europäischen Gemeinschaftsrates (2010/63/EU) und den ARRIVE-Richtlinien64 gehalten. Als Modellorganismus wurden normale Schweine (Sus scrofa Domesticus) mit einem Durchschnittsgewicht von 35 kg ausgewählt4,65,66,67,68. In die Analysen wurden Daten von 46 Schweinen einbezogen.

Gemäß den institutionellen Standards und Protokollen wurden die Schweine 24 Stunden vor der Operation ausgehungert und hatten freien Zugang zu Wasser. An das Körpergewicht angepasste pharmakologische Berechnungen werden für ein 40 kg schweres Schwein verallgemeinert. Die anfängliche Sedierung erfolgte durch eine gewichtsangepasste intramuskuläre Injektion des Neuroleptikums Azaperon (Stresnil® 40 mg/ml von Elanco®) mit 6 mg/kg (≈ 6 ml = 240 mg) 15 Minuten vor der weiteren Manipulation zur Stressreduzierung. Anschließend wurde die Analgosedierung durch gewichtsangepasste intramuskuläre Injektion einer Kombination aus kurzwirksamem Benzodiazepin Midazolam (Midazolam-hameln® 5 mg/ml von hameln pharma plus gmbh®) mit 0,75 mg/kg (≈ 6 ml = 30 mg) und Ketamin festgestellt (Ketamin 10%® von Heinrich Fromme®) mit 10 mg/kg (≈ 4 ml = 400 mg).

Nach dem Transport in den experimentellen Operationssaal wurden zwei 18-G-iv-Katheter in den Ohrvenen angelegt und mit einer Kristalloidinfusion von 300 ml/h (Sterofundin ISO® von B. Braun®) vor der Gerinnung geschützt. Die Intubation erfolgte konventionell oder bei eingeschränkter Kehlkopfsichtbarkeit per Tracheotomie. Zu den Medikamenten, die während der Intubation bei übermäßiger Sputumproduktion oder als allgemeine Ersatzmedikation verwendet wurden, gehörten iv Atropin und Propofol 1 %. Nach der Intubation wurde eine druckkontrollierte Beatmung etabliert und eine minimale alveoläre Konzentration von 1,0 unter Sevoflurane® erreicht. Die intraoperative Anästhesie wurde durch eine ausgewogene Narkose mit Sevoflurane® und der Kombination von iv 0,2 mg/kg/h Midazolam (≈ 1,5 ml/h = 7,5 mg/h) und 8,75 mg/kg/h Ketamin (≈ 3,5 ml/h = 350) erreicht mg/h) mit einer Rate von 5 ml/h. Es wurden keine Entspannungsmittel angewendet.

Die Überwachung umfasste Pulsoximetrie, Kapnometrie und invasive Blutdruckmessung über die Oberschenkelarterie, um zu verhindern, dass falsche Daten aufgrund einer Durchblutungsstörung gemessen werden. Die Körpertemperatur wurde mit elektrisch gesteuerten Wärmedecken überwacht und aufrechterhalten.

Um Zugang zur Bauchhöhle zu erhalten, wurde eine Mittellinien-Laparotomie durchgeführt. Bänder um die Leber und das Hepato-Magen-Band wurden präpariert und viszerale Organe mobilisiert, einschließlich der Entfernung der Abdeckung der Nieren unter sorgfältiger Schonung der Gefäße. Zum Einsatz kamen Scheren, Elektrokauter und bipolare Gefäßversiegelungsgeräte. Ein suprapubischer Katheter wurde in die Blase eingeführt. Nach der Operation wurden die Schweine durch eine schnelle intravenöse Gabe von 50 ml Kaliumchloridlösung eingeschläfert. Bei einem endexspiratorischen CO2-Partialdruck unter 8 mmHg wurde der Tod ausgesprochen.

Die hyperspektralen Datenwürfel wurden mit dem TIVITA® Tissue-System (Diaspective Vision GmbH, Pepelow, Deutschland) erfasst, einem Push-Broom-Scanning-Bildgebungssystem und der ersten kommerziell erhältlichen Hyperspektralkamera für die Medizin. Es bietet eine hohe spektrale Auflösung im sichtbaren und nahen Infrarotbereich (NIR) von 500 bis 995 nm in 5-nm-Schritten, was 100 Spektralbänder ergibt. Sein Sichtfeld umfasst 640 × 480 Pixel mit einer räumlichen Auflösung von etwa 0,45 mm/Pixel (Abb. 6). Der Abstand der Kamera zur Probe wird über ein Rot-Grün-Lichtzielsystem auf etwa 50 cm gesteuert. Sechs direkt in das Kamerasystem integrierte Halogenlampen sorgen für eine gleichmäßige Ausleuchtung. Die Aufnahme dauert etwa sieben Sekunden.

Hyperspektrales Kamerasystem. (a) Visualisierung eines dreidimensionalen hyperspektralen Datenwürfels mit x und y als räumlichen Dimensionen und z als hyperspektraler Dimension. Als Beispiel wird der erfasste Reflexionsinformationsinhalt eines Pixels visualisiert. (b) TIVITA® Gewebekamerasystem.

Die Bilder wurden mit einem Abstand von 50 ± 5 cm zwischen Kamera und Organen aufgenommen. Um Verfälschungen der gemessenen Reflexionsspektren durch Streulicht zu vermeiden, wurden die Gewebeaufnahmen bei ausgeschaltetem Licht im Operationssaal und geschlossenen Vorhängen durchgeführt. Während der Großteil der Schweineaufzeichnungen in einem generischen Ansatz durchgeführt wurde, um die intraoperative Realität genau darzustellen, wurden die Aufzeichnungen für die Analyse mit gemischten Modellen mit einem hochgradig standardisierten Protokoll für eine Untergruppe von 11 Schweinen (8 bis 9 Schweine pro Organ) (zwischen P36 und P36) durchgeführt und P46, wie im Ergänzungstext 1 angegeben). Dieses standardisierte Protokoll umfasst Aufzeichnungen von 3 Wiederholungen genau derselben Operationsszene („Wiederholungseffekt“) aus drei verschiedenen Winkeln („Winkeleffekt“) (senkrecht zur Gewebeoberfläche, 25° von einer Seite und 25° von der gegenüberliegenden Seite). für 4 verschiedene Organpositionen/Situs/Situationen („Bild“-Effekt), was insgesamt 36 Aufnahmen für jedes der 20 Organe (8 bis 9 Schweine pro Organ) bei insgesamt 11 Schweinen ergibt. Die Aufzeichnungen der Gallenflüssigkeit wurden durchgeführt, indem fünf gestapelte chirurgische Kompressen mit Gallenflüssigkeit getränkt wurden, wobei sichergestellt wurde, dass es keinen Einfluss durch den Hintergrund gab. Eine ausführlichere Übersicht über den Datensatz und ein schematisches Aufzeichnungsprotokoll für den standardisierten Teilsatz finden Sie in der ergänzenden Abbildung 1 und der ergänzenden Abbildung 2.

Alle 9059 aufgenommenen Bilder wurden manuell mit 20 verschiedenen Organklassen versehen, was zu 17.777 Organanmerkungen führte (da mehrere Organe in einem Bild enthalten sein konnten). Weitere Einzelheiten zur Annotationsstrategie finden Sie im Ergänzungstext 4. Die Annotationen wurden von einem medizinischen Experten erstellt und anschließend von zwei anderen medizinischen Experten überprüft. Im Falle einer fehlerhaften Anmerkung wurde die Anmerkung insgesamt für diese spezifische Aufnahme wiederholt.

Vor der Analyse wurden die Spektralinformationen zur Erhöhung der Einheitlichkeit auf Pixelebene ℓ1-normalisiert. Alle Analysen basierten auf Medianspektren, die über alle in einer Anmerkung enthaltenen Pixel berechnet wurden.

Python 3 wurde für die Datenorganisation, Annotation, Informationsextraktion und Analyse verwendet. Numerische Daten wurden mit Excel gespeichert. GraphPad Prism 8.4.1 und Python wurden für statistische Tests und Visualisierung verwendet. Für die Figurengestaltung wurde Affinity Designer 1.10.5 verwendet.

t-distributed Stochastic Neighbor Embedding (t-SNE)9 ist eine maschinelle Lernmethode, die üblicherweise zur Reduzierung der Anzahl der Dimensionen hochdimensionaler Daten verwendet wird und zur Visualisierung der charakteristischen Reflexionsspektren jedes Schweineorgans verwendet wird. Dieses nichtlineare Werkzeug zur Dimensionsreduktion hat sich bereits für die Analyse von HSI- und Massenspektrometriedaten als wertvoll erwiesen69 und wurde für die Visualisierung ausgewählt, da es sich in der Vergangenheit als besonders vielversprechend für biologische Proben erwiesen hat70,71. Der Algorithmus zielt auf die Modellierung von Mannigfaltigkeiten hochdimensionaler Daten ab und erzeugt niedrigdimensionale Einbettungen, die für die Erhaltung der lokalen Nachbarschaftsstruktur der hochdimensionalen Mannigfaltigkeit optimiert sind9. Im Vergleich zu linearen Methoden wie PCA72 und LDA73 bewahrt t-SNE relevantere Strukturen von Datensätzen mit nichtlinearen Merkmalen. Aus diesen Gründen wurde t-SNE zur Dimensionsreduktion verwendet.

Vor der Optimierung der Parameter von t-SNE wurde der gesamte Datensatz bestehend aus 46 Schweinen (9059 Bilder mit 17.777 Annotationen) auf folgende Weise vorbereitet: Für jede Annotation wurde ein charakteristisches Reflexionsspektrum durch Berechnung der Medianspektren aus den (zuvor auf Pixel- Ebene ℓ1-normalisiert) Spektren aller Pixel in der Anmerkung. Folglich stellt jeder Datenpunkt das Reflexionsvermögen eines Organs in einem Bild eines Schweins dar. Die zweidimensionale Visualisierung des Reflexionsspektrums des gesamten Datensatzes wurde durch eine zufällige Suche nach folgenden Parametern optimiert:

Parameter 1: Die frühe Übertreibung, die steuert, wie eng natürliche Cluster im ursprünglichen Raum im eingebetteten Raum liegen und wie viel Platz zwischen ihnen bleibt. Es wurden 50 zufällige Ganzzahlwerte im Bereich [5; 100].

Parameter 2: Die Lernrate, die im Optimierungsprozess verwendet wird. Es wurden 100 zufällige Ganzzahlwerte im Bereich [10; 1000].

Parameter 3: Die Perplexität, die sich auf die Anzahl der nächsten Nachbarn für jeden Datenpunkt bezieht, der bei der Optimierung berücksichtigt werden soll. 50 äquidistante Ganzzahlwerte wurden gleichmäßig im Bereich [2; 100].

Die frühe Übertreibung war der erste Parameter, der durch visuelle Inspektion der zweidimensionalen Darstellung des Datensatzes optimiert wurde. Die Lernrate wurde dann auf die gleiche Weise optimiert und gleichzeitig die frühe Übertreibung konstant gehalten. Anschließend wurde die Perplexität optimiert, indem die beiden anderen Parameter konstant gehalten wurden. Die optimalen Werte für jeden der Parameter waren 34 für die frühe Übertreibung, 92 für die Lernrate und 30 für die Ratlosigkeit.

Für eine erklärte Variationsanalyse wurden unabhängige lineare gemischte Modelle verwendet, um den Einfluss der Einflussfaktoren auf Änderungen im Spektrum zu bewerten. Der (Anteil der) erklärten Varianz wurde mithilfe der empirischen Zerlegung der erklärten Variation in die Varianzkomponentenform des gemischten Modells10 ermittelt.

Für den ersten Ansatz wurde für jede Wellenlänge ein unabhängiges lineares Mischmodell mit festen Effekten für „Organ“ und „Winkel“ sowie zufälligen Effekten für „Schwein“ und „Bild“ angepasst. Genauer gesagt wurde für jede Wellenlänge das folgende Modell angepasst (unter Unterdrückung des Wellenlängenindex):

für Wiederholung k = 1,…,3 von Bild j = 1,…,ni von Schwein i = 1,…, 11 (wobei ni die Anzahl der Bilder von Schwein i zwischen 84 und 228 liegt und \(\sum\nolimits_{ i = 1}^{11} {n_{i} } = 1944\)). \(\alpha\) ist ein Achsenabschnitt, \(organ_{ijk}^{T}\) ist ein Zeilenvektor der Länge 19, der das Beobachtungsorgan ijk angibt (mit beliebiger Referenzkategorie „Magen“) und \(\beta\ ) ist ein Vektor entsprechender fester Organeffekte. Ebenso sind \(\theta\) feste Effekte für den Winkel („25° von einer Seite“ und „25° von der gegenüberliegenden Seite“ für die Referenzkategorie „senkrecht zur Gewebeoberfläche“). \(\delta_{i} \sim N(0,\sigma_{\delta }^{2} )\) und \(\gamma_{ij} \sim N(0,\sigma_{\gamma }^{2} )\) sind zufällige Schweine- bzw. Bildeffekte, von denen angenommen wird, dass sie unabhängig voneinander normalverteilt sind, wobei zwischen der Schweinevariation \(\sigma_{\delta }^{2}\) und zwischen der Bildvariation \(\sigma_{\gamma }^{ 2} .\) Residuen \(\varepsilon_{ijk} \sim N(0,\sigma_{\varepsilon }^{2} )\) erfassen die Variabilität zwischen wiederholten Aufnahmen desselben Bildes.

Der Anteil der Variabilität im Reflexionsgrad, der durch jeden Faktor erklärt wird, wurde wie in 10 abgeleitet. „Wiederholung“ stellt die Restvariabilität dar, die hier die Variabilität innerhalb des Bildes (dh über Replikationen hinweg) ist. Punktweise Konfidenzintervalle von 95 % basierend auf parametrischem Bootstrapping mit 500 Replikationen zeigen die Unsicherheit der Schätzungen an.

Für den zweiten Ansatz mit Stratifizierung nach Organen wurden für jedes Organ und jede Wellenlänge unabhängige lineare Mischmodelle mit festen Effekten für „Winkel“ sowie einem Zufallseffekt für „Schwein“ und „Bild“ angepasst, d. h. für jedes Organ und jede Wellenlänge gleich Das oben angegebene Modell wurde ohne Kovariate „Organ“ angepasst. Die erklärte Standardabweichung jedes Faktors wurde dargestellt10. „Wiederholung“ stellt die verbleibende erklärte Standardabweichung dar, die hier die Variabilität innerhalb des Bildes (dh über Replikationen hinweg) darstellt. Punktweise Konfidenzintervalle von 95 % basierend auf parametrischem Bootstrapping mit 500 Replikationen zeigen die Unsicherheit der Schätzungen an. Alle linearen gemischten Modellanalysen basierten auf bildweisen organspezifischen mittleren Reflexionsspektren, die durch Berechnung des mittleren Spektrums aller Pixelspektren innerhalb einer Annotation erhalten wurden.

Vor dem Training des Deep-Learning-Netzwerks haben wir den Datensatz mit 46 Schweinen (9059 Bilder mit 17.777 Anmerkungen) systematisch in einen Trainingsdatensatz mit 38 Schweinen (3766 Bilder mit 7882 Anmerkungen) und einen disjunkten Testsatz mit 8 Schweinen (5293 Bilder) aufgeteilt mit 9895 Anmerkungen), wie in der ergänzenden Abbildung 1 angegeben. Diese 8 Testschweine wurden zufällig aus den 11 standardisierten Schweinen (P36–P46) ausgewählt, mit dem einzigen Kriterium, dass jede Organklasse auch im Test durch mindestens ein standardisiertes Schwein repräsentiert wird wie im Trainingsdatensatz. Dieses Kriterium konnte bei der Auswahl von mehr als 8 standardisierten Schweinen nicht mehr erfüllt werden.

Der Hold-out-Testsatz wurde erst verwendet, nachdem die Netzwerkarchitektur und alle Hyperparameter korrigiert worden waren. Am Trainingsdatensatz wurde eine Kreuzvalidierung durchgeführt, bei der ein Schwein ausgelassen wurde, und die Vorhersagen für das ausgelassene Schwein wurden für alle 38 Falten (46 minus 8) aggregiert, um die Validierungsgenauigkeit zu ermitteln. Die Hyperparameter des neuronalen Netzwerks wurden in einer umfangreichen Rastersuche so optimiert, dass die Validierungsgenauigkeit maximiert wurde. Sobald die optimalen Hyperparameter bestimmt waren, bewerteten wir die Klassifizierungsleistung des Hold-out-Testsatzes, indem wir die Vorhersagen aller 38 Netzwerke (eines für jede Falte) durch Berechnung des mittleren Logits-Vektors (die Eingabewerte der Softmax-Funktion, siehe unten) zusammenfassten ), gefolgt von der argmax-Operation, um die endgültige Bezeichnung für jede Anmerkung abzurufen.

Die Deep-Learning-basierte Klassifizierung wurde an den Medianspektren durchgeführt, die aus den ℓ1-normalisierten Spektren aller Pixel in den Anmerkungsmasken berechnet wurden, was zu 100-dimensionalen Eingabemerkmalsvektoren führte. Die Deep-Learning-Architektur bestand aus drei Faltungsschichten (64 Filter in der ersten, 32 in der zweiten und 16 in der dritten Schicht), gefolgt von zwei vollständig verbundenen Schichten (100 Neuronen in der ersten und 50 in der zweiten Schicht). Die Aktivierungen aller fünf Schichten wurden stapelweise normalisiert und eine letzte lineare Schicht wurde zur Berechnung der Klassenlogits verwendet. Jede der Faltungsschichten faltete den Spektralbereich mit einer Kernelgröße von 5 und wurde von einer durchschnittlichen Poolingschicht mit einer Kernelgröße von 2 gefolgt. Die beiden vollständig verbundenen Schichten setzten ihre Aktivierungen mit einer Ausfallwahrscheinlichkeit von \(p\) auf Null. Alle nichtlinearen Schichten verwendeten die Exponential Linear Unit (ELU)74 als Aktivierungsfunktion.

Wir haben uns für diese Architektur entschieden, da sie eine einfache, aber effektive Möglichkeit zur Analyse der Spektralinformationen bietet. Die Faltungsoperation wirkt sich auf die lokale Struktur der Spektren aus und wir haben eine relativ kleine Kernelgröße verwendet und drei Schichten gestapelt, um das Empfangsfeld zu erhöhen und gleichzeitig recheneffizient zu sein75. Die beiden vollständig verbundenen Schichten treffen eine endgültige Entscheidung basierend auf dem globalen Kontext. Der Vorteil dieses Ansatzes besteht darin, dass er lokale und globale Informationsaggregation kombiniert und dennoch recheneffizient ist, da das gesamte Netzwerk nur 34.300 trainierbare Gewichte verwendet.

Die Softmax-Funktion wurde verwendet, um die A-posteriori-Wahrscheinlichkeit für jede Klasse bereitzustellen. Wir verwendeten den Adam-Optimierer (β1 = 0,9, β2 = 0,999)76 mit einem exponentiellen Lernratenabfall (Abfallrate von \(\gamma\) und anfänglicher Lernrate von \(\eta\)) und dem Mehrklassen-Kreuzentropieverlust Funktion. Um Ungleichgewichte zwischen den Klassen auszugleichen, haben wir eine optionale Gewichtung der Verlustfunktion entsprechend der Anzahl der Trainingsbilder pro Klasse eingefügt und Instanzen für die Chargen entweder zufällig oder überabgetastet, sodass jede Organklasse die gleiche Wahrscheinlichkeit hatte, abgetastet zu werden. Beide Designoptionen wurden in der Hyperparameter-Rastersuche untersucht.

Wir haben 10.000.000 Proben pro Epoche für 10 Epochen mit einer Stapelgröße von N trainiert. In einer umfangreichen Rastersuche haben wir die leistungsstärksten Hyperparameter ermittelt: Dropout-Wahrscheinlichkeit \(p* = 0,2(p \in \{ 0,1,0,2\} ) \), Lernrate \(\eta * = 0,0001\;(\eta \in \{ 0,001, \;0,0001\} )\), Abklingrate \(\gamma * = 0,9(\gamma \in \{ 0,75, 0,9, 1,0\} )\), Chargengröße \(N* = 20.000\;(N \in \{ 20.000, \;40.000\} )\), eine gewichtete Verlustfunktion und kein Oversampling.

Wir haben die Leistung unseres maschinellen Lernmodells durch die Berechnung der folgenden Metrikwerte bewertet: Für die Genauigkeit wurde ein Mikrodurchschnitt berechnet, bei dem alle Anmerkungen gleichermaßen zum erhaltenen Metrikwert beitragen. Um Ungleichheiten in der Anzahl der Aufnahmen zwischen den Orgelklassen auszugleichen (vgl. ergänzende Abbildung 1), wurden zusätzlich makrogemittelte metrische Werte angegeben. Genauer gesagt wurden für die Berechnung der durchschnittlichen Sensitivität, Spezifität und des F1-Scores zunächst die metrischen Werte unabhängig für jede Organklasse berechnet und dann gemittelt.

Daten und Code, die die Ergebnisse dieser Studie stützen, sind auf begründete Anfrage bei den entsprechenden Autoren erhältlich.

Hyperspektrale Bildgebung

Multispektrale Bildgebung

Nationale Luft- und Raumfahrtbehörde

Region von Interesse

Standardabweichung

T-verteilte stochastische Nachbareinbettung

Mascagni, P. et al. Neue intraoperative Bildgebungstechnologien: Erneuerung des Auges des Chirurgen hin zu chirurgischer Präzision. J. Surg. Oncol. 118, 265–282. https://doi.org/10.1002/jso.25148 (2018).

Artikel PubMed Google Scholar

Prasad, S. & Chanussot, J. Hyperspektrale Bildanalyse: Fortschritte im maschinellen Lernen und der Signalverarbeitung (Springer, 2020).

Buchen Sie Google Scholar

Barberio, M. et al. Quantitative Fluoreszenzangiographie versus hyperspektrale Bildgebung zur Beurteilung der Darmischämie: eine vergleichende Studie in erweiterter Realität. Chirurgie https://doi.org/10.1016/j.surg.2020.02.008 (2020).

Artikel PubMed Google Scholar

Dietrich, M. et al. Hyperspektrale Bildgebung zur Bewertung der Sauerstoffversorgung des Mikrozirkulationsgewebes und der Perfusionsqualität bei hämorrhagischem Schock: eine Schweinestudie. Biomedizin 9, 1829 (2021).

Artikel CAS Google Scholar

Dietrich, M. et al. Auf maschinellem Lernen basierende Analyse hyperspektraler Bilder zur automatisierten Sepsis-Diagnose. https://arxiv.org/abs/2106.08445v1 (2021).

Dietrich, M. et al. Hyperspektrale Bildgebung zur perioperativen Überwachung der Sauerstoffversorgung des Mikrozirkulationsgewebes und des Gewebewassergehalts in der Bauchspeicheldrüsenchirurgie: eine beobachtende klinische Pilotstudie. Perioper. Med. (Lond.) 10, 42. https://doi.org/10.1186/s13741-021-00211-6 (2021).

Artikel Google Scholar

Wu, IC et al. Früherkennung von Plattenepithelkarzinomen der Speiseröhre durch hyperspektrale endoskopische Bildgebung. Wissenschaft. Rep. 8, 13797. https://doi.org/10.1038/s41598-018-32139-1 (2018).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Clancy, NT, Jones, G., Maier-Hein, L., Elson, DS & Stoyanov, D. Chirurgische Spektralbildgebung. Med. Bild Anal. 63, 101699. https://doi.org/10.1016/j.media.2020.101699 (2020).

Artikel PubMed PubMed Central Google Scholar

van der Maaten, LJP & Hinton, GE Visualisierung hochdimensionaler Daten mit t-SNE. J. Mach. Lernen. Res. 9, 2579–2605 (2008).

MATH Google Scholar

Schreck, N. & Wiesenfarth, M. Zerlegung der erklärten Variation im linearen gemischten Modell. bioRxiv, 2019.2012.2028.890061. https://doi.org/10.1101/2019.12.28.890061 (2022).

Thunell, S. Porphyrine, Porphyrinstoffwechsel und Porphyrien I. Update. Scan. J. Clin. Labor. Investieren. 60, 509–540. https://doi.org/10.1080/003655100448310 (2000).

Artikel CAS PubMed Google Scholar

Wilson, MT & Reeder, BJ Sauerstoffbindende Hämproteine. Exp. Physiol. 93, 128–132. https://doi.org/10.1113/expphysiol.2007.039735 (2008).

Artikel CAS PubMed Google Scholar

Leavesley, SJ et al. Hyperspektrale Bildgebung mit Fluoreszenzanregungsscan zur Erkennung von Darmkrebs. J. Biomed. Opt. 21, 104003. https://doi.org/10.1117/1.JBO.21.10.104003 (2016).

Artikel ADS PubMed PubMed Central Google Scholar

Zheng, W., Wang, C., Chang, S., Zhang, S. & J. Biomed. Opt. 20, 121303. https://doi.org/10.1117/1.Jbo.20.12.121303 (2015).

Artikel ADS PubMed Google Scholar

Hu, B., Du, J., Zhang, Z. & Wang, Q. Tumorgewebeklassifizierung basierend auf Mikrohyperspektraltechnologie und Deep Learning. Biomed. Opt. Express 10, 6370–6389. https://doi.org/10.1364/boe.10.006370 (2019).

Artikel PubMed PubMed Central Google Scholar

Jacques, SL Optische Eigenschaften biologischer Gewebe: eine Übersicht. Physik. Med. Biol. 58, R37–R61. https://doi.org/10.1088/0031-9155/58/11/r37 (2013).

Artikel ADS PubMed Google Scholar

Lu, G. & Fei, B. Medizinische hyperspektrale Bildgebung: eine Übersicht. J. Biomed. Opt. 19, 010901 (2014).

Artikel ADS Google Scholar

Afromowitz, MA, Callis, JB, Heimbach, DM, DeSoto, LA & Norton, MK Multispektrale Bildgebung von Brandwunden: ein neues klinisches Instrument zur Beurteilung der Brandtiefe. IEEE Trans. Biomed. Ing. 35, 842–850. https://doi.org/10.1109/10.7291 (1988).

Artikel CAS PubMed Google Scholar

Ferris, DG et al. Multimodale hyperspektrale Bildgebung zur nichtinvasiven Diagnose zervikaler Neoplasien. J. Untere Genitalien. Tract Dis. 5, 65–72. https://doi.org/10.1046/j.1526-0976.2001.005002065.x (2001).

Artikel CAS Google Scholar

Shah, SA et al. Analyse kutaner Wunden mittels hyperspektraler Bildgebung. Biotechniken 34, 408–413. https://doi.org/10.2144/03342pf01 (2003).

Artikel CAS PubMed Google Scholar

Bambery, KR, Wood, BR, Quinn, MA und McNaughton, D. Fourier transformieren Infrarotbildgebung und unbeaufsichtigtes hierarchisches Clustering bei der Anwendung auf Gebärmutterhalsbiopsien. Aust. J. Chem. 57, 1139–1143. https://doi.org/10.1071/CH04137 (2004).

Artikel CAS Google Scholar

Akbari, H., Kosugi, Y., Kojima, K. & Tanaka, N. Erkennung und Analyse der intestinalen Ischämie mithilfe sichtbarer und unsichtbarer hyperspektraler Bildgebung. IEEE Trans. Biomed. Ing. 57, 2011–2017. https://doi.org/10.1109/TBME.2010.2049110 (2010).

Artikel PubMed Google Scholar

Akbari, H. et al. Hyperspektrale Bildgebung und quantitative Analyse zur Erkennung von Prostatakrebs. J. Biomed. Opt. 17, 076005 (2012).

Artikel ADS Google Scholar

Mitra, K. et al. Mit Indocyaningrün beladene Mikroballons für die Gallenbildgebung bei der Cholezystektomie. J. Biomed. Opt. 17, 116025 (2012).

Artikel ADS Google Scholar

Rosas, JG & Blanco, M. Ein Kriterium zur Beurteilung der Homogenitätsverteilung in hyperspektralen Bildern. Teil 2: Anwendung von Homogenitätsindizes auf feste pharmazeutische Darreichungsformen. J. Pharm. Biomed. Anal. 70, 691–699. https://doi.org/10.1016/j.jpba.2012.06.037 (2012).

Artikel CAS PubMed Google Scholar

Li, Q., Wang, Y., Liu, H. & Chen, Z. in der IEEE International Conference on Computer Science and Automation Engineering (CSAE) 15–17 (2012).

Kumar, S., Desmedt, C., Larsimont, D., Sotiriou, C. & Goormaghtigh, E. Veränderung in der Mikroumgebung von Brustkrebs, untersucht durch FTIR-Bildgebung. Analyst 138, 4058–4065. https://doi.org/10.1039/c3an00241a (2013).

Artikel ADS CAS PubMed Google Scholar

Grambow, E. et al. Hyperspektrale Bildgebung zur Überwachung des Perfusionsversagens bei mikrovaskulärer Anastomose in der Hinterextremität der Ratte. Mikrogefäß. Res. 116, 64–70. https://doi.org/10.1016/j.mvr.2017.10.005 (2018).

Artikel PubMed Google Scholar

Barberio, M. et al. HYPerspectral Enhanced Reality (HYPER): ein auf Physiologie basierendes chirurgisches Führungsinstrument. Surg. Endosz. 34, 1736–1744. https://doi.org/10.1007/s00464-019-06959-9 (2020).

Artikel PubMed Google Scholar

Felli, E., Urade, T., Barberio, M., Felli, E. & Diana, M. Hyperspektrale Bildgebung der Schweineleberischämie: ein Proof of Concept. https://www.airitilibrary.com/Publication/alDetailedMesh?docid=15610497-201912-201912180004-201912180004-117-121 (2019).

Tetschke, F. et al. Hyperspektrale Bildgebung zur Überwachung der Sauerstoffsättigung während der normothermen Nierenperfusion. J. Sens. Sens. Syst. 5, 313–318. https://doi.org/10.5194/jsss-5-313-2016 (2016).

Artikel ADS Google Scholar

Nickel, F. et al. Optimierung der Anastomosentechnik und Magenleitungsperfusion mit hyperspektraler Bildgebung in einem experimentellen Modell für die minimalinvasive Ösophagektomie. bioRxiv. https://doi.org/10.1101/2021.10.03.462901 (2021).

Holmer, A., Kaemmerer, P., Kulcke, A., Marotz, J. & Wahl, P. in AUTOMED.

Landro, MD et al. auf der 41. jährlichen internationalen Konferenz der IEEE Engineering in Medicine and Biology Society (EMBC). 1851–1854 (2019).

Gockel, I. et al. Möglichkeiten und Perspektiven der Hyperspektralbildgebung in der Viszeralchirurgie. Chirurg 91, 150–159. https://doi.org/10.1007/s00104-019-01016-6 (2020).

Artikel CAS PubMed Google Scholar

Goetze, E., Thiem, D. G. E., Gielisch, M., Al-Nawas, B. & Kämmerer, P. W. Digitalisierung und Ansätze künstlicher Intelligenz in der mikrovaskulär-rekonstruktiven Gesichtschirurgie. Chirurg 91, 216–221. https://doi.org/10.1007/s00104-019-01103-8 (2020).

Artikel CAS PubMed Google Scholar

Maier-Hein, L. et al. Intraoperative Bildgebung und Visualisierung. Der Onkologe 26, 31–43. https://doi.org/10.1007/s00761-019-00695-4 (2020).

Artikel Google Scholar

Holmer, A. et al. Sauerstoff- und Perfusionsüberwachung mit einem Hyperspektralkamerasystem zur chemischen Gewebeanalyse von Haut und Organen. Physiol. Mess. 37, 2064–2078. https://doi.org/10.1088/0967-3334/37/11/2064 (2016).

Artikel PubMed Google Scholar

Markgraf, W., Feistel, P., Thiele, C. & Malberg, H. Algorithmen zur Kartierung der Sauerstoffversorgung des Nierengewebes während der normothermen Maschinenperfusion mittels hyperspektraler Bildgebung. Biomed. Ing. Biomed. Technik. 63, 557. https://doi.org/10.1515/bmt-2017-0216 (2018).

Artikel CAS Google Scholar

Barberio, M. et al. Hyperspektralbasierte Unterscheidung von Schilddrüse und Nebenschilddrüse während der Operation. Curr. Dir. Biomed. Ing. 4, 399. https://doi.org/10.1515/cdbme-2018-0095 (2018).

Artikel Google Scholar

Daeschlein, G. et al. Hyperspektrale Bildgebung als neuartiges diagnostisches Instrument zur Mikrozirkulation von Wunden. Klin. Hämorheol. Mikrozirkulation. 67, 467–474. https://doi.org/10.3233/ch-179228 (2017).

Artikel CAS PubMed Google Scholar

Grambow, E. et al. Beurteilung peripherer Arterienerkrankungen mit dem hyperspektralen Bildgebungskamerasystem TIVITA(R) Tissue. Klin. Hämorheol. Mikrozirkulation. 73, 3–17. https://doi.org/10.3233/ch-199215 (2019).

Artikel PubMed Google Scholar

Herrmann, BH & Hornberger, C. Monte-Carlo-Simulation der Lichtgewebeinteraktion in medizinischen hyperspektralen Bildgebungsanwendungen. Curr. Dir. Biomed. Ing. 4, 275–278. https://doi.org/10.1515/cdbme-2018-0067 (2018).

Artikel Google Scholar

Jansen-Winkeln, B., Holfert, N., Köhler, H., Chalopin, C. & Gockel, I. Bestimmung der idealen Anastomosenposition durch hyperspectrale Bildgebung. Z. Gastroenterol. 57, 93. https://doi.org/10.1055/s-0039-1695193 (2019).

Artikel Google Scholar

Jansen-Winkeln, B. et al. Bestimmung des Transektionsrandes bei der kolorektalen Resektion mittels Hyperspektralbildgebung (HSI). Int. J. Colorectal Dis. 34, 731–739. https://doi.org/10.1007/s00384-019-03250-0 (2019).

Artikel PubMed Google Scholar

Jansen-Winkeln, B. et al. Handnaht v. Stapler-Anastomose – Hyperspektralbetrachtung der Perfusion. Z. Gastroenterol. 57, 91. https://doi.org/10.1055/s-0039-1695191 (2019).

Artikel Google Scholar

Köhler, H., Jansen-Winkeln, B., Chalopin, C. & Gockel, I. Hyperspektrale Bildgebung als neue optische Methode zur Messung der Magenleitungsperfusion. Dis. Speiseröhre 32, 1. https://doi.org/10.1093/dote/doz046 (2019).

Artikel PubMed Google Scholar

Köhler, H. et al. Auswertung der hyperspektralen Bildgebung (HSI) zur Messung ischämischer Konditionierungseffekte des Magenkanals während der Ösophagektomie. Surg. Endosz. 33, 3775–3782. https://doi.org/10.1007/s00464-019-06675-4 (2019).

Artikel PubMed Google Scholar

Langner, I. et al. Hyperspektralimaging demonstriert mikrozirkulatorische Effekte postoperativer Ergotherapie bei Patienten mit Morbus Dupuytren. Handchirurgie, Mikrochirurgie, plastische Chirurgie: Organ der Deutschsprachigen Arbeitsgemeinschaft fur Handchirurgie : Organ der Deutschsprachigen Arbeitsgemeinschaft fur Mikrochirurgie der Peripheren Nerven und Gefasse 51, 171–176. https://doi.org/10.1055/a-0916-8635 (2019).

Artikel Google Scholar

Maktabi, M. et al. Gewebeklassifizierung onkologischer Ösophagusresektate basierend auf hyperspektralen Daten. Int. J. Comput. Helfen. Radiol. Surg. 14, 1651–1661. https://doi.org/10.1007/s11548-019-02016-x (2019).

Artikel PubMed Google Scholar

Marotz, J. et al. Erweiterte Perfusionsparameterschätzung aus hyperspektralen Bilddaten für die Diagnostik am Krankenbett in der Medizin. Molecules 24, 4164. https://doi.org/10.3390/molecules24224164 (2019).

Artikel CAS PubMed Central Google Scholar

Marotz, J., Siafliakis, A., Holmer, A., Kulcke, A. & Siemers, F. Erste Ergebnisse eines neuen hyperspektralen Kamerasystems für die chemische Wundanalyse. Wundmed. 10–11, 17–22. https://doi.org/10.1016/j.wndm.2015.11.003 (2015).

Artikel Google Scholar

Mohammed, RAA, Schäle, D., Hornberger, C. & Emmert, S. Erkennung von Signaturen in hyperspektralen Bilddaten von Wunden: ein zusammengesetztes Modell aus selbstorganisierender Karte und kleinster Quadratanpassung. Curr. Dir. Biomed. Ing. 4, 419–422. https://doi.org/10.1515/cdbme-2018-0100 (2018).

Artikel Google Scholar

Sucher, R. et al. Hyperspektrale Bildgebung (HSI) bei der anatomischen linken Leberresektion. Int. J. Surg. Fallbericht 62, 108–111. https://doi.org/10.1016/j.ijscr.2019.08.025 (2019).

Artikel PubMed PubMed Central Google Scholar

Zimmermann, P., Scheibe, A., Marotz, J. & Wollina, U. Analyse der Gewebesauerstoffversorgung bei chronischen Beingeschwüren durch Kombination einer Multispektralkamera und einer Hyperspektralsonde. Georgisches Med. Nachrichten 270, 75–81 (2017).

Google Scholar

Maktabi, M. et al. Gewebeklassifizierung onkologischer Ösophagusresektate basierend auf hyperspektralen Daten. Int. J. Comput. Helfen. Radiol. Surg. https://doi.org/10.1007/s11548-019-02016-x (2019).

Artikel PubMed Google Scholar

Filatova, S., Shcherbakov, I. & Tsvetkov, V. Optische Eigenschaften tierischer Gewebe im Wellenlängenbereich von 350 bis 2600 nm. J. Biomed. Opt. 22, 035009 (2017).

Artikel ADS Google Scholar

Zhang, Y. et al. Gewebeklassifizierung für das laparoskopische Bildverständnis basierend auf multispektraler Texturanalyse. J. Med. Imaging (Bellingham) 4, 015001. https://doi.org/10.1117/1.JMI.4.1.015001 (2017).

Artikel Google Scholar

Moccia, S. et al. Unsicherheitsbewusste Organklassifizierung für chirurgische Datenwissenschaftsanwendungen in der Laparoskopie. IEEE Trans. Biomed. Ing. 65, 2649–2659. https://doi.org/10.1109/TBME.2018.2813015 (2018).

Artikel PubMed Google Scholar

Ayala, L. et al. Multispektrale Videobildgebung in der laparoskopischen Chirurgie: erste Anwendung am Menschen. https://arxiv.org/abs/2105.13901 (2021).

Wirkert, SJ et al. 134–141 (Springer).

Wirkert, SJ et al. Robuste Schätzung physiologischer Parameter nahezu in Echtzeit aus multispektralen Megapixelbildern mit inverser Monte-Carlo- und Random-Forest-Regression. Int. J. Comput. Helfen. Radiol. Surg. 11, 909–917. https://doi.org/10.1007/s11548-016-1376-5 (2016).

Artikel PubMed PubMed Central Google Scholar

Gröhl, J. et al. Semantische Segmentierung multispektraler photoakustischer Bilder mittels Deep Learning. https://arxiv.org/abs/2105.09624 (2021).

Kilkenny, C., Browne, W., Cuthill, IC, Emerson, M. & Altman, DG Tierforschung: Berichterstattung über In-vivo-Experimente: die ARRIVE-Richtlinien. Br. J. Pharmacol. 160, 1577–1579. https://doi.org/10.1111/j.1476-5381.2010.00872.x (2010).

Artikel CAS PubMed PubMed Central Google Scholar

Kenngott, HG et al. Auswirkungen von Laparoskopie, Laparotomie und Atemphase auf das Lebervolumen in einem lebenden Schweinemodell zur Leberresektion. Surg. Endosz. 35, 7049–7057. https://doi.org/10.1007/s00464-020-08220-0 (2021).

Artikel PubMed PubMed Central Google Scholar

Nickel, F. et al. Computertomographische Analyse der durch Atmung und intraoperatives Pneumoperitoneum verursachten Organbewegung in einem Schweinemodell für die navigierte minimalinvasive Ösophagektomie. Surg. Endosz. 32, 4216–4227. https://doi.org/10.1007/s00464-018-6168-2 (2018).

Artikel PubMed Google Scholar

Nickel, F. et al. Navigationssystem für die minimalinvasive Ösophagektomie: experimentelle Studie am Schweinemodell. Surg. Endosz. 27, 3663–3670. https://doi.org/10.1007/s00464-013-2941-4 (2013).

Artikel PubMed Google Scholar

Gehrig, T. et al. Vergleich verschiedener Operationstechniken bei der distalen Pankreatektomie: eine experimentelle Studie an einem Schweinemodell. Surg. Innov. 18, 329–337. https://doi.org/10.1177/1553350610395032 (2011).

Artikel PubMed Google Scholar

Gardner, W., Cutts, SM, Phillips, DR & Pigram, PJ Massenspektrometriebilder verstehen: Komplexität zu Klarheit mit maschinellem Lernen. Biopolymere 112, e23400. https://doi.org/10.1002/bip.23400 (2020).

Artikel CAS PubMed Google Scholar

Kobak, D. & Berens, P. Die Kunst, t-SNE für die Einzelzell-Transkriptomik zu verwenden. Nat. Komm. 10, 5416. https://doi.org/10.1038/s41467-019-13056-x (2019).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Cieslak, MC, Castelfranco, AM, Roncalli, V., Lenz, PH & Hartline, DK t-Distributed Stochastic Neighbor Embedding (t-SNE): ein Werkzeug für die ökophysiologische Transkriptomanalyse. Mar. Genomics 51, 100723. https://doi.org/10.1016/j.margen.2019.100723 (2020).

Artikel PubMed Google Scholar

Tipping, ME & Bishop, CM Probabilistische Hauptkomponentenanalyse. JR-Stat. Soc. Ser. B (Stat. Methodol.) 61, 611–622. https://doi.org/10.1111/1467-9868.00196 (1999).

Artikel MathSciNet MATH Google Scholar

Hastie, T., Tibshirani, R. & Friedman, J. The Elements of Statistical Learning 2. Aufl. (Springer, 2008).

MATH Google Scholar

Clevert, D.-A., Unterthiner, T. & Hochreiter, S. Schnelles und genaues Deep Network Learning durch exponentielle lineare Einheiten (ELUs). http://arxiv.org/abs/1511.07289 (2016).

Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. & Wojna, Z. in der IEEE-Konferenz über Computer Vision und Mustererkennung (CVPR). 2818–2826 (2016).

Kingma, DP & Ba, J. Adam: Eine Methode zur stochastischen Optimierung. https://arxiv.org/abs/1412.6980 (2014).

Referenzen herunterladen

Die Autoren danken Minu Tizabi (IMSY, DKFZ) für das Korrekturlesen des Manuskripts und würdigen den vom Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg (MWK) und der Deutschen Forschungsgemeinschaft (DFG) unterstützten Datenspeicherdienst SDS@hd Grant INST 35/1314-1 FUGG und INST 35/1503-1 FUGG. Der vorliegende Beitrag wird von der Helmholtz-Gemeinschaft im Rahmen der gemeinsamen Forschungsschule HIDSS4Health (Helmholtz Information and Data Science School for Health) gefördert. Dieses Projekt wurde vom Europäischen Forschungsrat (ERC) im Rahmen des Forschungs- und Innovationsprogramms Horizon 2020 der Europäischen Union (NEURAL SPICING, Grant Agreement No. [101002198]) sowie von der Willi Robert Pitzer Stiftung und der Heidelberger Stiftung für Chirurgie gefördert und aus dem RISE-Programm des Deutschen Akademischen Austauschdienstes (DAAD). Die in den Figuren dargestellten Bilder wurden von den Autoren gezeichnet. Das Bild des TIVITA® Tissue-Systems wurde mit freundlicher Genehmigung von Diaspective Vision zur Verfügung gestellt.

Open-Access-Förderung ermöglicht und organisiert durch Projekt DEAL.

Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, Universitätsklinikum Heidelberg, Im Neuenheimer Feld 420, 69120, Heidelberg, Deutschland

Alexander Studier-Fischer, Berkin Özdemir, Jan Odenthal, Samuel Knödler, Caelan Max Haney, Gabriel Alexander Salg, Hannes Götz Kenngott, Beat Peter Müller-Stich & Felix Nickel

Abteilung Intelligente Medizinische Systeme, Deutsches Krebsforschungszentrum (DKFZ), Heidelberg, Deutschland

Silvia Seidlitz, Jan Sellner, Leonardo Ayala, Tim Julian Adler, Klaus Maier-Hein & Lena Maier-Hein

HIDSS4Health – Helmholtz Information and Data Science School for Health, Karlsruhe, Heidelberg, Deutschland

Silvia Seidlitz, Jan Sellner, Klaus Maier-Hein, Lena Maier-Hein & Felix Nickel

Abteilung für Medizinische Bildverarbeitung, Deutsches Krebsforschungszentrum (DKFZ), Heidelberg, Deutschland

Jan Sellner, Klaus Maier-Hein & Lena Maier-Hein

Abteilung für Biostatistik, Deutsches Krebsforschungszentrum (DKFZ), Heidelberg, Deutschland

Manuel Wiesenfarth, Nicholas Schreck & Annette Kopp-Schneider

Klinik für Urologie, Medizinische Fakultät Mannheim, Universität Heidelberg, Mannheim, Deutschland

Karl Friedrich Kowalewski

Abteilung für Biologie und Biotechnik, California Institute of Technology, Pasadena, USA

Isabella Camplisson

Abteilung für Anästhesiologie, Universitätsklinikum Heidelberg, Heidelberg, Deutschland

Maximilian Dietrich

Klinik für Anästhesiologie und Intensivmedizin, Universitätsklinikum Essen, Essen, Deutschland

Karsten Schmidt

Fakultät für Mathematik und Informatik, Universität Heidelberg, Heidelberg, Deutschland

Tim Julian Adler & Lena Maier-Hein

Sie können diesen Autor auch in PubMed Google Scholar suchen

ASF, FN und BPMS hatten die ursprüngliche Idee für das Projekt. ASF und FN haben das Projekt initiiert. ASF, FN und CMH führten die erste Überprüfung der vorhandenen Literatur und die Planung durch. ASF, CMH, KFK, B.Ö., MD, BPMS und FN führten die Operationen durch. ASF, IC, B.Ö. und JO entwickelten die Python-Codes für die Datenorganisation und Annotation. ASF-, GAS- und SK-annotierte Daten. ASF, GAS, B.Ö., JO, SK, KFK, SS, LA, JS, LMH, TA und MW analysierten und interpretierten die Daten. LMH, TA, LA, SS, JS, MW, NS, AKS und ASF entwickelten und implementierten die statistische und auf maschinellem Lernen basierende Datenanalysestrategie. LA stellte die t-SNE-Analyse und die relevanten Manuskriptpassagen zur Verfügung. MW, NS und AKS lieferten die gemischte Modellanalyse, das strukturierte Modell und die relevanten Manuskriptpassagen. SS und JS stellten die auf maschinellem Lernen basierende Klassifizierung und die relevanten Manuskriptpassagen bereit. FN, LMH, HGK, KMH, KS und BPMS stellten während des gesamten Projekts Expertenwissen zur Verfügung. ASF, B.Ö. und FN hat das Manuskript geschrieben. SS, JS, LA, MW, BPMS, HGK, KMH und LMH haben das Manuskript überarbeitet. Alle Autoren haben das endgültige Manuskript gelesen und genehmigt.

Korrespondenz mit Felix Nickel.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Studier-Fischer, A., Seidlitz, S., Sellner, J. et al. Spektrale Organfingerabdrücke für die auf maschinellem Lernen basierende intraoperative Gewebeklassifizierung mit hyperspektraler Bildgebung in einem Schweinemodell. Sci Rep 12, 11028 (2022). https://doi.org/10.1038/s41598-022-15040-w

Zitat herunterladen

Eingegangen: 04. Februar 2022

Angenommen: 16. Juni 2022

Veröffentlicht: 30. Juni 2022

DOI: https://doi.org/10.1038/s41598-022-15040-w

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Chirurgische Endoskopie (2023)

Skandinavisches Journal für Trauma, Wiederbelebung und Notfallmedizin (2022)

Chirurgische Endoskopie (2022)

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.

Blog

Spektrale Organfingerabdrücke für maschinelles Lernen