Optischer 800G-Transceiver

Heute haben wir etwas sehr Interessantes: einen genaueren Blick auf das COBTELCOLORZ 800 (OSFP112-DR8 Präzisions-Glasfaser-Transceiver). Dies ist eine lange-Entfernung ZR+ 800Goptischer Transceiver, unter Verwendung des standardmäßigen steckbaren OSFP-Formfaktors, kann jedoch Geschwindigkeiten von 800 Gbit/s über Entfernungen von 500 Kilometern oder sogar mehr als 1000 Kilometern erreichen. Es kann sogar so konfiguriert werden, dass es eine 400-Gbit/s-Kommunikation über Entfernungen von bis zu 2500 Kilometern unterstützt. Wir haben einen Einblick in das erhaltenCOBTELLabor, um zu verstehen, wie diese kohärente optische Technologie funktioniert, und wollte Ihnen zeigen, wie sie dies erreichen.

Heutzutage gilt in Rechenzentren grundsätzlich: Möglichst Kupferkabel verwenden, bei zu großen Entfernungen auf Glasfaser zurückgreifen. Wenn Sie sich Produkte wie die NVIDIA GB200 NVL72 ansehen, werden Sie feststellen, dass ihre größte Innovation die Möglichkeit ist, Kupferkabel im Backend zu verwenden, um 72 GPUs und Switches miteinander zu verbinden.

Über eine Kabellänge von etwa 3 Metern hinaus können Hochgeschwindigkeitsleitungen und Kupferkabel aufgrund von Signalintegritätsproblemen nicht zusammen verwendet werden.

Während Kupferkabel normalerweise innerhalb und neben Racks reichen, können optische Transceiver verwendet werden, um größere Entfernungen zu überbrücken. Allerdings gibt es einen Haken. Optische Transceiver nutzen unterschiedliche Technologien, um unterschiedliche Entfernungen mit unterschiedlichen Geschwindigkeiten zu überbrücken.

Optische Kurzstrecken-Transceiver mit 10 Gbit/s oder 100 Gbit/s sind viel kostengünstiger in der Herstellung als optische Langstrecken-Transceiver mit 400 Gbit/s oder 800 Gbit/s, vor allem weil die Komplexität der Technologie zunimmt.

Ein weiterer Aspekt ist der Formfaktor (die physische Größe und Form des Moduls) desoptischer Transceiver.

Formfaktormodule im CFP--Stil sind in Telekommunikationsanwendungen häufiger anzutreffen. In Rechenzentren sehen wir in der Regel kleine SFP-Module für Low-End-Anwendungen und größere QSFP- und OSFP-Module für Hochgeschwindigkeitsanwendungen. Sogar gängige KI-Infrastruktur-NICs wie der NVIDIA ConnectX-7 400GbE-Adapter werden verwendetOSFP. Heute besprechen wir das COBTEL COLORZ III 800G ZR+ OSFP-Modul. OSFP bietet einen größeren Modulstandard mit Strom, Kühlung und, was noch wichtiger ist, dem Platz, der für die Handhabung aller Komponenten erforderlich ist. Es sieht so aus:

Einfach ausgedrückt empfängt das Modul einerseits elektrische Signale vom Gerät.

Am anderen Ende befinden sich die optischen Sende- und Empfangsanschlüsse, in die die Glasfaserkabel eingeführt werden.

Auch wenn das einfach klingt, passiert im Inneren des Metallgehäuses etwas Bemerkenswertes. Elektrische Signale werden in optische Signale umgewandelt und optische Signale werden wieder in elektrische Signale umgewandelt. Wir erklären auf hohem Niveau, was im Inneren passiert, damit es die meisten Menschen verstehen können.

Als nächstes werfen wir einen Blick in das OSFP-Gehäuse und erklären, wie es funktioniert.

Es hat sich gezeigt, dass die Platzierung der Komponenten im optischen Transceiver von entscheidender Bedeutung ist. Selbst eine Abweichung von einem -Millimeter bei der Platzierung der Komponenten kann die Leistung erheblich beeinträchtigen. Typischerweise raten Unternehmen davon ab, diese High-End-Module zu zerlegen. Stattdessen beobachteten wir eine Demonstration im COBTEL-Labor, bei der es sich im Wesentlichen um eine vergrößerte-Version dessen handelte, was sich in diesem kleinen OSFP-Metallgehäuse befindet.

Natürlich ist eine so ausgelegte große Leiterplatte nicht für die Vernetzung von Geräten geeignet. Ein weiterer beeindruckender Aspekt ist daher nicht nur die Möglichkeit, Kommunikationsmodule mit 400 Gbit/s 2500 km oder 800 Gbit/s 1000 km zu erstellen, sondern sie auch in Standardmodule mit steckbarem Formfaktor zu packen.

Wenn Sie sich diese Plattform ansehen, werden Sie als Erstes die Kurzfassung bemerkenDAC (Direct Attach Kabel). Dies ist die elektrische Signalschnittstelle mit 800 Gbit/s.

Dies ist eine Ansicht des Entwicklungsboards von der anderen Seite.

Sie können sich dies als die elektrische Seite des Moduls vorstellen, das Sie hier sehen:

Der erste Halt führt über den COBTEL Orion DSP. Dies ist die Komponente zwischen dem elektrischen und dem optischen Ende, die zur Signalbereinigung dient.

Um Ihnen einen Eindruck davon zu vermitteln, was sich im Inneren befindet, sehen Sie hier den COBTEL Orion DSP und das COLORZ III 800G ZR+-Modul, in dem er untergebracht ist. DiesOSFP-Modulliegt über den steckbaren Modulen COLORZ II (400G) und COLORZ I (100G) der älteren Generation.

Diese DSPs sind beeindruckend, weil sie erhebliche Verarbeitungsaufgaben bei stark eingeschränktem Platz- und Leistungsbudget bewältigen müssen. Während gewöhnliche 10-Gbit/s- oder 25-Gbit/s-NIC-Chips mit deutlich älteren Prozesstechnologien hergestellt werden, werden diese DSPs in einem 5-nm-Prozess hergestellt, um den Leistungs- und Platzbeschränkungen innerhalb des OSFP-Modul-Footprints gerecht zu werden.

Ausgehend vom DSP wird das Übertragungssignal zum CDM oder Coherent Driver Module geleitet, dem kleineren der beiden goldenen/messingfarbenen Kästen unten, an dem eine einzelne Faser angeschlossen ist.

Der Kürze halber gehen wir nicht näher auf die Funktionsweise des PIC ein, aber in diesem kleinen Kasten befinden sich die Komponenten, die zur Umwandlung elektrischer Signale in optische Signale mithilfe einer Laserquelle, Modulatoren und anderen Komponenten erforderlich sind. An einem Ende der Box geben wir elektrische Signale ein und am anderen Ende geben wir Licht auf das Faserbündel aus. Dies ist das Übertragungsende auf dieser Demoplatine.

An diesem Punkt haben Sie vielleicht schon vermutet, dass das etwas größere Feld auf der linken Seite das Empfangsende ist, bekannt als ICR oder Integrated Coherent Receiver. Wenn Sie häufig Singlemode-LC-Kabel und -Optiken verwenden, werden Sie sofort bemerken: Auf der Empfangsseite befinden sich zwei Glasfaserkabel. Hier ist diese Technologie etwas komplexer als kostengünstige und langsame-Optiken, die nur eine direkte Erkennung durchführen (Analysetyp „Ist da Licht oder nicht“)?

Auf der Leiterplatte befindet sich nicht nur eine Empfangsfaser, sondern auch ein lokaler Oszillator, der ein zweites Signal in den ICR einspeist. Betrachten Sie es als Referenzsignal für den Phasenvergleich. Im Inneren des ICR befindet sich ein 90-Grad-Hybrid, eine passive Komponente, die unter anderem dabei hilft, Phasen- und Amplitudeninformationen aufrechtzuerhalten. Der ICR ist außerdem mit Fotodetektoren ausgestattet, um optische Signale zu empfangen und dann am anderen Ende elektrische Ausgänge zu erzeugen. Die elektrischen Signale sind normalerweise schwach, daher verwenden wir einen TIA oder Transimpedanzverstärker, um den schwachen Strom vom Fotodetektor in eine messbare Spannung umzuwandeln. Betrachten Sie es als einen Verstärker auf der elektrischen Seite.

Normalerweise benötigen diese Komponenten auch eine Kühlung, daher sieht die Referenzplatine eher so aus:

Selbst die Referenzlaserquelle benötigt zur Kühlung einen Kühlkörper. Wenn ich erwähne, dass wir es geschafft haben, ins Labor zu gelangen, ist klar, dass es sich hier um eine echte Laborumgebung handelt.

Anschließend können die elektrischen Signale des ICR auf der elektrischen Seite in den Orion DSP eingespeist werden.

Damit ist der gesamte Zyklus der Signalverarbeitung abgeschlossen, der sowohl den elektrischen als auch den optischen Bereich abdeckt.

Es ist wichtig zu beachten, dass jede Seite dieser Entwicklungsplattform letztendlich im OSFP-Formfaktor verpackt und thermisch verwaltet wird.

Lassen Sie uns über die Hardware hinaus kurz die Notwendigkeit eines Referenzlasersignals und den Unterschied zwischen direkter Erkennung und kohärenter Erkennung besprechen.

Eine meiner Ideen im Rahmen des Artikels besteht darin, die Unterschiede zwischen direkter Erkennung und kohärenter Erkennung zu untersuchen, die häufig in optischen Low-End--Geräten verwendet werden.

Wer tiefer in Mathematik und Physik eintauchen möchte, kennt das vielleicht schon. Viele Methoden zur Signalerkennung konzentrieren sich auf die einfache Frage, ob ein Signal vorhanden ist oder nicht. In einem sehr einfachen 10-Gbit/s-Modul kann dies folgendermaßen ausgedrückt werden: „Ist Licht vorhanden oder nicht?“ Dies kann auf viele relativ einfache zweidimensionale Arten sowie durch komplexere Codierungsschemata dargestellt werden. Im Labor sehen wir häufig Augendiagramme-grafische Darstellungen der Signalqualität-wie das unten gezeigte (aus der Silicon Photonics-Abteilung von Intel aus dem Jahr 2019, die Intel im selben Jahr verkaufte).

Die kohärente Erkennung ist viel komplexer, da sie fortschrittlichere Techniken mit Licht ermöglicht. Anstatt nur das Vorhandensein von Licht zu erkennen, können wir die „Konstellation“ des Signals beobachten. Beide Diagramme zeigen X- und Y-Polarisation, sodass sich 16 mögliche Konstellationen ergeben.

Aus diesem Grund ist eine lokale Oszillatorreferenz von entscheidender Bedeutung. Für komplexere Kodierungen benötigen wir die zusätzlichen Informationen, die diese Referenz bereitstellt.

Wenn Sie sich für die Unterschiede zwischen direkter Erkennung und kohärenter Erkennung interessieren, gibt es zahlreiche ausführliche Artikel zu diesem Thema. Für STH-Zuschauer ist die wichtigste Erkenntnis, dass das 800G ZR+ OSFP-Modul zwar wie ein etwas größeres 100G SR4 QSFP28-Modul aussieht, sich sein Innenleben jedoch erheblich unterscheidet.

Die große Frage lautet also: „Warum ist das alles wichtig?“ Ein einfacher Grund besteht darin, dass der Einsatz von Rechenzentren in verschiedenen Regionen hinsichtlich der Kosten und der Ausfallsicherheit von Vorteil sein kann. Die direkte Verbindung von einem Switch zu einem 1.000 Kilometer oder mehr entfernten Rechenzentrum ermöglicht es Unternehmen, mehr Infrastruktur an stabilen Standorten zu geringeren Kosten-zu hosten. Wenn Sie außerdem über zwei geografisch weit voneinander entfernte Standorte verfügen, könnte die Verbindung dieser Standorte mit einer Bandbreite von 400 Gbit/s bis 800 Gbit/s von entscheidender Bedeutung sein.

Doch in Wirklichkeit ist heute der Bau von KI-Rechenzentren einer der größten Treiber für steckbare Optiken. Diese Konstruktion ist durch die Stromverfügbarkeit eingeschränkt, daher konzentrieren sich Rechenzentrumsbetreiber auf die Sicherung der Stromversorgung. Zu den Plänen gehören der Bau großer Rechenzentren neben bestehenden Kraftwerken, die Schaffung neuer Energiequellen für Rechenzentren und vieles mehr. Die Minimierung von Übertragungsverlusten trägt dazu bei, die für die Datenverarbeitung verfügbare Leistung zu maximieren. Die Herausforderung besteht darin, dass Cluster so viel Strom benötigen, dass es möglicherweise nicht mehr möglich ist, sich auf einen einzelnen Standort zu verlassen.

Wir hören oft die Idee, mehrere Rechenzentren in der Nähe von Stromquellen anzusiedeln, anstatt die Rechenleistung auf einem Campus zu konzentrieren. Interessanterweise ist dies auch das, was viele Kryptowährungs-Miner Mitte-bis-der 2010er Jahre untersucht haben. Der Unterschied besteht darin, dass Mining-Farmen im Gegensatz zu KI-Clustern keinen gegenseitigen Zugriff mit hoher{{5}Bandbreite und geringer-Latenz erfordern.

Die Idee dahinter ist, dass der Aufbau großer -Cluster an mehreren Standorten in der Nähe verfügbarer Stromquellen Verluste und Kosten bei der Stromübertragung einsparen kann und möglicherweise auch einfacher ist. Anstatt große Stromquellen zu lizenzieren und zu bauen, können Unternehmen dunkle Glasfasern {{2}unbenutzte Glasfaserkabel-beleuchten oder zusätzliche Glasfasern verlegen, um Cluster an mehreren kleineren Stromquellen zu überbrücken.

Die einfache Antwort lautet also, dass diese Module es Unternehmen ermöglichen, herkömmliche steckbare optische Transceiver (anstelle dedizierter DCI-Boxen) zu verwenden, um auf relativ kostengünstige und einfache Weise schnelle Verbindungen über große Entfernungen herzustellen. Noch spannender ist das Potenzial für eine großflächige geografische Verteilung von KI-Ressourcen.

Steckbare Module erscheinen oft als einfache Metallgehäuse. Aus dieser Perspektive ist es schwer zu sagen, warum das eine komplexer ist als das andere.

Durch die Untersuchung der Interna von High-End-Modulen können wir die Komplexität dieser steckbaren Optiken besser verstehen. Wir haben uns einen einfachen, kostengünstigen optischen 100G-SR4-Transceiver angesehen, der sich stark vom optischen 800G-ZR+-Transceiver unterscheidet. Der Grund dafür ist, dass das COLORZ III-Modul trotz ähnlicher Optik Daten mit der 8-fachen Geschwindigkeit über 10.000-mal größere Entfernungen übertragen kann. Das ist wahrscheinlich der Grund, warum ich es für eine so coole Demo hielt, als ich es zum ersten Mal sah.

Einige haben vielleicht aus dem vorherigen Kontext bemerkt, dass wir auch einen 100G QSFP28 DAC und einen 100G SR4 QSFP28 optischen Transceiver zerlegt haben. Wir halten es für wichtig, Ihnen zu zeigen, was sich im Inneren des Moduls befindet. In diesem Artikel erfahren Sie daher, was sich im DAC-Gehäuse befindet.

Das Kabel, das wir gerade öffnen, ist als Intel DAC gekennzeichnet. Das ist ziemlich typischQSFP DAC, mit einem elektrischen Anschluss an einem Ende und einem Kabel am anderen Ende.

Das Öffnen des Gehäuses ist recht einfach. Manche Gehäuse, wie dieses hier, werden mit einfachen Schrauben zusammengehalten. Andere verwenden schwierigere -zu-Verbindungsmethoden. Wenn Sie das Gehäuse selbst öffnen, empfehlen wir, ein Gehäuse mit leicht festzuziehenden Schrauben zu verwenden. Beachten Sie außerdem, dass der QSFP28-Befestigungsmechanismus normalerweise über eine Feder verfügt. Es ist bekannt, dass beim Öffnen dieser Gehäuse die Feder aus dem Gehäuse springen kann.

Im Inneren des Gehäuses können wir sehen, dass die Platine sehr einfach ist. Tatsächlich sind viele Spuren zwischen dem QSFP28-Anschluss und den internen Drähten des Kabels zu erkennen.

 

Das Modul verfügt über dicke abgeschirmte Drähte mit der gleichen Länge wie der DAC. Jeder Draht hat eine Nummer, die für die Herstellung hilfreich sein kann. Die Anschlüsse und Drahtenden sind mit Harz oder Epoxidharz beschichtet, um sie an den Lötpunkten der Leiterplatte zu befestigen. Dann besorgen wir uns etwas Kupferband und einen flexiblen Kabelausgang mit gebogenen Stützen. Beide Seiten sehen sehr ähnlich aus.

Um Ihnen eine Vorstellung zu geben: Hier sehen Sie, wie das Innere eines kostengünstigen QSFP28 100G SR4 DAC aussieht, insbesondere die PIC-Seite (Photonic Integrated Circuit). Die Ausrichtung der optischen Fasern muss präziser sein und die Photonen--zu---Schaltkreisschnittstelle ist viel komplexer als die interne Struktur des DAC.

Die meisten Leute werden nie einen Blick in einen DAC werfen müssen. Sie sind Plug-{1}}und-fähig und erfordern keine Wartung. Dennoch denken wir, dass es sich lohnt, ein Ende des Gehäuses zu öffnen, um zu zeigen, wie diese Kabel funktionieren. Wir sollten zumindest darauf hinweisen, dass es sich um passive Kabel handelt. Es gibt AECs (Active Electrical Cables), die über aktive Retiming-Chips in den Kabelanschlüssen verfügen, die zur Verbesserung der Signalqualität beitragen und es ermöglichen, dass Hochgeschwindigkeitssignale weiter über Kupfer übertragen werden. AECs sind komplexer, energiehungriger und teurer. Wenn es jedoch um die Einfachheit des DAC-Designs geht, hoffen wir, dass Ihnen diese Fotos eine bessere Vorstellung vermitteln.