Co dzieje się po drugiej stronie ekranu
Prosimy asystenta AI o streszczenie dokumentu, wysyłamy zdjęcie do rozpoznania albo korzystamy z automatycznego tłumaczenia. Z naszej perspektywy wszystko mieści się na ekranie telefonu lub komputera. W przypadku usługi działającej w chmurze dane ruszają jednak w drogę do ośrodka obliczeniowego, gdzie wykonywana jest odpowiednia operacja, a następnie do nas wraca wynik.
Za taką usługą stoi fizyczna infrastruktura. Są w niej serwery i procesory, urządzenia kierujące ruchem oraz przewody i światłowody je łączące. Poszczególne elementy muszą współpracować, a dane muszą docierać tam, gdzie będą potrzebne. Jako użytkownicy zauważamy tę infrastrukturę przede wszystkim wtedy, gdy trzeba długo czekać na wynik.
Jeszcze intensywniejsza wymiana danych może odbywać się wcześniej, podczas uczenia modelu AI. W uczeniu największych modeli uczestniczą tysiące, a nawet dziesiątki tysięcy procesorów GPU, które współpracują ze sobą i w sposób skoordynowany przekazują sobie informacje. Sprawność tej współpracy wpływa na czas potrzebny na przygotowanie modelu, z którego później korzystamy.
Gdy wiele procesorów uczy jeden model
Weźmy prosty przykład. Chcemy nauczyć model rozpoznawania przedmiotów na zdjęciach. Podczas treningu model wielokrotnie próbuje przypisać zdjęciom właściwe opisy. Na podstawie popełnionych błędów wylicza się poprawki do jego parametrów, aby z czasem uzyskiwać trafniejsze odpowiedzi. Kiedy później użytkownik przesyła własne zdjęcie, model korzysta z tych „wyuczonych” parametrów i je rozpoznaje.
Duże zadania treningowe rozdziela się między wiele procesorów. Często są to GPU, czyli procesory graficzne przystosowane również do wykonywania ogromnej liczby obliczeń potrzebnych w AI. Każdy z nich realizuje część pracy, a następnie wymienia informacje z pozostałymi. Sposób tej wymiany zależy od modelu i od tego, jak podzielono zadanie [1].
Można porównać ten proces do pracy zespołu przygotowującego wspólne opracowanie. Jego członkowie przez pewien czas pracują samodzielnie, a następnie uzgadniają wyniki. Zanim rozpoczną kolejny etap, potrzebują informacji od innych osób. W treningu AI taką rolę pełnią operacje komunikacji zbiorowej, podczas których procesory przekazują i łączą wyniki swoich obliczeń. W trakcie jednego treningu procesory komunikują się wielokrotnie w sposób cykliczny. Procesor może przesyłać gotowe wyniki, zanim zakończy pozostałe obliczenia. Dochodzi jednak do momentu, w którym dalsza praca wymaga danych od innych procesorów. Jeśli jeszcze nie dotarły, musi czekać.
Skąd biorą się cyfrowe korki?
Wyobraźmy sobie, że wiele procesorów niemal jednocześnie kończy obliczenia i zaczyna wysyłać duże porcje danych. Część transmisji kieruje się do tego samego odbiorcy albo korzysta z tych samych zasobów transmisyjnych. Przez pewien czas napływa więcej danych niż połączenie może obsłużyć. Powstaje kolejka.
To sytuacja podobna do ruchu drogowego, gdy kilka strumieni samochodów zbiega się przy jednym wjeździe. Znaczenie ma przepustowość drogi, ale także czas przyjazdu pojazdów oraz kolejność ich obsługi. W sieci dla AI krótkie okresy intensywnego ruchu mogą przeplatać się ze spokojniejszymi. Średnie obciążenie łącza nie pokazuje wówczas całego problemu.
Dodatkowe trudności pojawiają się, gdy tę samą infrastrukturę wykorzystuje kilka zadań treningowych. Każde ma własne fazy obliczeń i komunikacji, a ich nakładanie się może prowadzić do rywalizacji o dostępne zasoby. Oczekiwanie na zakończenie transmisji z kolei zmienia moment rozpoczęcia kolejnych obliczeń i kolejnej wymiany danych. Sieć wpływa więc na późniejszy rytm wykonywania zadań.
Potrzebę uwzględniania takiego charakteru ruchu przy projektowaniu sieci pokazują między innymi doświadczenia operatorów dużych klastrów AI. Przykładem są wyspecjalizowane sieci do treningu rozproszonego, opisane przez inżynierów firmy Meta i rozwijane wraz z metodami rozdzielania ruchu oraz kontroli przeciążeń [2].
Gdzie sieć zużywa energię?
W wielu obecnych centrach danych światłowody zapewniają energooszczędną transmisję, a za kierowanie ruchem pakietów odpowiadają przełączniki elektryczne. W tych urządzeniach sygnał optyczny jest zamieniany na sygnał elektryczny. Układy elektroniczne przetwarzają pakiety, w razie potrzeby przechowują je w buforach i kierują do odpowiedniego wyjścia. Przed dalszą transmisją światłowodową dane są ponownie kodowane w sygnale świetlnym.
Przetwarzanie ogromnych strumieni danych w przełącznikach elektrycznych wiąże się z wysokim zużyciem energii. Pobierają ją także układy nadawcze i odbiorcze oraz systemy chłodzenia. W rozbudowanej sieci dane mogą przechodzić przez kilka poziomów przełączników, co oznacza kolejne etapy przetwarzania i konwersji sygnału. Powstałe zapotrzebowanie na moc elektryczną oraz koszty infrastruktury ograniczają możliwości skalowania systemów AI [3, 4]. Dlatego poszukuje się rozwiązań, które pozwalają w pełni wykorzystać zalety transmisji światłowodowej oraz technologii fotonicznych. Jednym z nich jest przełączanie sygnałów między nadawcami a odbiorcami bezpośrednio w warstwie optycznej. Pozwala to ograniczyć liczbę energochłonnych konwersji sygnału oraz operacji elektrycznego przetwarzania danych w węzłach pośrednich.
Szybkie połączenia fotoniczne dla AI
W przesyłaniu dużych ilości danych ważną rolę odgrywają połączenia optyczne. Światłowód przenosi informacje zakodowane w sygnale świetlnym. W jednym włóknie można jednocześnie przesyłać wiele strumieni danych, wykorzystując różne długości fal, porównywane obrazowo do różnych kolorów światła. Wybrana długość fali może również decydować o tym, do którego wyjścia elementu fotonicznego zostanie skierowany sygnał. W niektórych rozwiązaniach odbywa się to pasywnie i bez elektrycznego przetwarzania pakietów wewnątrz tego elementu. Odpowiednie sterowanie taką siecią pozwala przydzielać zasoby transmisyjne poszczególnym nadawcom zgodnie z ich aktualnymi potrzebami. Sieć musi przy tym wystarczająco szybko zmieniać połączenia, aby nadążać za potrzebami zadań treningowych. Z myślą o rekonfiguracji połączeń optycznych w skali nanosekund, czyli miliardowych części sekundy, opracowano między innymi architektury PULSE i RAMP [3, 4]. Rozwiązania te obejmują zarówno elementy fotoniczne tworzące sieć, jak i zasady organizacji komunikacji między urządzeniami.
Fotonika współpracuje tu z elektroniką, która odpowiada za buforowanie danych i sterowanie siecią. Sterownik ustala, kto w danej chwili może nadawać, do którego odbiorcy oraz z jakiej części dostępnego pasma może korzystać. W tym celu musi wiedzieć, które urządzenia są gotowe do transmisji i ile danych mają do przesłania. Zebranie tych informacji, podjęcie decyzji i zmiana konfiguracji sieci wymagają czasu. Zbyt rzadkie aktualizacje utrudniają reagowanie na zmiany ruchu, natomiast zbyt częste zwiększają udział czasu przeznaczonego na samo sterowanie. Dlatego zarówno reguły podziału zasobów, jak i częstotliwość podejmowania decyzji powinny być dostosowane do rytmu komunikacji podczas treningu AI.
Badania w Instytucie Łączności
W Instytucie Łączności – Państwowym Instytucie Badawczym zajmujemy się tym zagadnieniem we współpracy z profesorem Ioannisem Tomkosem z Uniwersytetu w Patras. W dwóch powiązanych pracach analizujemy za pomocą symulacji komputerowych, jak wykorzystać wiedzę o przebiegu komunikacji podczas treningu AI do bardziej efektywnego sterowania siecią optyczną. Rozpatrywana sieć łączy grupy procesorów i wykorzystuje pasywne elementy kierujące sygnały w zależności od długości fali.
Pierwszy kierunek badań dotyczy elastycznego podziału pasma w sieci optycznej [5]. W rozpatrywanej architekturze zasoby transmisyjne są podzielone na mniejsze części, które można przydzielać poszczególnym nadawcom zgodnie z ich bieżącymi potrzebami. Dzięki temu nadawca mający dane do wysłania może korzystać także z pasma, którego inni chwilowo nie potrzebują. Sprawdzaliśmy między innymi, co dzieje się, gdy duże transmisje do wspólnego odbiorcy rozpoczynają się w różnych momentach. Może się tak zdarzyć, gdy jedne procesory kończą obliczenia szybciej niż inne. Wyniki symulacji pokazują, że rozłożenie zapotrzebowania w czasie pozwala lepiej wykorzystać zalety elastycznego przydziału pasma. Gdy wszyscy nadawcy potrzebują zasobów niemal jednocześnie, możliwości poprawy są znacznie mniejsze. Uzyskane korzyści zależą także od szybkości i częstotliwości rekonfiguracji sieci.
W drugiej pracy analizowaliśmy pasywną sieć fotoniczną obsługującą wiele zadań treningowych [6]. Wykorzystaliśmy ideę przyznawania pierwszeństwa zadaniom, którym na danym połączeniu pozostało mniej danych do przesłania w ramach bieżącej wymiany wyników między procesorami. Dzięki temu mogą one wcześniej zakończyć komunikację i przejść do kolejnego etapu obliczeń. Tym samym zmienia się również moment rozpoczęcia kolejnych transmisji. Fazy komunikacji różnych zadań mogą więc stopniowo rozsuwać się w czasie i w mniejszym stopniu nakładać się na siebie. Przy mniejszej konkurencji o zasoby aktywni nadawcy mogą otrzymać więcej pasma, co pozwala im szybciej przesyłać dane. Przeprowadzone symulacje wykazały, że proponowane rozwiązanie skracało czas oczekiwania procesorów na dane i zwiększało ich wykorzystanie do obliczeń, co pozwalało przyspieszyć cały proces treningowy.
Jak budować większe sieci optyczne dla AI?
Nasze wstępne badania dotyczyły niewielkiej sieci optycznej z pojedynczym elementem przełączającym. Skalowanie takiego rozwiązania wymaga odpowiedzi na kilka pytań dotyczących zarówno architektury sieci, jak i sterowania ruchem.
- Przy rozbudowie sieci optycznej trzeba uwzględnić jakość sygnału docierającego do odbiorcy, ponieważ kolejne elementy przełączające mogą go osłabiać i zniekształcać. Jak zatem łączyć te elementy w większe układy, aby zapewnić poprawną transmisję danych między rosnącą liczbą procesorów GPU, serwerów czy całych szaf serwerowych?
- Równie ważne są zasady sterowania ruchem i przydzielania dostępnych zasobów poszczególnym transmisjom. Jak skracać średni czas komunikacji w rozbudowanych sieciach, gdy moment rozpoczęcia i wielkość transferów danych można przewidywać jedynie z ograniczoną dokładnością?
- Rozwój centrów danych wiąże się także ze wzrostem zapotrzebowania na energię. Warto zatem zbadać, które rozwiązania fotoniczne i metody sterowania komunikacją pozwalają ograniczyć zużycie energii przez procesory i urządzenia sieciowe oraz w jakich warunkach można uzyskać takie oszczędności.
Tym zajmiemy się w kolejnych pracach, w których będziemy rozwijać nowe koncepcje sieci optycznych dla AI, a także oceniać ich architektury oraz metody sterowania ruchem przy użyciu analiz teoretycznych i symulacji komputerowych.
Materiały źródłowe
[1] W. Li i inni, Understanding Communication Characteristics of Distributed Training, APNet 2024.
[2] A. Gangidi i inni, RDMA over Ethernet for Distributed AI Training at Meta Scale, ACM SIGCOMM 2024.
[3] J. L. Benjamin i inni, PULSE: Optical Circuit Switched Data Center Architecture Operating at Nanosecond Timescales, Journal of Lightwave Technology, 2020.
[4] A. Ottino, J. Benjamin, G. Zervas, RAMP: A flat nanosecond optical network and MPI operations for distributed deep learning systems, Optical Switching and Networking, 51, 100761, 2024.
[5] M. Klinkowski, I. Tomkos, Traffic-Aware Dynamic Spectral Allocation in AWGR-Based AI Datacenter Scale-Out Fabrics, ECOC 2026.
[6] M. Klinkowski, I. Tomkos, Collective-Aware Reactive Scheduling for AI Training in Slotted AWGR-Based Scale-out Interconnects, artykuł zgłoszony na konferencję OFC 2027.