TEST OBCIĄŻENIOWY SIECI WI-FI DLA PRZEDSIĘBIORSTW
Punkty dostępowe 802.11ax (Wi-Fi 6) zarządzane w chmurze
STRESZCZENIE
Działalność w chmurze znacząco wpłynęła na pracę przedsiębiorstw. Wi-Fi wkracza na strategiczną pozycję. Wydajność sieci staje się ważniejsza niż kiedykolwiek. Sektor IT musi sprostać stale rosnącym wymaganiom, zwłaszcza tym z zakresu priorytetyzacji ruchu głosowego i wideo. Wiele organizacji skłania się również do wykorzystywania sztucznej inteligencji AI (ang. Artificial Intelligence) i uczenia maszynowego ML (ang. Machine Learing) do oceny doświadczeń użytkownika końcowego oraz wydajności sieci Wi-Fi.
W tym raporcie przedstawimy szczegółowe informacje na temat atrybutów wydajności punktów dostępowych 802.11ax (Wi-Fi 6) zarządzanych w chmurze w środowisku o dużej gęstości i dużej przepustowości, w którym występuje mieszanka ruchu: wideo, VoIP i danych.
Celem jest przetestowanie wydajności AP przedsiębiorstw zarządzanych w chmurze w warunkach rzeczywistych, które są istotne dla większości współczesnych sieci przedsiębiorstw.
Według raportu ”Global Economic Value of Wi-Fi” Wi-Fi Alliance szacuje się wartości sieci Wi-Fi na 3.3 bilionów $ w 2021 roku. Przedsiębiorstwa wykorzystują sieci Wi-Fi do obsługi nowych i innowacyjnych przypadków użycia, podczas gdy Wi-Fi 6 w szybkim tempie przyjmuje się na rynku.
Aplikacje wideo i inne usługi multimedialne będą największymi konsumentami pasma w sieciach Wi-Fi. W ankiecie przeprowadzonej przez Education Week Research Center, 71% nauczycieli uznało Wi-Fi za innowację technologiczną znacząco poprawiającą nauczanie i uczenie się.
Firma Commscope RUCKUS była sponsorem testów przeprowadzonych z udziałem niezależnego specjalisty, który sprawdził poprawność konfiguracji i zapewnił równe szanse każdemu z producentów. Utrzymywano uczciwe i neutralne środowisko testowe zgodnie z wymaganiami powstania niniejszego raportu.
METODOLOGIA TESTU – dlaczego jest on tak ważny?
Sieć Wi-Fi jest nadal najczęściej używaną metodą łączności z siecią dostępową. Przedsiębiorstwa wykorzystują urządzenia mobilne z aplikacjami działającymi w czasie rzeczywistym i wymagającymi małych opóźnień. Używane aplikacje o znaczeniu krytycznym potrzebują niezawodnej i wydajnej sieci Wi-Fi. W hotelach, goście dołączają do wideokonferencji w swoich pokojach i chcą mieć możliwość korzystania ze stabilnej sieci Wi-Fi. W salach lekcyjnych zaś laptopy i tablety wykorzystują multimedia do celów szkoleniowych.
Wykorzystanie wideo i natężenie ruchu związanego z tą usługą rośnie wraz z przesyłanymi danymi i VoIP. Konieczne jest w tym miejscu zrozumienie wpływu obciążenia sieci na wrażenia użytkownika końcowego z korzystania z wszystkich tych możliwości.
Test był złożony z badań w dwóch aspektach:
- Ustalenie poziomu wydajności punktu dostępowego (AP) każdego producenta.
- Ocena, w jakim stopniu odpowiednie rozwiązanie chmurowe producenta może pomóc działowi IT skrócić średni czas identyfikacji MTTI (ang. Mean Time To Identify).
Pomiary zostały przeprowadzone w środowisku o dużym zagęszczeniu i dużej przepustowości, w którym punkty dostępowe przedsiębiorstwa zarządzane w chmurze muszą zapewnić niezawodne działanie usług dla powiązanych urządzeń. W przypadku dowolnej awarii sieci, operatorzy powinni być w stanie szybko i sprawnie zidentyfikować przyczynę.
Wiele organizacji odchodzi od korzystania z lokalnych urządzeń kontrolnych na rzecz rozwiązań, pozwalających na monitorowanie i zarządzanie w chmurze publicznej. Test pokazuje, jak poszczególne narzędzia chmurowe radzą sobie z dzisiejszymi wymaganiami.
O TEŚCIE
Wyniki przedstawione w niniejszym raporcie pochodzą z dwóch testów – jednego mierzącego wydajność AP oraz drugiego oceniającego możliwości rozwiązywania problemów i analizy przez platformę korporacyjną działającą w chmurze. Wybrano szereg punktów dostępowych Wi-Fi 6 o konfiguracji 4×4:4, które przetestowano w środowisku podobnym do rzeczywistych instalacji.
W jednym pomieszczeniu rozmieszczono trzydzieści laptopów Dell Latitude 5400 z obsługą Wi-Fi 6 i wykorzystano do odtwarzania filmu w wysokiej rozdzielczości (1080p HD). Laptopy Dell wyposażono w kartę sieciową Intel Wi-Fi AX200. Każdy laptop odtwarzał strumień wideo HD w trybie unicast, w trakcie i po zakończeniu testu.
Transmisja unicast zakłada przesyłanie danych w tym wypadku wideo ”od jednego do jednego”. Niezależnie od lokalizacji nadawanego strumienia, żądanie może zostać wygenerowane tylko przez jednego użytkownika. Następnie wideo dopasowane do możliwości urządzenia końcowego zostaje do niego dostarczone. W przypadku sprzętu starszego typu pojawia się problem z wahaniami i ograniczeniem przepustowości, przez co wrażenia użytkownika nie są zadawalające. Istnieją jednak sposoby radzenia sobie z nieprzewidywalnością Internetu – przesyłanie strumieniowe z adaptacyjną szybkością transmisji ABR (ang. Adaptive Bit-Rate) czy wykorzystanie usługi CDN (ang. Content Distribution Network). Dodatkową zaletą unicast jest możliwość zbierania informacji o odbiorcach w celu personalizacji udogodnień i reklam.
Transmisja multicast działa w trybie ”od jednego do wielu”. Pozwala przewidzieć z wyprzedzeniem wykorzystanie pasma, umożliwiając jego lepsze wykorzystanie i zarządzanie. Ilość osób odbierających dany strumień nie wpływa na obciążenie pasma, każdy użytkownik ma do niego dostęp. Nie ma potrzeby tworzenia oddzielnych sesji czy łączy. Jedynym wymogiem jest posiadanie prywatnej oraz zarządzalnej sieci (LAN/ WAN) w przedsiębiorstwie. Multicast traktuje wszystkich odbiorców tak samo, co utrudnia skalowanie i dopasowywanie się do możliwości urządzeń końcowych.
Oprócz laptopów Dell do testów użyto pięć iPadów Apple. Z ich wykorzystaniem przeprowadzono dwukierunkowy test. Na iPad’ach zainstalowano klienta IxChariot, skonfigurowanego z kodekiem głosowym G.711u – jednym z najczęściej używanych we wdrożeniach VoIP. IxChariot odgrywał rolę narzędzia testowego do symulacji rzeczywistej telefonii VoIP, by móc przewidzieć wydajność punktów dostępowych w warunkach obciążeniowych.
W sąsiednim pomieszczeniu znajdowało się dwadzieścia komputerów Apple MacBook Pros z uruchomionym klientem IxChariot, połączonych z tym samym punktem dostępowych. Do symulacji losowego pobierania danych, takich jak przeglądanie stron internetowych, korzystanie z poczty elektronicznej i przesyłanie plików, wykorzystano usługę UDP (ang. User Datagram Protocol).
Sygnał docierał przez sufit podwieszany i dwie ściany składające się z drewnianego szkieletu oraz ok. 13 mm płyty gipsowo-kartonowej.
Każdy AP został przetestowany pod kątem przepustowości i innych parametrów wydajności przy użyciu kanału o szerokości 80 MHz. Chociaż taki kanał nie był zalecany do przeprowadzenia testów, użyto go, by uzyskać maksymalne możliwości AP.
Tabela podsumowująca typy ruchu sieciowego w teście dotyczącym wydajności AP
TESTOWANE PUNKTY DOSTĘPOWE
W teście wydajności oceniono punkty dostępowe 802.11ax (Wi-Fi 6) zarządzane w chmurze następujących firm: HPE Aruba („Aruba”), Extreme Networks („Extreme”), Juniper Mist („Mist”), Cisco Meraki („Meraki”) oraz RUCKUS. Każdy AP ma podobną specyfikację sprzętową i jest przeznaczony do obsługi środowisk o dużej gęstości.
Testowane punkty dostępowe
ŚRODOWISKO TESTOWE
Schemat sieci i przepływu danych
TYPY KLIENTÓW
W każdym teście wykorzystano klientów wymienionych w tabeli poniżej. Taki dobór miał na celu zasymulować rzeczywiste środowisko składającego się z: Wi-Fi 6, Wi-Fi 5 oraz urządzeń mobilnych. W sumie użyto 60 odbiorców.
Typy klientów używanych do testów
Środowisko pomiarowe
KONFIGURACJA WLAN
Dla każdego punktu dostępowego użyto ustawień fabrycznych. Testy zostały przeprowadzone w paśmie 5 GHz w zakresie UNII-3, aby zapewnić spójne wyniki. W pierwszym teście skonfigurowano pojedynczy identyfikator SSID (ang. Service Set Identifier) z wykorzystaniem szyfrowania WPA2-PSK, a w drugim teście – trzy identifikatory SSID: dwa używające współdzielonego klucza PSK (ang. Pre-Shared Key), a jeden standardu 802.1X.
Każdy nazwa sieci Wi-Fi została utworzona dla kanału o szerokości 80 MHz.
KONFIGURACJA PRZEŁĄCZNIKA
Zastosowano przełącznik RUCKUS ICX 7650-48ZP, zapewniający zasilanie PoE (ang. Power over Ethernet) dla punktów dostępowych. AP zostały połączone ze switch’em z wykorzystaniem portów Multi-Gigabit Ethernet i funkcją automatycznej negocjacji szybkości połączeń. Do każdego AP dostarczono wymaganą moc. Wszystkie urządzenia objęto jedną siecią WLAN, eliminując konieczność routingu.
Lista dostępu do adresów IP dla kodera wideo została skonfigurowana dla sieci VLAN, aby oznaczyć strumień wideo z użyciem usługi DSCP (ang. Differentiated Services Code Point) na 40 punktów.
KONFIGURACJA STRUMIENIA WIDEO
W celu przetestowania wideo w jakości HD odtwarzacz DVD został podłączony do kodera wideo, wykorzystując protokół HTTP Live Stream (HLS) do przesyłania danych do odbiorców (laptopów Dell). Dzięki czemu każdy klient miał dostęp do indywidualnego strumienia wideo HD w trybie unicast.
Ustawienia kodera wideo
TEST 1 – MULTIMEDIA
Celem pierwszego testu było zbadanie, jak poszczególne AP radzą sobie w środowisku o wysokim zagęszczeniu i przepustowości. W jednym z pomieszczeń znajdowało się 30 laptopów Dell Latitude 5400 odtwarzających wideo w jakości HD oraz 10 iPad’ów – 5 prowadzących dwukierunkowe połączenie VoIP i 5 pobierających dane UDP. Punkt dostępowy został zamontowany w suficie podwieszanym w tylnej części pokoju, aby zmaksymalizować zasięg w obu pomieszczeniach. Pobieranie strumienia wideo rozpoczęto przed rozpoczęciem pomiarów i było kontynuowane przez cały czas ich trwania.
W drugim pomieszczeniu 20 komputerów Apple MacBook Pros pobierało dane UDP, składające się z pakietów o długości 64, 256, 512 i 1460 bajtów, co miało odpowiadać różnym rodzajom ruchu danych w sieci.
Przeprowadzono dwa testy trwające po 3 minuty każdy.
Opis przeprowadzanych testów
Utrzymanie oczekiwanej jakości usług QoS (ang. Quality of Service) jest ważnym kryterium w tym teście. Ruch wideo z kodera został oznaczony na porcie przełącznika jako DSCP 40. Ruch VoIP z serwera IxChariot i klientów IxChariot (iPadów) został oznaczony jako DSCP 46. Powodem zastosowania oznaczeń DSCP jest chęć zapewnienia prawidłowego przekierowania szczególnie ruchu wrażliwego na opóźnienia, spadki oraz odchylenia. Dzięki temu każdy producent miał możliwość nadawania priorytetów ruchowi w oparciu o oznaczenia QoS. W sieci WLAN nie zostały skonfigurowane żadne parametry QoS.
KRYTERIA POWODZENIA
Przed rozpoczęciem testu każdy punkt dostępowy musi pomyślnie dostarczyć wolny od zacięć strumień wideo do wszystkich 30 laptopów Dell. W przypadku pojawienia się ociągnięć odtwarzanie jest odświeżane a zdarzenie dokumentowane w przypadku powtarzalności. W trakcie pomiarów punkt dostępowy musi jednocześnie dostarczyć wysokiej jakości wideo, dane i VoIP do wszystkich klientów.
Domniemane wrażenia z użytkowania klientów wideo zostały oszacowane na podstawie testu sprawdzającego ciągłość wizualną filmu i wychwycenia martwym punktów trwających 20 sekund i dłużej. Jest to zachowawczy sposób na ocenę domniemanego doświadczenia użytkownika, ale łatwy do przeprowadzenia i analizy. Pomiary związane z pobieranymi danymi i VoIP są zbierane przez IxChariot. Całkowita przepustowość jest mierzona dla klientów. Subiektywny współczynnik jakości dźwięku MOS (ang. Mean Opinion Score) jest określany na podstawie odchyleń, opóźnień i utraty pakietów pojawiających się u klientów telefonii VoIP. Wykorzystanie czasu antenowego (ang. airtime) jest odnotowywane za pomocą aplikacji Wi-Fi Explorer.
Dla każdego AP porównano średnią przepustowość, MOC i ilość odbiorców z płynnym strumieniem wideo.
TEST 1 – WYNIKI
PRZEPUSTOWOŚĆ
Przepustowość jest często wskaźnikiem używanym do oceny wydajności punktów dostępowych. Podczas testu zmierzyliśmy i uśredniliśmy przepustowość dla klientów danych, używając IxChariot i dla klientów wideo, mierzoną na porcie przełącznika, do którego podłączony jest koder wideo. Przeprowadzono dwa testy.
Wykres przedstawiający sumę wartości zmierzonych przepustowości, uśrednioną z dwóch przeprowadzonych testów dla klientów wideo i danych
Generalnie, wyższa przepustowość jest lepsza pod warunkiem, że dane nie są faworyzowane kosztem ruchu o wyższym priorytecie (głos i wideo).
RUCKUS R750 znacząco przewyższył wszystkie inne AP w teście przepustowości.
MOS – miara jakości połączeń VoIP
Niska wartość współczynnik MOS może oznaczać niską jakość połączenia. Punkt dostępowy z dużym obciążeniem sieci lub nieprawidłowo nadający priorytety dla ruchu głosowego może nie być w stanie utrzymać zadowalającego poziomu MOS. Wskaźnik ten jest funkcją odchyleń, opóźnień i utraty pakietów.
Tabela przedstawiająca powszechne indeksowanie wskaźnika MOS w odniesieniu do jakości głosu odbieranego przez użytkowników
Wyniki wskaźnika MOS
Urządzenie RUCKUS R750 przewyższył wszystkie inne AP w teście MOS, zapewniając znacznie wyższą jakość połączeń przy dużym obciążeniu sieci. Mówiąc dokładniej, żaden inny AP nie osiągnął wartości MOS, spełniającej typowe umowy o gwarantowanym poziomie świadczenia usług SLA (ang. Service Level Agreement), wymagające ”dobrej” jakości głosu.
PRZESYŁANY STRUMIEŃ WIDEO
Wideo jest jednym z najczęściej używanych formatów multimedialnych przesyłanych przez sieć Wi-Fi. Punkty dostępowe mogą obsługiwać jednocześnie wielu klientów, rozsyłając różne pliki multimedialne. Usługa HTTP Live Streaming umożliwia odbiorcom buforowanie w ciągu maksymalnie 10 sekund.
Na początku testu sprawdzono ciągłość w odtwarzaniu strumienia wideo na komputerach klienckich. W przypadku pojawienia się przestoi połączenie odświeżono. Działanie to podjęto, by zapewnić każdemu dostawcy możliwość uruchomienia wszystkich strumieni wideo przed rozpoczęciem właściwych pomiarów. Nie udało się jednak osiągnąć tego stanu wyjściowego przez producenta Mist.
Tabela przedstawiająca liczbę płynnych strumieni wideo dla każdego AP przed, w trakcie i po teście
Niższa liczba płynnych strumieni wskazuje na większą liczbę tych zatrzymanych, co przekłada się na gorsze wrażenia użytkownika końcowego.
RUCKUS R750 przewyższył wszystkie inne AP, dostarczając nieprzerwany strumień wideo w jakości HD do każdego odbiorcy przed, w trakcie i po zakończeniu testu.
Mist AP43 rozpoczął pracę z zaledwie 24 strumieniami. Prowadzący próbowali je odświeżyć, ale ostatecznie nie udało się wznowić wszystkich wstrzymanych połączeń przed rozpoczęciem testu.
WYKORZYSTANIE CZASU ANTENOWEGO
Określenie wydajności AP pod kątem wykorzystania czasu antenowego nie było celem testu, jednak jest to użyteczny wskaźnik, pozwalający lepiej zrozumieć wpływ częstotliwości radiowej RF (ang. Radio Frequency) na wrażenia użytkownika końcowego.
Niższe wykorzystanie czasu antenowego jest lepsze, ponieważ pozwala AP na lepszą adaptację w zmieniających się warunkach – dodatkowe urządzenia i ruch. Wszystko przy założeniu, że AP bezproblemowo radzi sobie z obsługą ruchu (głos, wideo, dane) w punkcie wyjściowym.
Wykorzystanie czasu antenowego podczas testu
Mist AP43 wykazał niższe niż pozostałe AP wykorzystanie czasu antenowego. Wywnioskowano, że na taki wynik wpłynęła duża liczba odbiorców wideo, którzy utknęli w martwym punkcie w trakcie przeprowadzania testu. Klienci, którzy nie odtwarzają wideo, nie generują ruchu w sieci.
Korelacja pomiędzy liczbą odbiorców z płynnym strumieniem wideo i wykorzystaniem czasu antenowego w trakcie testu
W przeciwieństwie do Mist AP43 RUCKUS R750 wykazał się drugą najniższą wartością wykorzystania czasu antenowego. Nie odnotowano również zacięć wideo podczas przeprowadzania testu. Można by się zatem spodziewać, że dla AP R750 powinna być odnotowana zatem najwyższa wartość spośród badanych punktów dostępowych. Wynik okazał się jednak inny, co świadczy o efektywniejszym wykorzystaniu dostępnego czasu antenowego niż pozostałe AP.
TEST 1 – WNIOSKI
RUCKUS R750 uzyskał znacznie lepsze wyniki w każdym badanym aspekcie niż pozostałe AP. Spełnił wszystkie założone kryteria: utrzymanie MOS na poziomie ”good”, jednocześnie dostarczając wolny od zacięć strumień wideo w jakości HD do 30 klientów; uzyskanie wysokiej przepustowości dla wszystkich odbiorców danych.
Aruba AP535 okazał się kolejnym urządzeniem, które poradziło sobie z obciążeniem sieci. W trakcie testu połowa klientów doświadczyła przerwania w odtwarzaniu, ale udało się przywrócić transmisję. Niestety AP535 wykazał MOS na poziomie ”poor”.
Extreme AP650 utrzymał drugą co do poziomu wysoką przepustowość. Podczas testu 25 klientom zerwał się strumień wideo, a MOS był na poziomie ”poor”. Można wnioskować, że AP650 nie użył żadnych usług QoS do zarządzania ruchem w sieci.
Meraki MR46 uzyskał przepustowość o wartości 250 Mbps i najniższy poziom współczynnika MOS. AP był w stanie obsłużyć płynnie tylko 11 klientów wideo. Po teście tylko 3 odbiorcom nie udało się przywrócić strumienia danych.
Mist AP43 wykazał się najsłabszą wydajnością spośród wszystkich badanych AP. Udało się mu nadać tylko 24 strumienie wideo przed testem i 2 w trakcie jego trwania. Wykazał się najniższą przepustowością oraz poziomem MOS wzrastającym prawie do ”fair”. Otrzymane wyniki wynikają zapewne z uznania telefonii VoIP najwyższy priorytet ruchu.
Podsumowując, RUCKUS R750 wyróżnił się na tle pozostałych punktów dostępowych dostarczeniem pozytywnych wrażeń z użytkowania dla klientów oraz spełnieniem umowy SLA. R750 wykazał się wysoką jakością usługi QoS, bez potrzeby dodatkowej konfiguracji. Otrzymany rezultat może być zasługą funkcji SmartCast, która nadaje właściwe priorytety generowanemu ruchu w sieci.
TEST 2 – ROZWIĄZYWANIE PROBLEMÓW/ ANALITYKA
Zarządzanie w chmurze siecią bezprzewodową zapewnia wysoką wygodę dla administratorów sieci. Oferuje wgląd na bieżąco w jej zmieniającą się architekturę. Ponadto punkty dostępowe mogą wykorzystywać dostępne w chmurze zasoby, aby dostarczyć szczegółowych analiz sieciowych oraz ulepszonych narzędzi, rozwiązujących pojawiające się problemy. Analitykę sieciową, zwłaszcza tę opartą na sztucznej inteligencji AI i uczeniu maszynowym ML, realizowaną w chmurze charakteryzuje dostęp do dużych zasobów obliczeniowych oraz danych, których obsługa jest niezbędna dla danego przedsiębiorstwa.
W przypadku pojawienia się problemów z dostępem do sieci Wi-Fi przed administratorami IT pojawia się wyzwanie, by znaleźć ich przyczynę i rozwiązanie. W tym teście wprowadzono nieprawidłowości w pracy sieci, które mają zostać zdiagnozowane przez system: niewłaściwy klucz współdzielony, niedostępność DHCP oraz serwera RADIUS (802.1X). Celem jest wystawienie urządzeń poszczególnych producentów na próbę zweryfikowania problemów oraz zbadanie szybkości wykrycia i poziomu wsparcia dla obsługi sieci.
Specjalista stanął przed trzema różnymi przypadkami, gdzie zaznajomiony z urządzeniami oraz interfejsem w środowisku chmurowym, musiał ocenić z jednej strony łatwość użycia dostępnych narzędzi oraz szczegółowość prezentowanych informacji, a z drugiej skuteczność i przydatność przy rozwiązywaniu problemów. Przygotowany scenariusz miał odzwierciedlać typowe zadanie inżyniera IT, zlecone przez użytkownika końcowego, który odkrył dysfunkcję w pracy sieci i zgłosił zdarzenie.
W teście zbadano również kwestię wpływu zastosowania rozwiązań, wykorzystujących sztuczną inteligencję AI i uczenie maszynowe ML na poprawę średniego czasu potrzebnego na identyfikację MTTI, określanego również jako średni czas wykrycia nieprawidłowości przez administratorów sieci.
TEST 2 – WYNIKI
Przed zapoznaniem się z wynikami, ważne jest zrozumienie rodzajów dostępnych analityk oraz możliwości rozwiązywania problemów oferowanych przez każdego producenta.
Dostawcy oferują analizę sieci z wykorzystaniem systemów zarządzania w chmurze. Zbierane dane zapewniają wgląd w statystyki związane m.in. z przepustowością czy prędkością down/ up łączą internetowego. Dzięki zaawansowanej technologii i analityce sieciowej (AI i ML) wgląd w sieć staje się bardziej wnikliwy i szczegółowy, co przekłada się na szybkość identyfikacji problemów i przedstawienie ich źródła. Jednak o ile każdy z producentów zapewnia analitykę sieciową, o tyle nie każdy umożliwiał dostęp do AI/ML.
Oceniając dostępny interfejs, skupiono się na konkretnych aspektach, które mają zapewnić administratorom IT niskie MTTI, wydajną pracę oraz dostęp do szczegółowych danych – dzienniki zdarzeń, widżety opisujące wykryte usterki, stopień ”drążenia” w celu identyfikacji problemu. Specjalista skupił się na przystępności informacji, pozwalających na rozpoznanie nieprawidłowości i na podjęcie właściwych kroków do ich rozwiązania.
HPE ARUBA
Aruba Central to platforma do zarządzania w chmurze firmy Aruba. AI Insights jest funkcjonalnością wykorzystywaną do rozwiązywania problemów z siecią WLAN.
Widok główny nie wskazuje wyraźnie problemów użytkownika końcowego z siecią. Wymaga to przejrzenia dzienników zdarzeń a czasem nawet podjęcia dodatkowych działań w celu rozwiązania nieprawidłowości – poszukiwanie komunikatów o błędzie, usterki zewnętrzne nieobejmowane przez interfejs w chmurze.
Wskazówki odnośnie rozstrzygnięcia usterki w AI Insights pojawiły się na pulpie głównym dopiero po zaktualizowaniu, co zajęło 3 godziny. Zagłębienie się w dane konkretnego urządzenia pozwoliło poznać konstruktywne szczegóły, doprowadzające do identyfikacji problemu. Nie było jednak łatwego sposobu na zmierzenie oddziaływania danego problemu na pracę sieci.
MTTI wyniósł 6.3 minuty dla testowanych problemów. Rezultat ten otrzymano z pomiarów narzędziem innym niż AI Insights. Specjalista musiał przeanalizować dziennik zdarzeń, aby odnaleźć w określonym czasie wykryty błąd, w tym wypadku niewłaściwy klucz współdzielony PSK. Przypadek z DHCP wymagał wyszukania urządzenia klienckiego po adresie MAC, by móc zobaczyć komunikat o przekroczonym czasie DHCP Discover. Przy teście 802.1X przeoczono drobny tekst, wskazujący na przekroczenie limitu czasu na uwierzytelnianie, co wydłużyło czas identyfikacji zajścia. System zarządzania w chmurze nie posiadał opcji sprawdzenia osiągalności serwera RADIUS z poziomu pulpitu nawigacyjnego. Kwestie te lepiej przedstawia AI Insights, ale dopiero po dokonaniu aktualizacji.
EXTREME NETWORKS
ExtremeCloud™ IQ to platforma do zarządzania w chmurze firmy Extreme, która umożliwia wgląd w AI/ML za pomocą funkcji IQ Pilot. Widok główny zawiera dużą ilość danych i analiz, co może wydać się przytłaczające. Najświeższe informacje czy wskazówki do rozwiązywania pojawiających się problemów pojawiają się pod urządzeniami klienckimi, co może utrudniać zlokalizowanie problemu, w przypadku braku informacji takich jak adres MAC czy adres IP.
System dostarcza wielu wyników związanych z uczeniem maszynowym ML do oceny stanu sieci, ale nie są one jasne – dla większości obszarów otrzymano dobre wyniki, a ogólny rezultat określono jako niski. Raport ”client health” dotyczący kondycji użytkowników końcowych nie odzwierciedla aktualnej rzeczywistości. Funkcja ta wymaga około godziny na aktualizację po podłączeniu się klienta. Wyniki w kartach związanych z ML pozwalają dokonać przeglądu funkcjonowania i wydajności sieci.
Poruszając się po dostępnym interfejsie, administrator IT jest w stanie zidentyfikować problem i określić jego wpływ na działanie sieci. Ogólnie praca z systemem nie skróciła, a wręcz wydłużyła MTTI. Efektywne wykorzystanie AL i ML wymagało znajomości metody oceny punktowej wraz z przypisanymi wagami, o której informacje nie były dostępne (lub oczywiste) w interfejsie użytkownika.
MTTI uzyskano na poziomie 10.3 minut. W przypadku testu PSK pojawił się komunikat ostrzegawczy (widoczny po ograniczeniu ram czasowych), wskazujący na nieprawidłowy klucz współdzielony. Badanie DHCP wymagało przejrzenia wielu stron w dostępnym interfejsie, by móc odnaleźć zidentyfikowany problem z uwierzytelnianiem. Na podstawie ilości danych prezentowanych na ekranie głównym nie dało się tego jednoznacznie stwierdzić. Pomocna okazała się zakładka Client Monitor, z informacjami aktualizowanymi na bieżąco i to tutaj pojawiły się wskazania na nieprawidłowości serwera DHCP. Test 802.1X również wymagał poruszania się po stronach systemu, by odnaleźć komunikat o problemie z uwierzytelnianiem.
CISCO MERAKI
Meraki oferuje jedynie zarządzanie i monitorowanie punktów dostępowych w chmurze. Nie dysponuje analityką opartą na AI/ML. Strona główna interfejsu zapewnia ogólny widok stanu sieci, niestety bez podglądu na funkcję Health, która jest najbardziej pomocna przy rozwiązywaniu problemów z siecią Wi-Fi. Opcja ta jest dostępna dopiero w sekcji Wireless i zakładce Monitor.
Dziennik zdarzeń dostępny pod funkcją Health może być niejasny i wymaga podjęcia dodatkowych działań w poszukiwaniu szczegółów. Meraki korzysta z podejścia heurystycznego, które jedynie określa procent klientów dotkniętych danym problemem, nie dając gwarancji znalezienia rozwiązania.
Wskaźnik MTTI wyniósł 3 minuty. Z wykorzystaniem funkcji Health pokazującej ogólny widok problemów, a następnie zagłębieniu się w listę podłączonych klientów oraz listę niepowodzeniem z tym związanych udało się stwierdzić problem z kluczem współdzielonym. W przypadku testu DHCP widok historii zdarzeń przy konkretnym odbiorcy umożliwił jednoznaczne stwierdzenie problemów z serwerem uwierzytelniającym. Ten sam widok wykorzystano do zidentyfikowania problemu z 802.1X.
JUNIPER MIST
Mist również oferuje wyłącznie zarządzanie i monitorowanie punktów dostępowych w chmurze. Główny pulpit nawigacyjny daje podgląd na ogólne działanie sieci Wi-Fi w całym obiekcie, włącznie z informacjami o poziomie świadczonych usług SL (ang. Service Levels).
SL jest kluczową funkcjonalnością pozwalającą administratorom zagłębienie się w konkretne szczegóły, gdy próg z jednej usług zostanie ustawiony poniżej dopuszczalnego progu. Mist przekazuje dane związane z ML do algorytmu AI i wirtualnego asystenta Marvis (dodatkowa subskrypcja), dostępnego z poziomu menu interfejsu. Mist wykorzystuje ML do uczenia się, bazując na wszystkich zebranych zdarzeniach, by móc poprawić swoją analitykę predykcyjną. Administratorzy mogą kierować zapytania do Marvis’a o konkretne urządzenie lub witrynę, uzyskując w odpowiedzi wykryte nieprawidłowości.
MTTI wyniósł 5.3 minuty. Z wykorzystaniem SL podjęto próbę zbadania przypadku z PSK. Nie udało się jednak odnaleźć danych wskazujących na te problemy u konkretnego klienta. Dopiero Marvis umożliwił wyraźne stwierdzenie nieprawidłowości we współdzielonym kluczu. Dla przypadku DHCP SL okazał się wystarczający. Wykryto brak odpowiedzi w DHCP Discover. Test 802.1X zidentyfikowano jako powszechny problem z uwierzytelnianiem i wymagał przejrzenia innych stron, by ustalić nieudaną komunikację z serwerem RADIUS.
CommScope RUCKUS
RUCKUS oferuje analitykę sieciową, jak również wgląd w AI i ML poprzez swój produkt RUCKUS Analytics, który jest zintegrowany z platformą zarządzania w chmurze RUCKUS Cloud. RUCKUS Analytics jest również dostępny do wykorzystywania jako rozwiązanie lokalne. Podobnie jak w przypadku innych producentów, dziennik zdarzeń umożliwia przeglądanie wszystkich zajść w sieci Wi-FI. Wpływ problemów na działanie WLAN może być trudny do określenia. Można go jednak skorelować z konkretnym identyfikatorem SSID, co ułatwia analizę. Dostępna jest również możliwość generowania wstępnie zdefiniowanych lub spersonalizowanych raportów, zapewniając sobie stały dostęp informacji o stanie sieci Wi-Fi i pomagając w identyfikacji problemów.
RUCKUS oferuje również analitykę premium (dodatkowa subskrypcja), która określa oddziaływanie problemów na pracę sieci oraz daje wskazówki na rozwiązanie ich. Wirtualna asystentka RUCKUS, Melissa, pomaga w identyfikacji nieprawidłowości w działaniu sieci Wi-Fi za pomocą czatu. Zdarzenia wyświetlane są w sposób przejrzysty, bez przestrzeni na interpretację i bez konieczności przeprowadzania dodatkowych działań. Wizualizacja danych dołączona do analizy skraca czas MTTI.
MTTI wyniósł 2.3 minuty. Dla przypadku PSK szczegółowy opis incydentu stwierdził niezgodność współdzielonego klucza. Test DHCP przeszedł również pomyślnie, znaleziono przyczynę ”timeout DHCP” oraz dostarczono wizualizację wraz z zaznaczonym miejscem w procesie, gdzie wystąpił błąd. Z wykorzystaniem funkcji Client Troubleshoot odnaleziono przyczynę i miejsce nieprawidłowości związanej z 802.1X.
Średni czas identyfikacji MTTI dla badanych producentów w minutach
TEST 2 – WNIOSKI
Analityka premium RUCKUS zapewniła szczegółowy i wizualny wgląd w pracę sieci oraz doświadczenia użytkowników, co przełożyło się na najniższy wynik MTTI. Wykorzystanie sztucznej inteligencji AI i uczenia maszynowego ML wpłynęło na łatwiejsze określenie wpływu problemów na pracę sieci Wi-Fi oraz rzetelną analizę na podstawie danych zgromadzonych w dzienniku zdarzeń. Uznano RUCKUS za najlepsze rozwiązanie pod względem średniego czasu identyfikacji MTTI i precyzyjności w określaniu przyczyn wykrytych nieprawidłowości. Rozpoznania RUCKUS nie wymagały podejmowania dodatkowych działań i zagłębiania się w zakładki dostępnego interfejsu.
Przykład analizy i rozwiązywania problemów w systemie RUCKUS premium
Meraki oferował użyteczne spostrzeżenia bez AI/ML lub analityki premium, wyróżniając się tym wśród pozostałych producentów.
Asystent AI Mist, Marvis, skutecznie zawęził przyczyny wykrytych problemów sieci Wi-Fi, co jest znacznym ułatwieniem w pracy administratorów IT.
Według specjalisty przeprowadzającego ten test, AI Insights firmy Aruba wymaga dalszego rozwoju, by podnieść swoją skuteczność i funkcjonalność, z wymogiem częstszego aktualizowania dziennika zdarzeń.
Pulpit nawigacyjny firmy Extreme zapewniał przejrzysty wgląd w problemy związane z siecią Wi-Fi, jednak z wymogiem wcześniejszej identyfikacji i zlokalizowania dotkniętego nieprawidłowościami klienta. Sytuacja ta znacznie wpłynęła na wydłużenie MTTI.
PODSUMOWANIE
Autor raportu był naocznym świadkiem wszystkich przeprowadzonych testów. RUCKUS jako sponsor badania zapewnił otwarty dostęp do sprawdzania wprowadzonych konfiguracji, aby zagwarantować równe szanse każdemu dostawcy. Dzięki temu testy zostały przeprowadzone w sposób rzetelny i uczciwy.
Zestaw przeprowadzonych testów dobrano w taki sposób, by odzwierciedlał typowe środowisko korporacyjne lub kampusowe, obejmujące różne urządzenia i ich możliwości. Użyty sprzęt symuluje rzeczywisty stan spotykany w biurach i dobrze znany dla wielu administratorów taki jak miks wykorzystywanych generacji Wi-Fi czy miks generowanego ruchu w sieci.
Pomimo tego, że każda nowa generacja Wi-Fi zwiększa możliwości z zakresie wydajności, szybkości transmisji danych i przepustowości, zastosowane mieszane środowisko klienckie będzie w pewnym stopniu ograniczać pełne wykorzystanie Wi-Fi 6. Z przeprowadzonych testów jasno jednak wynika, że łączna, jak i indywidualna wydajność urządzeń w zróżnicowanym otoczeniu może się drastycznie różnić w zależności od producenta. Zawarte wyniki zapewniają administratorom wgląd w pracę każdego punktu dostępowego w podobnym środowisku.
Ciężko jest określić, na jakiej podstawie poszczególne AP realizują usługę QoS i kolejkują ruch. W tym obszarze wykazano znaczne różnice w jakości w zależności od producenta. Najlepiej poradził sobie RUCKUS R750, który był w stanie obsłużyć cały ruch konsekwentnie i we właściwy sposób.
Administratorzy IT coraz częściej zwracają uwagę na wrażenia użytkowników końcowych i wydajność pracy. Z tego względu w raporcie zawarto analizę porównawczą średniego czasu identyfikacji MTTI dla zestawu incydentów za pomocą pulpitu nawigacyjnego każdego z producentów. Otrzymane wyniki MTTI mogą być racjonalnie rozszerzone na średni czas do rozwiązania MTTR (ang. Mean Time To Resolution). Specjalista przyznaje, że odczucia z korzystania z interfejsów i ocena jakościowa są subiektywne i zależą od doświadczenia administratora sieci. Dołożył on jednak wszelkich starań, aby wystawić neutralną i sprawiedliwą opinię.
Opracowano na podstawie materiałów PACKET6
