Blog
Google Cloud Next 2018 Conference
Tagi: BigQuery, Cloud, GCP, Google, IRM, Istio, Kubernetes, Machine Learning, Service Discovery, SRE, Stackdriver
Autorami wpisu są: Tomek Przebieracz, Tomek Lis, Tomek Kołodziej, Mateusz Bularz, Grzesiek Gawin oraz Piotr Mynarski
Od ponad roku trwa nasza przygoda z rozwiązaniami Cloud. Poszliśmy w kierunku rozwiązań, jakie oferuje nasz partner Google czyli Google Cloud Platform. Z przyjemnością dostrzegamy, że platforma ta rozwija się bardzo dynamicznie i dostarcza nam naprawdę fajnych narzędzi wspomagając nas w naszych kolejnych wyzwaniach.
Podczas ostatnich warsztatów z inżynierami GCP otrzymaliśmy zaproszenie na konferencję Google Cloud Next 2018 w Londynie na którą z chęcią się wybraliśmy.
Konferencja Google Next London 2018 odbywała się w dniach 10-11 października. My pojechaliśmy jednak nieco wcześniej ponieważ mieliśmy okazję uczestniczyć w warsztatach z tematu Site Reliability Engineering (SRE), które szczególnie nas interesowały.
Tomek Przebieracz oraz Tomek Lis pojechali do Londynu już w niedzielę 07.10 i na miejsce dotarli wieczorem.
Jak relacjonuje Przebi:
Jako, że byliśmy na miejscu już dość późno jedyne co nam pozostało to znaleźć jakiś dobry pub i spróbować angielskiego piwa, co też uczyniliśmy. Pomimo tego udało nam się wstać na tyle wcześnie rano by dać radę nie spóźnić się na warsztaty z Software Reliability Engineering następnego dnia o 9.00.
Poniedziałkowe warsztaty SRE
Warsztaty odbywały się w siedzibie Google w centrum Londynu obok Pałacu Buckingham i Victoria Station, a składały się z cyklu prelekcji o różnych aspektach SRE, przerywanych warsztatami na bazie QwikLabs: https://qwiklabs.com.
Poruszane tematy to między innymi założenia podejścia Site Reliability Engineering (SRE) oraz narzędzia pomocne w ich realizacji takie, jak stackdriver, kubernetes, tracing, profiling, stackdriver IRM. Tematy poruszane dotyczyły głównie artykułów z tej książki (dostępnej również pod adresem https://landing.google.com/sre/book/index.html):
Trochę spóźnieni, ale prosto z samolotu na zajęcia dotarli pozostali uczestnicy wyjazdu: Piotr Mynarski, Tomasz Kołodziej, Mateusz Bularz i Grzegorz Gawin. Co poniektórzy aby dotrzeć do Londynu na 10 rano czasu BST musieli wstać 10 godzin wcześniej czyli koło 1 w nocy naszego czasu. Dość ciekawe zajęcia trwały prawie cały dzień, ale nie mogło oczywiście przy tym zabraknąć czasu na najważniejsze…
Oczywiście wieczorem byliśmy już tak zmęczeni, że wybraliśmy się na zwiedzanie miasta i okolicznych restauracji nocą. Londyn nocą jest hmmm … drogi i piękny :).
… we are Gentelmen in London!
Kolejny dzień poświęciliśmy na odpoczynek połączony ze zwiedzaniem Londynu!
Nasz maratończyk Tomek, mimo wczesnej pory zwiedził Londyn po raz pierwszy w tym dniu w szybkim tempie, pokonując dystans 22 km wzdłuż Tamizy i okolicach Greenwitch. Reszta gentlemanów po zasłużonym odpoczynku i angielskim śniadaniu udała się w mniej zawrotnym tempie na “rozważną i romantyczną” wycieczkę po znanych i mniej znanych zakamarkach tego inspirującego miasta.
Next 2018
Wreszcie nadszedł długo oczekiwany dzień rozpoczęcia konferencji!
Konferencja cieszyła się sporym zainteresowaniem, bo było nas tam w sumie około 10000 ludzi. Żeby w ogóle wejść na obszar London Excel, gdzie odbywała się konferencja trzeba było przejść przez skrupulatną kontrolę bezpieczeństwa jak na lotnisku. Tradycyjnie, rozpoczęło się od Keynote Building a Cloud for Everyone, na której takie osoby jak min. Sebastien Marotte (VP, Google Cloud EMEA,Google Cloud), Diane Greene (CEO,Google Cloud), Urs Hölzle (SVP Cloud Infrastructure, Google) czy Amy Lokey (VP, Apps UX, Google Cloud) pełni pasji przedstawiali wizję rozwoju Google Cloud Platform. Każde wystąpienie pokazywało ogromną skalę całego przedsięwzięcia oraz jak wiele czasu i uwagi poświęca się na rozwój istniejących usług w cloud oraz budowanie nowych. Można było wywnioskować, że niezaprzeczalnie Cloud to obszar, na który firma Google będzie poświęcała wiele uwagi w najbliższych latach.
Najciekawsze z naszej perspektywy tematy, jakie były poruszane na konferencji to:
- Site Reliability Engineering (SRE) czyli jak zarządzać niezawodnością systemów rozproszonych i jak praktyki stosuje w tym podejściu sam Google
- Istio jako narzędzie service management dające możliwość monitorowania, zabezpieczania i obserwowania aplikacji i serwisów rozproszonych.
- Machine Learning (ML) i sztuczna inteligencja (AI) pod różnymi postaciami
-
- BigQuery ML (https://cloud.google.com/bigquery/docs/bigqueryml-intro)
- AutoML (https://cloud.google.com/automl/)
- TensorFlow (https://www.tensorflow.org/)
- Zarządzanie usługami w Kubernetes, procesy CI/CD dla usług uruchamianych w GKE przy użyciu Jenkinsa oraz Spinnaker’a.
- Stackdriver Incident Response and Management (IRM) kompleksowe rozwiązanie do logowania, profilowania, debugowania oraz kompleksowego zarządzania incydentami
BigQuery ML umożliwia tworzenie modeli ML bezpośrednio w źródle danych, jakim jest BigQuery bez zastosowania języków programowania jak Python, z wykorzystaniem jedynie zapytań SQL. Tworząc model ML bezpośrednio w źródle danych oszczędzany jest czas na przesyłanie danych do zewnętrznych lokalizacji. Dzięki temu modele ML mogą tworzyć osoby odpowiedzialne jedynie za analizę danych bez oczekiwania na wolną chwilę zespołu data science.
IRM (Incident Response and Management) to nowe narzędzie wbudowane w Stackdriver które wspomaga praktyki SRE. Umożliwia ono współpracę nad problemami dotykającymi monitorowane systemy
- Kompleksowe zarządzanie cyklem życia incydentów od wystąpienia alertu, poprzez analizę aż do rozwiązania problemu.
- Wspomaganie procesu reagowania poprzez stworzenie przestrzeni do współpracy osób zainteresowanych.
- Automatyczna korelacja aktualnych danych w celu przyspieszenia procesu dochodzenia oraz skrócenia czasu łagodzenia.
Wraz z istniejącymi możliwościami Stackdriver’a takimi jak logowanie, profilowanie, debugowanie oraz alertowanie – całość staje się kompleksowym narzędziem zarządzania niezawodnością systemów.
Stackdriver IRM znajduje się aktualnie w fazie testów alfa – w związku z czym jest udostępniany w miarę możliwości dla zainteresowanych użytkowników.
Google Kubernetes Engine – W temacie zarządzania usługami uruchomionymi w GKE dowiedzieliśmy się o kilku ciekawych praktykach. Vic Iglesias opowiedział o tym jak najlepiej przygotować procesy CI w oparciu o Jenkinsa oraz Cloud Build. Oraz o tym jak przy użyciu Spinnaker’a przeprowadzić proces CD z zastosowaniem takich praktyk jak wdrożenie blue/green lub też canary release. Całość tej prezentacji można obejrzeć tutaj: https://www.youtube.com/watch?v=IDoRWieTcMc.
Można było również zobaczyć metody wdrażania dużych rozwiązań opartych o k8s z użyciem sieci VPC i centralnym zarządzaniem tymi sieciami z jednego projektu z których te sieci są współdzielone. Uzyskaliśmy w ten sposób potwierdzenie że stosujemy dobre praktyki, ponieważ właśnie w taki sposób skonstruowaliśmy nasze rozwiązania.
Jedną z nowości jest dostępny w wersji beta customowy zasób BackendConfig który pozwala na wykorzystanie możliwości GC Load Balancer w usługach k8s. Rozwiązanie to polega na traktowaniu podów wdrożonych w Kubernetesie jako backendów GCLB co usprawnia proces równoważenia obciążenia i odblokowuje możliwości tego narzędzia czyli: CDN, Cloud Armor oraz IAP.
Ponadto zobaczyliśmy np jak wygląda projekt wspomagania tłumaczenia egipskich hieroglifów z pomocą AutoML, oraz rozpoznawanie obrazów samolotów na zdjęciach z pomocą TensorFlow.
Contact Center AI
Jedna z prezentacji poświęcona była możliwości połączenia Machine Learning AI z wykorzystaniem narzędzi do przetwarzania mowy: Natural Language Processing (NLP) oraz Dialog Flow do zbudowania produktu dla wsparcia automatyzacji Contact Center. Można sobie wyobrazić sytuację, kiedy virtualny asystent jest w stanie obsłużyć około 20-40% typowych przypadków obsługiwanych w tej chwili przez konsultantów. Ponadto każda zaprogramowana ścieżka za pomocą DialogFlow może zostać stosunkowo łatwo zaimplementowana na jeden z kolejnych ponad 20 języków dostępnych obecnie dla DialogFlow. Imponująca technologia dający ogromny potencjał wykorzystania ale jeszcze na dosyć wczesnym etapie rozwoju. Patrząc z punktu widzenia możliwości wsparcia naszego działu Call Center z pewnością jest to bardzo interesujące narzędzie warte obserwowania.
After Parties
W przerwach między sesjami poznawaliśmy innych pasjonatów technologii chmurowych oraz gry w piłkarzyki, gdzie uczestniczyliśmy w meczach z przedstawicielami kilku narodów regionu CEE.
Na konferencji było kilka imprez… gdzie zdobyliśmy kilka ciekawych kontaktów i poznaliśmy wiele osób m.in inżynierów i program managerów z Google’a, z którymi zamierzamy spróbować zacieśnić współpracę w najbliższym czasie.
Podsumowanie
Konferencja oraz warsztaty w których uczestniczyliśmy dały nam wiele inspiracji i podsyciły nasz zapał do technologii cloudowych. Zmieniamy od roku nasze spojrzenie i podejście do wielu problemów i wyzwań. Mamy to szczęście, że nas na to stać i mamy sprzyjający ku temu biznes. Przed nami wiele wyzwań ale widzimy, że niezaprzeczalnie bierzemy udział w dużej zmianie jaka dokonuje się w świecie technologii.
Tak już na koniec mała dygresja :). Wprawdzie Google ma świetne rozwiązania chmurowe ale z pewnością my zasłynęliśmy szeroko w świecie IT z niedoścignionej gry w piłkarzyki …. bo cóż tak naprawdę w życiu się liczy prawda?
Status wyjazdu: udany;
Straty: jeden uszkodzony laptop (nie był tani i miał tylko tydzień …hehe) poza tym brak strat moralnych i wizerunkowych;
Action points: next Next! (SF CA 2019 ?), more GCP, more SRE, more ML
Autorami wpisu są: Tomek Przebieracz, Tomek Lis, Tomek Kołodziej, Mateusz Bularz, Grzesiek Gawin oraz Piotr Mynarski