Dziś mówię jakie technologie polecam na start. Także o tym dlaczego popularny „cloud” to nie jest dobry pomysł. Przynajmniej nie na początku. O ile chcesz być dobrym inżynierem big data;-)

Notatki:

• Ebook „Szlakiem Big Data” + newsletter: http://blog.riotechdatafactory.com/ebook-o-big-data/
• email: marek.czuma@riotechdatafactory.com

Proszę, oceń ten odcinek i podaj go dalej;-).

Ja nazywam się Marek Czuma. Jestem inżynierem oraz instruktorem Big Data. Jestem również założycielem Riotech Data Factory i Akademii Big Data.

• Spotify
• YouTube

Transkrypcja odcinka

[Transkrypcja automatyczna, mogą pojawić się błędy]

Big Data to bardzo złożona branża. I nic dziwnego w związku z tym, że prawie zawsze, a przynajmniej najczęściej, kiedy zadajecie mi pytania, to krążą one w oku tematu, od czego zacząć, za jakie technologię się zabrać, jak ułożyć sobie taką mapę drogową, czy pójść na te studia, czy na te, czy ruszyć to technologię, czy z tamtą, z chmurą, czy z on premisem. I dlatego postanowiłem nagrać na odcinek. Opowiem o tym, od czego moim zdaniem warto zacząć i przede wszystkim być może. Dlaczego nie warto zaczynać od chmury? Dlaczego warto ruszyć z bardzo tradycyjną infrastrukturą? Zapraszam na odcinek numer 24. Big Data po polsku. Cześć, witam cię w podkaście Big Data po polsku. Poznajemy tu wspólnie jak działa świat, który jak wiadomo zbudowany jest z danych i rządzony jest przez algorytm. Jesteś w dobrym miejscu, jeśli interesują cię technologię, biznes, społeczeństwo, lub pogłębianie swojego potencjału i to wszystko w kontekście danych. Ja nazywam się Marek Czuma, jestem założycielem Riotech Data Factory, firmy, która pomoże ci zrozumieć Big Data, wymiarze technicznym i biznesowym. Nalej do kupka solidną porcję swojej ulubionej kawy. Pakuj swoje rzeczy i rusza i ze mną w tą fascynującą przygodę. Chciałbym na samym początku opowiedzieć ci małą historię. To jest historia sprzed, chyba pół roku, roku może, kiedy przeprowadzałem rekrutację techniczną i trafił mi się jeden kandydat. Kandydat, który był na pierwszy rzut ok. naprawdę niezły. Pracował już parę lat w zawodzie, a w tej branży parę lat, no to już jest całkiem niezły wynik. I miał bardzo istotną technologię, to, którą ja osobiście lubię najmocniej, czyli apaci sparka. Pracował dodatkowo w bardzo takim popularnym środowisku, bo na chmurze Microsoft Ażur. I postanowiłem nie pytać głos takich bardzo podstawowych rzeczy. Postanowiłem zrobić to, co uważam, że powinno się robić na rekrutacjach, czyli nie odpytka tylko rozmowa. Więc pomyślałem, porozmawiajmy na temat takich bardziej ogólnych konceptów, porozmawiajmy na temat twojego doświadczenia. Popytam cię, zobaczymy, dlaczego takie rozwiązanie wybrałeś, a nie inne, zobaczymy gdzie widzisz wady, gdzie widzisz zalety. I zaczęliśmy rozmawiać. I rozmawiałe się naprawdę dobrze, do momentu, w którym mój drugie kolega, który razem ze mną prowadził tu rozmowę, nie zadał bardzo konkretnego technicznego pytania. Ja się troszeczkę znarwowałem, bo się umawiliśmy inaczej, ale po czasie okazało się, że bardzo dobrze zrobił. I to pytanie nie wyszło najlepiej. To, że ono nie wyszło najlepiej, nie jest jeszcze Boże niczym by złym w końcu, nikt nie ma całej wiedzy technicznej w głowie, ale stanowiło pewien, pewną lampkę ale mową. I postanowiłem, że pójdziemy od początku tradycyjną ścieżką, czyli zacząłem pytać o techniczne rzeczy, kto przeszedł kurs fundament, a patrzyj z parku, wie, jak się przygotować na rozmowę, a ja tylko powiem, że ja zawsze zaczynam od podstawowego jednego pytania. O powiedzmy, czym jest spark? Co to jest za technologia? Dlaczego ona jest fajna? Albo dlaczego nie jest fajna? Co tu w ogóle mogę zrobić? I opowiedz mi o tym, jak osobie technicznej, ale która nie zna sparka. Czyli umiem tam programować znam różne technologie, ale załóżmy, że nie znam w ogóle sparka, więc prostymi słowami, co to jest spark? Wyobraź sobie, że ten kandydat miał bardzo duży problem. Bardzo duży problem, dlatego że wszedł od razu jakichś szczegóły zacząło, od razu opowiadać o części architektury, ale to nie odpowiadało na pytanie, co to jest spark i co można robić przy pomocy tej technologii. Dlaczego ja w ogóle chciałbym do niej usiąść, co dzięki niej mogę osiągnąć? Więc zaczęliśmy naprowadzać, to pytanie nie poszło najlepiej, ale jakoś przebrwnyliśmy. Natomiast prawdziwe problemy zacząłem się później. Zaczewam pytać o podstawowe koncepty. I znowu, jeśli przeszedłeś kurs, fundamenta, patrzyć spark, niedostępny obecnie, ale może jesteś jednym z tych szczęściwców, to wiesz, że mój styl nauki i pytań to jest o do ogół do szczegółów. Czy nie nurkujemy od razu w jakiś detale, zaczynamy od ogólnych konceptów, żeby zobaczyć, czy w ogóle rozumiemy koncepcję. I koncepcja wypadła trochę, powiedzmy, jakoś tam nie najlepiej, ale jakoś tam, natomiast im bardziej zagłębiejśmy się w szczegóły, tym było gorzej. Okazało się, że człowiek, który już parę lat siedział w technologii, nie umie podstaw, nie zna absolutnie fundamentalnych rzeczy w tej technologii. I mówię ci o tym z jednego powodu. To nie jest jedny człowiek, który wypadł podobnie. Zaczewam zadawać sobie pytanie, dlaczego niektórzy ludzie, którzy mają w siewie kilka lat doświadczenia, w konkretnej technologii wypadają źle na rozmowie rekrutacyjnej. Śle nie na rozmowie, na której druga strona stara się czepiać, stara się wykazywać błędy, bo ostatnie co mi chciał to wykazywać błąd i się czepiać, bo zawsze można się czegoś utrzebić. Nie tylko chce zobaczyć, czy ktoś umie technologie, czy ktoś zna podstawowe rzeczy, z podstawowe terminne koncepcje i czy umie myśleć. Zawsze staram się wprolić przyjazną atmosferę, bo liczę, że wtedy naprawdę ta wiedza się ujawnia. I co się okazuje? To jest schemat, który powiela się koncertowo. Ludzie, którzy zaczynają swoją przygodę od chmury, nie rozumieją podstaw. Nie rozumieją koncepcji, które stą zadanymi technologiami. I to jest coś, co wykazany właśnie podczas tej rozmowy, po raz kolejny. Okazało się, że człowiek, którego CV jest naprawdę niezłe, który się odrełło. Pieniądze też chciał całkiem niezłe. No jego wiedza pozostawy wiele do życzenia i tylko z tego jednego podstawowego faktu, że zaczyna swoją naukę od chmury. I od tego zaczynijmy. Zaszniemy od pytania, dlaczego nie od chmury. No bo przejdźmy sobie przez tą negatywną część. Acz bardzo ważną, ponieważ dzisiaj współcześnie chmura jest bardzo modnym narzędziem. Bardzo popularnym każdy chce mieć w chmurze, a wszystkie filmy chcą się chwalić, tym, że mają chmurowe rozwiązania. Natomiast zaczynijmy od pytania, dlaczego nie warto zaczynać nauki Big Data od chmury. I podkreślam wierzę tutaj. Po pierwsze, podkreślam Big Data. Być może w innych branżach rozpoczęcie nauki od chmury jest bardzo dobrym pomysłem. Ja mówię tylko Big Data. To jest jedna rzecz. Druga rzecz, to, że krytykuję rozpoczynanie nauki od chmury, nie znaczy, że krytykuję chmurę. Chmura ma swoje plusy i ma swoje minusy, ma swoje ogromne przewagi na rozwiązaniami on-premysowymi i ma swoje wady, które czasami dyskwalifikują tego typu rozwiązania. Najważniejsze, żebyśmy umieli rozpoznać konkretną sytuację, konkretny projekt, konkretne zastosowanie i dostosować do infrastruktury. Natomiast rozpoczynanie nauki od chmury to już inno sprawa. Trzecia rzecz, którą chce podkreślić, to, że krytykuję rozpoczynanie nauki od chmury, nie znaczy, że krytykuję naukę później. Chodzi o to, żebyś zaczął, czy zaczęła z innej strony, a potem do chmury jak najbardziej możesz dojść, mądź tam zostać, mądź tam ekspertem i to będzie bardzo dobre. Ale zacznijmy od podstawowej rzeczy, którą starałem się poprzeć tu historią. Chmura mówiąc najprościej upośledza człowieka. Korzystanie z chmury na samym początku upośledza nasze podejście do technologii. Dlaczego? Nie wiem, czy byłaś kiedyś w chmurze typu arzut, szczególnie w Azurze. Szczególnie w Azurze, dlatego że Microsoft zrobił dużo, żeby to właśnie wyglądało w taki sposób, jak teraz powiem. Ogólnie chmury, ale szczególnie w Azurze wyglądają następujący sposób. Masz do czynienia z bardzo poważnymi technogiami, które opakowane są w taki interfejs i w taki marketing, żeby to wyglądały jak zabawka. Bardzo okrągłe, piękne i konki, wszystko co może się wydawać, że wszystko można wykliwać, możesz zwiększyć zasoby dosłownie kilkoma słowaczkami i tak dalej i tak dalej. Żadnych konsolli, żadnych topornych znanych z Linuxa i ogólnie z on premisa rozwiązań interfejsów, wszystko jest ładne, wszystko jest piękne, gładkie, zarówno odsłonę wizualnej, jak i zresztą od strony marketingowej. Więc wchodząc już w ten świat, zaczynamy patrzeć na jego tak, jakbyśmy mogli się tam po prostu bawić bez żadnych zobowiązani. Natomiast jak się pewnie do meśdasz, a mam nadzieję, że się do myślasz, nie ma w życiu czegoś takiego, jak bez zobowiązania. Wszystko ma swoje skutki, każda nasza decyzja, ich muratę ma swoje skutki. I im bardziej ktoś stara się przykryć te bardziej utiążliwe sfery, tym bardziej później się okazuje, że konsekwencje mogą być większe i większe. W przypadku chmury te konsekwencje najczęściej objawiają się kosztami, ale o tym dzisiaj nie będziemy rozmawiać. Ten temat poruszałem w jednym z pierwszych odcinków i on jest bardziej biznesowy, a dzisiaj mówimy o takim stricte, inżynierskim aspekcie, o tym stricte i inżynierskim podejściu, więc jakie tu są konsekwencje? Ponieważ wchodzimy w świat zabawy, przyjemności, psłowaczków, ikonek i tak dalej, to okazuje się, że wymagania są dużo mniejsze, próg wejście jest dużo mniejsze niż gdybyśmy musieli pracować on premisową, czyli na rozwiązaniach niech murowych, na rozwiązaniach, które są bliżej takiej fizycznej infrastruktury. Kiedy wchodzimy na chmure, żeby dostać jakiś efekt, żeby zrobić coś na przykład właśnie w sparku, wystarczy, że urochowimy sobie takie nudbuczek, czyli dosłownie instalujemy odpowiednią apikację, odpowiedniej usługę. Następnie wchodzimy w nudbuki, czyli w taki temat naprawdę okienka tekstowe, w których możemy wpisać polecenie. Wszystko maszynelia, który ukryta pod spodem chmury nam to polecenie wykona. Żadnej administracji, żadnych ustawiania zasobów, żadnego konfigurowania całej technologii. Wszystko możemy zrobić bardzo szybko, bardzo łatwo i uwaga, co jest najważniejsze. To działa. Jeżeli chcesz rozwiązać problem, to przy pomocy chmury i rozwiązań takich, jak właśnie spark, tutaj się męde trzymał tego rozwiązanie nie bez powodu, to zrobisz to i to będzie działać. I może nawet na tym stawiać bardzo duże projekty, które będą działać. Problem, który się okazuje po czasie albo który się nie okazuje nigdy. Nigdy jest taki, że te rozwiązania, które ze izastosowało są strasznie nieoptymalne. Są bardzo źle napisane, są niewydajne. I niedowiesz się o tym dlatego, że to działa. To, że z żera bardzo dużo zasobów, to możesz sobie powiedzieć tak, takie dane, takie operacje po prostu dla zasobów z żerają. To co robimy, to podnosimy jednym z tych słowatków nasze zasoby. Dodajemy kolejne gigabyte RAM-u. Ok, firma za to za płaci. Ale możecie to, że okazać, że po prostu źle to napisałeś. I cały kod jest napisany bałaganiarzko, cały kod jest napisany niezgodnie z dobrymi praktykami. Cały kod został napisany tylko, żeby działało taki sklejony nataśme, zamiast napisany porządnie zaplejektowany od podstaw, przegadany skorajor, czekuje rzanku z pracy. Zamiast przeprowadzić poważną procedurę, w wyniku której dostaniemy poważny, dobrze napisany kod. Może się okazać, że te masz kilka komentnakrzyż, które też przecież robią to samo. No tylko że po pierwsze dają, że dają dużo więcej zasobów. Po drugie może się też powiedzić, mogą się też powiedzieć jakieś kwestie związane bez bezpieczeństwa. I ty się nigdy o tym nie dowiesz. A dlaczego się o tym nie dowiesz? No bo to będzie działać tak jak powiedziałem. Więc kiedy wchodzimy w chmule, nie mamy takich wymagań i możemy robić rzeczy na odwalsie, które i tak będą działać, i od których i tak nie będziemy musiały uciekać, bo nas nie uderzą pod twarzy. Druga rzecz jest taka, że są technologie, które faktycznie tak jak w przypadku sparka, możemy zgłębić, możemy poznać architekturę, zobaczyć jakie są dobre praktyki w stosowaniu, ale są też takie technologie, które są stricte związane z daną chmurą. I jeżeli jesteśmy dociekliwi, jeżeli chcemy poznać co to jest za technologia, co tam działa pod spodem, jak to działa pod spodem, to uwaga nie ma szans. Nie dowiesz się, albo dowiesz się, jak będziesz drożyć naprawdę długo. Podstawowe rzeczy, których się dowiesz na temat konkretnej technologii, tak jak powiedzieliśmy, natywnej stworzonej stricte przez tłuchmure, czyli np. jeżeli pracujemy na chmurze Microsoft Arzul, to na Azurze mamy serwisy, które są tylko tam, i na chmurze AWS tego nie ma, i na chmurze DCP tego nie ma. I na odwrót na awlasie mogą być serwisy, których nie ma na Azurze, nie ma na DCP itd. Rozmierz, więc chodzi o to, że te te te, te technologie nie mają porządnie rozpisanej architektury, nie mają porządnie rozpisanego całego kodu, nie są upensolcowe, i nie dowiesz się, jak one są zbudowane pod spodem. Dowiesz się tylko tak, jak dostajesz instrukcję, jak został korzystać na takiej zasadzie, korzystać z odkurzacza, tak? Korzymy jako inżynierowie, chcielibyśmy korzystać bardziej świadomie. Chcielibyśmy wiedzieć jednak, jak są zbudowane te technologie, a nie tylko umieć wykrywać w nich trzy rzeczy na Krzysz, żeby działało. Więc mamy już tu drugi problem. Drugi problem polega na tym, że nie poznamy nawet, jeśli będziemy chcieli niektórych technogi. I można powiedzieć, no dobra, co z tego? Przecież skoro i tak będzie to działać, a nie ma potrzeby poznawania, to czemu mam się męczyć. Ano po to, drugi kolegów, czy koleżanko, że Ty idą za taką łatwiznę, upośledzasz swój mózgi, swoje umiejętności inżynielskie. Masz ogromny potencjał, masz możliwości, które są niedopojęcia, ale ściskasz je przez to, że nie ćwiczysz tego umysłu. Jeżeli nie starasz się poznać danej technologii, to nie umiesz to się i porówne. Nie wdłużysz później w jakiegoś swojego wkładu w rozwój kolejnych typu technologii. Samodzielnie nie będziesz w stanie budować bardziej skompikowanych projektów, które wymagają jednak już zauważania pewnych rzeczy. I tak dalej, tak dalej. Czyli Ty hamujesz swój rozwój i hamujesz swój potencjał. Tym, że nie wgryzasz się, tylko pływasz po powierzchni. I ok, w przypadku on premisowych technologii też się da, też się da pływać po powierzchni, ale tam, jeżeli jesteś do ciekiwy, to znajdziesz architekturę, znajdziesz dobra praktyki, nawet przeczytasz kod, jeżeli jesteś bardzo do ciekiwy. I zrozumiesz dokładnie, jak wygląda budowa tego tej technologii. Dlaczego dany błąd występuje a inny nie? I to jest kolejna rzecz. Zaczynamy od chmury, dostanimy bardzo łatwy zestaw technologiczny, z bardzońskim progiem wejścia, z drugiej strony, z bardzo dużymi przeszkodami, jeżeli chcemy się wgliść. I tak się zaczyna nasze wyrabianie zdania na temat Big Data. To pomyśl sobie, co jeżeli trafisz na bardziej złożony problem. Co jeżeli ktoś cię spyta, a powiedz mi, czy lepiej tą technologię wybrać czy to, albo zaprojektuj całą architekturę systemu, biorąc pod uwagę, że mamy. On premisa i chcemy korzystać z chmury. Z jakiej chmury mamy korzystać? Kiedy pojawiają się złożone wyzwania, po pewnym czasie oczywiście doświadczenia, to bardzo duże, dużo uwagę zaczyna mieć to, w jaki sposób ty podchodziłeś, czy podchodziłaś na sami początku. To zaczyna stanowić swoją przewagę. Czy umiesz patrzeć do głębi, czy tylko się ślizgasz po powierzchni? Czy lubisz się wgryzać? Czy tylko zaspakajesz się tym, że kod, który znalazłeś na stackover flow przeklejony, po prostu działa? Więc to jest kolejna rzecz. Następna, dlaczego nie warto zaczynać od chmury, bo jest później trudno przejść do on premisa. W ogóleś sobie, że masz już to doświadczenie, pracujesz w technologach, on premis chmurowych kilka lat, 3-4 lata, nawet na jednej chmurze, a może nawet na 2, masz certyfikaty, i nagle musi wprzejść na on premisa. Przejdziesz? Mój dzieci bardzo ciężko. Zareńczam ci. Będzie ci bardzo, bardzo trudno. Technologię on premisowe są dużo bardziej surowe. Technologię on premisowe są wymagają innego zestawu. Myślenia są trudniejsze, więc kustyń i przejście od chmury do on premisa będzie dla ciebie nie mało przeszkodą, a w związku z czym, że z tym, że dla ciebie jesteś mleńliwi, to dla ciebie nie przejdziesz po prostu. Czyli co? Czyli ogranicza się swój rozwój. Natomiast, jeśli zacznie się od on premisa, to w drugu stronę nie będzie aż taki, dużej przeszkody. Zacznąć od on premisa jest, zacznę od on premisa, dużo łatwiej jest przejść w stronę aplikacji chmurowych. I ciągle nie tracisz tego doświadczenia on premisowego. Myślesz tylko zdobyć nowe doświadczenia, uzupełniające doświadczenia chmurowe. Czasami to jest zmiana filozofii, ale to jest jednak ciągle uzupełnienie i możesz bazować na tym, co już masz. W odwrotnym przypadku niestety od chmury trudniej jest przejść do on premisa. I ostatnia rzecz trochę nawiązuje do tych pierwszych, czyli trudniej jest dostrzec operacje rozproszone. Operacje rozproszone, czym są, może się dowiedzieć z jednego z pierwszych odcinków, zasadniczo podstawa big day ty, czyli pracujemy na wielu masznych na raz. I tak powstają wszystkie technologie, tak big day towe. Na tym polega big day, że możemy duże dane procesować, czy przechowywać. Dzięki temu, że pracujemy z wieloma komputerami na raz. Jeżeli pracujesz on premisowo, to masz konkretne maszyny, skojenik konkretnie pracujesz. Jeżeli pracujesz w chmurze, to ciężko jest bardzo mocne oderwanie od fizycznych maszyn. On premisowo często też jest to oderwanie, ale ono nie jest aż takie mocne. W chmurze masz wrażenie, że po prostu korzystasz z zasobów całego świata, które są nieograniczone i przesunięższe paseczki, to jest jedny problem. A to, że pod spodem naprawdę muszą funkcjonować jakieś maszyny. To, że naprawdę tam są selwelne i tak dalej. To już cię nie obchodzi. Więc trudniej jest dostrzec operacje rozproszone. W związku z tym cięższe jest zrozumieć, jak one działają. Cięższe jest złapać w ogóle tą połączenie, że tam pod spodem różne maszyny muszą z zasobą się komunikować, żeby przetworzyć zasoby. Jeżeli mają się komunikować to, gdzie one leżą, czy one są w jednym pomieszczeniu, czy są może rozdzielone w ogóle go graficznie, to wszystko jest dużo mniejszy ma związak w chmurze niż w wąpremisie. Związek tak z naszego punktu widzenia, bo naprawdę to przycież wszystko działa końcem końców na fizycznych maszynach. I dlatego ja nie zachęcam do zaczynania odchmury. Zachęcam do tego, żebyś zaczął od on premisa. Nawet jeśli ten sam początek to będzie parę miesięcy dosłownie. Parę miesięcy, daj sobie parę miesięcy, poznaj jedną od dwie technologie i leci już do tego on premisa, ale pierwsze ziarno, który zasiejesz, ustawi twoje spojrzenie i uchronicie przed wieloma błędnymi perspektywami. Więc dobrze, nie zaczynamy od chmury. Zaczynamy od on premisa. To od czego konkretnie. No i tu się zaczyna problem, dlatego że to jest przecież twoja indywidualna ścieżka. Jeżeli to jest twoja indywidualna ścieżka, to musi być dostosowana do ciebie. Dlatego między innymi prowadzę mentoring, ale podczas mentoringu mogę zobaczyć, jak ktoś ma doświadczenie, jak ktoś ma nawet hobby, chcemy z dobli, z czym jest zły i zasługrywaćmy konkretną ścieżkę. Natomiast chcecie dzisiaj polecić dwie technologie, które warto zwrócić uwagę, niezależnie od wszystkiego. I te dwie technologie dacą ci bardzo fajny fundament. I już ci mówię dlaczego, bo każda z nich z innych powodów. No to zasiejmy od pierwszej, czyli Hadupa. Od Hadupa zaczynało bardzo wielu osób, ale przede wszystkim od Hadupa zaczęła się nasza Bręża Big Data. Mówiłem o tym, bo daj, że chyba w odcinku z Wyszukiwarkami, tak mi się wydaje i na pewno na YouTube, jeżeli oglądasz to na YouTube to super, a jak nie, to może się tam przejść, jest kanał. Z fourodloku zachęcam teraz do subskrypcji, a jeżeli jesteś na Spotify, to zachęcam klikni, ocenie. Jeżeli ten podcast się podoba ocenie na piątkę, wrócić do ekranu głównego Big Data po polsku, kliknąć gwiazkę i bardzo ci za to dziękuję. Bardzo ci za to dziękuję, to jest dla mnie naprawdę bardzo ważne. I możemy rosnąć dzięki takiemu jednemu, drobnemu kliknięciu, na tym, bo ja polega, small data, big data. Ale wracając do YouTube, jest tam też wideo na temat tego, co to jest Hadupa i tam też to chyba to maczyłem, a na pewno jest wideo, co to jest big data. I tam to już na 100% maczyłem. Hadupa się zaczęła big data. Od Googlea właściwie, ale Hadupa później została zbudowany na tym, co inżynierowie Googlea stworzyli. I od niego się wszystko zaczęło. Natomiast nie dlatego masz się go uczyć, bo jakieś sentymenty, historiczne są ważne, tylko dlatego, że po pierwsze od niego się wszystko zaczęło i ciągle na nim bardzo dużo trwa. Więc jeżeli się go nauczysz to sporo jednak projektów będzie dla ciebie otwartych. Hadupa po prostu jest jeszcze populalny. Nie jest już przyszłościowy, ale na nim wiele projektów jest teraz prowadzonych i utrzymywanych i będzie jeszcze przez jakiś czas. Więc to jest na pewno duży atut, taki atut rynkowy, ale atut inżynierski, deweloperski, artyktowniczny jest inny. Hadupa właściwie HDFS to jest klasyczna architektura typu Master Slave. A Master, karchitektura typu Master Slave to jest architektura na której zostało zrobionych znakomita większość technologii bigdaitowych. To jest klasyczna architektura rozproszona, czyli klasyczna architektura bigdaitowa. Jeżeli poznasz jak jest zbudowany HDFS to otworzyć się dużo klapek w myśleniu o tym jak to wszystko działa. Zrozumiesz wiele rzeczy. Będzież mógł porównywać później do HDFS, wiele rzeczy. Widzisz też podobieństwo, widzisz też plusy innych technologii, przewagi na HDFS, bo HDFS ma swoje problemy. Jeden najbardziej istotny to odczytasz o nim problem małych plików. Ale to jest jednak architektura, która jest klasyczna i która może być znakomitym i jest znakomitym punktem wyjścia do innych architektur. Więc zachęcam do poznania HDFS, a konkretnie HDFS i Jarna. Dodatkowym, a tu HDFS nie jest on trudny. To nie jest z technologii, którą będzie się dzisiejszej dwa lata, żeby zgodnieć jakieś szczegóły. Oczywiście jeśli chcesz rozwijać i dodawać swój kot, ale w takim normalnym znaczeniu wystarczy ci dosłownie tydzień nauki i będziesz ubieć już naprawdę sensownie. I druga technologia, być możecie nie zdziwieści, słaszczego podcastu dużej, jeżeli śledzisz mojego YouTubea, Linktina, i jeżeli jesteś na nią sletersze, zachęcam, mamy nią sletersze, jak się zapiszę, dostaniesz pierwszy polskie Ebook of Big Data i to taki kompleksowy, gdzie masz wytułaczony całą masę rzeczy. Masz w notatkach, link zapisniają sletersze, dostań Ebooka i napisz mi, jak się on ci się podoba. Natomiast jeśli chodzi o drugą technologie, apaci Spark. Apaci Spark bardzo ci serdecznie polecam. Moja ulubiona technologia, coś w tym się nie respecjalizuje. Chociaż ciągle czujesz, że może się nauczyć bardzo dużo, widzę, inni specjalności w Polsce wiedzą bardzo dużo. Ale to jest fantastyczna technologia do przetwarzania danych. Dzięki niej możesz przetwarzyć bardzo dużo danych na wielu maszynach. I ona ma podstawowe atuty następujące. Po pierwsze ma ogromnie niskie prógwejścia. Możesz zacząć wpisać 20 minut, napisać pierwszy opiekacjach, jakąś taką bardzo podstawową. Nie musisz nic instalować poza inteligejem, czy tam jakimś innym edytorem do innym środowiskiem programistycznym. Chodzi o też, by móc gdzie programować. Jeżeli masz coś do jawy, skali lub python, to ci wystarczy, żeby zacząć pracować z sparkiem. Natomiast możliwości rozwoju są ogromne, nie ograniczone właściwie. Doczytywać różnych zagłosdach można w nieskończoność i możliwości, jak i daje w tworzeniu projektów też są nieograńczone. Więc bardzo fajna sprowa. Jest jeszcze jeden atut sparka. I tym atutem jest rynek. Rynek, prac, rynek, który cię czeka, jeżeli umiesz sparka. W sparku jest ogromna, ogromna liczba ogłoszeniu pracy. I nie przesadzam. Naprawdę spark być może jest nawet najbardziej popularnym technologią migdytową. Dlaczego? No po pierwsze z tego powodu, o którym powiedziałam, czyli jest niskie prógwejścia, bardzo duży możliwości. Ale poza tym on dobrze po prostu działa. On jest dobrze napisany, ciągłe rozwijany, ma bardzo duży ekosystem. I co być może najważniejsze? Ma też bardzo dużo miejsc, w których może działać. Czyli on jego z nim popracujesz sobie u siebie na komputerku, ale popracujesz też na klastrach on premisowych. Ale również popracujesz na wszystkich dużych murach. Każda z humor ma swoją jakąś serwis usługę, która pozwala pracować ze sparkiem. Microsoft Azure nawet tych usług jest 2 albo 3. Także jeżeli się nauczysz sparka i będziesz w tym dobrym fachowcem, to pracy raczej tutaj nie zabraknie. Ciężko jest mi sobie wyobrazić, że spark mógłby na gyle przestać być popularną technologią. Sądzę, że nie przestanie jeszcze przez lata. Tak mi się wydaje. Tak jest moje zdanie. A więc te 2 technologie warto, żeby się nie mi zainteresował, czy zainteresował, a po pierwsze hadub po 2 spark. Zacznie od on premisa. Wystarczy ci na początek jakaś wictualizacja możesz użyć do kerala albo wictłanej maszyny, żeby sobie postawić. Jak już troszkę bardziej zrozumiesz i dzisiaj spodoba, to możesz sobie postawić jakiś klasterek, na którym skonfigurujesz hadub a wystarczył ci do tego 1-2 PC-ty. Podlecam 2. Jakiekolwiek, jeżeli udać się skonfigurować hadub a postawić na sparka i uruchamiać na nim swoje aplikacje sparkowe, nauczysz się bardzo dużo. Bardzo, bardzo dużo. I nauczysz się jak to naprawdę działa, tak przy samej kości, samomienso i krew przy kości, bo będziesz widzieć, że ten klaster stoi koło ciebie, stoi pod biurkiem. I jak klikaś coś na laptopie, to że te operacje dzieją się pod tym twoim biurkiem. Tam są przesyłane dane między dwoma komputerami. Tam są przechowywane te piki, które wrzucisz. I tak daj i tak daj. I wtedy zrozumiesz bardzo mocno fajnie tą fundamentalną koncepcję tego, jak to wszystko działa. Jak to koncepcję zrozumiesz pójście do chmury, nie będzie już obarczony takim problemem tego upośledzenia inżyniera. Więc zachęcam, zapraszam. Dzisiaj odcinek był taki dużo mocniej techniczny, niezwykle, ale sądzę, że takie techniczne odcinki też są fajne. Daj mi zresztu znać w komentarzu, czy takie odcinki techniczne, że są fajne. Staram się nie przesycać takim technicznym rzadkonym i staram się tych odcinków technicznych i tak dawać mniej w podkaście Big Day to po skórę. Ale uważam, że coś takiego, jak sobie zrobimy, to lepiej załapiemy tą bnąże, lepiej zrozumiemy, jak ona działa i jakie są możliwości. Także dziękuję Ci bardzo. Jeszcze raz zachęca Ci do dwóch rzeczy, po pierwsze do zajrzenia na naszym sleterny. Na pewno będziesz wiedzieli się wszystkim, co się dzieje, a niedługo statujemy z kursem Fundament Apache Solar, pierwszy kurs o Solarze po polsku, on najnoczyjście. I przede wszystkim dostajesz ebooka, pierwszego polskiego ebooka Obik Data. I to nie jest jakaś tam reklamówka, to jest 100 ks. bardzo konkretnego tekstu. I druga rzecz zachęcam. Zasubskrybuj kanał Polub. To wideo, jeżeli jesteś na YouTube, ocenię na Spotify, jeżeli jesteś na Spotify, te rzeczy bardzo, bardzo mogą stara się tworzyć wartościowe treści, specjalnie dla ciebie, więc samo to, że kliknie, że gdzieś łapkę, czy coś takiego, bardzo mi pomoże. Ja się żegnam z tobą. Życzę ci powodzenia, wierzę w ciebie, wierzę w to, że twój upór da ci ogromne możliwości rozwoju w tej branży i trzymam za ciebie kciuki. Daj znać, jeżeli będziesz mieć jakieś pytania i daj znać, jeżeli będziesz mieć też już jakieś efekty, bardzo chętnie się o nich dojem. Powodzenia trzymaj się mi miłego dnia do zobaczenia za dwa tygodnie, do usłyszenia za dwa tygodnie. Cześć!