Od jakiegoś czasu w wolnych chwilach poza pracą staram się podszkolić moją znajomość Apache Spark. Dziś postanowiłem podzielić się ciekawymi materiałami, z których korzystam i które mogą pomóc Tobie w poznaniu Apache Spark od podstaw.
Co to jest Apache Spark?
Na stronie Apache Spark (spark.apache.org) można znaleźć zdanie, które najlepiej oddaje jego ideę:
Apache Spark is a fast and general engine for large-scale data processing.
Spark jest silnikiem/frameworkiem do tworzenia rozproszonych aplikacji przeznaczonych do przetwarzania danych o dużej skali (popularne ostatnio „big data”).
Nie będę tutaj pisał więcej na ten temat, bo nie chodzi mi o to, żeby samemu nauczyć Ciebie jak działa Apache Spark, ale pokazać fajne źródła, dzięki którym zrobisz to samodzielnie.
Jacek Laskowski
Moje zainteresowanie Sparkiem rozpoczęło się od uczestnictwa w warsztatach prowadzonych przez Jacka Laskowskiego zorganizowanych w ramach działalności grupy Toruń JUG. Z samych warsztatów zachowało się prawie 8-godzinne nagranie na YouToube, ale był to raczej live-streaming ad-hoc, więc jakość nie porywa, a i treść trochę trzeba by przefiltrować. Nie jest to więc idealne źródło nauki, a raczej ciekawostka. Za to sam Jacek, jest już ciekawym źródłem informacji 🙂
Jacek aktualnie opisuje siebie jako niezależny konsultant specjalizujący się w Apache Spark i od samego początku zgłębiania tajników Sparka gromadzi notatki w formie GitBooka o nazwie Mastering Apache Spark. W tym momencie jest to już naprawdę pokaźne źródło wiedzy – z ciekawości wyeksportowałem je do formatu PDF i okazało się, że jest tam już ponad 1000 stron! Na szczęście format GitBooka jest bardzo poręczny w przeglądaniu i łatwo jest znaleźć interesujące nas zagadnienie.
Oprócz samego GitBooka polecam obserwować Jacka na Twitterze. Jest on osobą, która na maksa skupia się w danym momencie na wybranym przez siebie zagadnieniu, a widać to właśnie m.in. na Twitterze gdzie publikuje całą masę ciekawych wpisów na temat Sparka i na próżno szukać tam innej tematyki. Jacek z natury jest również bardzo pomocny, jeśli się tylko go o to poprosi. Nie wahaj się więc wysłać mu maila w nurtujących Cię sprawach na temat Sparka. Adres email z łatwością znajdziesz w internetach 😉
Data Science and Engineering with Apache Spark
Źródłem, które bardzo przypadło mi do gustu, jest seria darmowych kursów typu MOOC udostępniona na portalu edX, zatytułowana Data Science and Engineering with Apache Spark. Docelowo seria ma składać się z 5 kursów:
Niestety z powodów technicznych start dwóch ostatnich został przesunięty na przyszły rok.
Najlepsze w tych kursach jest to, że zostały przygotowane przez UC BerkeleyX, czyli sekcję Uniwersytetu Kalifornijskiego w Berkeley odpowiedzialną za tworzenie kursów online, a to właśnie stamtąd wywodzi się Spark (dopiero później został wzięty pod skrzydła The Apache Software Foundation). Swoją cegiełkę w powstanie kursów dołożyła również firma Databricks, która również wie na czym Spark polega, bo jej założycielami są współtwórcy Sparka 🙂
Jeśli jesteś zainteresowanych ukończeniem tych kursów, to teraz jest na to idealny moment, bo pierwsze dwa właśnie trwają (ale spokojnie zdążysz się jeszcze zapisać), a trzeci zacznie się lada chwila.
Databricks Community Edition
Przy okazji uczestniczenia w kursie Introduction to Apache Spark miałem okazje poznać platformę Databricks w wersji Community Edition. Ta całkowicie darmowa wersja produktu firmy Databricks jest idealnym rozwiązaniem dla osób chcących zacząć uczyć się Apache Spark bez konieczności konfigurowania własnego środowiska.
Jeśli zainteresował Cię ten temat, to pod adresem databricks.com/try-databricks możesz zarejestrować nowe konto. Warto też przejrzeć przewodnik Getting Started with Apache Spark on Databricks, który przybliża działanie platformy Databricks.
Co możesz polecić?
Na dziś to wszystko z ciekawych źródeł na temat Apache Spark, które mogę Ci zaproponować. Jeśli zbierze mi się kolejna pula, to napiszę o tym w oddzielnym artykule. A może Ty znasz jakieś fajne materiały na temat Sparka? Może jakaś sensowna książka lub ciekawy blog? Albo zupełnie coś innego? Jeśli tak, to podziel się nimi proszę w komentarzach poniżej. Chętnie się z nimi zapoznam.
Bądź na bieżąco!
Podobają Ci się treści publikowane na moim blogu? Nie chcesz niczego pominąć? Zachęcam Cię do subskrybowania kanału RSS, polubienia fanpage na Facebooku, zapisania się na listę mailingową:
lub śledzenia mnie na Twitterze. Generalnie polecam wykonanie wszystkich tych czynności, bo często zdarza się tak, że daną treść wrzucam tylko w jedno miejsce. Zawsze możesz zrobić to na próbę, a jeśli Ci się nie spodoba – zrezygnować 
Dołącz do grup na Facebooku
Chcesz więcej? W takim razie zapraszam Cię do dołączenia do powiązanych grup na Facebooku, gdzie znajdziesz dodatkowe informacje na poruszane tutaj tematy, możesz podzielić się własnymi doświadczeniami i przemyśleniami, a przede wszystkim poznasz ludzi interesujących się tą samą tematyką co Ty.
W grupie Programista Na Swoim znajdziesz wiele doświadczonych osób chętnych do porozmawiania na tematy krążące wokół samozatrudnienia i prowadzenia programistycznej działalności gospodarczej. Vademecum Juniora przeznaczone jest zaś do wymiany wiedzy i doświadczeń na temat życia, kariery i problemów (niekoniecznie młodego) programisty.
Wesprzyj mnie
Jeżeli znalezione tutaj treści sprawiły, że masz ochotę wesprzeć moją działalność online, to zobacz na ile różnych sposobów możesz to zrobić. Niezależnie od tego co wybierzesz, będę Ci za to ogromnie wdzięczny.
Na wsparciu możesz także samemu zyskać. Wystarczy, że rzucisz okiem na listę różnych narzędzi, które używam i polecam. Decydując się na skorzystanie z któregokolwiek linku referencyjnego otrzymasz bonus również dla siebie.
Picture Credits
Dodaj komentarz