fbpx
devstyle.pl - Blog dla każdego programisty
devstyle.pl - Blog dla każdego programisty
2 minut

DevTalk#66 – O Massive Data Processing z Łukaszem Dziekanem


27.11.2017

lukasz-dziekanOdcinek 66, prawie jak 666! MASSIVE numer. Więc i MASSIVE CONTENT!

Dzisiaj przed Wami Łukasz Dziekan. Człowiek-orkiestra. Świetny programista i architekt, ale także leader i biznesmen. CTO w FinAi, a wcześniej tech-ważniak w różnych dużych i mniejszych firmach, w Polsce i USA. Na Twitterze @pan_dziekan.

Tematem odcinka jest Massive Data Processing. Co to? Jak się ma do popularnego Big Data? A co to w ogóle Big Data? Na jakie klasy możemy podzielić dane? Skąd uczyć się o wydajności, algorytmach, złożoności obliczeniowej? Do tego jeszcze… co to CAP??? Na te i inne pytania znajdziesz odpowiedzi w niniejszym odcinku.

A może klikniesz kilka gwiazdek na iTunes? ;)

PLAY! Miłego słuchania!


Montaż odcinka: Krzysztof Śmigiel.
Ważne adresy:

Linki:


Muzyka wykorzystana w intro:
“Misuse” Kevin MacLeod (incompetech.com)
Licensed under Creative Commons: By Attribution 3.0
http://creativecommons.org/licenses/by/3.0/

0 0 votes
Article Rating
2 Comments
Oldest
Newest Most Voted
Inline Feedbacks
View all comments
ags
ags
7 years ago

Dość dobry opis bigdaty.
W PL firm polskich może być niezbyt dużo, ale 100TB+ były już w 2010. Dużo u nas niestety outsourcu, gdzie nasi dobrzy programiści robią doskonałe formularze.
Trochę mi brakło odbicia w stronę in-memory typu HANA. Drogie, ale in-memory, a maszyny do 4TB.

Do algorytmów Skiena jest spoko, bardzo strawny.
CormEn jest doskonały, ale ciężki jako lektura.

Z ciekawostek, Hadoop wygrał nawet z tym, co niektóre duże firmy od jezyków z płotkiem próbowały. I przez to jvm (Java i Scala), python i c++.
Map reduce było w językach funkcyjnych. Nazwa wzięła się od funkcji… map i reduce.
Przeczytać: papery! Googla (HDFS, Pregel, Megastore, Dremel itd, fajnie widać ewolucję myślenia.

Determinizm, streamy i big data mają część wspólną, żeby to się dało robić at scale, wychodzi functional, append only i reactive.

trackback

[…] ➡ O Massive Data Processing z Łukaszem Dziekanem. Zdecydowanie polecam. Jeśli interesujesz się technologiami Big Data znajdziesz tu sporo informacji. https://devstyle.pl/2017/11/27/devtalk66-o-massive-data-processing-z-lukaszem-dziekanem/ […]

Kurs Gita

Zaawansowany frontend

Szkolenie z Testów

Szkolenie z baz danych

Książka

Zobacz również