Odcinek 66, prawie jak 666! MASSIVE numer. Więc i MASSIVE CONTENT!
Dzisiaj przed Wami Łukasz Dziekan. Człowiek-orkiestra. Świetny programista i architekt, ale także leader i biznesmen. CTO w FinAi, a wcześniej tech-ważniak w różnych dużych i mniejszych firmach, w Polsce i USA. Na Twitterze @pan_dziekan.
Tematem odcinka jest Massive Data Processing. Co to? Jak się ma do popularnego Big Data? A co to w ogóle Big Data? Na jakie klasy możemy podzielić dane? Skąd uczyć się o wydajności, algorytmach, złożoności obliczeniowej? Do tego jeszcze… co to CAP??? Na te i inne pytania znajdziesz odpowiedzi w niniejszym odcinku.
A może klikniesz kilka gwiazdek na iTunes? ;)
PLAY! Miłego słuchania!
Montaż odcinka: Krzysztof Śmigiel.
Ważne adresy:
Linki:
- Książki:
- Kenneth Cukier “Big Data: A Revolution That Will Transform How We Live, Work, and Think”: https://www.amazon.com/Big-Data-Revolution-Transform-Think/dp/0544227751
- https://bigmachine.io/products/the-imposters-handbook/
- Jon Bentley “Programming Pearls”: https://www.amazon.com/Programming-Pearls-2nd-Jon-Bentley/dp/0201657880
- Thomas H. Cormen “Introduction to Algorithms”: https://www.amazon.com/Introduction-Algorithms-3rd-MIT-Press/dp/0262033844
- Mark DeLoura “Game Programming Gems”: https://www.amazon.com/Game-Programming-Gems-CD/dp/1584500492
- Joe Duffy “Concurrent Programming on Windows”: https://www.amazon.com/Concurrent-Programming-Windows-Joe-Duffy/dp/032143482X
- CAP Theorem: https://en.wikipedia.org/wiki/CAP_theorem
- Hadoop: http://hadoop.apache.org/
- DevTalk#17 – O gamedev z Przemysławem Czatrowskim: https://devstyle.pl/2015/06/01/devtalk17-o-gamedev-z-przemyslawem-czatrowskim/
- Szymon Kulec: https://blog.scooletz.com/
Muzyka wykorzystana w intro:
“Misuse” Kevin MacLeod (incompetech.com)
Licensed under Creative Commons: By Attribution 3.0
http://creativecommons.org/licenses/by/3.0/
Dość dobry opis bigdaty.
W PL firm polskich może być niezbyt dużo, ale 100TB+ były już w 2010. Dużo u nas niestety outsourcu, gdzie nasi dobrzy programiści robią doskonałe formularze.
Trochę mi brakło odbicia w stronę in-memory typu HANA. Drogie, ale in-memory, a maszyny do 4TB.
Do algorytmów Skiena jest spoko, bardzo strawny.
CormEn jest doskonały, ale ciężki jako lektura.
Z ciekawostek, Hadoop wygrał nawet z tym, co niektóre duże firmy od jezyków z płotkiem próbowały. I przez to jvm (Java i Scala), python i c++.
Map reduce było w językach funkcyjnych. Nazwa wzięła się od funkcji… map i reduce.
Przeczytać: papery! Googla (HDFS, Pregel, Megastore, Dremel itd, fajnie widać ewolucję myślenia.
Determinizm, streamy i big data mają część wspólną, żeby to się dało robić at scale, wychodzi functional, append only i reactive.
[…] ➡ O Massive Data Processing z Łukaszem Dziekanem. Zdecydowanie polecam. Jeśli interesujesz się technologiami Big Data znajdziesz tu sporo informacji. https://devstyle.pl/2017/11/27/devtalk66-o-massive-data-processing-z-lukaszem-dziekanem/ […]