Maciej Szymczyk / Maciej (Wiadro Danych)
Apache Spark, Apache Kafka, Elasticsearch, Elastic Stack, C#, .NET Core, Apache Cassandra, Apache Airflow
Ostatnio opublikowane artykuły
Kibana + Machine Learning – Kiedy sprzedać auto? Analiza danych z rejestracji pojazdów 2014-2022
W poprzednim wpisie przedstawiłem proces przygotowania danych dotyczących rejestracji pojazdów w Polsce. W tym artykule zobaczysz analizę danych za pomocą Kibana. Dowiesz się które miesiące to największy ruch w branży motoryzacyjnej, jakie województwa przodują w tym temacie i czy COVID miał jakiś większy wpływ. Jak wrzucić dane do Kibana? Dane z poprzedniego wpisu znajdziesz tutaj. …
Jak Wyczyścić Dane w Python Pandas – Pojazdy zarejestrowane w Polsce
Dzięki projektowi Otwarte Dane mamy do dyspozycji źródła udostępnione przez podmioty publiczne. W artykule przygotujemy i wyczyścimy Pojazdy zarejestrowane w Polsce w podziale na województwa za pomocą Python i Pandas. Dane źródłowe Do dyspozycji mamy dane w formatach csv i xlsx (Excel). Po wstępnej obserwacji widać następujące problemy: Wczytanie danych Z dwóch dostępnych formatów wybrałem …
Threat Hunting LOLBAS w Elastic Stack na 2 sposoby (gościnnie Jupyter)
Indeksowania danych do klastra Elastic Stack to dobry moment na wyłuskanie wartości z danych. W przypadku Threat Hunting‘u, dobrze przygotowane dane mogą znacznie przyśpieszyć proces wyszukiwania zagrożeń i anomalii. W artykule uprościmy wyszukiwanie procesów LOLBAS. Co to jest LOLBAS / LOLBIN? LOLBAS (Living Off The Land Binaries, Scripts and Libraries) to niezłośliwe skrypty, binarki i …
Wyślij alerty z Elastic SIEM do Discord za darmoszkę – Kafka Connect + Python
Wrzucenie alertów z Elastic Stack na Apache Kafka daje wiele nowych możliwości. Możemy wysłać notyfikacje na Discord. Wszelka automatyzacja i enrichment stoją otworem. W artykule spróbujemy to zrobić na darmowej licencji 🤫. Środowisko W tym przypadku wykorzystałem: Przygotowując ten artykuł korzystałem z gotowego klastra Elasticsearch, któy miałem pod ręką. Jeśl takiego nie masz, możesz skorzystać …
Wyślij alerty z Elastic SIEM do Discord za darmoszkę – Kafka Connect + Python
Wrzucenie alertów z Elastic Stack na Apache Kafka daje wiele nowych możliwości. Możemy wysłać notyfikacje na Discord. Wszelka automatyzacja i enrichment stoją otworem. W artykule spróbujemy to zrobić na darmowej licencji 🤫. Środowisko W tym przypadku wykorzystałem: Przygotowując ten artykuł korzystałem z gotowego klastra Elasticsearch, któy miałem pod ręką. Jeśl takiego nie masz, możesz skorzystać …
Maciej (Wiadro Danych)
Apache Spark, Apache Kafka, Elasticsearch, Elastic Stack, C#, .NET Core, Apache Cassandra, Apache Airflow
Na co dzień jestem (lub zdarza mi się bywać):
- inżynierem danych
- architektem rozwiązań big data
- programistą
- mężem
- ojcem
- amatorem kolarstwa i triathlonu
- trenerem (m.in. Elasticsearch)
- bloggerem (https://wiadrodanych.pl)
- nauczycielem (m.in Bazy Danych, Bazy NoSQL, Systemy Baz Danych na Wojskowej Akademii Technicznej)
- prelegentem
- napisałem też parę artykułów naukowych w tematach rozproszonej symulacji wirtualnej