Egzamin - zagadnienia
Python
- Zmienne w pythonie
- Podstawowe typy danych wykorzystywane w analizach danych
- Obiektowe własności typów padstawowych
__dir__()
, __add__()
- Lista python, pętle w listach składanych
- Tablice numpy i ich podstawowe operacje
- Tabelaryczny i ustrukturyzowany typ DataFrame Pandas
- Podstawowe metody informacyjne, filtrowanie danych, funkcje na kolumnach
- Dane z baz danych SQL - wersja funkcyjna i obiektowa
- Tensory - obiekty biblioteki PyTorch i Tensorflow
- Dane ustrukturyzowane z sklearn, generowanie danych
- Pipeline, GridSearch - transformacje i modelowanie danych w sklearn
- Pickle obiektów i zapisywanie modeli i transformacjei
- Nieustrukturyzowane dane - tensory zdjęc i video. JSON, tekst
- Dane pobierane z sieci www
- Tworzenie REST API z wykorzystaniem modelu - serwer www we FLask, odpytywanie API z wynikami modelu.
- Obiekty python - kostka do gry, błądzenie losowe 2d,
- Proste sieci neuronowe Perceptron, Adeline - jak działają, jakie problemy rozwiązują
- Transformers sklearn - własne klasy dla transformacji danych
Apache Spark
- Uruchomienie Apache Sparka w konsoli
- Powołanie obiektu SparkContext i SparkSession
- Tworzenie obiektu RDD
- akcje na RDD
- transformacje na RDD
- Ramki Danych