Analiza Danych w czasie rzeczywistym kurs dla studentów SGH

First lecture in 2021/2022.

09 Oct 2021

Analiza danych w czasie rzeczywistym

Semestr zimowy 2021/2022, SGH Szkoła Główna Handlowa w Warszawie

Course Topics and Calendar

Below is a list of the topics i’m planning to cover in this course.

More information about this course can be found in the sylabus.

List of all the recommended (and more) books!

Part 1: Introduction

  • L01: Course overview, introduction to small data

  • L02: Time for Streaming

  • C01: Structured and unstructured data in Python
  • C02: Production Env with Flask in Python
  • C03: Apache Spark - basics and streaming
  • C04: Databricks for Apache Spark and streaming
  • C05: Projects veryfication

When

  1. 09-10-2021 - 9:50-11:30 Lecture 1
  2. 23-10-2021 - 9:50-11:30 Lecture 2
  3. 13-11-2021 - 9:50-11:30, 11:40-13:20, 13:20-15:10, 15:20-17:00 Lab 1
  4. 27-11-2021 - 9:50-11:30, 11:40-13:30, 13:20-15:10, 15:20-17:00 Lab 2
  5. 11-12-2021 - 9:50-11:30, 11:40-13:30, 13:20-15:10, 15:20-17:00 Lab 3
  6. 08-01-2022 - 9:50-11:30, 11:40-13:20, 13:20-15:10, 15:20-17:00 Lab 4
  7. 22-01-2022 - 9:50-11:30, 11:40-13:10, 13:10-15:20, 15:20-17:00 Lab 5

Where

  1. Lecture 1-2 : C-1B
  2. Labs 1-5 : G-108

Instructors

  • Instructor: Sebastian Zając
  • Teaching Assistants: Piort Rozenbajgier (gr 1,2,3), Patryk Pilarski (gr 4)

Overall Format and Participation

  • Starting after the first week of the semester, students will form teams of five to work and collaborate on an individual class project throuhout the semester. Students are expected to meet on a regular and weekly basis to make progress towards their project goals.

Technology

  1. GIT (GitHub)
  2. Docker Desktop
  3. Python, Juputer notebook or Colab
  4. Spark, Flink, Kafka - without instalation.
  5. Databricks Community edition. Zarejestruj się i zaloguj.

Informacje dodatkowe, plany

Koło naukowe:

  • Programowanie w Pythonie
  • Wykorzystanie narzędzi Kafka, Spark, Flink
  • Współpraca z SAS i analiza rzeczywistych firmowych danych
  • Podstawy matematyki !
  • Quantum Machine Learning

Dla osób zainteresowanych kwantami podsyłam jeszcze linki do stron/grup, które warto śledzić (są też na końcu ankiety). Jeśli chcesz otrzymywać informacje o kolejnych inicjatywach QWorld, QPoland i Quantum AI Foundation, zachęcamy do śledzenia naszych stron na Facebooku:

Grupy Facebookowe:

https://www.facebook.com/groups/qpoland https://www.facebook.com/groups/quantumai https://www.facebook.com/groups/warsaw.quantum

Listy mailingowe:

https://groups.google.com/g/qpoland https://groups.google.com/forum/#!forum/warsaw-quantum-computing-group

Slack:

QPoland: qpoland.slack.com

QWorld: qworldworkspace.slack.com

a także śledzenia naszych profili na Twitter:

https://twitter.com/QWorld19 https://twitter.com/QPolandCousin https://twitter.com/qaifoundation

na LinkedIn:

https://www.linkedin.com/company/qworld19 https://www.linkedin.com/company/quantumaifoundation

strony www:

https://qworld.lu.lv https://qworld.lu.lv/index.php/qpoland http://www.qaif.org

i kanałów na YouTube:

(QWorld) https://www.youtube.com/channel/UCLaX8OcDqXlJDkay8zVFegg/videos (Quantum AI Foundation) https://www.youtube.com/channel/UCoQAyPU5KQEpMOMDUN0j3IQ/videos

Lets Start

04 Oct 2021

Analiza danych w czasie rzeczywistym

Semestr latni 2021/2022, SGH Szkoła Główna Handlowa w Warszawie

Course Topics and Calendar

Below is a list of the topics i’m planning to cover in this course.

Więcej szczegółowych informacji znajdziesz w sylabusie.

List rekomendowanych ksiązek!

Part 1: Introduction

  • L01: Course overview, introduction to small data
  • L02: The brief history of structured and unstructured data models
  • L03: Time for stream data
  • L04: Anomaly detection in stream data

  • L05: Test

  • C01: Python for ML (OOP, Numpy, Pandas)
  • C02: Structured and unstructured data in Python (SQLAlchemy, Flask)
  • C03: Apache Spark - Intro to structured and unstructured data (RDD, DataFrame)
  • C04: Apache Spark - Time Windows (Patryk Pilarski)
  • C05: Apache Kafka
  • C06: Apache Spark - Stream RDD
  • C07: Apache Spark - Stream DataFrame
  • C08: Apache Spark - ML - case study
  • C09: Apache Spark - ML - case study
  • C10: Cloud env for stream analytics

When

Grupa dzienna:

  1. 04-10-2021 08:00-09:40 - Lecture 1
  2. 11-10-2021 08:00-09:40 - Lecture 2
  3. 18-10-2021 08:00-09:40 - Lecture 3
  4. 25-10-2021 08:00-09:40 - Lecture 4
  5. 08-11-2021 08:00-09:40 - Lecture 5 - Test
  6. 15-11-2021 08:00-09:40, 09:50-11:30, 11:40-13:20 - Lab 1
  7. 22-11-2021 08:00-09:40, 09:50-11:30, 11:40-13:20 - Lab 2
  8. 29-11-2021 08:00-09:40, 09:50-11:30, 11:40-13:20 - Lab 3
  9. 06-12-2021 08:00-09:40, 09:50-11:30, 11:40-13:20 - Lab 4
  10. 13-12-2021 08:00-09:40, 09:50-11:30, 11:40-13:20 - Lab 5
  11. 20-12-2021 08:00-09:40, 09:50-11:30, 11:40-13:20 - Lab 6
  12. 03-01-2022 08:00-09:40, 09:50-11:30, 11:40-13:20 - Lab 7
  13. 10-01-2022 08:00-09:40, 09:50-11:30, 11:40-13:20 - Lab 8
  14. 17-01-2022 08:00-09:40, 09:50-11:30, 11:40-13:20 - Lab 9

Where

Lectures 1-5: G-232 Labs 1-9: G-235

Instructors

  • Instructor: Sebastian Zając

Overall Format and Participation

  • Starting after the first week of the semester, students will form teams of five to work and collaborate on an individual class project throuhout the semester. Students are expected to meet on a regular and weekly basis to make progress towards their project goals.

Technology

  1. Databricks Community edition. Zarejestruj się i zaloguj.

  2. SAS Event Stream Processing - SGH VPN access.

  3. GIT

  4. Python, Juputer notebook, Colab

  5. Docker

  6. Spark, Flink, Kafka

Informacje dodatkowe, plany

Koło naukowe:

  • Programowanie w Pythonie
  • Wykorzystanie narzędzi Kafka, Spark, Flink
  • Współpraca z SAS i analiza rzeczywistych firmowych danych
  • Podstawy matematyki !
  • Quantum Machine Learning

Jeśli chcesz otrzymywać informacje o kolejnych inicjatywach QWorld, QPoland i Quantum AI Foundation, zachęcamy do:

Grupy Facebookowe:

Listy mailingowe:

https://groups.google.com/g/qpoland https://groups.google.com/forum/#!forum/warsaw-quantum-computing-group

Slack:

QPoland: qpoland.slack.com

QWorld: qworldworkspace.slack.com

na LinkedIn:

https://www.linkedin.com/company/qworld19 https://www.linkedin.com/company/quantumaifoundation

strony www:

https://qworld.lu.lv https://qworld.lu.lv/index.php/qpoland http://www.qaif.org

kanały na YouTube:

QWorld Quantum AI Foundation