Курс "Инжењер података" - курс 95.000 руб. из Иандек радионице, обука 6,5 месеци, датум: 11. децембар 2023.

Ажурирање модела података

1 модул 2 недеље

Компанија наставља да вас урања у своје процесе. Подаци са којима сте радили су ажурирани, тако да морате да промените модел података.

На овом курсу ви:
- разумеју како компанија гради базу података;
- ажурирање структуре постојеће базе података у складу са новим захтевима пословања;
- припремити нове витрине и метрике за аналитичаре и менаџере.

Технологије и алати:

• ПостгреСКЛ

+1 пројекат у портфолију
Изградите тржиште података са инкременталним учитавањем за аналитику публике на мрежи.

ДВХ: ревизија модела података

Модул 2 3 недеље

Компанија расте, архитектура података постаје сложенија. Добијате задатак - да оптимизујете процесе са подацима.

На овом курсу ви:
- размислите о процесу транзиције са старе шеме базе података на нову уз минимизирање пословних губитака (примена без застоја);
- припремити миграцију података;
- узети у обзир могуће проблеме и дизајнирати опцију за враћање промена;
- имплементирати нову структуру базе података и прилагодити је постојећим процесима око података.

Технологије и алати:

• ПосгреСКЛ
• Питхон

+1 пројекат у портфолију
Поставићете модел података у ред и мигрирати податке унутар тренутног складишта онлине продавнице.

ЕТЛ: аутоматизација припреме података

Модул 3 3 недеље

Сада знате скоро све о складишту података компаније. Време је да поново размислимо о ЕТЛ процесима.

На овом курсу ви:
- аутоматизовати цевовод података;
- конфигурисати аутоматско преузимање података из извора;
- научите да редовно и постепено учитавате податке у базу података.

Технологије и алати:

• Питхон
• Проток ваздуха
• ПостгреСКЛ

+1 пројекат у портфолију
Изградите цевовод за аутоматизовани пријем, обраду и учитавање података из извора у излог за пројекат е-трговине.

Провера квалитета података

Модул 4 1 недеља

Желите да будете сигурни да ваши први цевоводи добро функционишу. Квалитет података мора бити проверен, а кварови се морају пратити на време.

На овом курсу ви:
- разумеју како да користе метаинформације и документацију;
- процени квалитет података.

ДВХ за више извора

Модул 5 2 недеље

Настављате да истражујете ДВХ јер се развој компаније, а самим тим и повећање обима података не може зауставити.

На овом курсу ви:
- изградити ДВХ од нуле на релационом ДБМС;
- упознати се са МонгоДБ као извором података.

Технологије и алати:

• ПостгреСКЛ
• МонгоДБ

+1 пројекат у портфолију
Ви ћете дизајнирати и имплементирати ДВХ за ин-хоусе стартуп.

Аналитичке базе података

Модул 6 2 недеље

Све је више специфичних неструктурираних података које такође треба чувати и обрадити. Стога ћемо вас упознати са концептом аналитичких база података користећи Вертица ДБМС као пример.

На овом курсу ви:
- студијска организација складишта у Вертици;
- научите како да радите основне операције са подацима у Вертици;
- изградите једноставно складиште података у Вертици.

Технологије и алати:

• Вертица
• ПостгреСКЛ
• Проток ваздуха
• С3

+1 пројекат у портфолију
Изградите ДВХ за систем података са ниском структуром великог оптерећења са високим оптерећењем користећи Вертица.

Организација језера података

Модул 7 4 недеље

Класична решења не помажу у суочавању са обимом података. Да бисте се носили са новим пословним изазовима, изградићете и попунити Дата Лаке.

На овом курсу ви:
- размотрите архитектуру Дата Лаке (прев. „језеро података“);
- науче да обрађују податке у МПП систему;
- попунити језеро података подацима из извора;
- вежбају обраду података користећи ПиСпарк и Аирфлов.

Технологије и алати:

• Хадооп
• Карта смањити
• ХДФС
• Апацхе Спарк (ПиСпарк)

+1 пројекат у портфолију
Направите језеро података и аутоматизујте учитавање и обраду података у њему.

Стреам обрада

Модул 8 3 недеље

Превазишли сте потешкоће са великом количином података, али се појавио нови задатак - морате помоћи предузећу да брже доноси одлуке. Овде ће вам требати знање о обради података тока. стриминг).

На овом курсу ви:
- размотрити карактеристике обраде токовних података;
- изградите сопствени систем за стриминг;
- изградите излог користећи податке у реалном времену.

Технологије и алати:

• Кафка
• Спарк Стреаминг

+1 пројекат у портфолију
Развићете систем за обраду података у реалном времену.

Цлоуд технологије

Модул 9 3 недеље

Сада можете да радите и са великим количинама података и са стримовима. Остаје само да се аутоматизује скалирање система помоћу услуга у облаку.

На овом курсу ћете научити како да имплементирате већ проучена решења, али у облаку (користећи Иандек Цлоуд као пример).

Технологије и алати:

• Иандек. Цлоуд
• Кубернетес
• кубецтл
• Редис
• ПостгреСКЛ

+1 пројекат у портфолију
Развићете инфраструктуру за складиштење и обраду података у облаку.

Дипломски рад

Модул 10 3 недеље

Потврдите да сте научили нове вештине.

Овде ћете морати самостално да изаберете и примените решења за пословни проблем. Ово ће вам помоћи да још једном ојачате употребу алата које сте научили, као и своју независност.