Анализа података у Питхон-у и базама података (СКЛ) - бесплатни курс РАНЕПА, обука, Датум: 06.03.2023.
мисцеланеа / / December 04, 2023
Програм Питхон Дата Аналисис анд Датабасе (СКЛ) пружиће студентима разумевање основа програмирања МЛ (Мацхине Леарнинг) алгоритама користећи језик Питхон. Такође ће вам помоћи да овладате низом компетенција у области управљања савременим релационим базама података и стекну практичне вештине у коришћењу језичких алата ДБМС (Системи за управљање базама података подаци).
У бизнису и влади, огромне количине података морају се стално анализирати добити информације за контролу квалитета рада, изнети свеже идеје и оправдати прихваћене Одлуке. Стручњаци који разумеју огромне количине података могу очекивати брзе каријере са импресивним платама.
По правилу, СКЛ и Питхон се најчешће помињу у огласима за посао који се односе на анализу података.
За курс се могу пријавити само студенти који не студирају у следећим областима:
У току савладавања програма студенти ће имати прилику да осмисле нове дигиталне производе (самостално или у тиму). Аутори најбољих решења добиће подршку Академије и могућност сарадње са Лабораторијом за вештачку интелигенцију и Лабораторијом за развој платформе РАНЕПА.
Питхон
Како то све функционише? Питхон карактеристике.
Зашто сви користе Питхон? Поређење са другим програмским језицима. Како писати програме? Предности Питхона. Како користити Питхон у задацима: обрада текста, рад са сликама, писање стоцк робота, покретање ботова за ћаскање. Унос и излаз у Питхон-у. Имена у Питхон-у. Основне операције. Контрола тока извршавања програма (условне конструкције). Примери једноставних програма.
Циклуси. Линије. Стринг методе.
Петља са предусловом. Прекини и настави изјаве. За петљу Структура линије и дужина линије. Елемент линије и како сећи линије. Добијање подниза из стринга. Прелазак линије. Секције.
Туплес. Листе. мапа функција. Генератор листе случајних вредности.
Зашто су тупле потребне? Рад са листом. Листа елемената. Одштампајте листу. Исправно копирање листа. Карактеристике коришћења функције мапе. Шта су генератори случајних вредности? Гомила. Операције са скуповима. Фрозенсет. Речници. гет метход Прелазак преко речника.
Функције. Примена математичких функција. Обим и искључење.
Како правилно написати функције. Једноставни алгоритми. Писање првих функција. Како додати математику. Препоруке за писање сопствених функција. Како функционишу опсези. Глобалне варијабле. Враћање више вредности из функције. Изузеци.
Рад са датотекама. Матрице. Врсте сортирања
Шта можете да урадите са датотекама? Отварање и затварање датотека. Читање и писање текстуалних датотека. Матрице. Попуњавање матрица. Уношење матрица ред по ред. Читање и писање матрица. Буббле сорт. Анализа алгоритма. Неколико верзија решења.
Преглед библиотеке НумПи. Рад са НумПи функцијама. СциПИ библиотека.
Питхон библиотеке и њихова инсталација. Основни типови података НумПи. Нумеричке функције. Рад са низовима. Операције са низовима. Дводимензионални низови. Матрице. Основне карактеристике библиотеке СциПи.
Преглед Пандас библиотеке. Основна аналитика.
Инсталирање библиотеке. Креирање објекта серије. Индексирање ДатаФраме-а. Табле. Читање и писање датотека. Индексирање. Узорковање података. Операције са редовима и колонама. Рад са НаН. Сортирање.
Визуелизације података. Практични примери
Проучавање нових података, претходна обрада, визуелизација података, тражење веза између карактеристика, припрема података за обуку и креирање модела за предвиђање кредитног ризика. Добијање модела који одговара на питање: издати или не издати кредит.
Аутоматизација рутинских задатака. Практични примери
Анализа практичних примера аутоматизације задатака који се односе на добијање агрегираних информација из више извора (Екцел фајлова) или Интернета.
Преглед метода машинског учења које се користе за анализу података. Практични примери
Практични пример идентификације основних карактеристика и њихове интерпретације у проблему учења под надзором.
Оцењивање прелазног модула
Привремена сертификација се одвија у форми теста (компјутерско тестирање). Узорак типичне зграде за тестирање:
Коју Питхон функцију можете да користите да бисте сазнали тип променљиве?
- хвоами
- тип
- тип
- је
Који опсег бројева ће бити креиран у следећем коду: опсег (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Шта вам омогућава да извршите исечак кода на листи?
- Исјечак кода: принт(матх.скрт(2))
- приказујући број 2 из математичке библиотеке
- повезивање математичке библиотеке
- квадрирање математичког броја
- приказујући квадратни корен од два
СКЛ
Чување података и интегритет.
Складиштење података: датотеке са подацима, евиденције, нивои РАИД-а, Темпдб. Односи у базама података, један према један, један према многима, много према многима. Интегритет података: ПРИМАРНИ КЉУЧ, ПРОВЕРА, ЈЕДИНСТВЕНИ и СТРАНИ КЉУЧ. Нормализација табела.
Креирање базе података и табела.
Архитектура ДБМС: логички (табеле и типови података, кључеви, индекси, погледи, склопови, ограничења, правила, подразумеване вредности) и физички нивои (фајлови и групе датотека, странице). Креирање базе података. Типови података поља табеле: Тачни бројеви, Уницоде знаковни низови, приближни бројеви, бинарни подаци, датум и време, други типови података, низови знакова. Креирање табела. Где написати захтеве?
Индекси. Дијаграми.
Индекси: групирани, негруписани, јединствена идентификација, филтрирани, складиште колона, хеш, негруписани, индекс оптимизован за меморију. ЕР дијаграми: дијаграми базе података, чвор базе података. ДМЛ и најчешћи СКЛ оператори: СЕЛЕЦТ, ИНСЕРТ, УПДАТЕ, ДЕЛЕТЕ. Значај јединствених фактора.
Захтеви. Спољашње везе.
Упити на једном столу. Узорковање без понављања. Упити на више табела. Спољашњи спојеви: ЛЕВО, ДЕСНО или ПУНО.
Агрегатне функције. Подупити.
Потупити: ВХЕРЕ ЦОУНТ, СУМ, АВГ, МАКС, МИН, ИН, АЛЛ, АНИ. Подаци за спајање: СЕЛЕЦТ ЈОИН. Агрегатне функције: АВГ, ЦХЕЦКСУМ_АГГ, ЦОУНТ, ЦОУНТ_БИГ, ГРОУПИНГ, ГРОУПИНГ_ИД, МАКС, МИН, СТДЕВ, СТДЕВП, СТРИНГ_АГГ, СУМ, ВАР, ВАРП. Услови за агрегатне функције.
Корисне функције.
Још мало о оператерима. Индустријски захтев. Корисне функције: СКРТ, РАНД, ЦОНЦАТ, нумеричке и стринг функције. Приоритет операције и конверзија типа: ЦАСТ, ЦОНВЕРТ.
Трансакције. Репрезентација.
Један захтев на четири начина. Трансакције: концепт трансакција - атомичност, доследност, изолација, трајност, управљање трансакцијама - ЦОММИТ, РОЛЛБАЦК, САВЕПОИНТ, СЕТ ТРАНСАЦТИОН. Паралелни приступ подацима: проблеми прљавог, непоновљивог читања, фантоми. Прегледи: индексирани, партиционисани, системски.
Променљиве и петље.
Почетак програмирања. Променљиве: ДЕЦЛАРЕ, СЕТ, СЕЛЕЦТ. Структура кода. Оператори описа података: ЦРЕАТЕ, ДРОП, АЛТЕР итд. Оператори за манипулацију подацима: ИНСЕРТ, ДЕЛЕТЕ, СЕЛЕЦТ, УПДАТЕ, итд. Оператори за подешавање права приступа бази података: ГРАНТ / РЕВОКЕ, ЛОЦК / УНЛОЦК, СЕТ ЛОЦК МОДЕ Оператори за заштиту, опоравак података и други оператери. Циклуси: ВХИЛЕ.
Сачуване процедуре и функције.
Привремени столови. Трансацт-СКЛ курсори, сервер, клијент. Типови курсора: једносмерни, статички, Кеисет, динамички. Сачуване процедуре и функције: ЦРЕАТЕ ПРОЦЕДУРЕ, ЦРЕАТЕ ПРОЦ.
Триггерс. Изузеци.
Цонвеиор ХФ. Окидачи: АФТЕР, ИНСТЕАДОФ. Изузеци: ОСИМ. Динамички СКЛ помоћу кључне речи и помоћу ускладиштене процедуре: ЕКСЕЦУТЕ ИММЕДИАТЕ.
ДБМС. НоСКЛ базе података.
Трансакције у програмирању/ДБМС/СКЛ. Како се захтеви извршавају. Како побољшати перформансе упита. НоСКЛ база података и њене предности.
Оцењивање прелазног модула
Привремена сертификација се одвија у форми теста (компјутерско тестирање). Узорак типичне зграде за тестирање:
Који тип података поља је тип БРОЈ?
- низ
- нумерички
- бинарни
Која СКЛ команда тражи податке?
- АЛТЕР
- СЕЛЕЦТ
- ИЗ
Шта је трансакција?
- ово је група операција које обавља ДБМС
- је група операција која има својства АЦИД
- ово је операција извршавања СКЛ команде