Разработка парсеров
На курсе школьники познакомятся с основами языка программирования Python и научатся создавать парсеры — программы для автоматического поиска информации в интернете и подготовки базы данных. Каждый ученик разработает свой парсер с выгрузкой данных в формате HTML. Прохождение курса формирует базу для дальнейшего изучения Python и других языков, для уверенного старта в IT-сфере. Онлайн курс содержит 40 уроков по 8 часов в неделю.
40 уроков
Уровень — Начальный
Формат — Онлайн
Вы будете знать
Методики создания программного обеспечения.
Возможности объектно-ориентированного программирования.
Базовые конструкции и типы данных в языке Python.
Особенности библиотек BeautifulSoup и requests.
Принцип скрапинга в программировании.
Вы будете уметь
- Писать программный код на языке Python и работать с HTML.
- Работать с библиотеками BeautifulSoup, requests и Scrapy.
- Создавать парсеры на Python с выгрузкой данных в формате HTML.
- Разрабатывать unit-тесты для проверки программ-парсеров.
- Распознавать и анализировать надписи на картинках.
Модули
Модуль 1
Python. Часть 1
36 ч.
Установка Python и знакомство со средой разработки. Основы программирования: типы данных, условные и переменные, методы, коллекции, сроки, циклы в Python.
Модуль 2
Python. Часть 2
36 ч.
Введение в объектно-ориентированное программирование. Работа с функциями и файлами в Python. Знакомство с декораторами, итераторами, генераторами. Разработка модулей на Python.
Модуль 3
Разработка парсеров. Часть 1
36 ч.
Разработка программы для парсинга данных из интернета. Знакомство с библиотеками BeautifulSoup, requests, Scrapy. Изучение моделей краулинга и алгоритмов-краулеров. Чтение и анализ кода HTML. Чтение, хранение и очистка базы данных.
Модуль 4
Разработка парсеров. Часть 2
36 ч.
Чтение и запись программного кода на естественных языках. Методы сбора и скрапинга данных. Автоматизированная обработка картинок и текстовых документов. Настройка веб-краулинга через API 6. Параллельный и удаленный веб-скрапинг. Тестирование и исправление программного кода.
Остались вопросы?
Позвоните по номеру
и мы ответим на все возникшие вопросы.
и мы ответим на все возникшие вопросы.