Создаем Web Crawler при помощи языка Python

Go to class
Write Review

Free Online Course: Создаем Web Crawler при помощи языка Python provided by Coursera is a comprehensive online course, which lasts for 4 weeks long, 36 hours worth of material. The course is taught in Russian and is free of charge. Upon completion of the course, you can receive an e-certificate from Coursera. Создаем Web Crawler при помощи языка Python is taught by Гайк Инанц.

Overview
  • В этом курсе вы изучите основные библиотеки для реализации краулера и узнаете, какие "подводные камни" есть у этого процесса и какие готовые инструменты можно использовать.

    Вы будете работать с API, определять его адрес на сайте и использовать его. Узнаете о методах защиты API и о том, как их обходить.

    Вы разберете большое количество примеров и способов обходить защиту в той или иной ситуации и будете уметь строить проект таким образом, чтобы его легко можно было масштабировать.

    Курс рассчитан на IT-специалистов, в т.ч. веб-разработчиков, специалистов по безопасности и желающих ими стать.

Syllabus
    • Основные инструменты и понятия для работы с Web Crawler
      • На первой неделе вы разберете основные понятия и инструменты, необходимые для реализации краулера, будете работать с библиотеками Scapy и Selenium, а также научитесь реализовывать простой краулер, работающий с многостраничным сайтом
    • Реализация Web Crawler для сбора всех ссылок на сайте
      • Вторая неделя посвящена реализации и анализу краулеров для сбора ссылок на сайте. На этой неделе вы напишете краулер, который находит все ссылки и очищает их, реализуете краулер с использованием библиотеки Scrapy и реализуете брут-форс для поиска адресов сайта.
    • Реализация Web Crawler для работы с уязвимостями в API
      • Третью неделю вы будете изучать, как выявить на сайте API и реализовать краулер для взаимодействия с ним. По итогу вы научитесь анализировать API на предмет уязвимости, реализуете на python взаимодействие с уязвимыми API
        и примените уязвимости в API.
    • Реализация сложных проектов. Обход защиты серверов
      • Четветрая неделя позволит вам разобрать более сложные инструменты для реализации краулеров. Вы научитесь использовать дополнительные инструменты Scrapy для реализации более сложных проектов, научитесь находить и считать данные с API сервиса и реализовывать краулер с использованием Selenium для взаимодействием с js страницы