Парсинг на Python

Сбор данных с сайтов на Python: requests, BeautifulSoup, requests-html, разбор таблиц и постраничной навигации. Уроки идут по порядку от простого парсера к сбору данных со многих страниц.

В разделе 7 материалов. Новые статьи стоят в начале списка, остальные отсортированы по алфавиту.

Все статьи раздела

• HTTP-клиент httpx в Python

  Библиотека httpx в Python: синхронные и асинхронные запросы, httpx.Client и AsyncClient, таймауты, лимиты соединений, HTTP/2 и сравнение с requests в таблице.

• Python Beautifulsoup

  BeautifulSoup - это библиотека Python, которая предоставляет удобные средства для извлечения данных из HTML и XML файлов.

• requests-html

  Requests-html - это библиотека Python, которая предоставляет удобные инструменты для веб-скрапинга.

• Парсинг на Python: с чего начать

  С чего начать парсинг сайтов на Python: план обучения, связка requests + BeautifulSoup + lxml, правила robots.txt, первый рабочий парсер и сохранение данных.

• Урок 2. Парсер на Python: разбор HTML

  Пишем парсер на Python: загрузка страницы через requests с заголовками и таймаутом, поиск элементов BeautifulSoup (find, find_all, select) и сохранение в CSV.

• Урок 3. Парсинг таблиц на Python

  Как спарсить HTML-таблицу на Python: разбор table, tr, td через BeautifulSoup, заголовки, rowspan и colspan, очистка чисел, pandas.read_html, выгрузка в CSV и Excel.

• Урок 4. Парсинг с пагинацией на Python

  Как спарсить все страницы сайта на Python: ссылка "следующая", номер страницы в URL, паузы, requests.Session, повторы при ошибках и сбор в список словарей.