Парсинг сайтов на Python: как использовать прокси и менять User-Agent

Мои курсы: Boosty: https://boosty.to/omolchanov/posts/995a18dd-487b-4000-9b3f-0aafa5e060cd Patreon: https://www.patreon.com/posts/karty-vsekh-41011404 Посмотрим на 2 основных способа избежать бана или появления каптчи. Делаем запросы к серверу с разных IP адресов через разные прокси и меняем User-Agent. А также... Также я решил в конце показать как увеличивать время между запросами. Темы: - используем requests, BeautifulSoup - рандомизируем выбор прокси и User-Agent из списков через использование random.choice() - увеличиваем время между запросами через time.sleep() - генерируем количество секунд для .sleep() через использование random.randint() для целых и random.uniform() для "дробных секунд" Файл с User-Agent'ами, который я использовал: https://www.dropbox.com/s/f6coygmf6cs0wn3/useragents.txt?dl=0 *** ИСХОДНЫЙ КОД *** Основных проектов доступен в Patreon: https://www.patreon.com/posts/iskhodnyi-kod-26640469 *** 🔷 Для донатов. Всегда очень признателен за это: https://www.donationalerts.ru/r/omolchanov ⭐ Практический курс парсинга сайтов на Python ⭐ https://www.youtube.com/watch?v=aRsbRYZxTGA Лендинг курса: https://zaemiel.github.io/courses/ О курсе и карта курса: https://www.patreon.com/posts/30462246