Как в Python использовать прокси для подмены IP‑адресов

Прокси‑сервер — это приложение, которое действует как посредник запросов между клиентом, который хочет скрыть свой родной IP‑адрес, и сервером назначения, с которого клиент запрашивает определенную услугу (HTTP, SSL и т. д.).
Читать далее «Как в Python использовать прокси для подмены IP‑адресов»

Как с помощью в Python извлечь все ссылки на веб‑сайты

Извлечение всех ссылок на веб-странице — обычная задача для веб-парсеров, полезно создавать продвинутые парсеры, которые сканируют каждую страницу определенного веб-сайта для извлечения данных, его также можно использовать для процесса диагностики SEO или даже на этапе сбора информации для проникновения. тестеры. В этом руководстве я расскажу, как с нуля на Python создать инструмент для извлечения ссылок, используя только запросы и библиотеки BeautifulSoup.
Читать далее «Как с помощью в Python извлечь все ссылки на веб‑сайты»

Как с помощью Python извлечь данные из Википедии

Википедия, без сомнения, самая большая и самая популярная справочная книга в Интернете, это один из самых популярных веб-сайтов. Содержит исключительно бесплатный контент. В результате возможность доступа к этому большому количеству информации в Python — удобная работа. В этом руководстве вы сможете легко извлекать информацию из Википедии без каких-либо усилий.
Читать далее «Как с помощью Python извлечь данные из Википедии»

Зачем нужен редирект и как его победить

Редирект — это перенаправление пользователя с одного URL на другой. Это нужно, чтобы человек не потерял вас, если вы измените адрес сайта или страницы. Кликая на старую ссылку, пользователь незаметно для себя окажется по новому нужному адресу. Например, если вы перейдёте по ссылке http://chel‑center.ru/python‑yfc/, автоматически попадёте на сайт с безопасным профилем https://chel‑center.ru/python‑yfc/ — проверьте.

Неактуальный сайт или страницу программисты называют донором, а ту, на которую перенаправляют, — акцептором. В нашем случае http://chel‑center.ru/python‑yfc/ — сайт-донор, а https://chel‑center.ru/python‑yfc/ — сайт-акцептор.
Читать далее «Зачем нужен редирект и как его победить»

Python для начинающих: уведомления о цене биткойнов

Содержание

Читать далее «Python для начинающих: уведомления о цене биткойнов»

Декларация об оценке исследований (Сан-Франциско)

Поиск оптимальных способов оценки результатов научных исследований финансирующими агентствами, научными учреждениями и другими заинтересованными сторонами очень актуален. Для решения этой задачи 16 декабря 2012 г. в Сан-Франциско (Калифорния) в рамках Ежегодного собрания Американского общества клеточной биологии (American Society for Cell Biology, ASCB) группой редакторов и издателей научных журналов был разработан ряд рекомендаций, названных «Сан-Францисской декларацией об оценке научных исследований». Мы призываем заинтересованные стороны во всех научных дисциплинах заявить о своей поддержке, поставив свою подпись под этой Декларацией.
Читать далее «Декларация об оценке исследований (Сан-Франциско)»

Отбор признаков с помощью Scikit-Learn в Python

Конвейер обработки данных представляет собой множество последовательных шагов, начиная от очистки необработанных данных и заканчивая построением оптимизированной модели машинного обучения для решения конкретных задач. Однако обработка данных — это тот самый этап, который требует наибольших усилий и времени, и который в дальнейшем определяет производительность моделей.

В этой статье сосредоточимся на том, как сделать отбор отдельных атрибутов (признаков) нашего набора данных, который является одной из основных задач фазы предварительной обработки. Но прежде чем погрузиться в кодирование и реализовать различные методы, используемые для подобных задач, давайте сначала определим, что подразумевается под отбором признаков. Отбор признаков — это процесс выбора подмножества атрибутов из набора данных, которые больше всего влияют на производительность модели, при этом не используются какие-либо преобразования.
Читать далее «Отбор признаков с помощью Scikit-Learn в Python»