Вход

Нужна помощь с парсером на Python + Selenium

Научись общаться с машиной и научи других. Все вопросы связанные с программированием и разработкой программ.

Модератор: AxeL

Приближенный к ...

СообщениеПриближенный к ... Alien`2k Alien`2k 0
Оставил 3074 сообщений с 24 авг 2006
ФР: 3493
WWWICQ
5 ноября 2017 в 01:31

Приветствую всех!

Есть ли у нас на форуме программисты пишущие на 'Питоне'?
Возникла потребность в написании простенького парсера в связке Python + Selenium Webdriver.

Написал код, который находит необходимые мне элементы на странице и выводит текстовое содержимое в консоль.

Всё бы хорошо, но есть 2 небольшие проблемы:

1. Криво работает (периодически (в 90% случаев) не срабатывает) навигация по пагинации (переключение на следующую и далее страницы). Переход на след. страницу сейчас реализован через action_chains.
2. Вызов явного ожидания (WebDriverWait и EC) до появления элемента (кнопка след. страницы) проблемы не решает - скрипт не 'валится' (отрабатывает без ошибок), но в консоли отображаются спарсенные данные только с 1-й страницы. Конечно, придумал 'костыль', но хотелось бы обойтись без него.

В идеале, если такое вообще возможно, хотелось чтобы сбор информации осуществлялся без перехода на каждую страницу (id искомого элемента на всех страницах одинаковый), или все найденные страницы пагинации заносились в список (пробовал сделать самостоятельно, но список оказывается пустым), а затем по ним осуществлялся переход и сбор данных.

Хотелось бы обсудить данную тему.
Ссылку на код скину.
0
Приближенный к ...

СообщениеПриближенный к ... Alien`2k Alien`2k 0
Оставил 3074 сообщений с 24 авг 2006
ФР: 3493
WWWICQ
9 ноября 2017 в 15:45

Можно закрывать тему.
Задачу решил.
0



Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 6