Во время парсинга чего-то в интернете, порой, очень сложно отследить какие данные и как они...
Во время парсинга чего-то в интернете, порой, очень сложно отследить какие данные и как они формируются. Чего только стоят редиректы с автоназначением cookies, работая вручную с ними можно легко запутаться
Просматривая страницы с открытым инструментом разработчика, можно записывать сетевые действия (запросы, выполняемые вашим браузером, и ответы, которые вы получаете с серверов). Затем все эти данные можно экспортировать в файл HAR (Http-архив) для последующего анализа, например в приложении Charles.
Либо воспользоваться одним из трех python-библиотек
1) [har2py ](https://github.com/S1M0N38/har2py)- конвентор har-контент в python requests код
2) [curlconverter ](https://github.com/NickCarneiro/curlconverter)- конвентирует cURL syntax в нативный Python, Go, PHP, JavaScript, R, Elixir and Dart HTTP code
3) [har2requests](https://github.com/louisabraham/har2requests): генерирует Python Requests код
Буду изучать эти библиотеки на днях
Просматривая страницы с открытым инструментом разработчика, можно записывать сетевые действия (запросы, выполняемые вашим браузером, и ответы, которые вы получаете с серверов). Затем все эти данные можно экспортировать в файл HAR (Http-архив) для последующего анализа, например в приложении Charles.
Либо воспользоваться одним из трех python-библиотек
1) [har2py ](https://github.com/S1M0N38/har2py)- конвентор har-контент в python requests код
2) [curlconverter ](https://github.com/NickCarneiro/curlconverter)- конвентирует cURL syntax в нативный Python, Go, PHP, JavaScript, R, Elixir and Dart HTTP code
3) [har2requests](https://github.com/louisabraham/har2requests): генерирует Python Requests код
Буду изучать эти библиотеки на днях
