[AIDE] Web scraping

https://ec.europa.eu/clima/ets/oha.do?form=oha&languageCode=fr&accountHolder=&installationIdentifier=&installationName=&permitIdentifier=&mainActivityType=-1&search=Search&searchType=oha¤tSortSettings=

Le site à scraper

Le 27 décembre 2022 à 20:56:19 :
c quoi ce site

La commission européenne met à disposition sur son site internet la base de données du marché ETS (Emission Trading System) européen qui recense par installation (i.e. une usine) les allocations et les émissions carbone.

Ben tu fais une comparaison de ce qui est déjà présent dans ta DDB. Si une donnée change, tu fais un update global sur chacune des lignes, sinon pas besoin.

EDIT : Désolé j'ai mal compris la question. Je pense que t'as pas le choix, tu scrappe d'abord puis tu compares ce qui a changé

Le 27 décembre 2022 à 21:06:04 :
Ben tu fais une comparaison de ce qui est déjà présent dans ta DDB. Si une donnée change, tu fais un update global sur chacune des lignes, sinon pas besoin.

EDIT : Désolé j'ai mal compris la question. Je pense que t'as pas le choix, tu scrappe d'abord puis tu compares ce qui a changé

"1106821 records"
tu veux que je rescrappe 1 million de lignes à chaque fois ?

Le 27 décembre 2022 à 21:10:22 :
Tu me poses une question je te réponds, si tu fais le job une fois par semaine c'est pas choquant de scrapper toutes les pages. Si tu le fais toutes les 2 heures là c'est pas dingue.

je garderais ca en tete merci