My workflow scrapes financial news titles from 3 sources and upload a json file to my AWS hosted flask website. This part is Working.
But, I’m having trouble merging the old data with the new data (while removing duplicates)
My plan is : pull old json from AWS instance, merge with the new json, and upload new json
Could you please provide old and new json file samples? Depens on that I can provide js code.
(new json just contains more articles, but can contain old ones)
[
{
“CDGCAPITAL”: [
{
“title”: “L’Allemagne entre rejet de l’immigration et besoin criant de main d’oeuvre”,
“href”: “”,
“date”: “22/02/2025 16:07”
},
{
“title”: “Wall Street chute, craintes sur l’état de l’économie américaine”,
“href”: “”,
“date”: “21/02/2025 22:10”
},
{
“title”: “Airbags défectueux: plus de 2,3 millions de véhicules encore concernés, immobilisation chez Volkswagen”,
“href”: “”,
“date”: “21/02/2025 20:35”
},
{
“title”: “Les airbags Takata de plus de 2,3 millions de véhicules encore à remplacer en métropole”,
“href”: “”,
“date”: “21/02/2025 20:31”
}
]
},
{
“media24”: [
{
“title”: “Le MASI cède du terrain après un sommet à 17.120 points”,
“href”: “”,
“date”: “20/2/2025”
},
{
“title”: “Où investir dans l’immobilier en 2025 ? Le point sur les meilleures options”,
“href”: “”,
“date”: “19/2/2025”
},
{
“title”: “Ce qu’il faut savoir sur le nouveau marché à terme interbancaire (Issam Mghabbar)”,
“href”: “”,
“date”: “19/2/2025”
},
{
“title”: “Sur le marché des capitaux, la levée de fonds par dette dépasse l’appel public à l’épargne (explication)”,
“href”: “”,
“date”: “19/2/2025”
},
{
“title”: “TGCC mise sur STAM pour accélérer son expansion”,
“href”: “”,
“date”: “18/2/2025”
},
{
“title”: “Bank Al-Maghrib lance dès le 19 février le marché à terme interbancaire”,
“href”: “”,
“date”: “17/2/2025”
},
{
“title”: “Le marché termine au vert”,
“href”: “”,
“date”: “21/2/2025”
}
]
},
{
“Boursenews”: [
{
“title”: “Royaume-Uni: Quatre banques sanctionnées pour partage d’informations ''sensibles" sur les bons du Trésor”,
“href”: “”,
“date”: “21/02/2025”
},
{
“title”: “Entreprises et Etablissements publics : l’ANGSPE met le cap sur l’excellence”,
“href”: “”,
“date”: “21/02/2025”
},
{
“title”: “Terrorisme : une arrière-base montagneuse suspectée de servir de soutien logistique”,
“href”: “”,
“date”: “20/02/2025”
},
{
“title”: “L’or atteint un record historique au-dessus de 2 950 dollars, porté par les incertitudes mondiales”,
“href”: “”,
“date”: “20/02/2025”
},
{
“title”: “Le Trésor place 1,3 milliard de dirhams d’excédents de trésorerie”,
“href”: “”,
“date”: “19/02/2025”
}
]
}
]
Your sample data were long, so I shortened. You can use this workflow. Please make sure your input data names matches the Code2 variables in first 2 line. My one was Old_data and New_data.
Also I am assuming that there are only 3 categories. So if you increase the categories or change the names, don’t forget to update Code2
If my reply solves your problem, please remember to mark it as a solution.
Thanks you, with some adjustments this solved the problem. (not sure how to mark it as solved)