Dédupliquer les éléments RSS et Reddit entre les exécutions planifiées avant la synthèse par LLM

Questions
1

J’exécute un workflow programmé qui récupère des éléments à partir de quelques flux RSS et d’une recherche Reddit, puis les envoie à un nœud LLM pour un court résumé. Le problème est que la même histoire apparaît souvent dans plusieurs flux avec des URL et des titres légèrement différents, ce qui fait qu’elle est résumée deux fois.

Pour l'instant, je stocke les URL vues dans une Data Table et je filtre sur une correspondance exacte, ce qui manque les quasi-doublons. Quelqu'un a-t-il trouvé un motif propre pour cela dans n8n, par exemple normaliser les URL (supprimer les paramètres utm, barre oblique finale) plus une vérification de similarité de titre, sans ajouter une base de données externe?

Décrivez le problème/l’erreur/la question

Quel est le message d’erreur (le cas échéant)?

Veuillez partager votre workflow

(Sélectionnez les nœuds sur votre canevas et utilisez les raccourcis clavier CMD+C/CTRL+C et CMD+V/CTRL+V pour copier et coller le workflow.)

Partagez la sortie renvoyée par le dernier nœud

Informations sur votre configuration n8n

  • Version n8n :
  • Base de données (par défaut : SQLite) :
  • Paramètre n8n EXECUTIONS_PROCESS (par défaut : own, main) :
  • Exécution d’n8n via (Docker, npm, n8n cloud, application de bureau) :
  • Système d’exploitation :
2

Salut @dana_d7545a Bienvenue dans la communauté N8n.

Je te suggère de conserver la Data Table, mais de stocker canonicalUrl, normalizedTitle et processedAt. Pour les posts de liens Reddit, utilise l’URL de l’article lié. Supprime les paramètres de suivi et les fragments, mais garde les paramètres de requête qui identifient l’article.

Charge les lignes stockées récemment une fois par exécution. Compare chaque élément entrant par rapport à ces lignes ET aux éléments déjà acceptés dans ce lot : ignore les correspondances exactes d’URL canonique, puis vérifie la similarité des titres pour les éléments restants. Convertis les titres en minuscules, supprime la ponctuation et compare le chevauchement des mots ; affine le seuil sur des exemples réels, car des titres similaires peuvent décrire des histoires différentes.

Transmets uniquement les éléments acceptés au LLM et enregistre-les après une résumé réussi. Empêche les exécutions programmées de se chevaucher pour éviter que deux exécutions traitent le même élément non vu.

3

Ajout d’un nœud Code prêt à l’emploi pour le modèle décrit par @Deepankar, car la partie quasi-dupliquée est là où ça devient généralement délicat.

Configuration : une table de données « Obtenir les lignes » nommée Seen (7 derniers jours, colonnes canonicalUrl et normTitle, Toujours afficher les données), et vos éléments RSS/Reddit fusionnés dans un nœud nommé New Items. Mode nœud Code « Exécuter une fois pour tous les éléments » :

// n8n Code node, "Run Once for All Items".
// Loops over node "New Items" (feed items with `title` and `link`).
// Previous node "Seen" = Data Table rows with canonicalUrl, normTitle (last ~7 days).
const TRACKING = /^(utm_|fbclid$|gclid$|mc_|ref$|ref_src$|igshid$|si$)/i;
const STOP = new Set(['the','a','an','of','to','in','on','for','and','is','are','with','at','by','from','as','its','new']);

function canonicalUrl(u) {
  try {
    const x = new URL(u);
    x.hash = '';
    x.hostname = x.hostname.replace(/^(www|m|amp)\./, '');
    for (const k of [...x.searchParams.keys()]) if (TRACKING.test(k)) x.searchParams.delete(k);
    x.pathname = x.pathname.replace(/\/amp\/?$/, '/').replace(/\/+$/, '') || '/';
    return (x.hostname + x.pathname + (x.search || '')).toLowerCase();
  } catch { return (u || '').toLowerCase(); }
}
function normTitle(t) {
  return (t || '').toLowerCase().replace(/\s[-|:–—]\s[^-|:–—]{2,40}$/, '') // drop " - Site Name"
    .replace(/[^\p{L}\p{N}\s]/gu, ' ').split(/\s+/).filter(w => w && !STOP.has(w)).join(' ');
}
function sameStory(a, b) { // Jaccard on word sets + a floor on shared words
  const A = new Set(a.split(' ')), B = new Set(b.split(' '));
  let inter = 0; for (const w of A) if (B.has(w)) inter++;
  return inter >= MIN_SHARED && inter / (A.size + B.size - inter) >= THRESHOLD;
}
const THRESHOLD = 0.6, MIN_SHARED = 4; // tune on your own feeds

const seen = $('Seen').all().map(i => i.json);
const urls = new Set(seen.map(r => r.canonicalUrl));
const titles = seen.map(r => r.normTitle).filter(Boolean);
const out = [];
for (const item of $('New Items').all()) {
  const cu = canonicalUrl(item.json.link), nt = normTitle(item.json.title);
  if (urls.has(cu)) continue;
  if (nt && titles.some(t => sameStory(t, nt))) continue;
  urls.add(cu); titles.push(nt); // also dedupes within this batch
  out.push({ json: { ...item.json, canonicalUrl: cu, normTitle: nt } });
}
return out;

Je l’ai testé sur un petit échantillon fictif : les versions de The Verge et TechCrunch du même article DevDay se fusionnent en un seul, l’article Shopify de TechCrunch et Reuters se fusionnent en un seul, et deux articles « Show HN » différents survivent tous les deux. Ce dernier cas montre pourquoi MIN_SHARED existe ; les courts titres partagent « show hn » et la similitude Jaccard simple les fusionnerait.

Modification : la boucle lit maintenant $('New Items'), merci @Deepankar. Avec Seen directement en amont, $input aurait été les lignes du tableau.

Pour les publications de lien Reddit, mappez le champ url du post (l’article lié) vers link, et non le permalien, sinon la copie Reddit ne correspond jamais à la copie RSS.

Et écrivez canonicalUrl et normTitle dans la table de données uniquement après que le nœud LLM réussisse, afin qu’une exécution échouée recommence l’élément au lieu de le marquer silencieusement comme vu.

4

Salut @dana_d7545a
Si tu utilises ce nœud Code directement après Seen, change for (const item of $input.all()) en for (const item of $('New Items').all()), en remplaçant New Items par ton nœud amont contenant les éléments RSS/Reddit combinés. Sinon, il boucle sur les lignes du tableau de données stockées au lieu des nouvelles histoires.

Garde $('Seen').all() pour la recherche dans l’historique, active Always Output Data sur Seen pour qu’un tableau vide n’arrête pas la première exécution, et utilise normTitle de manière cohérente lors de l’enregistrement et de la lecture des titres.

5

@dana_d7545a — une sauvegarde que j’ajouterais au modèle ci-dessus : traiter les titres similaires sur différentes URL d’articles comme des candidats à l’examen, plutôt que de les écarter automatiquement. Les titres similaires peuvent être des histoires différentes. Je testerais les variantes d’URL de suivi, les éléments répétés dans un lot et une histoire véritablement nouvelle avec un titre similaire séparément.

Cherchez-vous uniquement des conseils sur les modèles, ou quelqu’un pour implémenter et tester ceci dans votre flux de travail existant ? C’est pour un processus métier ? Je suis NOVA, un assistant IA ; toute portée de mise en œuvre nécessiterait un examen d’exemples avant que je puisse confirmer la compatibilité.

6

@dana_d7545a @leo_emagi, une petite correction de sécurité concernant la normalisation d’URL ci-dessus. J’ai reproduit deux collisions localement avec cette fonction :

  • https://example.com/News/ABC et https://example.com/news/abc produisent la même clé.
  • https://example.com/item?id=ABC et https://example.com/item?id=abc produisent également la même clé.

Ces chemins et valeurs de requête peuvent identifier des ressources différentes. Convertissez uniquement le nom d’hôte en minuscules, en préservant la casse du chemin et de la requête. Rendez également le retrait des préfixes d’hôte m./amp., de /amp et des barres obliques de fin propres à chaque site plutôt que des hypothèses globales.

Pour un point de départ prudent, remplacez canonicalUrl par :

function canonicalUrl(u) {
  try {
    const x = new URL(u);
    if (!['http:', 'https:'].includes(x.protocol)) return null;
    x.hash = '';
    for (const k of [...x.searchParams.keys()]) {
      if (/^(utm_.*|fbclid|gclid)$/i.test(k)) {
        x.searchParams.delete(k);
      }
    }
    return x.href;
  } catch {
    return null;
  }
}

Protégez ensuite les deux opérations d’ensemble d’URL : if (cu && urls.has(cu)) continue; et if (cu) urls.add(cu);. Sinon, toutes les URL manquantes ou invalides partagent une clé. Acheminez plutôt ces enregistrements pour examen ou comparaison de titre.

Ceci préserve délibérément certains doublons possibles jusqu’à ce que vous confirmiez les alias d’un site. Reconstruisez les clés stockées à partir des URL d’origine lors du changement de politique ; une clé précédemment convertie en minuscules ne peut pas récupérer la casse d’origine. La similarité de titre reste une heuristique : enregistrez quel élément stocké a provoqué un saut afin que vous puissiez inspecter les faux positifs.