Http request node pagination with cursorMark

Describe the problem/error/question

Hi, im trying to paginate through Solr/Lucene results api by using cursorMark.
The first request starts with example.comsolr/jobs/select?indent=true&q.op=OR&q=title%3A*.de*&rows=10&sort=id%20asc&start=0&cursorMark=*

Response gives you the nextCursorMark:

"nextCursorMark": "AoE/DGh0dHA6Ly9hbHRtYW5uLWdtYmgubmV0L3dpci1iaWxkZW4tYXVzLmh0bWw="

However I´m stuck with the http node pagination to set it up.

Could someone point me in the right direction, please?

What is the error message (if any)?

Please share your workflow

Share the output returned by the last node

[
{
“responseHeader”: {
“zkConnected”: true,
“status”: 0,
“QTime”: 93,
“params”: {
“q”: “title:.de”,
“indent”: “true”,
“cursorMark”: “",
“start”: “0”,
“q.op”: “OR”,
“sort”: “id asc”,
“rows”: “2”
}
},
“response”: {
“numFound”: 290541,
“start”: 0,
“numFoundExact”: true,
“docs”: [
{
“date”: [
“2023-03-21T10:06:03Z”
],
“sax-apply_now_link”: [
BavaRoi - Oktoberfestjobs ♥ online casting solutions
],
“title_grams”: [
“Jetzt als Hostess & Messepersonal bewerben! Oktoberfest-Jobs.de
],
“prob_info”: [
0.8799999952316284
],
“sax-html_snippet”: [
“ICAgICAgICAgICAgICAgICAgICAgICAgIDxoMSBjbGFzcz0iZW50cnktdGl0bGUiIGl0ZW1wcm9wPSJoZWFkbGluZSI+Ck1lc3NlcGVyc29uYWwgJiBIb3N0ZXNzIChtL3cvZCkKCiAgICAgICAgICAgICAgICA8L2gxPgogICAgICAgICAgICAgICAgICAgIDxoMiBjbGFzcz0id3AtYmxvY2staGVhZGluZyI+CkRlaW5lIEF1ZmdhYmUKCiAgICAgICAgICAgICAgICAgICAgPC9oMj4KICAgICAgICAgICAgICAgICAgICA8cD4KVW5zZXIgTWVzc2VwZXJzb25hbCB1bmQgdW5zZXJlIEhvc3Rlc3NlbiDDvGJlcm5laG1lbiBmw7xyIHVuc2VyZSBLdW5kKmlubmVuIGF1ZiBNZXNzZW4sIEV2ZW50cyB1bmQgS29uZ3Jlc3NlbiByZXByw6RzZW50YXRpdmUgQXVmZ2FiZW4uCgogICAgICAgICAgICAgICAgICAgIDwvcD4KICAgICAgICAgICAgICAgICAgICA8aDIgY2xhc3M9IndwLWJsb2NrLWhlYWRpbmciPgpEaWUgSm9iIEFuZm9yZGVydW5nZW4gYWxzIEhvc3Rlc3MgdW5kIE1lc3NlcGVyc29uYWwKCiAgICAgICAgICAgICAgICAgICAgPC9oMj4KICAgICAgICAgICAgICAgICAgICA8cD4KQWxzIDxzdHJvbmc+SG9zdGVzcyB1bmQgTWVzc2VwZXJzb25hbDwvc3Ryb25nPiBzaW5kIHZlcnNjaGllZGVuZSBWb3JhdXNzZXR6dW5nZW4gbm90d2VuZGlnLiBFaW5lIGd1dGUgS29tbXVuaWthdGlvbnNmw6RoaWdrZWl0IGluIERldXRzY2ggdW5kIEVuZ2xpc2NoIHNpbmQgdW5lcmzDpHNzbGljaC4gTWl0IERlaW5lbSBnZXBmbGVndGVuIHVuZCBhbnNwcmVjaGVuZGVuIEVyc2NoZWludW5nc2JpbGQgZXJnw6RuenQgRHUgZGVpbmUgcHJvZmVzc2lvbmVsbGUgdW5kIGtvbXBldGVudGUgVW1nYW5nc2Zvcm0uCiAgICAgICAgICAgICAgICAgICAgPC9wPgogICAgICAgICAgICAgICAgICAgIDxoMiBjbGFzcz0id3AtYmxvY2staGVhZGluZyI+CkRpZSBCZXphaGx1bmcKCiAgICAgICAgICAgICAgICAgICAgPC9oMj4KICAgICAgICAgICAgICAgICAgICA8cD4KRGllIGdlbmF1ZSBWZXJnw7x0dW5nIGlzdCBhYmjDpG5naWcgdm9tIEF1ZnRyYWdnZWJlciB1bmQgRHUgZXJmw6RocnN0IGRhcyBBYnJlY2hudW5nc21vZGVsbCBpbSBSYWhtZW4gRGVpbmVzIEVpbnNhdHplcy4KCiAgICAgICAgICAgICAgICAgICAgPC9wPgogICAgICAgICAgICAgICAgPGgyIGNsYXNzPSJ3cC1ibG9jay1oZWFkaW5nIj4KSW50ZXJlc3NlPyBEYW5uIGJld2lyYiBEaWNoIGpldHp0CgogICAgICAgICAgICAgICAgPC9oMj4KICAgICAgICAgICAgICAgIDxwPgpIYXQgRGlyIHVuc2VyZSBCZXNjaHJlaWJ1bmcgZ2VmYWxsZW4gdW5kIGthbm5zdCBEdSBEaXIgdm9yc3RlbGxlbiwgYWxzIDxzdHJvbmc+PHN0cm9uZz5Ib3N0ZXNzPC9zdHJvbmc+PC9zdHJvbmc+IG9kZXIgenUgYXJiIDxzdHJvbmc+TWVzc2VwZXJzb25hbDwvc3Ryb25nPmVpdGVuPyBEYW5uIGJld2lyYiBEaWNoIGVpbmZhY2gga29zdGVubG9zIHVuZCB1bnZlcmJpbmRsaWNoLgogICAgICAgICAgICAgICAgPC9wPgogICAgIA==”
],
“type”: [
“text/html”
],
“title”: [
“Jetzt als Hostess & Messepersonal bewerben! Oktoberfest-Jobs.de
],
“prob_article”: [
0.8500000238418579
],
“content”: [
"Messepersonal & Hostess (m/w/d) Deine Aufgabe Unser Messepersonal und unsere Hostessen übernehmen für unsere Kund
innen auf Messen, Events und Kongressen repräsentative Aufgaben. Die Job Anforderungen als Hostess und Messepersonal Als Hostess und Messepersonal sind verschiedene Voraussetzungen notwendig. Eine gute Kommunikationsfähigkeit in Deutsch und Englisch sind unerlässlich. Mit Deinem gepflegten und ansprechenden Erscheinungsbild ergänzt Du deine professionelle und kompetente Umgangsform. Die Bezahlung Die genaue Vergütung ist abhängig vom Auftraggeber und Du erfährst das Abrechnungsmodell im Rahmen Deines Einsatzes. Interesse? Dann bewirb Dich jetzt Hat Dir unsere Beschreibung gefallen und kannst Du Dir vorstellen, als Hostess oder Messepersonal zu arbeiten? Dann bewirb Dich einfach kostenlos und unverbindlich.”
],
“url”: [
Jetzt als Hostess & Messepersonal bewerben! Oktoberfest-Jobs.de
],
“companyId”: [
“DE8170257438”
],
“minhash”: [
-7921136289734361000
],
“title_hash”: [
1343002630
],
“size”: [
58677
],
“host”: [
2021.oktoberfest-jobs.de
],
“id”: “Jetzt als Hostess & Messepersonal bewerben! Oktoberfest-Jobs.de”,
“lang”: [
“de”
],
version”: 1780898766983790600
},
{
“title_grams”: [
“Wir bilden aus - https://www.zylinderschleiferei-altmann.de
],
“sax-phone_numbers”: [
“[{phone_number=+49912412150838, source=9/124/121/50838}, {phone_number=+498441789000, source=08441 - 789000}, {phone_number=+498441789000, source=08441 789 000}]”
],
“prob_info”: [
0.9399999976158142
],
“sax-html_snippet”: [
“ICAgICAgICAgICAgICAgICAgICAgICAgPGRpdiBjbGFzcz0iaW1UQUp1c3RpZnkgbGgxIiBkYXRhLWxpbmUtaGVpZ2h0PSIxIj4KIDxiIGNsYXNzPSJmczEyIj5NZWNoYXRyb25pa2VyPC9iPgogICAgICAgICAgICAgICAgICAgICAgPC9kaXY+CiAgICAgICAgICAgICAgICAgICAgICA8ZGl2IGNsYXNzPSJpbVRBSnVzdGlmeSBsaDEiIGRhdGEtbGluZS1oZWlnaHQ9IjEiPgogPHNwYW4gY2xhc3M9ImZzMTIiPmFyYmVpdGVuIGFuIGRlciBTY2huaXR0c3RlbGxlIHp3aXNjaGVuIEVsZWt0cm9uaWssIE1lY2hhbmlrIHVuZCBJbmZvcm1hdGlvbnN0ZWNobm9sb2dpZW4uIFNpZSBzaW5kIEV4cGVydGVuIGbDvHIgZWluIGtvbXBsZXhlcyBHZXNhbXRzeXN0ZW0uIERpZSBBdXNiaWxkdW5nIHp1bSBNZWNoYXRyb25pa2VyIGJpZXRldCB2aWVsZSBzcGFubmVuZGUgdW5kIHVudGVyc2NoaWVkbGljaGUgTcO2Z2xpY2hrZWl0ZW4gaW4gZGVuIHZlcnNjaGllZGVuc3RlbiBCZXJlaWNoZW4uPC9zcGFuPiA8YiBjbGFzcz0iZnMxMiI+VGVjaG5payBmYXN6aW5pZXJ0ITwvYj4gPHNwYW4gY2xhc3M9ImZzMTIiPkRhcyBzdGVsbGVuIGltbWVyIG1laHIganVuZ2UgTGV1dGUgZmVzdCwgZGllIGltIFVtZmVsZCBlaW5lcyBCZXRyaWVic3ByYWt0aWt1bXMgaW4gZGVuIEJlcnVmIGVpbmVzIFRlY2huaWtlcnMgaGluZWluc2NobnVwcGVybiBrw7ZubmVuLiBKdWdlbmRsaWNoZW4sIGRlbmVuIFRlY2huaWsgU3Bhw58gbWFjaHQsIGRpZSBhbiBrb21wbGV4ZW4gVmVyZmFocmVuIHVuZCBBcmJlaXRzbWV0aG9kZW4gaW50ZXJlc3NpZXJ0IHNpbmQgdW5kIFRlYW1mw6RoaWdrZWl0IGJld2Vpc2VuLCBiaWV0ZW4gd2lyIGdlcm4gZWluZW4gQXVzYmlsZHVuZ3NwbGF0eiBpbiB1bnNlcmVtIG1pdHRlbHN0w6RuZGlzY2hlbiBVbnRlcm5laG1lbi48L3NwYW4+CiAgICAgICAgICAgICAgICAgICAgICA8L2Rpdj4KICAgICAgICAgICAgICAgICAgICAgIDxkaXYgY2xhc3M9ImltVEFKdXN0aWZ5IGxoMSIgZGF0YS1saW5lLWhlaWdodD0iMSI+CiA8YiBjbGFzcz0iZnMxMiI+U2NodWxpc2NoZSBWb3JhdXNzZXR6dW5nOjwvYj4gPHNwYW4gY2xhc3M9ImZzMTIiPlJlYWwtIG9kZXIgSGF1cHRzY2h1bGFic2NobHVzcywgVGVhbWbDpGhpZ2tlaXQ8L3NwYW4+CiAgICAgICAgICAgICAgICAgICAgICA8L2Rpdj4KICAgICAgICAgICAgICAgICAgICAgIDxkaXYgY2xhc3M9ImltVEFKdXN0aWZ5IGxoMSIgZGF0YS1saW5lLWhlaWdodD0iMSI+CiA8YiBjbGFzcz0iZnMxMiI+QXVzYmlsZHVuZ3NkYXVlcjwvYj4gPHNwYW4gY2xhc3M9ImZzMTIiPjogMyAxLzIgSmFocmU8L3NwYW4+CiAgICAgICAgICAgICAgICAgICAgICA8L2Rpdj4KICAgICAgICAgICAgICAgICAgICAgIDxkaXYgY2xhc3M9ImltVEFKdXN0aWZ5IGxoMSIgZGF0YS1saW5lLWhlaWdodD0iMSI+CiA8YiBjbGFzcz0iZnMxMiI+UHJha3Rpc2NoZSBBdXNiaWxkdW5nOjwvYj4gPHNwYW4gY2xhc3M9ImZzMTIiPkFsdG1hbm4gWnlsaW5kZXJzY2hsZWlmZXJlaSBQZmFmZmVuaG9mZW48L3NwYW4+CiAgICAgICAgICAgICAgICAgICAgICA8L2Rpdj4KICAgICAgICAgICAgICAgICAgICAgIDxkaXYgY2xhc3M9ImltVEFKdXN0aWZ5IGxoMSIgZGF0YS1saW5lLWhlaWdodD0iMSI+CiA8YiBjbGFzcz0iZnMxMiI+QmVydWZzc2NodWxhdXNiaWxkdW5nOjwvYj4gPHNwYW4gY2xhc3M9ImZzMTIiPkJlcnVmc3NjaHVsZSBQZmFmZmVuaG9mZW48L3NwYW4+CiAgICAgICAgICAgICAgICAgICAgICA8L2Rpdj4KICAgICAgICAgICAgICAgICAgICAgIDxkaXYgY2xhc3M9ImltVEFKdXN0aWZ5IGxoMSIgZGF0YS1saW5lLWhlaWdodD0iMSI+CiA8YiBjbGFzcz0iZnMxMiI+QmV3ZXJidW5nc3VtZmFuZzo8L2I+IDxzcGFuIGNsYXNzPSJmczEyIj5BbnNjaHJlaWJlbiwgTGljaHRiaWxkLCBMZWJlbnNsYXVmLCBaZXVnbmlzc2U8L3NwYW4+CiAgICAgICAgICAgICAgICAgICAgICA8L2Rpdj4KICAgICAgICAgICAgICAgICAgICAgICAgPGRpdiBjbGFzcz0iaW1UQUNlbnRlciI+CiA8Yj48c3BhbiBjbGFzcz0iZnMxMmxoMSI+QmV3ZXJidW5nZW4gYml0dGUgYW46PC9zcGFuPjwvYj4KICAgICAgICAgICAgICAgICAgICAgICAgPC9kaXY+CiAgICAgICAgICAgICAgICAgICAgICAgIDxkaXYgY2xhc3M9ImltVEFDZW50ZXIgbGgxIiBkYXRhLWxpbmUtaGVpZ2h0PSIxIj4KIDxzcGFuIGNsYXNzPSJmczEybGgxIj5SZWluaGFyZCBNaXR0ZXJodWJlcjwvc3Bhbj4KICAgICAgICAgICAgICAgICAgICAgICAgPC9kaXY+CiAgICAgICAgICAgICAgICAgICAgICAgIDxkaXYgY2xhc3M9ImltVEFDZW50ZXIgbGgxIiBkYXRhLWxpbmUtaGVpZ2h0PSIxIj4KIDxzcGFuIGNsYXNzPSJmczEybGgxIj5UZWwuOiAwODQ0MSAtIDc4OTAwMDwvc3Bhbj4KICAgICAgICAgICAgICAgICAgICAgICAgPC9kaXY+CiAgICAgICAgICAgICAgICAgICAg”
],
“type”: [
“text/html”
],
“title”: [
“Wir bilden aus - https://www.zylinderschleiferei-altmann.de
],
“prob_article”: [
0.7900000214576721
],
“content”: [
“Mechatroniker arbeiten an der Schnittstelle zwischen Elektronik, Mechanik und Informationstechnologien. Sie sind Experten für ein komplexes Gesamtsystem. Die Ausbildung zum Mechatroniker bietet viele spannende und unterschiedliche Möglichkeiten in den verschiedensten Bereichen. Technik fasziniert! Das stellen immer mehr junge Leute fest, die im Umfeld eines Betriebspraktikums in den Beruf eines Technikers hineinschnuppern können. Jugendlichen, denen Technik Spaß macht, die an komplexen Verfahren und Arbeitsmethoden interessiert sind und Teamfähigkeit beweisen, bieten wir gern einen Ausbildungsplatz in unserem mittelständischen Unternehmen. Schulische Voraussetzung: Real- oder Hauptschulabschluss, Teamfähigkeit Ausbildungsdauer: 3 1/2 Jahre Praktische Ausbildung: Altmann Zylinderschleiferei Pfaffenhofen Berufsschulausbildung: Berufsschule Pfaffenhofen Bewerbungsumfang: Anschreiben, Lichtbild, Lebenslauf, Zeugnisse Bewerbungen bitte an: Reinhard Mitterhuber Tel.:”
],
“url”: [
Wir bilden aus - https://www.zylinderschleiferei-altmann.de
],
“sax-email_addresses”: [
“[{[email protected], [email protected]}, {[email protected], [email protected]}]”
],
“companyId”: [
“DE8130016732”
],
“minhash”: [
-1499565324957326800
],
“title_hash”: [
-678247951
],
“size”: [
22746
],
“host”: [
altmann-gmbh.net
],
“id”: “Wir bilden aus - https://www.zylinderschleiferei-altmann.de”,
“lang”: [
“de”
],
version”: 1780046278557696000
}
]
},
“nextCursorMark”: “AoE/DGh0dHA6Ly9hbHRtYW5uLWdtYmgubmV0L3dpci1iaWxkZW4tYXVzLmh0bWw=”
}
]

Information on your n8n setup

  • n8n version:
  • **Database (default: SQLite):SQLite
  • n8n EXECUTIONS_PROCESS setting (default: own, main):
  • **Running n8n via (Docker, npm, n8n cloud, desktop app):NPM Latest Next
  • **Operating system:macOS/centOS

No idea, anyone?

Hey @Kool_Baudrillard, if you’re on the latest version of n8n you should be able to use the new pagination functionality of the HTTP Request node for this. Check out Pagination | n8n Docs for details.

Based on your description I believe a setting like this should do the job:

image

2 Likes

THX! This works!

1 Like

This topic was automatically closed 7 days after the last reply. New replies are no longer allowed.