Agregácia dát z viacerých zdrojov do jednotného systému s real-time synchronizáciou, čistením a normalizáciou produktových informácií. Každý dodávateľ posiela dáta inak – iný formát, iné jednotky, iné názvy tých istých parametrov. Cieľom je, aby z toho vznikol jeden katalóg, ktorému sa dá veriť.

Kde vzniká najviac práce

Nie v stiahnutí súboru, ale v tom, čo nasleduje. Rovnaký produkt sa v dvoch feedoch volá inak, jednotky sú raz v milimetroch a raz v palcoch, chýbajúce hodnoty treba doplniť z iného zdroja a duplicity spárovať tak, aby sa neprepísala kvalitnejšia verzia záznamu horšou. Práve tieto pravidlá tvoria hodnotu celého systému.

Ako to riešime

  • Import z XML, CSV, JSON aj API s toleranciou voči zmenám v štruktúre feedu.
  • Normalizácia jednotiek, názvov a parametrov do spoločného dátového modelu.
  • Párovanie duplicít cez stabilné identifikátory a pravidlá prednosti zdrojov.
  • Historizácia zmien, aby bolo vidieť, kedy a odkiaľ hodnota prišla.
  • Kontrola kvality – upozornenia na prázdne polia, odchýlky cien a nečakané výpadky.

Čo z toho máte

Jeden katalóg, z ktorého čerpá e-shop, exporty aj marketing, bez toho, aby si každý kanál udržiaval vlastnú verziu pravdy. Pri zmene u dodávateľa sa aktualizuje jedno miesto a zmena sa premietne všade. Odpadá aj ručné čistenie tabuliek, ktoré sa v praxi nikdy nestihne.

Rovnaký prístup používame pri projekte Tyrestock.sk, kde systém spracúva dáta od viac než 40 dodávateľov pneumatík.

Časté otázky

Čo ak dodávateľ posiela dáta v zlej kvalite?

Systém ich neprepíše do katalógu naslepo. Chýbajúce alebo podozrivé hodnoty označí, doplní z iného zdroja podľa pravidiel prednosti alebo pošle na kontrolu. Zároveň vidíte, ktorý dodávateľ dodáva najviac chýb – čo býva užitočný argument pri rokovaní.

Koľko zdrojov vie systém spracovať?

Počet nie je hlavné obmedzenie, dôležitejšia je rôznorodosť formátov a frekvencia aktualizácií. V praxi bežne spracúvame desiatky feedov naraz; pri projekte Tyrestock.sk ide o viac než 40 dodávateľov pneumatík s pravidelnou aktualizáciou cien a skladu.