Збір каталогу маркетплейсів

Збір каталогу для продукту маркетплейса

Клієнту потрібно було представити дозволені дані Amazon та eBay у власному каталозі. Масові інтерфейси не покривали всі потрібні поля, а відповіді, обмеження частоти запитів і структури сторінок змінювалися. Обсяги та ідентичність клієнта конфіденційні.

За чотири місяці створено адаптери джерел, черги з поступовим збільшенням пауз, перетворення у спільну схему, сповіщення про зміни й чергу ручної перевірки для записів із недостатньою довірою.

Узгодження, якість і спостережуваність

Python і PHP фонові обробники нормалізують ідентифікатори, категорії та атрибути, виявляють зміни й зберігають валідовані дані в PostgreSQL; Redis координує фонову роботу.

Docker-сервіси розгортаються й спостерігаються незалежно. Система є довготривалим продуктом для роботи з даними, а не одноразовим імпортом.