پیشنهاد میکنم یک کافکا یا rabbit بالا بیارید و کالاهایی که crawl کردید رو ابتدا روی صف قرار بدید(fire and forget) و یک background service داشته باشید که به صف گوش بده و دیتا رو به دیتابیس انتقال بدید.
مثالی با rabbit
۱ ماه قبل، شنبه ۲۰ مرداد ۱۴۰۳، ساعت ۱۴:۰۷