تعالوا فالثريد دى نتكلم عن حاجة مهمة اسمها API Rate Limit، وازاى احمى الداتا ال public بتاعتى من ان يحصلها scraping من السيرفر.
اولًا ال Rate Limiting باختصار معناه انك تدى لكل user سواء شخص او bot او اى حاجة limited access لل resources بتاعتك او ال APIs
اولًا ال Rate Limiting باختصار معناه انك تدى لكل user سواء شخص او bot او اى حاجة limited access لل resources بتاعتك او ال APIs
ليه ممكن نعمل حاجة زى كدة؟
لاسباب كتير اهمهم مثلا اننا نمنع ال attack ضد ال resources usage/availability لو مثلًا مش عايزين resources معينة تبقى سهلة لل scraping مثلًا بنعمل api rate limit لل IPs لو ال rate مثلًا 50 ريكوست فى الدقيقة وال IP ده هيعمل الريكوست ال 51 يحصله rejection
لاسباب كتير اهمهم مثلا اننا نمنع ال attack ضد ال resources usage/availability لو مثلًا مش عايزين resources معينة تبقى سهلة لل scraping مثلًا بنعمل api rate limit لل IPs لو ال rate مثلًا 50 ريكوست فى الدقيقة وال IP ده هيعمل الريكوست ال 51 يحصله rejection
لفترة معينة وبعدين يرجع تانى وهكذا، دى حاجة مثلًا، حاجة تانية مثلًا لو السيرفر بيقدر يهندل الف ريكوست فى اليوم ومتوقعين يوزرز قليلين مثلًا يعنى فممكن نعمله عشان مافيش حد يعمل ريكوستات اكتر من اللى بنهندله فيوقعلنا بيهم السيرفر.
ممكن مثلًا لو بنستخدم ريكوست بيعمل operation بتكلفنا فلوس، فاحنا ممكن نعمل عليها rate limit عشان محدش ي abuse it. حاجة تانية مثلًا لو عندنا forgot password form وعايزين نـ limit عدد ال password guessing لكل IP مثلا ففترة معينة هنستخدم Rate limit.
اللى بيحصل فى ال scraping هو ان الشخص بيستخدم مثلًا Headless browser يعنى browser من غير interface يقدر يعمل script فيه ي run flow كأنه user عادى جدًا ممكن يكرر ده الف مرة مثلا. او ممكن javascript فى الكونسول يعنى عادى 😁 فى طرق عشان يتحايل على طرق ال API Rate Limit زى انه
يستخدم vpn قبل الريكوستات بعد الليميت، او انه يـ wait randomly بين كل شوية requests كدة يعنى.
الثريد دى للناس اللى متعرفش يعنى ايه API Rate Limit ممكن تقروا اكتر بقى من تحت:
elastic.io
cloud.google.com
الثريد دى للناس اللى متعرفش يعنى ايه API Rate Limit ممكن تقروا اكتر بقى من تحت:
elastic.io
cloud.google.com
اوقات اصلا الناس تحب تعمل scraping عشان تنظّم الداتا بشكل معيّن مثلًا او يعملوا عليها Analytics معينة فمش شرط ابدًا ال scraping يكون حاجة بشعة
جاري تحميل الاقتراحات...