طراحی سیستم اتصال API دیوار یا شیپور به تلگرام برای دریافت خودکار آگهی‌های جدید

استراتژی‌های پیشرفته برای دور زدن محدودیت‌ها: چگونه نامرئی شویم؟

تا اینجای کار فهمیدیم که ما می‌خواهیم داده‌ها را از دیوار یا شیپور برداریم و به تلگرام بفرستیم، اما متوجه شدیم که این پلتفرم‌ها اصلاً از دیدن ربات‌ها خوششان نمی‌آید. حالا سوال اینجاست: اگر می‌دانیم آن‌ها تله‌هایی برای گرفتن ربات‌ها گذاشته‌اند، چطور باید سیستم را طراحی کنیم که شناسایی نشود؟

پاسخ در یک مفهوم ساده نهفته است: شبیه‌سازی رفتار انسانی. یک انسان وقتی وارد سایت دیوار می‌شود، هرگز هر ۱.۰۰ ثانیه دقیقاً یک بار صفحه را رفرش نمی‌کند. انسان‌ها گاهی سریع کلیک می‌کنند، گاهی مکث می‌کنند، گاهی بین صفحات جابه‌جا می‌شوند و گاهی هم اشتباه می‌کنند. ربات‌ها اما دقیق و منظم هستند و همین «دقت بیش از حد» است که باعث لو رفتن آن‌ها می‌شود.

برای اینکه ربات ما در رادار امنیتی این سایت‌ها قرار نگیرد، باید از تکنیک‌های زیر استفاده کنیم:

• استفاده از User-Agentهای متنوع: هر مرورگری (Chrome, Firefox, Safari) یک شناسنامه دارد که به نام User-Agent شناخته می‌شود. اگر ربات شما هزاران درخواست بفرستد و در همه آن‌ها نوشته شده باشد "من یک ربات پایتونی هستم"، بلافاصله مسدود می‌شوید. راه حل این است که لیستی از شناسنامه‌های مرورگرهای مختلف تهیه کنیم و در هر درخواست، یکی را به صورت تصادفی انتخاب کنیم. به این ترتیب، سرور تصور می‌کند کاربران مختلفی از دستگاه‌های مختلف در حال بازدید هستند.
• تأخیرهای تصادفی (Random Sleep): به جای اینکه بگوییم «هر ۶۰ ثانیه یک بار چک کن»، باید بگوییم «بین ۴۵ تا ۹۰ ثانیه صبر کن و بعد چک کن». این تغییرات کوچک باعث می‌شود الگوریتم‌های شناسایی ربات نتوانند الگوی تکرار شونده‌ای را پیدا کنند.
• مدیریت هوشمند کوکی‌ها (Cookies): کوکی‌ها مثل کارت‌های شناسایی موقتی هستند. اگر شما بدون کوکی وارد سایت شوید، سایت می‌فهمد که شما یک بازدیدکننده جدید هستید. اما اگر کوکی‌ها را مدیریت کنید، سایت تصور می‌کند شما همان کاربری هستید که ۵ دقیقه پیش در حال گشتن در دسته‌بندی «آپارتمان» بودید.

یک نکته طلایی در طراحی سیستم‌های استخراج داده این است: هرچه کمتر درخواست بفرستید و داده‌های باکیفیت‌تری بگیرید، عمر ربات شما بیشتر خواهد بود. سرعت زیاد لزوماً به معنای موفقیت نیست، بلکه «پایداری» هدف اصلی است.

کالبدشکافی فنی: ساختار یک درخواست API غیررسمی

بیایید کمی عمیق‌تر شویم. وقتی شما در اپلیکیشن دیوار روی دسته‌بندی «خودرو» کلیک می‌کنید، اپلیکیشن یک درخواست به سرور می‌فرستد. این درخواست معمولاً به صورت یک رشته متنی پیچیده است که شامل فیلترهای شما (مثلاً قیمت، شهر، مدل) می‌شود. اگر ما بتوانیم این درخواست را تحلیل کنیم، می‌توانیم دقیقاً همان درخواست را با کد پایتون شبیه‌سازی کنیم.

این فرآیند را به زبان ساده می‌توان به سه مرحله تقسیم کرد:

۱. شکار درخواست (Intercepting)

ما از ابزارهایی مثل Chrome DevTools یا Fiddler استفاده می‌کنیم. وقتی صفحه را رفرش می‌کنیم، در تب Network می‌بینیم که مرورگر چه پیامی را به سرور فرستاده است. مثلاً می‌بینیم درخواستی به آدرس api.divar.ir/v1/search ارسال شده که پارامترهای جستجو در آن قرار دارد.

۲. تحلیل پاسخ (Parsing JSON)

پاسخی که سرور برمی‌گرداند معمولاً به فرمت JSON است. JSON یک فرمت استاندارد برای انتقال داده است که بسیار شبیه به یک لیست خرید است. مثلاً به این شکل:

{
  "listings": [
    {
      "title": "پژو ۲۰۷ مدل ۱۴۰۱",
      "price": "۴۵۰,۰۰۰,۰۰۰",
      "city": "تهران",
      "url": "divar.ir/v/123456"
    },
    ...
  ]
}
    

در این مرحله، ربات ما باید بتواند این متن را بخواند و فقط بخش‌های مورد نیاز (عنوان، قیمت و لینک) را استخراج کند. این کار دقیقاً مثل این است که از میان یک روزنامه شلوغ، فقط تیترهای خبری را با هایلایت علامت بزنیم.

۳. مقایسه با داده‌های قبلی (Deduplication)

این حیاتی‌ترین بخش است. ربات ما هر ۱ دقیقه آگهی‌ها را چک می‌کند. اگر در هر دو بار چک کردن، همان آگهی «پژو ۲۰۷» وجود داشته باشد، نباید هر بار پیام تلگرامی بفرستد؛ وگرنه کاربر از دریافت پیام‌های تکراری کلافه می‌شود و ربات را می‌بندد. برای این کار، ما از یک دیتابیس کوچک یا یک فایل متنی (Cache) استفاده می‌کنیم تا شناسه‌ی (ID) هر آگهی ارسالی را ذخیره کنیم. اگر ID آگهی جدید در لیست «ارسال شده‌ها» نبود، یعنی آگهی واقعاً جدید است و باید خبر داد.

اتصال به تلگرام: تبدیل کد به پیام

حالا که داده‌ها را استخراج کردیم و تکراری‌ها را حذف کردیم، نوبت به مرحله هیجان‌انگیز یعنی ارسال پیام می‌رسد. تلگرام یکی از منعطف‌ترین پلتفرم‌ها برای این کار است چون API بسیار قدرتمندی دارد که تقریباً رایگان است.

برای شروع، ما نیاز به یک BotFather داریم. BotFather در واقع «پدر» تمام ربات‌های تلگرام است. با ارسال چند دستور ساده به او، یک توکن (Token) دریافت می‌کنیم. این توکن مثل یک کلید دیجیتال است که به کد پایتون ما اجازه می‌دهد به جای ما در تلگرام پیام بفرستد.

اما یک چالش کوچک وجود دارد: ربات تلگرام نمی‌تواند به هر کسی پیام بدهد. کاربر باید ابتدا ربات را استارت (Start) کرده باشد یا ربات باید در یک کانال یا گروه عضو باشد. برای سیستم‌های دریافت آگهی، معمولاً دو استراتژی به کار می‌رود:

1. مدل کانالی: ربات آگهی‌ها را در یک کانال عمومی یا خصوصی می‌فرستد. این مدل برای کسانی که می‌خواهند آگهی‌ها را به دیگران هم بفروشند یا نمایش دهند عالی است.
2. مدل شخصی: ربات مستقیماً به پیام‌های خصوصی کاربر (Direct Message) پیام می‌فرستد. این مدل برای کسانی که می‌خواهند سریع‌ترین دسترسی شخصی را داشته باشند و رقابت کنند، مناسب‌تر است.

برای اینکه پیام‌ها جذاب باشند، ما فقط لینک نمی‌فرستیم. ما از قابلیت Markdown در تلگرام استفاده می‌کنیم تا متن‌ها را زیبا کنیم. مثلاً قیمت را Bold می‌کنیم، برای شهر از ایموجی 📍 استفاده می‌کنیم و در نهایت یک دکمه (Inline Button) می‌گذاریم که کاربر با یک کلیک مستقیم به صفحه آگهی در دیوار منتقل شود.

مقایسه‌ای بین روش‌های مختلف دریافت داده: کدام برای شما مناسب است؟

تا اینجا درباره APIهای غیررسمی و اسکرپینگ صحبت کردیم. اما شاید شما بخواهید بدانید چه روش‌های دیگری وجود دارد. در جدول زیر، سه روش رایج را با هم مقایسه کرده‌ایم تا بتوانید تصمیم بگیرید.

اگر شما یک برنامه‌نویس حرفه‌ای هستید و می‌خواهید سیستمی بسازید که برای هزاران کاربر کار کند، قطعاً Internal API بهترین گزینه است. اما اگر می‌خواهید یک ربات کوچک برای خودتان داشته باشید که هر از گاهی آگهی‌ها را چک کند، Selenium به دلیل شباهت زیاد به رفتار انسان، امن‌ترین گزینه است، هرچند که سرعت کمتری دارد.

در نهایت، باید به این نکته اشاره کنیم که مدیریت این سیستم‌ها روی کامپیوتر شخصی شما (Laptop) منطقی نیست. چرا؟ چون اگر لپ‌تاپ شما خاموش شود یا اینترنت قطع شود، ربات شما هم می‌خوابد و آگهی‌های طلایی را از دست می‌دهید. راه حل واقعی، استفاده از یک سرور مجازی (VPS) است که ۲۴ ساعته روشن است و اینترنت پرسرعتی دارد. در این حالت، ربات شما مثل یک نگهبان tireless، هر ثانیه بازار را می‌پاید و به محض پیدا شدن فرصت، شما را در تلگرام بیدار می‌کند.

استقرار سیستم: از محیط کدنویسی به دنیای واقعی (Deployment)

فرض کنید کد شما روی لپ‌تاپتان به زیبایی کار می‌کند و اولین آگهی را با موفقیت به تلگرام فرستاده است. اما اینجا یک تله بزرگ وجود دارد: تکیه بر سخت‌افزار شخصی. اگر بخواهید این سیستم را به صورت جدی به کار بگیرید، نباید آن را روی سیستم شخصی اجرا کنید. چرا؟ چون هرگونه نوسان در برق، قطع شدن Wi-Fi یا حتی یک آپدیت ناگهانی ویندوز می‌تواند باعث توقف ربات شود و شما را از فرصت‌های سودآور محروم کند.

برای اینکه ربات شما به یک «سرباز ۲۴ ساعته» تبدیل شود، باید آن را روی یک سرور مجازی یا VPS مستقر کنید. سرور مجازی در واقع یک کامپیوتر است که در یک دیتاسنتر قرار دارد، هرگز خاموش نمی‌شود و اینترنت آن هزار برابر سریع‌تر از اینترنت خانگی شماست. اما برای استقرار صحیح، چند نکته کلیدی وجود دارد که باید رعایت کنید:

• استفاده از Docker: به جای نصب مستقیم پایتون روی سرور، بهتر است از Docker استفاده کنید. داکر مثل این است که تمام تنظیمات و کتابخانه‌های ربات را در یک «کانتینر» یا جعبه مخصوص قرار دهید. این کار باعث می‌شود اگر خواستید سرور خود را تغییر دهید، فقط جعبه را جابه‌جا کنید و نیازی نباشد دوباره تمام تنظیمات را از صفر انجام دهید.
• مدیریت پردازش‌ها با PM2 یا Systemd: چه اتفاقی می‌افتد اگر ربات شما به دلیل یک خطای پیش‌بینی نشده (مثلاً قطع لحظه‌ای سرور دیوار) کرش کند و متوقف شود؟ اگر سیستم را به صورت ساده اجرا کرده باشید، ربات خاموش می‌ماند. اما ابزارهایی مثل PM2 یا Systemd نظارت می‌کنند که ربات همیشه زنده باشد و اگر متوقف شد، در کسری از ثانیه آن را دوباره اجرا کنند.
• مانیتورینگ و لاگ‌ها: شما باید بدانید در هر لحظه چه اتفاقی می‌افتد. ساخت یک سیستم Log (ثبت وقایع) ضروری است تا اگر ربات به جای ارسال آگهی، خطای "403 Forbidden" دریافت کرد، شما سریعاً متوجه شوید و استراتژی IP یا پروکسی خود را تغییر دهید.

تصور کنید این سیستم مثل یک ساعت سوئیسی است؛ هر قطعه باید دقیقاً در جای خود باشد تا در نهایت شما فقط صدای "دینگ" تلگرام را بشنوید و با لبخند روی لینک آگهی کلیک کنید.

بررسی اخلاقی و قانونی: مرز بین اتوماسیون و مزاحمت

قبل از اینکه دکمه اجرا را بزنید، بیایید درباره یک موضوع مهم صحبت کنیم: اخلاق در استخراج داده. دنیای وب بر پایه همکاری است. وقتی ما از APIهای غیررسمی استفاده می‌کنیم، در واقع داریم از منابع سرورهای شرکت‌های دیگر استفاده می‌کنیم. اگر هزاران نفر همزمان ربات‌هایی بسازند که هر ۱ ثانیه درخواست بفرستند، سرورهای دیوار یا شیپور ممکن است کند شوند یا حتی از دسترس خارج شوند.

به همین دلیل است که متخصصان واقعی، مفهومی به نام "Polite Scraping" یا «اسکرپینگ مودبانه» را دنبال می‌کنند. مودب بودن در دنیای ربات‌ها به این معناست که:

1. تعداد درخواست‌ها را بهینه کنید: اگر آگهی‌های شما در دسته‌بندی خاصی هر ۱۰ دقیقه یک بار آپدیت می‌شوند، نیازی نیست هر ۵ ثانیه درخواست بفرستید.
2. در ساعات کم‌ترافیک فشار نیاورید: سعی کنید ربات خود را طوری تنظیم کنید که در زمان‌های پیک ترافیک، فشار کمتری به سرور وارد کند.
3. داده‌های حساس را ذخیره نکنید: هدف ما دریافت آگهی است، نه جمع‌آوری اطلاعات شخصی کاربران. همیشه حریم خصوصی را اولویت قرار دهید.

رعایت این موارد نه تنها از نظر اخلاقی درست است، بلکه از نظر فنی هم باعث می‌شود ربات شما کمتر شناسایی شود و عمر طولانی‌تری داشته باشد. به زبان ساده: هرچه کمتر شبیه به یک «حمله» رفتار کنید و بیشتر شبیه به یک «بازدیدکننده»، موفق‌تر خواهید بود.

جمع‌بندی نهایی و گام‌های بعدی

طراحی یک سیستم اتصال API از دیوار یا شیپور به تلگرام، ترکیبی از مهارت‌های برنامه‌نویسی، تحلیل شبکه و استراتژی‌های دور زدن محدودیت‌هاست. ما از مفهوم ساده API شروع کردیم، یاد گرفتیم چطور با شبیه‌سازی رفتار انسانی از سد کپچاها عبور کنیم، نحوه استخراج داده‌های JSON را بررسی کردیم و در نهایت به نحوه استقرار ربات روی سرورهای ابری رسیدیم.

شاید در نگاه اول، این مسیر برای شما که متخصص برنامه‌نویسی نیستید، دشوار به نظر برسد. اما حقیقت این است که در دنیای امروز، شما نیازی ندارید که خودتان تمام این کدهای پیچیده را بنویسید یا ساعت‌ها وقت خود را صرف عیب‌یابی (Debug) کردن خطاهای سرور کنید. ابزارها و متخصصانی هستند که این مسیر سخت را برای شما هموار می‌کنند.

اگر ایده‌ای برای کسب‌وکار خود دارید یا می‌خواهید در بازار املاک و خودرو یک گام جلوتر از همه باشید و سیستم دریافت خودکار آگهی‌ها را بدون درگیر شدن با پیچیدگی‌های فنی داشته باشید، ما در کنار شما هستیم. پیاده‌سازی این سیستم‌ها نیاز به دقت بالایی دارد تا هم سرعت تضمین شود و هم ریسک مسدود شدن IPها به حداقل برسد. برای دریافت مشاوره تخصصی و اجرای یک سیستم هوشمند و بهینه، می‌توانید همین حالا از طریق بخش تماس با ما در زیروکس ای‌آی با ما ارتباط برقرار کنید تا بهترین راهکار را متناسب با نیاز شما طراحی کنیم.

در نهایت، به یاد داشته باشید که تکنولوژی ابزاری برای تسهیل زندگی است. هدف ما از این اتوماسیون، آزاد کردن زمان شماست تا به جای رفرش کردن مداوم صفحات، روی تصمیم‌گیری‌های درست و سودآور تمرکز کنید. موفقیت در دنیای دیجیتال متعلق به کسانی است که ابزارهای درست را در زمان درست به کار می‌گیرند.