WP Content Crawler یک افزونه وردپرس است که به شما کمک می کند تا محتوای وب سایت های دیگر را در وب سایت خود دریافت کنید.
راهنما پیکربندی تا حد زیادی سرعت راه اندازی اولیه سایت را افزایش می دهد
* هنگام ایجاد یک سایت جدید، Config Helper نمایش داده می شود. هدف آن افزایش سرعت راه اندازی اولیه برای یک سایت است. اگرچه Config Helper برای بسیاری از سایتها کار میکند، اما هر سایتی را نمیتوان به این راحتی پیکربندی کرد، به این معنی که برخی از سایتها ممکن است به یک راهاندازی دستی و دقیقتر نیاز داشته باشند. حتی برای آن سایتها، میتوانید تنظیمات اولیه را با Config Helper ایجاد کنید و بعداً تنظیمات سایت را تغییر دهید. علاوه بر این، هر زمان که بخواهید می توانید از Config Helper خارج شوید یا Config Helper را به طور کامل غیرفعال کنید.
همه چیز در مورد انتخابگرهای CSS است
انتخابگرهای CSS عناصر را با کلیک روی آنها پیدا کنید
انتخابگرهای منحصر به فرد CSS تنها یک عنصر را انتخاب می کنند. برای مثال برای یافتن عناوین، چکیده مطلب یا تصویر شاخص در داخل یک پست مفید است.
حالت "مشابه" یک انتخابگر CSS را پیدا می کند که موارد مشابه مورد کلیک شده را انتخاب می کند. برای مثال برای یافتن برچسبهای پست و ویژگیهای محصول مفید است.
حالت "شامل" یک انتخابگر CSS را پیدا می کند که عنصر حاوی تمام عناصر کلیک شده را انتخاب می کند. برای مثال برای یافتن محتوای پست و چکیده مفید در یک یا چند قسمت مفید است.
تنظیمات را پیکربندی کنید و اجازه دهید افزونه بقیه موارد را مدیریت کند
خزیدن مجدد خودکار پست ها
خزیدن خودکار پست ها
حذف خودکار پست ها
رسانه های بیش از 70 دامنه به طور خودکار به کدهای کوتاه جاسازی شده تبدیل می شوند
* کد HTML پست های رسانه های اجتماعی موجود در صفحه پست هدف به طور خودکار به کدهای کوتاه تبدیل می شود. به این ترتیب، آنها در قسمت فرانت وب سایت شما به درستی نمایش داده می شوند. علاوه بر این، تمام عناصر iframe به یک کد کوتاه تبدیل می شوند. یک کد کوتاه iframe تنها در صورتی نمایش داده می شود که منبع آن قابل اعتماد باشد. اگر منبع iframe به طور پیشفرض قابل اعتماد نیست، میتوانید به صورت دستی یک دامنه قابل اعتماد اضافه کنید تا iframe نمایش داده شود. با این روش می توانید رسانه های سایت های شخص ثالث را به صورت ایمن نمایش دهید. وبسایتهایی که رسانههای آنها بهطور خودکار تعبیه میشوند عبارتند از: Instagram، Imgur، YouTube، Vimeo، TikTok، Kickstarter، Twitter، Pinterest و غیره.
داده ها را به روشی که می خواهید آماده کنید
هر چیزی را در صفحه هدف پیدا کنید و جایگزین کنید. همچنین می توانید از عبارات منظم (REGEX) استفاده کنید. میتوانید از تنظمات اختصاصی برای یافتن و جایگزینی در عنوان پست، محتوا، برچسبها، متای پست و موارد دیگر استفاده کنید.
میتوانید عناصر را حذف و شبیهسازی کنید، ویژگیهای عنصر را حذف و یا تغییر دهید، عناصر HTML و ویژگیها را پیدا و جایگزین کنید، عناصر و تگ های خالی را حذف کنید، پیوندهای درون مطلب را بر اساس دامنه حذف کنید.
یک فیلتر قدرتمند برای مدیریت بهتر داده ها است. حروف بزرگ، حروف کوچک، تعداد حروف عنوان و چکیده و موارد دیگر را با شرایط خود نمایید. مثلا میتوانید طول عنوان یک مطلب را با تعداد کاراکتر یا تعداد کلمات محدود کنید و عملیات دلخواهی انجام دهید.
به راحتی تنظیمات خود را تست کنید تا مطمئن شوید که همه چیز همانطور که انتظار می رود کار می کند
از دکمه ذره بین برای تست سریع تنظیمات شما استفاده کنید. میتوانید گزینههای "یافتن-جایگزینی"، انتخابگرهای CSS، فرمولها، دستورات فیلتر و موارد دیگر را آزمایش کنید. همچنین میتوانید ذخیرهسازی را برای تست سریع فعال کنید تا آنها را سریعتر کنید.
هنگامی که یک پیکربندی اشتباه است، یک هشدار دریافت می کنید که به شما می گوید چرا اشتباه است. به این ترتیب، می توانید آن را در همان زمان درست و تعمیر کنید.
صفحه تستر سایت به شما کمک میکند بررسی کنید که آیا پیکربندیهای شما مطابق انتظار کار میکنند یا خیر. شما فقط URL صفحه دسته بندی یا پست را وارد کرده و دکمه تست را بزنید. افزونه در صفحه می خزد و تمام جزئیاتی را در صفحه به همراه برخی اطلاعات عملکردی و یا در صورت وجود هشدارها پیدا می کند و به شما نشان می دهد.
به طور خودکار بخشهای خاصی از پستها را تبدیل، ترجمه و بازنویسی مجدد مینماید.
میتوانید با استفاده از مدلهای پولی OpenAI GPT، مانند ChatGPT، بخشهای پست را تغییر دهید. از مدلهای پیشرفته هوش مصنوعی برای تولید خلاصههای SEO مناسب، درج حقایق جالب، بازنویسی مطالب آن پست، رفع خطاهای گرامری و انجام هر کار دیگری که میتوانید تصور کنید، استفاده کنید.
با استفاده از یکی از خدمات پولی زیر می توانید به طور خودکار پست ها را از یک زبان به زبان دیگر ترجمه کنید. همچنین می توانید انتخاب کنید که کدام بخش از پست ترجمه شود. علاوه بر این، می توانید ترجمه را چندین بار انجام دهید و ویژگی های المان ها را ترجمه کنید.
بازنویسی مانند اسپینینگ است، در حالی که از کلمات مختلف استفاده می شود، همان معنی را حفظ می کند. میتوانید با استفاده از یکی از خدمات پولی زیر، پستها را بهطور خودکار بازنویسی مجدد بنمایید تا مطالب یونیک و منحصر به فرد تولید شود. شما همچنین می توانید انتخاب کنید که کدام قسمت از پست باید بازنویسی شود.
در صورت رعایت شرایط خاص، عملیات خاصی را انجام دهید.
* اگر عنوان پست خزیده شده کمتر از 20 کاراکتر داشته باشد، فیلتر بالا وضعیت پست را به عنوان "پیش نویس" اختصاص می دهد. با استفاده از بسیاری از دستورات شرط موجود در افزونه، می توانید شرایط پیچیده ایجاد کنید. می توانید شرایط را با عملگرهای "and" و "or" نیز ترکیب کنید. هنگامی که این شرط برآورده شد، می توانید چندین کار مانند ارسال یک اعلان ایمیل برای خود، افزودن پست به یک دسته خاص، یافتن و جایگزین کردن چیزها، اختصاص یک تصویر ویژه خاص، محاسبه یک مقدار و بسیاری موارد دیگر انجام دهید.
از تنظیمات اختصاص داده شده به محصولات ووکامرس استفاده کنید تا به راحتی جزئیات محصول را ذخیره کنید
طراحی بخش ووکامرس شبیه به طراحی تنظیمات ووکامرس اصلی است. در اینجا به جای وارد کردن مقادیر، انتخابگرهای CSS را تعریف می کنید. شما می توانید محصولات ساده و خارجی ایجاد کنید. همچنین می توانید محصول را به عنوان مجازی و/یا قابل دانلود علامت گذاری کنید. همچنین می توانید فایل قابل دانلود را از صفحه هدف بازیابی کنید.
شما می توانید تصاویر محصول را از صفحه مورد نظر بازیابی کرده و آنها را به عنوان گالری محصول ووکامرس ایجاد شده در سایت خود، تنها با علامت زدن یک چک باکس اختصاص دهید.
هنگامی که یک صفحه محصول را از طریق سایت تستر آزمایش می کنید، نتایج تست شامل یک بخش اختصاصی ووکامرس است که در آن می توانید تمام جزئیات محصول را که از صفحه هدف بازیابی شده است را مشاهده کنید، بنابراین می توانید اطمینان حاصل کنید که محصولات همانطور که انتظار می رود ایجاد می شوند.
به جای پست های معمولی وردپرس، پست های خزیده شده را به عنوان انواع پست سفارشی ذخیره کنید
اگر نمی خواهید پست های وردپرس معمولی داشته باشید، نوع پستی را که می خواهید ایجاد کنید، انتخاب کنید. تمام انواع پست های ثبت شده در سایت وردپرس شما در دسترس هستند. می توانید نوع پست متفاوتی را برای هر سایت انتخاب کنید یا از تنظیمات عمومی نوع پست را برای همه سایت ها تنظیم کنید.
انواع پست سفارشی معمولاً اطلاعات اضافی را در فیلدهای سفارشی خود نگه می دارند. میتوانید مقادیر فیلدهای سفارشی را در قالب متن ساده ذخیره کنید تا نوع پست سفارشی بتواند از آنها استفاده کند.
انواع پست سفارشی همچنین ممکن است اطلاعات اضافی را در طبقه بندی های خاص مانند برچسب ها، نام شرکت، شماره ISBN و غیره نگه دارند. می توانید مقادیر طبقه بندی ها را در قالب متن ساده ذخیره کنید تا نوع پست سفارشی بتواند از آن مقادیر در مکان های صحیح استفاده کند.
انواع پست سفارشی ممکن است طبقه بندی دسته بندی خاص خود را داشته باشند. میتوانید با تعریف طبقهبندی در تنظیمات کلی، پستها را در آن دستهها ذخیره کنید. سپس، میتوانید آن دستهها را در تنظیمات آدرس های دسته بندی های انتخاب کنید. بقیه کار توسط افزونه انجام می شود.
صفحه داشبورد به شما کمک می کند بفهمید در پس زمینه چه اتفاقی می افتد
سایتهای فعال را ببینید، آخرین زمان خزیدن آنها، تعداد پستهای خزیده شده، تعداد URL در صف و موارد دیگر...
ببینید چه زمانی رویدادهای جمعآوری URL، خزیدن، حذف و خزیدن مجدد و برای کدام سایت اجرا میشوند. همچنین می توانید تعداد کل پست های موجود در صف، خزیدن، خزیدن مجدد و حذف شده را مشاهده کنید. هنگامی که یک پست در حال خزیدن یا خزیدن مجدد است، در این بخش نیز نمایش داده می شود.
آخرین پست هایی را که خزیده شده اند، خزیدن مجدد و حذف شده اند، ببینید. همچنین میتوانید صفحه داشبورد را در بازههای زمانی خاص بهروزرسانی کنید تا رویدادها را در زمان وقوع دنبال کنید.
مقدار یافت شده توسط یک انتخابگر CSS را دستکاری می کند
با کلیک بر روی دکمه “تنظیمات” که در تصویر با حاشیه آبی نشان داده شده است، کادر تنظیمات نمایش داده می شود. این دکمه برای بسیاری از تنظیماتی که انتخابگر CSS را تعریف می کند، در دسترس است.

هر چیزی را در مقدار پیدا شده توسط یک انتخابگر CSS پیدا کنید و جایگزین کنید. برای آدرس های فایل، گزینه یافتن-جایگزینی روی نام فایل اعمال می شود تا بتوانید نام فایل ایجاد شده در سرور خود را تغییر دهید.

کاری کنید که کادر تنظیمات مقدار را به عنوان یک شی JSON در نظر بگیرد. سپس میتوانید از یک کد کوتاه ویژه برای گنجاندن بخش خاصی از JSON به مقدار نهایی، از طریق قالبهای بخش تنظیمات استفاده کنید.

هنگامی که مقدار یافت شده توسط یک انتخابگر CSS عددی است، می توانید آن را با تعریف فرمول های ریاضی تغییر دهید. این تصویر قیمت محصول که X است را در 0.3 ضرب میکند تا قیمت محصول گران تر شود.

یک قالب برای تغییر مقدار استفاده می شود. این تصویر قالبی را نشان میدهد که مثلا مقدار عنوان را در تگ p قرار میدهد یا ایتم های ووکامرس را در تگ h1 قرار میدهد. زمانی که بیش از یک قالب تعریف شده باشد، افزونه از یکی از آنها به صورت تصادفی استفاده می کند.

هنگامی که از انتخابگر CSS برای یافتن URL فایل استفاده می شود، بخش تنظیمات قالب های مربوط به فایل را نمایش می دهد. شما می توانید نام فایل، عنوان رسانه، توضیحات رسانه، عنوان رسانه، و الگوهای متن جایگزین رسانه را تعریف کنید.
شما می توانید یک پوشه سفارشی برای فایل هایی که توسط یک انتخابگر CSS پیدا شده است تعریف کنید تا در آن ذخیره شوند. همچنین می توانید فایل ها را در یک پوشه دیگر کپی کنید.
می توانید تنظیمات تعریف شده در یک بخش تنظیمات را صادر کرده و آنها را در بخش تنظیمات دیگری وارد کنید.

شما می توانید در مورد اینکه چرا تنظیمات به این شکل پیکربندی شده اند، چرا از آن انتخابگر خاص CSS استفاده می شود یا هر چیز دیگری یادداشت برداری کنید.

JSON را به HTML تبدیل کنید و مانند سایر عناصر HTML با آن کار کنید
می توانید تمام داده های JSON موجود در صفحه را به طور خودکار به عناصر HTML تبدیل کنید و از آنها در تنظیمات انتخابگر CSS استفاده کنید. این به شما امکان می دهد تا به راحتی از داده های JSON استفاده کنید.
می توانید به طور انتخابی قطعات را از داده های JSON بازیابی کنید و آنها را در قالب HTML سفارشی خود قرار دهید. به این ترتیب، می توانید کل سایتی که به عنوان JSON تعریف شده است را دوباره ایجاد کنید. این امکان بازیابی داده ها را از صفحاتی که کل صفحه خود را به عنوان JSON تعریف می کنند و بعداً از طریق جاوا اسکریپت به HTML تبدیل می کند.
شما می توانید درخواست های سفارشی را در حین خزیدن در صفحه هدف ارسال کنید. به عنوان مثال، می توانید یک درخواست به یک API بدهید، پاسخ JSON آن را به HTML تبدیل کنید و از آن در محتوای پست استفاده کنید. اگر URL درخواست در صفحه هدف وجود نداشته باشد، می توانید به راحتی یک عنصر قلاب ایجاد کرده و آن را به صفحه تزریق کنید. برای نمونه این ویدیو را تماشا کنید.
برای دسترسی به سایت هایی که سرور شما را مسدود می کنند از پروکسی ها استفاده کنید
شما می توانید یک یا چند سرور پروکسی تعریف کنید. در حین خزیدن، افزونه آنها را یکی یکی امتحان می کند تا به وب سایت مورد نظر برسد. این افزونه هر بار که درخواستی به سایت مورد نظر می دهد از این پروکسی ها استفاده می کند.
می توانید هر بار که افزونه درخواستی را به سایت مورد نظر ارسال می کند، به طور تصادفی از یک پروکسی از لیست پراکسی ها استفاده کنید.
خزیدن پست ها به صورت دستی با یک ابزار قدرتمند
URL پست را در یک خط جدید وارد کنید و دکمه "الان بخز" را فشار دهید. این ابزار در تمام پستهایی را که URL آنها وارد شده است میخزد.
شما می توانید URL تصویر شاخص را برای هر URL پست تعریف کنید. خزنده در پست میخزد و تصویر مشخص شده را به عنوان تصویر شاخص یا تصاویر گالری پست اختصاص می دهد.
هنگامی که نمی خواهید آدرس های پست را به صورت دستی وارد کنید، می توانید URL صفحات دسته بندی را وارد کنید. این افزونه URL های پست را از صفحات دسته بندی استخراج می کند و در هر URL پست یافت شده شروع به خزیدن میکند.
ابزار خزیدن دستی قادر به خزیدن چندین پست به صورت موازی است. فقط مشخص کنید که چند پست می خواهید همزمان خزیده شود.
اگر در حال حاضر تمایلی به خزیدن ندارید، میتوانید URLهای پست را به صورت دستی به صف اضافه کنید. سپس، افزونه با استفاده از تنظیمات زمانبندی کنید تا بعدا بخزد.
وقتی اتفاقی افتاد برای خود ایمیل بفرستید
انتخابگرهای CSS را تعریف کنید که همیشه باید یک مقدار را پیدا کنند و در صورتی که مقداری ندارند ایمیل اطلاع رسانی برای شما ارسال شود.
با استفاده از فیلترها، می توانید شرایط سفارشی خود را تعریف کنید و در صورت برآورده شدن آن شرایط، یک ایمیل سفارشی برای خود ارسال کنید. می توانید با کدهای کوتاه، آدرس پست، کد وضعیت HTTP، پاسخ، نام، شناسه و URL سایت و زمان فعلی را در ایمیل خود وارد کنید. همچنین می توانید برای استفاده از قالب پیش فرض ارائه شده توسط افزونه، قالب ایمیل را خالی بگذارید.
نحوه انجام کارها را به صورت گام به گام و تعاملی ببینید
مراحل راهنماهای تعاملی دقیقاً به شما نشان می دهد که کدام تنظیمات را پیکربندی کنید و چگونه آن را پیکربندی کنید. مراحل همچنین بررسی میکنند که آیا تنظیمات به درستی پیکربندی شدهاند و به شما نشان میدهند که در صورت وجود خطا چه کاری برای رفع خطا انجام دهید.
در گوشه سمت راست پایین صفحات افزونه، دکمه "راهنما" وجود دارد. وقتی روی آن کلیک می کنید، لیستی از راهنماهای تعاملی موجود در افزونه را مشاهده می کنید. از آنجا، می توانید یک راهنما را جستجو کنید و روی دکمه "پلی کردن" کلیک کنید تا شروع شود. شما همچنین می توانید یک راهنما را از یک مرحله خاص شروع کنید.
افزونه کاملا فارسی شده است و بیش از بیش از 50 هزار رشته متن به صورت اختصاصی و با مفهوم تخصصی برای استفاده راحتر شما عزیزان ترجمه شده است تا راحت تر مفاهیم بخش ها را متوجه شوید.
به زودی آموزش کار با محصول به صورت ویدیویی برای شما آماده شده است تا بتوانید برای شروع کار مشکلی نداشته باشید و سریع بتوانید کار خود را شروع کنید.
خیلی امکانات بیشتر برای شما آماده شده است.
کوکی ها را به هر درخواست اختصاص دهید تا به عنوان کاربر وارد شده بخزد
هدر درخواست را با هر درخواست دلخواهی که نیاز دارید اضافه کنید
برخی از عملیات استاندارد را با علامت زدن چک باکس ها انجام دهید
پست های تکراری را از طریق URL، عنوان، محتوا بررسی کنید
منبع اصلی محتوا یا هر چیزی را به محتوای پست اضافه و لینک کنید.
یک عنصر را به یک کد کوتاه اختصاص دهید و از آن در قالب ها استفاده کنید
تنظیمات URL های دسته را به طور خودکار پر کنید
رمز عبور برای پست های خزیده شده تعریف کنید
تنظیمات کلی هر سایت را تغییر دهید
پست ها را به عنوان پیش نویس ذخیره کنید و قبل از انتشار بررسی کنید
پست های خزیده شده را به یک کاربر سفارشی اختصاص دهید
با علامت زدن یک چک باکس، همه تصاویر را در محتوای پست ذخیره کنید
تاریخ انتشار را به تاریخ آینده تغییر دهید
تغییرات را در چند میلی ثانیه ذخیره کنید
رمزگذاری را به راحتی به UTF-8 تبدیل کنید
به راحتی تنظیمات سایت را شبیه سازی کنید یا به وب سایت دیگری منتقل کنید
تمام راهنماها را بررسی کنید
خیلی سریع محتوا را از سایت هدف خود استخراج کنید.
هر اطلاغاتی نیاز دارید را استخراج کنید
محتوا خود را هر طوری که دوست دارید به کاربران خود نمایش دهید. همه اطلاعات در دستان شماست
با تمام قالب های وردپرسی به خوبی کار میکند. با آخرین نسخه المنتور سازگار است.
افزونه بسیار سبک است و سرعت سایت شما را کاهش نمیدهد و نیازی به کدنویسی نمیباشد.