استارتاپ Entropic به جمع آوری غیرقانونی محتوا از چندین وب سایت متهم شده است

سایت اینترنتی مستقل استارتاپ هوش مصنوعی آنتروپی آنتروپیک، سازنده مدل کلود، این شرکت را به استفاده از داده های وب سایت خود متهم کرد. کایل وینز، مدیرعامل افکسیت، همچنین اعلام کرد که آنتروپیک سیاست های آن سایت برای استفاده از محتوای آن برای آموزش مدل هوش مصنوعی خود را نادیده گرفته است.

به گزارش فایننشال تایمز، مت بری، مدیر عامل Freelancer، ClaudeBot آنتروپیک را “تهاجمی ترین مدل داده کاوی وب سایت تا به امروز” اعلام کرد. به گفته مدیر عامل iFixit در X، چت بات Entropic در عرض 24 ساعت 1 میلیون بار به سرورهای iFixit برخورد کرده است.

تاثیر آنتروپی بر وب سایت های تجاری

او در نامه خود به Entropik نوشت:

نه تنها از محتوای ما بدون پرداخت هزینه استفاده می کنید، بلکه منابع توسعه دهندگان ما را نیز محدود می کنید.

مدیر عامل فریلنسر می گوید که در ابتدا سعی کردند به سادگی درخواست های دسترسی به چت بات Entropic را رد کنند، اما در نهایت مجبور شدند آن را به طور کامل مسدود کنند. iFixit همچنین دسترسی به ابزار جمع آوری داده های Entropy را با افزودن برخی موارد به فایل robots.txt سایت خود مسدود کرد.

پروتکل robot.txt چیست؟

چند ماه پیش، Wired یکی دیگر از شرکت های هوش مصنوعی، Perplexity، را به استخراج وب سایت خود متهم کرد. شرکت ها از فایل بر اساس عنوان فایل robots.txt کاربردهایی که حاوی دستورالعمل هایی برای استخراج داده های وب است و مشخص می کند که به کدام صفحات می توان یا نمی توان به آن ها دسترسی داشت.

اگرچه پیروی از این دستورالعمل ها داوطلبانه است، اما اغلب نادیده گرفته می شوند.

پس از گزارش Wired، TollBit، استارتاپی که شرکت‌های هوش مصنوعی را با ناشران محتوا مرتبط می‌کند، گفت که Perplexity به تنهایی نمی‌تواند از robots.txt عبور کند. اگرچه در آن زمان هیچ شرکت خاصی ذکر نشد، اما گزارش دیگری گفت که OpenAI و Anthropic نیز در حال بررسی آن هستند.

شرکت‌های هوش مصنوعی از ابزارهای جمع‌آوری داده‌ها به نام خزنده‌ها برای جمع‌آوری محتوا از وب‌سایت‌ها استفاده می‌کنند. سپس می توان از این داده ها برای آموزش مدل های هوش مصنوعی استفاده کرد. از این رو با توجه به استفاده از مطالب، شکایات زیادی علیه آنها مطرح شد. به همین دلیل، OpenAI در چند ماه گذشته قراردادهای همکاری با چندین ناشر از جمله فایننشال تایمز و صاحب مجله People امضا کرده است.