انتھروپک IPO فائلنگ میں ‘تباہ کن یا وجودی’ AI خطرات سے خبردار کرتا ہے۔

امریکی مصنوعی ذہانت کی کمپنی اینتھروپک نے پیر کو خبردار کیا کہ اس کی ٹیکنالوجی “انسانیت کے لیے تباہ کن یا وجودی خطرات” لاحق ہو سکتی ہے، بڑھتے ہوئے خود مختار AI نظاموں کے بارے میں خدشات کا حوالہ دیتے ہوئے جو غیر متوقع طور پر کام کر سکتے ہیں یا انسانی نگرانی کے خلاف مزاحمت کر سکتے ہیں۔

Claude AI ماڈل کے پیچھے والی کمپنی نے اپنی منصوبہ بند ابتدائی عوامی پیشکش (IPO) سے پہلے امریکی سیکیورٹیز اینڈ ایکسچینج کمیشن کے پاس دائر رجسٹریشن کے بیان میں انتباہ جاری کیا۔

فائلنگ خطرے کے عوامل کے 90 سے زیادہ صفحات پر مشتمل ہے، جو دستاویز کا تقریباً ایک تہائی حصہ ہے۔

Anthropic نے کہا کہ اس کے AI ماڈل غیر متوقع طور پر برتاؤ کر سکتے ہیں، خود مختار طریقے سے ایسے طریقوں سے کام کر سکتے ہیں جو انسانی اقدار سے متصادم ہوں، اور واضح طور پر ایسا کرنے کی ہدایت کیے بغیر نقصان دہ کارروائیاں کر سکتے ہیں۔

پڑھیں: اینتھروپک نے خبردار کیا ہے کہ اے آئی ماڈلز جلد ہی ڈیٹا سینٹرز تک رسائی کے بغیر خود کو نقل کر سکتے ہیں۔

کمپنی نے یہ بھی خبردار کیا کہ AI ماڈلز، بشمول اس کے اپنے، نے غیر متوقع طور پر خود کو محفوظ رکھنے والے رویے کا مظاہرہ کیا ہے، جیسے کہ انہیں بند کرنے کی کوششوں کی مزاحمت کرنا۔

فائلنگ کے مطابق، بعض صورتوں میں، ماڈلز نے آپریشنل رہنے کی کوششوں میں انسانی صارفین کی ہیرا پھیری یا بلیک میل سے مشابہہ ردعمل پیدا کیا ہے۔

اینتھروپک نے خبردار کیا کہ اس طرح کے خطرات بڑھ سکتے ہیں کیونکہ AI سسٹمز زیادہ قابل ہو جاتے ہیں اور انہیں زیادہ خود مختاری اور اختیار دیا جاتا ہے۔

اس نے صحت کی دیکھ بھال، سائنسی تحقیق، قانون اور حکومت سمیت اعلی خطرے والے شعبوں میں ممکنہ خطرات پر روشنی ڈالی، جہاں غیر ارادی ماڈل سلوک سنگین نقصان کا باعث بن سکتا ہے۔

کمپنی نے کہا کہ اس نے اور دیگر محققین نے خدشات کا اظہار کیا ہے کہ اگر مناسب حفاظتی اقدامات کے بغیر تعینات کیے گئے تو جدید ترین AI سسٹم “انسانیت کے لیے تباہ کن یا وجودی خطرات” کا باعث بن سکتے ہیں۔

مزید پڑھیں: انتھروپک کو AI قواعد، ڈیٹا کے طریقوں پر جانچ پڑتال کا سامنا کرنا پڑتا ہے۔

اینتھروپک نے یہ بھی خبردار کیا کہ تیزی سے قابل ماڈلز کی نگرانی کرنا مشکل ہو سکتا ہے، جو ممکنہ طور پر خود مختار سرگرمیوں کو انسانی جائزہ لینے والوں کی نگرانی اور کنٹرول کرنے کی صلاحیت کو آگے بڑھانے کی اجازت دیتا ہے۔