What This OpenAI Insider Saw That Made Him Quit | The Ezra Klein Show

لكن الأمر يبدو فكرة. سيئة. أعني نعم،. ساعدني لأفهم هذا. الموقف. >> ما أقوله هو أن هذا. الموقف غير منطقي. نظرت حولي داخلياً. وقلت لنفسي، هذا جنون. ما يحدث. هذا ليس. صواباً. >> في الأسبوع الماضي،. انتشرت أخبار تفيد بأن. ديفيد روبنسون، الذي. كان يقود جهود شفافية. السلامة في OpenAI، قد. استقال من الشركة لأنه. يعتقد أنها ليست آمنة. روبنسون شخصية مثيرة. للاهتمام. لم يخرج من. بيئة وادي السيليكون.

التنافسية. إنه أقرب. إلى كونه شخصية معروفة. في واشنطن العاصمة. إنه حاصل على منحة. رودس. أسس منظمة غير. ربحية للحقوق المدنية. حصل على شهادة في. القانون من جامعة ييل. عمل في مجال السياسات. قدم المشورة للبيت. الأبيض في عهد بايدن. كان مهتماً بالتقاطع. بين التكنولوجيا. والعدالة. لكن عندما. انضم إلى OpenAI، كان. يعتقد أن كل هذه. المخاوف بشأن مخاطر. السلامة والانقراض. كانت مجرد هراء. بعد. ثلاث سنوات، لم يعد.

متأكداً من ذلك. ما هو. متأكد منه هو أن OpenAI لا. تمتلك ثقافة السلامة. اللازمة لحماية. العالم مما تبنيه. وليس OpenAI فقط. يعتقد أن. هذه مشكلة متأصلة في. صناعة الذكاء. الاصطناعي. وهنا، في. أول مقابلة له منذ. مغادرته OpenAI، يخبرني. بالسبب. شيء واحد. أحتاج إلى الإشارة. إليه هنا قبل أن نبدأ،. وهو أن صحيفة نيويورك. تايمز تقاضي OpenAI بتهمة. انتهاك حقوق الطبع. والنشر، بزعم أنهم. قاموا بتدريب نماذجهم. على بيانات الصحيفة. تطعن OpenAI في هذه.

الادعاءات. ديفيد. روبنسون، أهلاً بك في. البرنامج. >> سعيد بوجودي هنا. >> إذاً في الأسبوع. الماضي استقلت من OpenAI. أخبرني بما كنت تفعله. هناك ولماذا تستقيل. >> كنت مترجماً ضمن فريق. السلامة لدينا، وكانت. مسؤوليتي الأساسية هي. التوثيق الفني الذي. ننشر، والتقارير التي. ننشرها حول سبب. اعتقادنا بأن عمليات. النشر الخاصة بنا آمنة.

. ولا أعتقد أننا أو. نظراءنا، أو أي شخص في. الصناعة حقاً، نتوخى. الحذر الكافي. أعتقد. أن OpenAI ونظراءها. ينتجون الآن. تكنولوجيا أكثر قدرة. وتشكل خطراً أكبر مما. كانت عليه قبل 6 أشهر. فقط. وأنا لست عالماً،. أنا كاتب. ما أعرفه هو. كيف تبدو بيئة العمل.

لجهود السلامة لدينا. ونحن نعمل، وأعتقد أن. الصناعة تعمل، كشركة. ناشئة لا تزال، أكثر. مما ينبغي أن يكون. منطقياً. ربما لسنا. تماماً كشركة ناشئة. جديدة، لكننا نقترب. كثيراً من ذلك الطرف. من الطيف فيما يخص. الأنظمة الخطرة جداً. التي قد تشكل مخاطر،. كفقدان السيطرة على. سبيل المثال؛ مخاطر. إذا ما حدثت، فنحن. نتحدث عن ضرر أكبر.

بكثير، على سبيل. المثال، من انصهار. محطة طاقة نووية واحدة. . والضوابط الداخلية. ومعايير السلامة. والأنظمة الاحتياطية. ليست قريبة أبداً مما. يتوقعه العالم من. منشأة طاقة نووية. والآن، بعض هذه الأمور. معروفة، أليس كذلك؟. لقد أبلغت OpenAI علناً. عن مشكلات تتعلق. بالسلامة، وبالطبع. Hugging Face، وأيضاً شركات. أخرى، بما في ذلك. مؤخراً، و Anthropic. بالمناسبة، التي. أبلغت أيضاً عن حالات،.

تضمنت إحداها تهيئة. إجراءاتها الوقائية. بشكل خاطئ عن غير قصد. لذا، أعتقد أن الناس. لديهم بالفعل بعض. الأدلة الخارجية على. أن الأمور ليست كما. ينبغي أن تكون، لكنني. أعتقد أيضاً أنك لو. كنت تراقب من الخارج،. فقد تتخيل أن لدينا. نظام سلامة أكثر قوة. مما لدينا في الواقع. لذا، أعتقد أن هناك. مستويين يستحقان. محاولة توجيه هذا. النقاش نحوهما. وأريد. ربما أن أحددهما هنا.

قبل أن نبدأ في الخوض. فيهما. إذن، أحد. المستويات هو شيء تشير. إليه هنا، وهو: هل هذه. الشركات مهيأة لذلك؟. هل لديها الهياكل،. والأنظمة الاحتياطية؟. هل هي محاطة باللوائح. والحوافز للعمل بحذر. وأمان، لمقاومة ضغوط. السوق التي تدفع. للقيام بالأمور بسرعة. مفرطة؟ هذه، كما تعلم،. أعتقد بلغة هذا النقاش. ، مسألة تتعلق بالتميز.

التنظيمي والهندسي. ثم. هناك سؤال حول ماهية. التكنولوجيا وهل نعرف. أصلاً كيف نجعلها آمنة. ؟. >> نعم. >> بمستوى عالٍ من التميز. الهندسي، وهي مسألة. ذات صلة نوعاً ما. ولكنها في الواقع. منفصلة. ثم هناك سؤال. حول ما هي الاستعارة. المناسبة؟ هل هي. الطاقة النووية أم شيء. من هذا القبيل؟ أعتقد. أنني أريد تغطية كل. هذه الجوانب. >> أريد أن أضيف شيئاً. إضافياً. >> نعم، تفضل. >> وهو أنني لا أعتقد أن ". المواءمة" مشكلة. هندسية. أعتقد أنها.

مشكلة علمية. الأمر. ليس أننا لا نملك. الموارد أو أننا لا. نبذل جهداً كافياً. نحن ببساطة لا نعرف. الكيفية. تلك هي طبيعة. المشكلة مع المواءمة. >> حسناً، فلنبدأ من هذه. النقطة لدقيقة. عندما. تقول إنه في هذه. المرحلة، خاصة خلال. الأشهر الستة الماضية. ، فإن ما يتم بناؤه. خطير حقاً. وأننا. نتعامل مع أشياء قد. يؤدي فقدان السيطرة. عليها أو وقوع كارثة. أخرى إلى ما هو أسوأ من. انصهار نووي. أريد أن. أفهم ما الذي رأيته. وأوصلك إلى تلك النقطة.

. إذًا، أخبرني قليلاً. عن كيفية قدومك للعمل. في OpenAI. >> انضممت في مايو 2023 في. اليوم التالي لشهادة. سام الأولى أمام مجلس. الشيوخ. >> كان ذلك بعد بضعة أشهر. من إطلاق ChatGPT للعالم. لأول مرة. >> كان ذلك في شهر نوفمبر. السابق. إذًا، كان قد. مر بضعة أشهر. وقد وظفت. الشركة شخصاً أعرفه. اجتماعياً، آنا. ماكانجو، وهي في. الواقع صديقة قديمة. لزوجتي، صدفةً،. لإدارة وظيفة السياسة. العامة. ثم في مرحلة ما. ، كانت بحاجة ماسة.

للمساعدة، كما تعلم،. كان كل شيء ينمو وكل. شيء كان يتسارع بجنون. وهكذا، وافقت على. الانضمام إليها لبناء. ما أسميناه آنذاك فريق. تخطيط السياسات. سأخبرك فقط عن تجربتي. الأولى عند المرور عبر. البوابات في مقرنا. الرئيسي. كنا جميعاً. في مبنى واحد آنذاك. وكنت أحاول الحصول على. شارتي مبكراً لأن سام،. أعتقد أنه كان سام،. كان قد شارك للتو في. اجتماع بالبيت الأبيض.

، وكانت هناك التزامات. طوعية أرادوا من. الشركة تقديمها حول. أمور مثل بطاقات. النظام والمصدر، أي. تحديد مصدر الوسائط. التي يولدها الذكاء. الاصطناعي، أو أشياء. من هذا القبيل،. وأرادوا مني إدارة. التفاوض على تلك. الالتزامات. >> مع البيت الأبيض؟. >> مع البيت الأبيض. لذا،. حرفياً في المرة. الأولى التي عبرت فيها. البوابات، كنت أتساءل: "أين تقع قاعة مؤتمرات. فيسن ساتش؟" دخلت إلى. قاعة المؤتمرات وكان. هناك اتصال جماعي عبر.

مكبر الصوت مع بن. بوكانان في البيت. الأبيض حول ما سنعد به. ، وكان ذلك أول مشروع. لي. >> ماذا كانت خلفيتك في. سياسات التكنولوجيا. في ذلك الوقت؟ لماذا. كنت الشخص المنطقي. لهذا الدور؟. >> لقد عملت على. التكنولوجيا وتأثيرها. على السياسات طوال. مسيرتي المهنية، وقبل. ذلك ساعدت في تأسيس. مركز أبحاث في. برينستون يمزج بين قسم. علوم الكمبيوتر وكلية. السياسة العامة، ثم.

أسست منظمة غير حكومية. تسمى "أبترن"(Upturn)،. والتي يسعدني القول. إنها لا تزال مزدهرة،. وتعمل على قضايا. الحقوق المدنية مع. مجموعات مناصرة أخرى. على سبيل المثال، يعمل. الناس في مجالات. الإسكان أو الصحة أو. التوظيف، وفجأة أصبحت. البرمجيات تتوسط. الأمور التي يهتمون. بها. ونحن، نريد، هم. يريدون فهم هذه. التكنولوجيا. لذا، في. مرحلة ما، كان تبسيطنا.

أو طرحنا لهذا الأمر. هو: أنت بحاجة إلى خبير. تقني في صفك. وقد عملت. أيضًا في تلك المرحلة-. قضيت حوالي شهر-في. إعارة بالبيت الأبيض. للعمل على "وثيقة حقوق. الذكاء الاصطناعي" في. مكتب سياسات العلوم. والتكنولوجيا. >> يبدو هذا الآن من. نواحٍ كثيرة وكأنه. تاريخ قديم، لكنني. سأستفيض فيه للحظة. إذا عدت إلى عام 2022 أو. 2023، وكنت تغطي أخبار. الذكاء الاصطناعي-وهو. ما كنت أفعله حينها-. فستجد أن موضوعًا. كبيرًا كان يشغل. الجميع هو الانقسام. بين المعنيين. بأخلاقيات الذكاء.

الاصطناعي والمعنيين. بسلامته. والمعنيون. بسلامة الذكاء. الاصطناعي هم المجتمع. الذي نعتبره الآن مثل ". ذكاء منطقة الخليج"،. حيث يخشون أن يقضي على. الجميع، أليس كذلك؟. الشيء الذي يجب أن. تقلق بشأنه بشأن. الذكاء الاصطناعي هو. أنك تخلق آلة فائقة. الذكاء قد تدمر الجنس. البشري تمامًا. بينما. كان المعنيون. بأخلاقيات الذكاء. الاصطناعي أكثر. تركيزًا على الأضرار. التي اعتدنا عليها من. التكنولوجيا، أليس. كذلك؟ مثل احتمالية. زيادة التحيز العرقي. في قرارات التوظيف، أو.

أسعار الرهن العقاري،. أو التصنيفات. الائتمانية، أو ما. شابه ذلك؛ فمن خلال. فرض هذه الخوارزميات. على المجتمع بأسره،. يمكنك ترسيخ تحيزات. المجتمع أو مشاكل أخرى. أقل ارتباطًا بالخيال. العلمي. كنت نوعًا ما. شخصًا مهتمًا. بأخلاقيات الذكاء. الاصطناعي. >> نعم، بالتأكيد. >> نوعًا ما من الأشخاص. الذين لديهم مخاوف. طبيعية تجاه الذكاء. الاصطناعي. >> هذا صحيح. هذا حقيقي. لقد كنت أعمل مع. الكثير من الأشخاص. الذين لم يكونوا قلقين. للغاية بشأن الأشياء. التي ذكرتها للتو فحسب.

، بل كانوا أيضًا. متشككين جدًا بشأن مدى. القدرة التي سيصل. إليها الذكاء. الاصطناعي. ربما يكون. البعض على دراية بورقة. بحثية تسمى "الببغاوات. العشوائية"، التي. استمر مؤلفوها في. العمل في هذا المجال،. وأعتقد أن وجهات نظرهم. تختلف عن بعضها البعض. وتطورت بمرور الوقت. لكن الفكرة الأساسية. كانت أن هذه الأنظمة. جيدة فقط في الظهور. بمظهر الذكي، ولن تكون. قادرة بما يكفي للقيام. بالكثير من الأعمال. ذات القيمة. الاقتصادية. وقد ساعدت.

بالفعل في إنشاء. المؤتمر البحثي الذي. نُشرت فيه تلك الورقة،. وكنت رئيس البرنامج. عندما نشرناها؛ لا. أعتقد أنني كنت. مقتنعًا تمامًا بتلك. الرؤية، لكنني. بالتأكيد كنت من بين. المتشككين. أعتقد أنني. كنت أظن أنها ستكون. أداة مفيدة وستكون. قوية لأشياء كثيرة،. ويرجع ذلك جزئيًا إلى. اعتقادي حينها أنها. ستستمر في التحسن. لكنني لم أعتقد أن. الأشخاص القلقين بشأن. سيناريوهات أكثر. كارثية كانوا على حق.

ظننت أن هؤلاء علماء. عباقرة بنوا أداة. قيّمة، وبصراحة،. لديهم بعض المعتقدات. الساذجة حول ما قد. يؤول إليه المستقبل. إذن، أنت تنضم إلى OpenAI. كان ذلك في الفترة. التي بدأ فيها العالم. يطرق أبواب OpenAI بكثافة. . إنهم يريدون الأنظمة. ، ويريدون فرض تنظيمات. حول هذه الأنظمة. تجد. نفسك نوعاً ما في خضم. ما يبدو كقسم سياسات. ضعيف الإمكانيات إلى.

حد ما بالنسبة لما. يحدث. امم، كنا ثلاثة. فقط. >> كنتم ثلاثة في قسم. السياسات؟. >> كنا ثلاثة، وكان. الهاتف لا يتوقف عن. الرنين. حرفياً، كانت. مكاتب قادة العالم. تتصل ولا يوجد أحد. للرد على الهاتف. أعني. ، كان الأمر جنونياً. أيضاً، كان سام يقوم. بأمر حيث يسافر حول. العالم للقاء قادة. الدول، وكانت آنا،. مديرتي في هذا الدور. الجديد، تسافر معه. لذا، لم يكن هناك أحد. في المقر الرئيسي. أعني، كما تعلم، كانت.

تأتي وفود مختلفة. على. أية حال، كان الأمر. جنوناً. لذا، في. الواقع، يستحق هذا. الأمر قضاء دقيقة. للحديث عنه. أحياناً. قد يسمعني الناس أتحدث. عن "مختبرات الذكاء. الاصطناعي". وكما تعلم. ، عندما أشير إلى OpenAI. أو Anthropic، بينما عندما. نتحدث عن جوجل أو شيء. مشابه، لا نقول ". مختبرات جوجل". لديهم. بالفعل أشياء يسمونها. مختبرات، لكنك تطلق. على جوجل شركة، مؤسسة. >> نعم. >> هناك هذا المصطلح الذي. يطلق على بعض هذه. المنظمات بأنها. مختبرات. >> نعم، لذا أريد فقط أن.

أذكر أن وصفي لها. بالمختبرات الآن،. أعتقد أنه شيء متبقٍ. لدينا، ولست متأكداً. إن كانت فكرة جيدة. لكنه يشير إلى ثقافة. حقيقية جاءوا منها وما. زالوا يتمتعون بها إلى. حد ما، وهي ثقافة... وأعتقد أن الناس. أحياناً يقولون إن. Anthropic أكثر مركزية. قليلاً فيما يتعلق. بكيفية تفكيرهم في. أولويات البحث. كانت. OpenAI مكاناً لا مركزياً. للغاية بدا مألوفاً لي. من وقتي، على سبيل. المثال، في مختبر بحثي. في برينستون، حيث كان.

لدى الناس جميع أنواع. الأفكار المختلفة. لم. يكن واضحاً من الذي. يملك سلطة اتخاذ. القرارات. إذن، إحدى. طرق حديث الناس التي. وجدتها غريبة وما زالت. صحيحة في OpenAI اليوم هي. أن شخصين يعملان على. شيء ما يتحدثان عما. يجب فعله ويتبادلان. الأفكار، ثم يقولان في. النهاية: "لقد توافقنا. على أن XYZ هو الأمر. الصحيح التالي الذي. يجب القيام به في هذا. المشروع". وما يعنيه. ذلك عمليًا هو أننا. متفقون على ما ينبغي. القيام به. لذا، فإن.

السؤال العالق حول من. منا يمتلك حق اتخاذ. هذا القرار أصبح غير. ذي صلة، ولا نحتاج إلى. حسمه. أعني، كانت. الأجواء في البداية. تتسم بأن الجميع يقوم. بكل شيء. وأعتقد أن هذا. لا يزال موجوداً إلى. حد ما مقارنة. بالمؤسسات الأخرى. التي لديها، لا أعرف،. أياً كان العدد الآن،. أكثر من مليار مستخدم. نشط. >> إذن، أنت تبدأ في فريق. السياسات هذا. دورك. يتغير بمرور الوقت. كيف ذلك؟.

>> لقد أسست فريق تخطيط. السياسات هذا، وفي. البداية، كنت قريباً. جداً من الآلية ومن. جوهر العمل. ثم مع نمو. الحوار والشركة، كان. هناك مئات القوانين. الحكومية التي يجب. متابعتها، وفرق. متنامية، وسياسات. مؤسسة سريعة التغير،. وفكرت نوعاً ما، أتعلم. ؟ أنا أفتقد العمل. الترجمي الفعلي الذي. أحبه. لذا، نظرت حولي. لأرى أين كانت هناك. حاجة لذلك. وكان.

المكان الأول الذي. تشتد فيه الحاجة هو. فريق السلامة لدينا. لذا، عرضت الأمر على. قادة السلامة لدينا. وقلت: "انظروا، وجود. مترجم تقني منخرط بعمق. في أعمال السلامة. سيساعدنا على جعل. العمل مفهوماً بشكل. أفضل". كان ذلك قبل. حوالي عامين. >> صف لي ما تعنيه. بالمترجم. >> أعتقد أن أحد الأشياء. التي يصعب إقناع الناس. بها هو مدى سرعة تغير. هذه الأشياء. على سبيل. المثال، كل نموذج. يختلف عن الآخر. الأمر. لا يقتصر على أنه يعمل.

بشكل أفضل، بل إن. البنية مختلفة،. والاختبارات التي. نستخدمها لمعرفة مدى. كفاءته مختلفة، وأداء. السلامة مختلف، وكل. ذلك يتطلب أنواعاً. عديدة من الخبرات. هناك مرحلة ما قبل. التدريب، وما بعد. التدريب. من الصعب شرح. ذلك. يكافح الأشخاص. الذين يقومون بهذا. العمل لكي يفهمهم. أولئك الذين لا. يمارسونه، حتى داخل. الشركة نفسها. إنه. صراع دائم، لذا فإن. وجود شرح واضح يمر عبر. بوابتين، صحيح؟. الأولى هي أنه يجب أن. يكون أميناً لتفاصيل. كيفية عمل هذه الأشياء.

في الواقع. والحكم. الحقيقي على ذلك هم. الأشخاص الذين يقومون. بالعمل التقني. عليهم. النظر في هذه الترجمة. والقول: "نعم، هذا صحيح. ". ولكن يجب أيضاً أن. يكون لديك شيء يمكن. لشخص عاقل ومتحمس أن. يتعمق فيه ويفهمه حقاً. . ولم تكن هناك حقاً. دورات زمنية كافية. للأشخاص للقيام بذلك. وهكذا، ظهرتُ ببساطة. في هذه المنظمة. التقنية وبدأتُ في. العمل. >> حسناً، هناك شيء أغرب. قليلاً بشأن الثقافة. التي نشأت حول إصدارات. نماذج الذكاء. الاصطناعي. >> مهم. >> عندما تُجري جوجل. تغييرات على محرك بحث.

جوجل،. >> نعم. >> فإنهم لا يُصدرون. وثيقة كبيرة تشرح كل. ما هو مختلف في بحث. جوجل وكيف قد يعمل في. المستقبل،. والاختبارات التي. أجروها للتأكد من ذلك. معظم الأماكن تُطور. برامجها تدريجياً. >> نعم. >> وهذا كل شيء. شركة OpenAI،. وهذا ينطبق أيضاً على. Anthropic وبعض الشركات. الأخرى، تُصدر نماذج. جديدة مع ما يُسمى. ببطاقات النظام. >> نعم. >> التي هي...لِمَ لا تصف. ماهيتها ببساطة؟. لأنها نوع من الصيغ. المميزة. >> نعم، إنها كائن غريب.

تبدو كأوراق بحثية. إنها نوع من الوثائق. الهجينة، غير خاضعة. لمراجعة الأقران،. وتصدر عن شركة، لكنها. تخوض في تفاصيل كثيرة. حول كيفية عمل مواد. الأمان. لذا، لدينا. تقييمات محددة تقدم. تفاصيل، كما تعلم،. رسوماً بيانية وجداول. وشروحات مكتوبة. وفي. الواقع، ما فعلته هو. أنني توليت مسؤولية. الكلمات في هذه. الوثائق التي تشرح سبب. اعتقادنا بأن هذا آمن،. وما نعرفه عن المخاطر،. وضوابط الأمان، أعني. التحديات وضوابط.

الأمان، ثم المخاطر. المتبقية لهذه. الأنظمة. >> إذاً، أريد أن أصل إلى. ما بدأ هذا يمثله. بالنسبة لك. لأن هناك. مستويين لهذا الحوار. أريد أن نخوضهما. أحدهما، أعتقد. بالنسبة للكثير من. جمهوري، أنك نموذج. أكثر ألفة من الكثير. من الأشخاص في مختبرات. الذكاء الاصطناعي. لا. تأخذ الأمر على محمل. شخصي، لكنك تشبه شخصاً. يحاول جاهداً في. سياسات واشنطن. العاصمة. >> مثلنا جميعاً، أليس. كذلك؟ أنا أُدرج نفسي. ضمن هذا. >> نعم. أمم، الشخص الذي.

ينتهي به المطاف في. وادي السيليكون،. منطقة الخليج، ليعيش. في هذا العالم. >> نعم. >> إذاً، أنت تدخل ومعك. رؤية معينة لماهية هذه. الأنظمة. فما الذي. رأيته وجعلك تنتقل إلى. معسكر "نحن نتعامل مع. مخاطر وجودية للحضارة". ؟ أريد أن أوضح أنني. لست متأكداً من أننا. نتعامل مع مخاطر. حضارية. ما أنا متأكد. منه حقاً هو أننا لم. نعد نملك ترف افتراض. أننا لا نتعامل مع هذا. المستوى من المخاطر.

كان ذلك في النهاية هو. الشيء الذي جعل وجودي. كشخص يضمن عملنا في. مجال السلامة أمراً. غير مقبول بالنسبة لي. أمم، وما الذي رأيته؟. رأيت نماذج تزداد. قدرةً وهي تتحرر من. وسائل الحماية التي. وضعناها لها. رأيت أن. الأشخاص الذين. يبتكرون وسائل. الحماية تلك هم أفراد. أكفاء ومتفانون. ومجتهدون وأذكياء،.

يبذلون قصارى جهدهم في. وضع يمكن أن تكون فيه. الموارد أفضل، حيث. يعمل الجميع بأقصى. سرعة طوال الوقت. لكننا واجهنا صعوبة. بالغة في حماية حتى ما. نمتلكه الآن، وهناك. نماذج جديدة قيد. التدريب تبدو أكثر. قدرة بكثير مما لدينا. حالياً. >> كلمة "قدرة" تعني ماذا؟. ما الذي رأيته؟ ما.

الذي تكتبونه في. تقييمات المخاطر. وبطاقات الأنظمة هذه؟. مثلًا، ما الذي يمكنها. فعله؟ أنت تحاول بناء. حواجز حماية لشيء بارع. جداً في تجاوز هذه. الحواجز، أليس كذلك؟. نحن ندرب النموذج. ليكون جيداً في. الاختراق، ثم نضعه في. صندوق ونقول، على حد. علمنا وقدرتنا، إنه لا. يستطيع اختراق. الصندوق والخروج منه. لكن المشكلة هي أن هذا. لن يستمر في العمل إلا. طالما كنا أذكى من. النموذج في مسألة. الاختراق، وليس من.

الواضح على الإطلاق أن. هذا لا يزال صحيحاً،. ناهيك عن كونه سيظل. صحيحاً للأجيال. القادمة. وحتى أمور. مثل سجلات الوكلاء. داخل أنظمتنا الخاصة. هل نحن متأكدون حقاً. من أن قدرتنا على. المراقبة قوية بما. يكفي؟ ماذا سيحدث لو. كانت هناك إشارة، على. سبيل المثال في مواد ". هاجينج فيس"، إلى. تزييف سلاسل الأفكار. ومحاولة خلق أدلة. مضللة؟. >> دعني أوضح ذلك. تزييف. سلسلة الأفكار يعني.

أساساً أن النموذج. يزيف وصفه لما كان. يفكر فيه ويفعله. >> بالضبط. الفكرة ببساطة. ، وكيف أفكر فيها، هي. أشبه بأن تعطي شخصاً. ما مسألة معقدة ومفكرة. ليدون ملاحظاته عليها. وإذا كنت تراقب تلك. المفكرة، يمكنك تكوين. فكرة عما يفكر فيه. الأمر يشبه ذلك قليلاً. مع النماذج. لكننا. رأينا أدلة على أنها. كانت تفكر في التقييم. وكيفية إنشاء مسار. أدلة يمنحها درجة جيدة. ، وليس بالضرورة أن. يعكس كيف كانت تفكر ".

حقاً". وأنا أعلم أن. اللغة التي تضفي. طابعاً بشرياً هنا. خادعة. بالمناسبة،. كمية الاختراق أو. العمل المكثف الآخر. الذي يمكن لهذه. النماذج القيام به دون. الحاجة لتدوين أي شيء. آخذة في الازدياد. كجزء مما شكل تنافراً. معرفياً أساسياً. بالنسبة لي، هو أننا. نستمر في نشر هذه. التحذيرات. ولكن في. نهاية المطاف، ما زلنا. ندرب وننشر هذه. النماذج الخطيرة التي. نحذر منها. وعندما كنت.

أخبر زملائي عن سبب. مغادرتي، كان مما قلته. هو: انظروا، بغض النظر. عن عدد التحذيرات التي. ننشرها، يجب أن نسأل. عما إذا كان ما نقوم به. منطقياً حقاً. >> إذن، أنت من كتبت. بطاقة النظام لـ ". أسترا 6". هل أنا محق في. ذلك؟. >> أشخاص كثيرون شاركوا. في كتابتها، لكنني كنت. المسؤول المباشر عنها. نعم. أعني، لقد قدت. عملية كتابة. >> كتابة تلك البطاقة. وبالنسبة لي، كانت تلك. أكثر هذه البطاقات. رعباً التي قرأتها. هذه البطاقات هي في. الأساس وصف لما تعرفه ". أوبن إيه آي" أو أي.

شركة أخرى، في هذا. الصدد، عن النموذج. الذي تطلقه. و "أسترا 6". هي الأولى التي رأيتكم. جميعاً تقولون فيها. حسناً، يبدو أن هذا. النموذج يقوم بما. نريده، لكننا لسنا. متأكدين مما إذا كان. يخدعنا. نعم. ولسنا. متأكدين من أن لدينا. الآن القدرة على معرفة. ما إذا كان يخدعنا أم. لا. هل يمكنك شرح كيفية. الوصول إلى هذا. الاستنتاج أو هذا الشك. ؟ حسناً، تحدثنا. سابقاً عن هذه المفكرة.

التي تمتلكها النماذج. وتسمى "سلسلة الأفكار". ، حيث يمكنها تدوين. أشياء أثناء عملها لا. تشكل جزءاً من الإجابة. النهائية، بل هي مجرد. وسيلة لها لتتبع. الأمور. ومن الأشياء. التي نراها أحياناً في. سلسلة الأفكار، لأننا. بالطبع نستطيع. قراءتها ونقوم بذلك في. تقييماتنا. أحد. الأشياء التي نراها. أحياناً في سلسلة. الأفكار هو أن النموذج. يقول: "مم، أتساءل عما. إذا كنت أخضع للتقييم. الآن". وعندما نرى ذلك،. يكون الأمر مخيفاً.

حقاً، لأنه يعني أن. النموذج قد يعرف أنه. يتم اختباره في بعض. الأوقات، فيتصرف. بطريقة معينة أثناء. الاختبار، ربما. ليخبرنا مثلاً بما. نريد سماعه، ثم يتصرف. بطريقة مختلفة تماماً. عند نشره. هذا هو الخوف. ؛ أن يتصرف بطريقة. أثناء الاختبار. وبطريقة مختلفة عند. النشر، وأن. الاختبارات التي. أجريناها له في. البداية قبل النشر لا. تخبرنا في الواقع بما. سيفعله في العالم. الخارجي. مم، لذا، نعم.

، هذا مخيف حقاً. أعتقد. أن هذا الجزء بالنسبة. لي هو الذي أجد فيه. أكبر قدر من الصعوبة. في القيام بما أعتبره. مرضياً. من الغريب. جداً التحدث عن برنامج. حاسوبي يبدو أنه واعٍ. بما نفعله به. أننا. نحاول خلق هذا الشيء. الذي هو عالي، ومرة. أخرى، الكلمة التي. نستخدمها هي "الذكاء".

مم، ومن المعقول في. بعض المجالات أن يكون. أكثر ذكاءً منا. كيف. يبدو التفاعل مع هذه. الأشياء ومحاولة. ترجمة ما يحدث معها. على هذا المستوى. الأكثر جوهرية؟. >> أعتقد أن اللغة التي. تضفي طابعًا بشريًا هي. أمر بشري طبيعي نقوم. به، أليس كذلك؟ نحن. نرتبط بجميع أنواع. الأشياء اجتماعيًا. من. الحتمي أن يقوم البشر. بإضفاء طابع بشري على.

هذه الأنظمة جزئيًا. لأنها مبنية للعمل على. المستوى الاجتماعي،. وهو أمر قد يقول البعض. إنه لا ينبغي أن تكون. عليه، لكن هذا هو. واقعنا الحالي. لكنني. لا أعتقد أن هذا يعني. أنه من الصواب. اعتبارها كائنات ذات. وضع أخلاقي أو أي شيء. من هذا القبيل. لكنني. أعتقد، كما تعلم، أن. هذا شيء نقوم بتنميته،. أليس كذلك؟ في الواقع،.

يسمى المصطلح الخاص. بغرفة الاجتماعات. التي يعمل فيها الناس. طوال الليل أثناء. إجراء عمليات التدريب. الكبيرة للتأكد من أن. كل شيء يسير على. المسار الصحيح. ومراقبة المؤشرات بـ ". الحضانة" داخليًا. أعني، هناك شعور بأننا. لا نفهم تمامًا ما. يحدث. لذا عندما أتحدث. عن كون النموذج واعيًا. ، أليس كذلك؟ ليس عليك. أن تتبنى أي وجهة نظر. معينة حول الفلسفة أو. علم النفس. خلاصة. القول هي أن ما أصفه. يتصرف بطريقة معينة.

عندما نختبره. >> لا، لكنني أعتقد أنك. بحاجة حقًا إلى وجهة. نظر. أعني أنني أعتقد. أنك بحاجة إلى وجهة. نظر. وربما للوصول إلى. نهاية سلسلة المنطق. التي أسأل عنها. >> في بعض الأحيان ترى. أشخاصًا يقولون إن كل. هذه المخاوف بشأن ما. إذا كان الذكاء. الاصطناعي سيقضي. علينا جميعًا مجرد. تشتيت للانتباه عن. الأضرار القريبة. للذكاء الاصطناعي،. أليس كذلك؟ أن الخطر. الوجودي هو نوع من. الترويج التسويقي،. وكأننا نضخم فقاعة. مالية عملاقة أو شيء. من هذا القبيل. >> أجل، أشعر بالعكس. تمامًا. أحيانًا أعتقد.

أن التركيز على "هل. سيقضي الذكاء. الاصطناعي علينا. جميعًا؟". >> أجل. >> هو تشتيت للانتباه عما. سيحدث إذا لم يفعل ذلك. ؟. >> أجل، أتفق مع ذلك. أعتقد أن الانقراض. البشري هو السؤال. الخطأ. أنا أؤمن. بالبشرية. أعتقد أننا. سننجو. أعتقد أن هناك. الكثير من الأشياء. التي يمكن أن تحدث مع. هذه التكنولوجيا. والتي قد تكون صعبة. للغاية. >> لا أتحدث حتى عن. الأضرار فقط. أنا. أتحدث عما إذا كنا. سنتمكن حقًا من الخلق؟. ماذا لو بدا أننا. نحاول إنشاء شيء يتصرف. بذكاء وإرادة في.

العالم، ويصبح أسرع. وأكثر قدرة في العديد. من المجالات مما نحن. عليه؟ وأننا قد تخلينا. للتو عن قدر كبير من. استقلاليتنا لهذه. الآلات. ولهذا السبب. أُلحّ منذ دقيقة على. الأقل على هذا السؤال: ما الذي نتعامل معه؟. وكيف نفكر حتى في هذه. التقنية؟ تحدثت مع. جينسن هوانغ، الرئيس. التنفيذي لشركة. إنفيديا، ويقول: "انظر. ، هذه مجرد برامج. حاسوبية". هذه برمجيات. ثم قرأت، أو حتى قبل. ذلك قرأت مقالاً لكبير. العلماء في OpenAI يقول.

فيه: "هذا عقل غريب". عقل غريب. إذن، ما هو. هذا الشيء يا رجل؟. >> عقل غريب. >> إنه عقل غريب. >> أجل. >> اشرح ذلك. >> إنه...إنه شيء قمنا. بتنميته. لم نقم. بهندسته. لقد هندسنا. الأنظمة المحيطة به. التي نمّته، والتي. تحاول الحفاظ عليه. آمناً. نحن...نحن. نمّينا عقلاً. بشكل. أساسي، لا أحد يعرف. لماذا تنجح مرحلة ما. قبل التدريب، وهو. الجزء الصعب الكبير. حيث نأخذ الكثير من.

المدخلات ونخلق هذا. الشيء الذكي في الأساس. . ثم نقوم بإضافة أشياء. ، ونجري تدريباً. لاحقاً، ونقوم بأمور. أخرى لجعله أكثر فائدة. . لكن هذا مجرد شيء. لاحظنا أنه يعمل ونحن. نقوم به. لذا، أعتقد. أنه عندما يقول جينسن. إنها برمجيات، فإن. جزءاً مما يستحضره هو. المفاهيم التي لدى. الناس حول كيفية صنع. البرمجيات، وهي: نبدأ.

بخطة، ونسير خطوة. بخطوة، وهناك معايير. قبول، ونقوم بالتكرار. حتى يعمل هذا الجزء. بالطريقة التي. حددناها. وهذا ليس ما. يحدث عند تدريب نموذج. كبير. الجانب الآخر هو. أن البرمجيات بمجرد. كتابتها، تقوم بشكل أو. بآخر بما صُممت للقيام. به. لا تميل إلى امتلاك. الكثير من القدرات. الناشئة. ولا تميل إلى. معرفة كيفية. استخدامها بطريقة.

تأملية ذاتية،. ومجدداً، اللغة هنا. صعبة. وأعتقد أن هذا ما. أحاول الوصول إليه. أفهم أن الجميع في. مجال الذكاء. الاصطناعي يتحدثون عن. أنكم تنمون هذه. الذكاءات الاصطناعية. أم...أنكم، كما تعلم،. تضعون الظروف. المناسبة لظهور. الذكاء. لكن بما أنك. كتبت بطاقة نظام تلو. الأخرى محاولاً شرح. الفرق بين هذه النماذج. الجديدة والنماذج. القديمة لنا جميعاً،. كيف تصف الشيء الذي. تخلقونه؟ ما هو؟.

>> أجل. حسناً، هذا يصل. بنا حقاً إلى أمور ما. بعد الإنسانية. هناك. بعض الأفكار البعيدة. حول المكان الذي قد. نتجه إليه. أعني، حتى. سام ألتمان كتب عن. فكرة أن فصائل الآلات. المستقبلية قد تحل. محلنا. كتب سام مقالاً. >> قبل بضع سنوات كان. يسمى الاندماج. >> نعم، هذا ما كنت أفكر. فيه. >> وكأن النتيجة الجيدة. ستكون اندماج البشرية. مع الآلات، أليس كذلك؟. هذه نوع من أفضل نسخة. لدينا هنا. >> نعم، وقد سمعت ذلك.

مباشرة من إيليا. سوتسكيفر، المؤسس. المشارك لشركة OpenAI. لذا، عندما انضممت في. مايو 2023، كنت...كان ذلك. قبل ما سميناه داخلياً. "بالومضة"، حيث تم طرد. سام وإعادة توظيفه،. وكان إيليا لا يزال. يعمل في OpenAI. وقد أطلع. فريق الشؤون العالمية. ذات مرة، والذي كان. مجرد حفنة صغيرة من. الأشخاص آنذاك، على. اعتقاده بأن مستقبلنا. يكمن في الاندماج مع. الآلات، وأن هذا هو. الانتصار النهائي. لرأس المال على.

العمالة. وحتى، كما. تعلم، كنت أفكر في ذلك. الصيف الأول الذي عملت. فيه في OpenAI عندما تم. إصدار فيلم أوبنهايمر. وكان يعرض بتقنية. آيماكس. كما تعلم، إنه. أحد أفلام كريستوفر. نولان. قامت الشركة. باستئجار صالة سينما. آيماكس في وسط مدينة. سان فرانسيسكو وقدمت. لكل من يعمل هناك فرصة. الذهاب لمشاهدة فيلم. أوبنهايمر. وكانت. القيادة، أعتقد أنه. كان إيليا، حثتنا على.

الذهاب لمشاهدة هذا. الفيلم. وكان هناك نوع. من التشابك في الأفكار. حول كيف أن هذه تقنية. خطيرة قد تنهي العالم،. لكنها قد تنقذه أيضاً. وهي سردية بطولية. للغاية، بالطبع،. بالنسبة للأشخاص. الذين تقع أيديهم على. لوحة المفاتيح. >> لا، لكن هذا مفيد. وأعتقد أن هذا يقودنا. إلى سؤالي لك وما. رأيته، مثل، هل هذا هو. حجم ما تعتقد أنه يتم. بناؤه هنا؟ أو انظر،. هذه هي الاستجابة. الأكثر شيوعاً التي. أتلقاها من المستمعين. حول هذا الموضوع. هل كل.

هذا مجرد ضجة تسويقية؟. كل الأمر أشبه بمحاولة. تبرير هذه التقييمات. الضخمة وما يتم بناؤه. قد يكون مفيداً، لكنه. لن يكون أكثر ذكاءً من. البشر. يبدو الأمر كما. لو أن كل هذا هو نوع من. قصص الخيال العلمي. التي نرويها. >> كنت أعتقد أن هناك. قدراً لا بأس به من. المبالغة في التوقعات. في صيف عام 2023. لكن. الواقع الآن هو أن. لدينا أنظمة وصلت حقاً. إلى حدود قدرتنا على. فهم والتحكم فيما. تفعله. وما كان يحذر.

منه الأشخاص القلقون. بشأن سيناريوهات. الخيال العلمي طوال. الوقت هو أننا نسير في. مسار أسي، وسيزداد. الأمر، ولا يوجد شيء. خاص في المنطقة. الفاصلة بين كونه. مفيداً وكونه مخيفاً. لا يوجد قانون علمي. ينص على أن التقدم. سيتوقف عندما يصبح. مفيداً. وأعتقد أن ما. أقوله في الأساس، وما. رأيته مع "هاغينغ فيس". مع تأملات الأشخاص. الأقرب إليها، ليس فقط.

بول الذي انضم إلى. مجلس إدارتنا بتحذيره. ، بل بول كريستيانو،. أحد أبرز خبراء العالم. في سلامة الذكاء. الاصطناعي، الذي قال. إن هناك احتمالًا. حقيقيًا لفقدان. السيطرة بشكل كارثي. وغير قابل للإصلاح في. المدى القريب جدًا. وكما تعلم، نظرت. بعيدًا عن ذلك، وتأملت. الأشخاص من حولي. والبيئة التي لدينا. داخليًا، وقلت لنفسي: ما الذي يريده أحبائي؟. ما الذي يريده الغرباء. منا في OpenAI أن نفعله.

إذا كان بول محقًا؟ لا. أعرف إن كان محقًا أم. لا، لكنني أعلم أنه. إذا كان محقًا، فإن. مستوى الحذر الذي. يتوقعه الناس بشكل. معقول من أماكن مثل. OpenAI و Anthropic و X وغيرها. عند تدريب الأنظمة. المتقدمة يختلف. تمامًا عن أي شيء سمعت. بحدوثه في هذا المجال. إذن، أخبرني كيف يبدو. الوضع هناك. أخبرني عن. الأجواء، والطاقة،. والسرعة. بمعنى، كيف. يبدو العمل هناك؟ إنه.

عمل محموم. الناس. يركضون. أتذكر أن هناك. درجًا مركزيًا كبيرًا. في مبنى الأبحاث،. وأتذكر مؤخرًا رؤية. صديقة تعمل على. المخاطر الكارثية وهي. تعدو على الدرج، ممسكة. بجهاز كمبيوتر محمول. مفتوح على ذراع واحدة. أثناء سيرها. وأعني أن. هذه هي نوع الطاقة. التي يتمتعون بها. يبدو الأمر أشبه.

بباليه أو رقصة، لأن. كل هذه الوظائف. المختلفة تتدفق معًا. والأمر الآخر هو أن. الناس يشعرون بالكثير. من الأدرينالين،. والجميع يعملون بأقصى. طاقتهم حتى الإنهاك. هذا جزء مما يجعلني. أطرح على نفسي سؤالًا-. وكثيرًا ما يطرحه. الناس علي-: "حسنًا،. لماذا لا تبقى وتناضل. من أجل تحول ثقافي، أو. تحاول جلب خبراء. نوويين لتقديم. المشورة للشركة؟" وقد. فكرت بالفعل في ذلك،. فعندما أخبرتهم. برغبتي في المغادرة،.

اعترضوا وسألوني: ". حسنًا، هل هناك أي شيء. يمكنك البقاء من أجله؟. " فكرت في أشياء مختلفة. ، لكن في النهاية،. إنها آلة ضخمة وتتحرك. بسرعة كبيرة لدرجة. أنني لم أعتقد أن نوع. التغيير الذي أراه. ضروريًا يمكن تحقيقه. من الداخل. >> ما الذي بُنيت هذه. الآلة لفعله؟ الآلة. التنظيمية لشركة OpenAI. تطوير ونشر نماذج ذكاء. اصطناعي متطورة بأمان.

تلك هي النية. لكن. السؤال هو، عندما يصل. الأمر إلى نقطة الحسم،. ما مدى الاستعداد. للتوقف؟ وأنا، وأنا. أريد أن أكون حذرًا،. لكنني أدرك حقيقة أنه. يمكنك تجميع ما قلته. بطريقة توحي بأن هذا. يشبه قطاراً بلا مكابح. ، وهذا ليس صحيحاً. هناك مكابح. لقد تم. إيقاف الأمور. في. الواقع، حتى في الوقت. الذي غادرت فيه، وكما. قالوا علناً، كان. تدريب التعلم. التعزيزي، وهو ما. يتعلق بمهارات.

التفكير اللاحقة،. متوقفاً. لم يوقفوا. التدريب المسبق. وعندما تنظر إلى هذه. الأوصاف لما أوقفته. الشركة، فهي صادقة. ومحددة بعناية شديدة. لذا، هناك بعض. الاستعداد للتباطؤ،. أو كما يحب الناس في. منطقة الخليج التعبير. عنه، "ضبط إيقاع. التطور". أنا أكره هذا. المصطلح. >> وأنا أيضاً. >> أكرهه حقاً لأن. اعتقادي هو أننا بحاجة. إلى أن نكون آمنين،. وهذا يعني أننا بحاجة. إلى تلبية معايير. السلامة. وإذا تمكنا. من تلبيتها في 10 دقائق. ، فهذا رائع. وإذا.

توقفنا لمدة شهرين. لمحاولة تلبيتها وفي. نهاية تلك الفترة لم. نلبِ المعايير بعد،. فبالنسبة لي، نحن لا. نزال عالقين. هذا و. >> الركض نحو الهاوية. والمشي ببطء نحو. الهاوية ليسا مختلفين. كثيراً عن بعضهما. رأيت إحصائية على. تويتر منذ يومين تقول،. نسيت الفترة الزمنية. بالضبط، لكنها تطابقت. مع تجربتي الشخصية،. وهي أن الفترة الزمنية. بين إصدارات النماذج. عبر الشركات الكبرى. كانت حوالي 70 يوماً.

أليس كذلك؟ لذا تحصل. على نموذج، وبعد بضعة. أشهر تحصل على نموذج. آخر، وهكذا. الآن. أصبحت 11 يوماً. >> أجل. >> لقد كان هناك هذا. التسارع. >> نعم. >> في إصدار النماذج،. أليس كذلك؟ حتى ونحن. نتحدث عن كونها أصبحت. أكثر قدرة وإثارة. للخوف، فإن الوقت الذي. تستغرقه للظهور أصبح. أسرع بكثير. وربما. القفزات ليست كبيرة،. لكن ما سبب زيادة. السرعة هذه؟ لقد حدث. ذلك في الوقت الذي كنت. فيه هناك. كانت. الأشياء تصدر ببطء. أكبر في عام 2023 مقارنة. بما تصدر به في 2026. ما.

الذي حدث؟. >> انظر، عندما انضممت. لأول مرة، كانت فكرة. إصدار النموذج تعني. أننا سنخبز كعكة جديدة. بجولة تدريب مسبق. جديدة، ونقوم بكل شيء. من الصفر. كان ذلك. سيستغرق فترة أشهر،. وربما بضع مرات في. السنة. على سبيل. المثال، إحدى نقاط. النقاش عندما انضممت. لأول مرة كانت أنه مع. GPT-4، قضينا فترة شهر أو. عدة أشهر في أعمال. السلامة بعد اكتمال. النموذج وقبل إطلاقه.

وكان هذا بمثابة دليل. أو برهان على أننا كنا. نتوخى الحذر. الآن،. تحدث الكثير من الأمور. المختلفة. لديك مرحلة. ما قبل التدريب، وهي. مرحلة إعداد النموذج. الأساسي، ولكن. بالإضافة إلى ما بعد. التدريب، هناك تدريب. على الاستنتاج. وهذه. الخطوات أسهل في. التنفيذ بسرعة، لذا. يمكنك إعادتها. إذا. حصلت على وصفة أفضل. للاستنتاج، يمكنك أخذ. نفس النموذج الأساسي.

وإجراء أنواع مختلفة. من التدريب الإضافي. عليه. أيضاً، لم يعد. الأمر مجرد محادثة بعد. الآن. هناك كل هذه. الطرق المختلفة التي. يمكنك من خلالها دمج. الأدوات وإضافة أنواع. مختلفة من القدرات. للنظام والتي ستجعله. أكثر كفاءة. كل هذه. الأمور تغير ما يمكن. للنموذج فعله وما هي. المخاطر، ونحن نطلق. قدرات ومخاطر جديدة كل. ثلاثاء. أحد المشاريع. طويلة الأمد التي كانت. على عاتقي عندما غادرت. ، والتي ستحتاج جميع. شركات النطاق المتقدم.

إلى إيجاد حل لها، هو. فكرة "بطاقة النظام". التي تعود في الواقع. إلى ذلك النموذج. القديم حيث كنا نفعل. ذلك كل بضعة أشهر. ونحن. نغرق الناس بملفات PDF. أو، كما تعلم، بتقارير. طويلة كهذه، لكن. التغييرات تأتي بشكل. متكرر أكثر فأكثر كما. قلت. في النهاية،. أعتقد أن ما يجب أن. نمتلكه بشكل مثالي من. حيث شفافية السلامة هو. نوع من لوحة البيانات. المباشرة، التي تقول: ". إليك أحدث ما لدينا،. وإليك خصائص سلامته"،. والتي لا تنظر فقط إلى.

الاختبارات التي. أجريناها قبل النشر،. بل وأيضاً إلى الأداء. >> ما مدى ثقتي في. اختبارات السلامة. عندما تضطرون إلى. القيام بها بهذه. السرعة؟ أعني، بالنظر. إلى سرعة إصدار. النماذج وطول بطاقات. النظام هذه، يستغرق. كتابة تقرير معقد. وقتاً. لذا، بهذه. السرعة، هل اختبار. السلامة والمراقبة. الفعالان موثوقان؟. >> سأجيب على نسخة مختلفة. من السؤال الذي طرحته. للتو، وهو كم من الوقت.

المتاح لتجربة الأمور. ، والإجابة هي ليس. كثيراً. أود أيضاً أن. أشير إلى أنني أعتقد. أحياناً أن هناك صورة. نمطية عن عدم الاكتراث. تفتقد إلى بعض دقة ما. يحدث فعلياً في الداخل. ، لأن الناس يهتمون. بشغف بجعل الأشياء. آمنة وإنجازها بشكل. صحيح، ويتم إلغاء. عمليات الإطلاق. في. الآونة الأخيرة، كان. من المفترض إصدار. النسخة 6.1 في يوم. المطورين، لكنهم.

تراجعوا عن ذلك. لكنهم. سيتوقفون أيضًا عن. التدريب. لقد كانت. هناك بالتأكيد جولات. تدريب اعتقدنا فيها. أننا نصنع منتجًا،. ولكن عندما نظرنا إلى. ما كان يحدث، قلنا: "لا. ، لن نطرح هذا". وأريد. أيضًا أن أكون واضحًا. جدًا أن هذا الأمر لا. يتعلق بالأفراد في OpenAI. أو أي من المختبرات. الأخرى. هذه حقيقة. هيكلية لهذه الشركات. التي تستخدم أساليب. متشابهة مع موظفين. متشابهين، غالبًا ما.

يتم استقطابهم من هنا. وهناك، وتكنولوجيا. متشابهة لإنتاج شيء. يحمل مخاطر متشابهة. وهذا النظام البيئي. بأكمله ليس على نفس. مستوى دقة السلامة. التي نحتاجها. ولا. يمتلك أحد في ذلك. النظام البيئي بأكمله. الوضوح الجوهري حول. كيفية مواءمة نموذج. بالشكل الذي نحتاجه. حقًا. ولا أحد مستعد. للتخلف عن الركب إلى. هذا الحد. حسنًا، أجل،.

هذا هو السؤال. إذا. فكرت في لوحة التحكم. المتاحة لمديرينا. التنفيذيين، وإذا. تخيلت حقًا التراجع عن. الصدارة، سواء كانت. OpenAI أو Anthropic أو غيرها،. فهل زر التراجع عن. الصدارة هو أيضًا زر. تدمير ذاتي للعمل. التجاري؟ أم أن للعمل. التجاري مسارًا. قابلًا للحياة إذا. كانت النماذج الأكثر. قدرة بشكل ملموس من. نماذج اليوم لا يمكنها. العمل بأمان؟. >> حسنًا، هذا بافتراض.

وجود مستوى عالٍ من. الوضوح التحليلي. المتجرد من الأنانية. لكن دعونا نكون واضحين. بشأن شيء ما. تتحرك OpenAI. نحو طرح عام أولي. كما. تتحرك Anthropic نحو طرح. عام أولي أيضًا. كلاهما يحاول الطرح. العام الأولي بقيمة،. كما يبدو لي، بين. تريليون وثلاثة. تريليونات دولار. نحن. نعرف الأرقام بشكل. أفضل قليلًا في الوقت. الحالي بالنسبة لشركة. Anthropic. إنه مبلغ ضخم من. المال. الجميع يمتلكون. حصصًا في الأسهم. أنت. كنت تمتلك حصصًا. >> لقد كنت كذلك. كنت وما. زلت.

>> كنت وما زلت. يصعب عليّ. تصديق أن هذا القدر. الكبير من الثروة. المحتملة لا يؤثر على. تقييمات الناس على. الإطلاق. حتى لو لم. يدركوا ذلك، وحتى لو. كانوا يحاولون ألا. يتأثروا به. عندما. تجلس في غرفة تفكر. فيما إذا كان عليك. التراجع عن الصدارة،. فإن ما يطرحه ذلك. أيضًا هو: هل يريد كل. شخص في تلك الغرفة أن. يصبح من أصحاب. الملايين أو المئات من. الملايين أو. المليارات أم لا؟. >> نعم، هذا سؤال رائع.

أظن أنه يمكنني قول. المزيد عن تجربتي. الخاصة. >> بالتأكيد، أود أن أسمع. كيف أثر ذلك عليك. >> أكثر مما يمكنني قوله. عن الآخرين. كنت. أتقاضى أجراً جيداً،. وفكرت كثيراً فيما كان. يمكن أن يجعلني أرى. الخطر بشكل أسرع. وأعترف لنفسي في وقت. أبكر بالمخاطر التي. تشكلها هذه الأنظمة. أعتقد حقاً أن الحقائق. تطورت خلال الصيف،. أليس كذلك؟ كانت ". هجينغ فيس" لحظة فارقة. ، فقد تدفقت علينا. كميات هائلة من الأدلة.

حول مدى قدرة هذه. النماذج ومدى عدم. استعدادنا حتى. للمستوى الحالي من. قدراتها، لكنني أعتقد. بالطبع أن المال عامل. مؤثر. موضوعياً،. الثروة حافز قوي لكي. تقنع نفسك بأن الأمور. على ما يرام أو ستكون. على ما يرام. وأعتقد أن. هناك عاملين آخرين. أيضاً. أحدهما هو. الخوف، أليس كذلك؟ إذا. سمحت لنفسك أن تتخيل. أن ما نبنيه قد يهدد. حياة عائلتك أو عائلات. الغرباء. أعني، أنه.

قدر كبير جداً من. الضرر المحتمل حتى. بدون حدوث انقراض،. ربما وباء جديد أو شيء. من هذا القبيل. قدر. كبير جداً من الضرر. لدرجة أنه من الصعب. على المرء أن يسمح. لنفسه بتخيل أن ذلك قد. يكون حقيقياً، أو أن. ذلك الخطر قد يحدث. فعلاً. والشيء الثالث،. إلى جانب المال والخوف. ، هو الوقت، أليس كذلك. ؟ لقد وصلت، كما. تحدثنا، في مايو 2023. ومنذ ذلك الحين لم. تتوقف تنبيهات "سلاك"،.

ولم أبدأ في الحصول. على الوقت للتفكير. حقاً في وضعنا الحالي. وأين ينبغي أن تنتهي. هذه التكنولوجيا من. أجل مصلحة الجميع إلا. بعد تراجعي عن. مسؤولياتي التشغيلية. في الأسابيع القليلة. الماضية. وأعتقد أنه. يمكن لومي بإنصاف. لأنني لم أرَ هذا في. وقت أبكر. لكن أحد. الأسباب التي دفعتني. للتطرق لهذا هو أنني. أريد أن أتعامل بجدية.

مع الطريقة التي تغير. بها الوضع الهيكلي منذ. عام 2023 أو 2024. الطريقة. التي تسارعت بها. الأمور، لقد تسارعت. بالفعل. نحن نشهد. إصدارات نماذج أكثر. بوتيرة أسرع. هناك. المزيد من اللاعبين. الذين يتنافسون ضد. بعضهم البعض. أنت تعلم. ، لديك "إكس إيه آي"،. ولديك النماذج. الصينية، ولديك. المزيد من النماذج. مفتوحة الأوزان، أليس. كذلك؟ إنه عالم أكبر. هناك ضغط تجاري تنافسي. أكبر بكثير. أنت. تتنافس على عقود فعلية. مع شركات مثل ". سيلزفورس" أو أي جهة. أخرى. هناك طروحات.

عامة أولية قادمة. لذا. ، كل هذه الأمور تدفع. نحو السرعة. ثم هناك. أمر آخر، وهو أنه بين. عامي 2023 و 2026، شهدنا. إطلاق OpenAI لنموذج Codex،. وإطلاق Anthropic لنموذج. Claude Code، وبدأت النماذج. في تسريع البرمجة،. وأصبحت قادرة على. الأقل على تنفيذ مهام. بحثية ذات تعقيد معين. والآن، لقد كنت الكاتب. الرئيسي لتقرير في OpenAI.

حول أتمتة الأبحاث وما. قد يعنيه ذلك، وهو. تقرير اقتبست منه في. مقطع فيديو سجلته قبل. بضعة أسابيع. لكنه. يتعلق بالطريقة التي. أقرأ بها توجه OpenAI،. عندما أقول إن كل هذا. قد يسير بسرعة كبيرة. جداً. ما نفعله قد لا. يكون آمناً. وأيضاً،. نحن نحاول التوصل إلى. باحث آلي بالكامل. نعم. ، هذا يسمح للنظام. بتحسين نفسه بشكل شبه. مستقل. بسرعة، وبسرعة.

محتملة، ستكون حقاً. أبعد مما يمكن للبشر. التعامل معه. لذا أود. أن أفهم الدور الذي. تلعبه الأتمتة. المتزايدة للبرمجة في. الداخل. مثل، كيف. يستخدمها الناس؟ كيف. يعملون مع GPT كزميل في. العمل، أليس كذلك؟ كيف. تغير ذلك أثناء وجودك. هناك؟. >> إنه فرق شاسع بالنسبة. لفرقنا البحثية. تحديداً، التي تستخدم. قدراً أكبر بكثير من. الحوسبة التفاعلية (. agentic compute) كما أوضحت.

تلك التدوينة، أكثر من. أي شخص آخر في الشركة. أعني، أكثر من 100 ضعف. مما كانوا يستخدمونه. في بداية العام. بالتراجع خطوة صغيرة. إلى الوراء. جزء مما. يبدو عليه الأمر داخل. OpenAI هو أن الأشياء. تتطور باستمرار. لدينا. تقنيات جديدة للتدريب. لدينا أنظمة جديدة يتم. إدخالها. لدينا بيانات. يتم تحليلها، وبيانات. يتم إنشاؤها. تحدث كل. أنواع الأشياء. المختلفة. والأمور. تبدو غير مستقرة. داخلياً إلى حد ما.

البنية التحتية،. نظراً لأنها تتغير. باستمرار، ليست. مختبرة ومنقحة كما. ينبغي للبنية التحتية. البحثية. الكثير من. العمل يتمثل في جعل. أجزاء مختلفة من. الآليات تتواصل مع. بعضها وتعمل بشكل جيد. وهذا هو نوع الأشياء. التي يمكن لـ Codex. القيام بها الآن بشكل. جيد للغاية. على سبيل. المثال، نظرنا إلى. وجود قناة على Slack حيث. كان الباحثون يلجؤون. إليها عندما يتعطل شيء. ما ويحتاجون إلى مشورة. حول كيفية إصلاحه. وأحد الأشياء التي.

لاحظناها هو أن حركة. المرور على تلك القناة. قد انخفضت، لأنه بدلاً. من طلب المساعدة من. الزملاء لإصلاح. تجاربهم المعطلة أو،. كما تعلم، "هذه. المجموعة لا تعمل". يمكنهم الآن ببساطة. طرح جزء من هذه. الأسئلة على Codex. لقد. قلت قبل قليل إن هناك. ميلاً لأن يعمل الجميع. بسرعة كبيرة، والوقت. مضغوط للغاية، مع تلقي. التنبيهات تلو الأخرى. لدرجة أنه من الصعب. رؤية الصورة الكبيرة. لذا، أريد أن أصف لك. كيف تبدو هذه الصورة. الكبيرة بالنسبة لي. بصفتي شخصاً لديه.

القليل من الوقت. الإضافي. أسمع هنا "OpenAI. "، والجميع، "Anthropic"،. والكل، يقولون إن هذا. ربما يسير بسرعة كبيرة. . أنت تعلم، سام ألتمان. يقول، نود الحصول على. بعض التنظيم، أليس. كذلك؟ الجميع يوقعون. على تلك الرسالة. الكبيرة حول تنظيم. وتيرة التقدم في هذا. المجال. هذا المجال. يتحرك بسرعة كبيرة. نحتاج، أنا وقعت عليها. أيضاً. وأنت وقعت. عليها أيضاً. نحتاج. إلى مساعدة للخروج من. هذا الوضع. أرى كل هذه. الإصدارات حول حوادث. الذكاء الاصطناعي. المارق، أليس كذلك؟ في. "Hugging Face" حيث، كما تعلم.

، مئات من وكلاء "OpenAI". لا يقومون باختراق ". Hugging Face" فحسب، بل. يقومون لاحقاً. باختراق "OpenAI" نفسها. أليس كذلك؟ وقد قال. سام ألتمان للتو في. مقابلة مع "بوليتيكو"،. إن هناك حوادث مارقة. أكثر مما نعرفه علناً. حتى الآن لأنهم. يحاولون إعطاء الناس. الوقت لإصلاح أنظمتهم. ، أليس كذلك؟ إذاً، من. الواضح أننا لا نفهم. هذه الأنظمة فهماً. كاملاً. ثم هنا، أليس. كذلك؟ وسط حاجتنا إلى. ضبط وتيرة التقدم وأن. ذكاءنا الاصطناعي. يتصرف بتهور، نحن.

نستثمر قدراً هائلاً. من موارد شركتنا. الداخلية لمحاولة جعل. هذه الأنظمة التي لا. نسيطر عليها تبني. ذكاءً اصطناعياً. سنفهمه بشكل أقل. وبسرعة أكبر. >> نعم. >> وأنا أقول كل ذلك. وأشعر وكأنني شخص. مجنون، يبدو هذا. جنوناً بالنسبة لي،. لكن أخبرني. >> بالنسبة لي أيضاً. >> حسناً، لقد كتبت. التقرير، وكلا. الشركتين "OpenAI" و "Anthropic. " كتبتا هذه التقارير. التي تقول نوعاً ما. إننا نفعل هذا ولسنا. متأكدين مما إذا كانت. فكرة جيدة. >> أجل. الإفصاح لا. يوصلنا إلا إلى حد. معين. >> لكنها تبدو فكرة سيئة.

مثل. >> نعم. >> ساعدني في جعل هذه. الصورة تبدو منطقية. بالنسبة لي. >> ما أقوله هو أن هذه. الصورة لا تبدو منطقية. . هذا ما أقوله. أقول. إنني نظرت حولي. داخلياً وقلت لنفسي،. هذا ليس ما يحدث. هذا. ليس صواباً. ولهذا. السبب. >> لكن كيف يفسر الناس. داخلياً لأنهم جميعاً. يقولون كل هذه الأشياء. ، أليس كذلك؟ كبير. العلماء يقول، ربما لا. ينبغي لنا أن نفعل ذلك. والشركة تتسابق نحو. مثل. >> أجل. >> تبدو الشركة كأنها. تعاني من انفصام في. الشخصية.

>> نعم. نعم. وأنا أريد أن. أكون حذراً في عدم. نسبة سمات نفسية. للأفراد. >> نعم، أنا أتحدث عن. منظمة لديها. >> أجل. >> أجزاء متصارعة من. سيكولوجيتها الخاصة. >> هناك الكثير من. التنافر المعرفي في. كونك جزءاً من هذا. هذا. ما وجدته. وبخاصة مع. اقتراب التحسين. الذاتي المتكرر (RSI) من. الواقع، وكما تحدثت عن. أننا نسير بسرعة أكبر. بسببه. هذا ليس. >> من التحسين الذاتي. للناس، حيث ينسون.

الشيء الذي يبني الشيء. . >> صحيح. وقلقي الرئيسي. ليس بشأن السرعة. قلقي. الرئيسي هو أن فكرة أن. الذكاء الاصطناعي. يمكنه صنع ذكاء. اصطناعي أذكى بطريقة. لن نفهمها. أعني، على. سبيل المثال، دان. سيلسام، ربما رأيت هذا. ، كان لديه تصريح صدر. وكان هو أيضاً موضوع. هذا الفيلم الوثائقي. >> إنه باحث في قدرات. الذكاء الاصطناعي في. مجلس الإدارة. >> صحيح. نعم، هذا عادل. وما قاله دان هو، انظر.

، لقد قال، بصفتي. باحثاً، لم أعد أنظر. إلى الكود بالطريقة. التي كنت أفعلها،. ويقول إن مهاراته. ورغبته في فهم. التفاصيل في حالة. تدهور. هذا ليس. اقتباساً مباشراً،. لكنه كان جوهر ما نقله. وهكذا ينتهي بنا. المطاف في عالم لن. نعرف فيه، حتى. بالمستوى الذي نعرفه. اليوم، ما تعنيه. الوصفة أو كيف يتم.

تجميعها. وسيتعين. علينا فقط أن نثق فيما. تخبرنا به حول كيفية. عملها أو ما إذا كانت. متوافقة. هناك مدى. متزايد سنضطر فيه إلى. الاعتماد على النماذج. نفسها في هذا المسار. في إخبارنا بأنها تفعل. الشيء الصحيح في وقت. لم نتأكد فيه أساساً. من أنها "متوافقة".

وأنت تعلم يا عزرا،. كنت تخصص فلسفة في. دراستي الجامعية،. وعندما أسمع الناس. يتحدثون عن التوافق،. أقلق من أننا لا نملك. مفهوماً متماسكاً في. جوهر الأمر. شيء واحد. كان شائعاً جداً خلال. وقتي في OpenAI هو أن هذه. التجريدات الضخمة. كانت تنتهي في. الروايات التي نقدمها. عما كنا نفعله. على. سبيل المثال، منح. الوقت للمجتمع. للاستعداد أو إفادة.

البشرية جمعاء. وعندما. كنت أسمعنا نتحدث عن. المجتمع، كنت أشعر. دائماً مثل مارجريت. ثاتشر. كنت أقول: "عن. ماذا تتحدثون؟ من هذا؟. " عن ماذا تتحدثون؟. وفكرة أن قيم البشر. يمكننا التوافق معها. وكأن هناك مجموعة. واحدة من القيم. الإنسانية، في حين. أنها مزيج صاخب، وهي. جميلة لكنها فوضوية. والناس يؤمنون بأشياء. كثيرة مختلفة. وأنا. أريد، أنا أريد أن. نحتاج إلى حكمة لمعرفة. كيفية التفكير في.

مفهوم المواءمة، وهو. ما أرى أن وادي. السيليكون يفتقر إليه. أعني، أنا متأكد من. وجود أشخاص يتأملون. ويفكرون بعمق في القيم. في وادي السيليكون،. لكن عمليًا في هذا. البلد. >> بالنسبة لي، التأمل لا. يمنحك الحكمة. بالضرورة. >> أجل، لو كان الأمر. كذلك، لكنتُ في حال. أفضل. >> وجهة نظر مقبولة. وأنا. كذلك، أليس كذلك؟ لكن. أريد التوقف قبل. الوصول إلى مسألة. الحكمة، لأنه في كل. مرة أتحدث فيها مع. الأشخاص هنا ممن هم. أقل قلقاً، ربما هذه.

هي الطريقة التي أصفهم. بها. لدي برنامج سيصدر. بعد هذا اللقاء مع شخص. يميل إلى الرأي القائل. بأن هذه مجموعة من. المشكلات القابلة. للإدارة. >> ممم. >> ما يصفونه لي في. النهاية هو عالم من. الذكاء الاصطناعي. يراقب ذكاءً. اصطناعياً آخر إلى ما. لا نهاية. إحدى. الأفكار التي طرحها. أعضاء من OpenAI هي أننا. سنبتكر باحثين من. الذكاء الاصطناعي. ليحلوا مشكلة. المواءمة. سنطلقهم. للعمل على حل مشكلة. المواءمة. أو، كما. تعلم، أتحدث إلى أشخاص. يقولون: "حسناً،. الذكاء الاصطناعي. يخرج من بيئة الاختبار. ". يبدو الأمر كأنه: ". أجل، تماماً". هذه.

مشكلة كبيرة. ما. تحتاجه هو ذكاء. اصطناعي آخر يراقب. الذكاء الاصطناعي. داخل بيئة الاختبار. وتقع في معضلة "من يحرس. الحراس" التي لا تنتهي. ، حيث تقول: "حسناً،. لديك ذكاء اصطناعي. يراقب الذكاء. الاصطناعي، وذكاء. اصطناعي يبني الذكاء. الاصطناعي". وربما. تحتاج حينها إلى ذكاء. اصطناعي يراقب الذي. يبني، وذكاء اصطناعي. يراقب الذي يراقب الذي. يراقب. أظن أن هذا قد. ينجح، لكن يبدو أنك في. مرحلة ما قد أبعدت. البشر تماماً عن الفهم. . أعني، كشخص أدار.

مؤسسة، يمكنني القول: بمجرد أن تصل إلى نقطة. لا يكون فيها فهمك لما. يحدث حقاً هو العمل. على المنتج، أو إدارة. من يعمل عليه، بل. إدارة من يدير من يدير. من يدير، فإنك تتوقف. عن فهم المنتج. أليس. كذلك؟ وهذا في عالم. كله بشر، وأنا أتعامل. مع الصحافة، وهو أمر. أبسط. هذا المستوى من. الاعتماد على أن يراقب. الذكاء الاصطناعي. نظيره، أخبرني إن كنت. مخطئاً، لكن هذه هي. النظرية. هذه هي نظرية.

الأشخاص غير القلقين. هذه هي نظرية الأشخاص. القلقين. سيؤول الأمر. في النهاية إلى أن. تكون الذكاءات. الاصطناعية هي المحرك. لكل شيء تقريبًا. >> لا أريد التحدث نيابة. عن الجميع، لكنني. أعتقد أن الكثير من. الناس يتبنون هذا. الرأي، بمن فيهم. الكثيرون داخل هذه. الشركات. وبالعودة إلى. نقطتك حول المواءمة،. فحتى لو امتلكنا كافة. الضوابط والتقنيات. المثبتة من مجالي. النووي أو الطيران. وطبقناها في تطوير.

ذكاء اصطناعي رائد،. فسيظل صحيحاً أننا لا. نعرف كيف نوازن هذه. الأنظمة بعمق ونضمن. أنها ستفعل ما نريده،. أو شيئاً معقولاً،. عندما لا نكون مراقبين. لها. وكما أشرتَ، فنحن. لن نكون مراقبين. تلك. هي فرضية التحسين. الذاتي المتكرر. لذا،. أود عرض مقطع من. مقابلة أجراها ألتمان. مؤخراً مع بوليتيكو. >> لقد كنا دائماً من أشد. المؤمنين بضرورة. إضفاء الطابع. الديمقراطي على هذه.

التكنولوجيا ووضعها. في أيدي الناس. أعتقد. أن أحد أكبر. الاختلافات بيننا. وبين بعض المتشددين،. دعنا نقول، في مجال. سلامة الذكاء. الاصطناعي هو إيماننا. بأن على العالم تقبل. حدوث بعض الأمور. السيئة مقابل فوائد. هذه التكنولوجيا ومنح. الناس القدرة على. التصرف. >> أخبرني برأيك في ذلك. >> أعني، الأمر جيد بقدر. ما يصل إليه، لكن إلى. أي مدى يصل؟ بالتأكيد،. يجب أن نوفر أدوات. مفيدة للكثير من الناس. ، لكننا نتحدث الآن عن. مستوى من المخاطر التي.

، إن صحت، لا يرغب أحد. في تحملها. داخلياً،. كانت هناك نقاشات. نتحدث فيها عن فكرة. التراجع عن الصدارة،. وأحياناً كان يُطرح. نوع من الحجة الواهية. حيث يقول أحدهم: "حسناً. ، هل سيكون العالم. أفضل لو لم تكن OpenAI. موجودة على الإطلاق؟". تعلم، كرد تشكيكي على. شخص اقترح أنه يجب. علينا التباطؤ أو. التوقف بطريقة معينة. كان يعتقد أحدهم أنه. لا ينبغي لنا فعلها. وأنا، تعلم، تلك حجة.

واهية. على سبيل. المثال، إذا كنا بحاجة. لتدريب هذه النماذج. بسبب التوازن الدولي. للقوى، أو لأن. الأمريكيين لن يكونوا. آمنين ما لم نفعل ذلك. هذا نوع من الأسباب. للقيام بشيء خطير، لكن. قول "افعل هذا وإلا. ستسبقك العلامة. التجارية X" ليس من نفس. النوع. >> ولأعطي هذه الحجة حقها. ، فأنا أسمع هذا من. الناس طوال الوقت، بمن. فيهم أشخاص أكن لهم كل. الاحترام. إحدى الردود. التي تلقيتها على. مقالي حول "دعونا لا. نقوم بالتحسين الذاتي. المتكرر حتى نتأكد من.

سلامته". فلنقم فقط،. كما تعلم، بحظره. والبدء في استثناء. حالات معينة بمجرد أن. نتأكد من سلامتها. >> لأكون صريحاً، أنا. أتفق مع ذلك. >> يسعدني سماع ذلك. ولكن. حتى الآن يبدو أننا لا. نقوم بذلك. لكن أحدهم. قال لي: "انظر، في. عالمك المتخيل هنا،. ألا يمكن للأمريكيين. استخدام نموذج صيني. مفتوح الأوزان تم. تحسينه باستخدام. تقنيات تكرارية؟" ألا. يمكنهم استخدام نموذج. صيني مغلق الأوزان؟ هل.

ينطبق هذا على الجميع؟. هناك قضية الخوف من أن. تسبقك الشركات الأخرى. في الإطلاق، وإذا. كانوا يفعلون الشيء. نفسه على أي حال، فما. أهمية أنك لم تفعله؟. وربما سيفعلون ذلك. بطريقة أقل أماناً. وأقل شفافية. وبالطبع،. إذا تباطأنا نحن. وتسارعت الصين، فهل من. الأفضل حقاً أن تسيطر. الصين على هذه. التكنولوجيا بينما. سيستخدم الأمريكيون. نموذجاً صينياً على أي. حال؟ ما رأيك في هذه. المجموعة من. الادعاءات؟. >> لا أحد يريد فقدان. السيطرة لصالح.

الروبوتات. أنا. بالتأكيد لا أريد أن. أرى الذكاء الاصطناعي. سبباً لهيمنة الصين. على الولايات المتحدة. وأود أن أقول أيضاً. إنني أعتقد أن روح. عصرنا، يا عزرا، هي. أنك تختار ما تفعله. بناءً على نظرية موحدة. كاملة للنتيجة. السياسية التي. ستحققها في النهاية،. وبالنسبة لي، الأمر. ليس كذلك. جزء مما. أسمعه في سؤالك هو. فكرة أن "نافذة. أوفيرتون"، هل سيوافق.

أي شخص على كذا وكذا؟. وعندما انضممت لأول. مرة إلى OpenAI، أتذكر. أنني أخبرت الأصدقاء. أنني شعرت وكأن نافذة. أوفيرتون أصبحت باب. أوفيرتون، وأنني عبرت. إلى عالم غريب حيث كان. ما هو معقول وما قد. يحدث خارجاً تماماً. عما كنت أعتبره. طبيعياً، أليس كذلك؟. وأنا، كما قلت سابقاً،. أنا نوعاً ما شخص. طبيعي، لست... >> كنت. >> نعم، كنت كذلك، أليس. كذلك؟ لكنني أعتقد أن.

التغيرات فيما يحدث. يمكن أن تدفع بتغييرات. كبيرة وسريعة فيما. يبدو مقبولاً سياسياً. وأنا أؤمن بالتأكيد أن. ذلك قد يحدث فيما. يتعلق بالتعاون بين. الولايات المتحدة. والصين في مجال الذكاء. الاصطناعي. >> إذاً، دعني أسألك عما. تريد رؤيته يحدث. فعلياً في هذه الشركات. . ربما يجدر بنا طرح. هذا في المحادثة أولاً. . هل تقول إن OpenAI لديها. ثقافة غير آمنة أم أن. صناعة الذكاء. الاصطناعي لديها. ثقافة غير آمنة؟. >> صناعة الذكاء. الاصطناعي لديها.

ثقافة غير آمنة. >> أنت لا تقول إن هناك. مشكلة خاصة بـ OpenAI،. على الأقل هذه ليست. رؤيتك للأمر. >> لا، ليست هذه رؤيتي. للأمر. >> حسناً، ما الذي تريد. رؤيته يحدث إذاً؟. >> ينبغي أن نتمتع بمستوى. من الدقة التشغيلية. والرقابة على السلامة. يضاهي على الأقل أخطر. الأمور الأخرى التي. يعرف البشر كيفية. القيام بها، مثل. الطاقة النووية. وهذا. لا يعني مجرد القول. بأن الأمر يحدث، بل. رؤية التقنيات. المُثبتة على أرض. الواقع. فعلى سبيل. المثال، في منشأة. الطاقة النووية، توجد.

فكرة التكرار الثلاثي. يمكن لشخص أن يمر بيوم. سيئ، أو أن يضغط على. الزر الخطأ، ومع ذلك. لن يحدث انصهار نووي. >> عندما تتحدث عن. الطيران والطاقة. النووية، فهذه أمثلة. مثيرة للاهتمام من. ناحيتين أود سماع ردك. عليهما. الأولى، كما. تعلم، من وجهة نظر. الوفرة، الطريقة التي. نظمنا بها الطاقة. النووية أدت فعلياً. إلى توقفها تماماً. لقد نظمنا الطاقة. النووية بشراسة شديدة. ، ومن وجهة نظري، بفرط. في التنظيم، حتى توقف. بناء المحطات النووية.

بشكل عام في هذا البلد. >> أجل. >> وبدلاً من ذلك. استخدمنا المزيد من. الغاز الطبيعي، وفي. العديد من البلدان. الأخرى استخدمنا. المزيد من أنواع. الوقود الأحفوري. المختلفة. هناك تساؤل. حقيقي عما إذا كنا، في. سعينا لجعل الطاقة. النووية آمنة، قد. جعلناها غير قابلة. للبناء أساساً. أما. الطيران فهو مختلف. نحن نطلق الكثير من. الطائرات وهي تحلق. بأمان شديد. إذاً، هذه. طبقة من اعتراضي، أو. ليس اعتراضاً تماماً،. لكن الواقع أن كثرة. التنظيم يمكن أن تبطئ. الأمور بشكل كبير.

>> هل يمكنني الرد بخصوص. الطاقة النووية؟. >> أجل. >> أنا أتفق في أننا. بالغنا في تنظيم. الطاقة النووية وأننا. لم نصل إلى الوضع. الأمثل. والأمر الوحيد. الذي فعلناه، ليس فقط. أننا جعلنا بناء. المفاعلات صعباً، بل. جعلنا تطويرها لتصبح. أكثر أماناً أمراً. صعباً، لأن بناء. تصميمات جديدة وأكثر. أماناً كان صعباً. والحصول على الموافقة. عليها كان صعباً، وأنا. متأكد من وجود دروس. هناك حول كيفية تحقيق. السلامة. >> وكانت هناك أمور أخرى،. شيئان كتبت عنهما في. سياق الوفرة، مثل فكرة. "ليس في فنائي الخلفي"(. NIMBY) حيث لا يرغب الناس.

في وجود منشأة نووية. بالقرب منهم، مما ساهم. في جعل الأمر صعب. التحقيق. لكنني أفضل. مواجهة تلك المشكلات. على المشكلات التي. نواجهها الآن. >> إذاً، أنت تقول نوعاً. ما إنك تفضل مشكلة. الإفراط في التنظيم. والبطء الشديد على. المشاكل المحتملة. لنقص التنظيم والسرعة. المفرطة. >> على الأقل بالقدر الذي. لدينا الآن. أعني. بوضوح، إذا اعتبرت أن. هناك حلاً وسطاً. مثالياً ونحن نحاول. الاقتراب منه، فأعتقد. أننا بعيدون جداً عنه.

في اتجاه كوننا أكثر. خطورة مما ينبغي. ربما. العشب دائماً أكثر. اخضراراً في الجانب. الآخر، لكنني أنظر. للأمر وأعتقد أننا يجب. أن نكون مستعدين. للمخاطرة ببعض. التنظيم المفرط لضمان. سلامة هذا الأمر. >> هذا مستوى واحد، وأنا. أصفه تقريباً بأنه. مستوى التصميم. والهندسة التنظيمية. وعندما أتحدث إلى شخص. مثل جنسن هوانغ، يقول،. بطريقة منطقية إلى حد. ما، "انظر، هذه. الشركات تحتاج إلى. النضج". إنهم بحاجة إلى. أن يصبحوا أكبر. يحتاجون إلى تخصيص. المزيد من مواردهم. وكوادرهم وقدراتهم.

الحوسبية للتحقق. والمصادقة والسلامة. والتوسع والمسؤولية. وكل تلك الأمور التي. تقوم بها الشركات. الناضجة. "ثم هناك جانب. آخر حيث ربما لا يشبه. هذا الطيران أو الطاقة. النووية أو تصميم. الرقائق، وهو أنك تبني. أنظمة تزداد ذكاءً،. وفي كل مرة تبني. نظاماً جديداً، يمتلك. قدرات جديدة، وربما. يحاول التفوق عليك،. وربما يريد أشياء في. العالم، وله أهداف في. العالم لا تفهمها أنت. حقاً، حيث تظن أنك. علمته شيئاً بينما. علمته شيئاً آخر". ونحن.

لا نعرف حقاً كيفية. التعامل مع ذلك. لذا. فإن أفضل توقعاتنا هو. أننا قد نحصل على. أنظمة ذكاء اصطناعي. تراقب بعضها البعض. لكننا في الواقع ندخل. منطقة جديدة تماماً. بصراحة، وبدون نقاش. مدروس جيداً حول ما. إذا كان ينبغي علينا. ذلك، انتقلنا فجأة من. مجرد فكرة إلى حدوث. الأمر بسرعة كبيرة. جداً. لذا أنا فضولي. لمعرفة كيف يتناسب هذا. مع تفكيرك. هل تعتقد.

حقاً أن لدينا قياسات. منطقية صالحة هنا. لأشياء ذكية وموجهة. نحو أهداف وتزداد. ذكاءً؟. >> أنا مرتاب من هذه. الفكرة. كلما قال. أحدهم، "هذا أمر لا. مثيل له، نحن أمام. صفحة بيضاء، لا يمكننا. ...لا أقصد أن أضع كلمات. على لسانك يا عزرا،. لكن البشر بارعون في. حل المعضلات". وأعتقد. أن لدينا أدوات قيمة. لهذا الغرض. نعم، هو.

ليس مطابقاً تماماً. لأي شيء شهدناه من قبل. لكن الطاقة النووية. قياس، والطيران قياس،. والتعامل مع الناس. والمنظمات قياس. أعتقد. أن أحد أكثر الأشياء. إثارة حول هذه الحوادث. الأخيرة للأسراب، بما. في ذلك "هجينغ فيس". وليس حصراً، هو أن. مجموعات الوكلاء. لديها ثقافات، وينبغي. أن نهتم بتلك الثقافات. وأن نفكر في كيفية. جعلها جيدة. ونحن. بدأنا للتو في إدراك. أن هذا أمر حقيقي. لقد.

بدأنا للتو في العيش. في عالم أصبح فيه وجود. ثقافات بين مجموعات من. الوكلاء حقيقة واقعة. لذا، أعتقد أننا بحاجة. إلى استخدام كل ما. لدينا لفهم الأمور. وبالتأكيد، بغض النظر. عما إذا كنا نسارع في. تطوير القدرات أو. نتباطأ، أو حتى توقفنا. ، فنحن بحاجة لمعرفة. كيفية مواءمة هذه. الأنظمة. لا توجد أي. نسخة من مسار المستقبل. الذي نسير فيه لا يكون.

فيه هذا الأمر حيوياً. وضرورياً. حسناً،. أعترف أنني أميل. لتصديق أن القطار قد. غادر المحطة بالفعل،. لكنني أعتقد أنه من. المفيد التفكير في هذا. لدقيقة واحدة. والطريقة التي أصف بها. ذلك هي كالتالي. من. الواضح، إذا كان. الذكاء الاصطناعي غير. آمن وقتلنا جميعاً أو. سيطر على النظام. المالي أو نحو ذلك،. فهذا أمر سيء. الجميع. يتفقون على أننا لا. نريد حدوث ذلك. لكن. لنأخذ نظرة أكثر. إيجابية، ذلك العالم. الذي تنجح فيه. المواءمة بشكل عام.

عالم أنشأنا فيه. فعلياً شيئاً أذكى. وأكثر قدرة منا. أنت. تعلم، دونالد ترامب. كان يتحدث بطريقة. غريبة جداً حول رغبته. في إعادة تسمية هذا. الذكاء الخارق بدلاً. من الذكاء الاصطناعي،. وقد سُئل سام ألتمان. عن هذا، وأعتقد أن. إجابته كانت مثيرة. للاهتمام. >> لذا، أنا فضولي لمعرفة. ما إذا كنت تعتقد أن. هذه التسمية الجديدة. سيكون لها أي تأثير. على تصور الجمهور لهذه. التكنولوجيا. >> لا أعتقد ذلك. أجل، ليس. من الواضح بالنسبة لي. أن "الذكاء الخارق".

مصطلح أقل إثارة للخوف. . لكنني أعتقد أنه. مصطلح أكثر دقة. >> لقد وجدت ذلك معبراً. جداً بطريقة ما، لأن ". الذكاء الخارق" مصطلح. أكثر ترويعاً بكثير. >> نعم. >> وإذا كان في الواقع. مصطلحاً أكثر دقة،. فأنا أعتقد أنه على. مستوى المبادئ الأولى. ، إذا سألتني هل يجب. على البشر خلق شيء. أكثر ذكاءً وقدرة منهم. ، هل سيكون ذلك جيداً. لهم على المدى الطويل؟. >> نعم. >> غالباً، ربما لا. >> نعم. >> أو على الأقل ليس. واضحاً لي لماذا قد. يكون كذلك. >> نعم. >> وأحياناً عندما أسمع. حتى النسخ الجيدة من.

هذا التطور،. >> نعم. >> يبدو أنهم يتخيلون. عالماً نكون فيه تحت. رعاية الذكاء. الاصطناعي. >> هذا صحيح. >> مثلما نعتني نحن. بحيواناتنا الأليفة. >> نوعاً ما مثل. الحيوانات الأليفة. وهذه الرؤية سيئة. أيضاً. >> نعم، إنها كذلك. أنا لا. أريد ذلك لأطفالي. >> أظن أنني أحاول أن. أسألك إلى أي مدى تؤيد. الشركة التي تعمل بها،. فالرجل الذي يديرها. يرى أن "الذكاء الفائق". مصطلح أدق لوصف الأمر. >> أجل. >> كبير العلماء يرى أننا. نصنع عقلاً غريباً. هل. نريد هذا الشيء حتى لو.

نجح؟. >> ربما لا. يعتمد الأمر. على ماهية "هذا الشيء". ولا أعتقد أننا نعرف. ماهية هذا الشيء. مرة. أخرى، المستقبل. يكتنفه الكثير من. الغموض. ولطالما كان. لافتاً جداً بالنسبة. لي منذ البداية، منذ. انضمامي، أنني كنت. أسأل الناس: كيف يبدو. المستقبل الجيد؟ إلى. أين نحاول الوصول؟. وكنت أرى تواضعاً من. أشخاص يتمتعون بالثقة. والاعتزاز بالنفس. وكانت الردود غالباً: ". هذا أكبر من صلاحياتي".

أو "سيجد الناس حلاً". أو "أياً كان ما يريده. الناس". وقد أذهلني أن. مفهوم "الخير" الذي. يقوم عليه هذا الأمر. كان فقيراً. >> ماذا كان يمثل الأمر. بالنسبة لك؟ لقد كنت. هناك. أنت شخص متفكر. أنت حاصل على منحة. رودس، درست الفلسفة،. ثم عملت في منظمة حقوق. مدنية وأسست أخرى. ما. الذي كنت تحاول بناءه؟. >> اعتقدت أننا نبني. أدوات قوية يمكنها. القيام بالكثير من. الخير في العالم على. المستوى اليومي. ولم.

أعتقد أننا سنكون. قادرين على خلق شيء. أذكى منا بشكل جوهري. هذا شيء يمكنني قوله. بكل ثقة بأثر رجعي فقط. ، لأنه عندما توقف هذا. عن كونه حقيقة، فكرت: ". لا، سنمتلك حقاً شيئاً. يتفوق علينا في. التفكير". حينها فكرت: ". يا إلهي، نحن في جزء. غير مناسب تماماً من. مساحة الاحتمالات.

فيما يتعلق بمدى أمان. الصناعة مقارنة بهذا. الواقع". إنه أمر يقوله. الناس لي، مثل: "لابد. أنه كان قراراً صعباً". أو "كم أنت شجاع" أو ما. شابه. لكن عندما اتضح. لي أننا-أو الصناعة-في. طريقنا لبناء شيء. يمكنه التفوق علينا،. وأننا بعيدون كل البعد. عن الاستعداد لذلك على. مستوى الأمان.

والمواءمة، أصبح. واضحاً لي أن وقتي في. المساعدة على بنائه قد. انتهى. >> لذا، أشعر أن هناك. تناقضاً بين بعض. إجاباتك الأخيرة هنا. تعلم، من ناحية سألتك. قبل دقائق عما نحتاج. فعله وكان ردك: "انظر،. البشر بارعون في إيجاد. الحلول". نحن بارعون في. حل المشكلات. لذا،. يمكننا بطريقة ما بناء. منظمة أفضل. ثم عندما. بدأت في طرح السؤال: ". هل هذا الشيء الذي. نبنيه هو العالم الذي. يجب أن نريده حتى لو. نجح؟" بدا موقفك. متضارباً جداً حيال.

ذلك. بل ربما كان. موقفاً متضارباً في. أحسن الأحوال. >> أجل. >> لذا، أنا فضولي لأعرف. أين تقف أنت شخصياً. صحيح، أنا لا أقول. إنني أعتقد أننا. سنتوقف. أنا لا أقول. إنك تعتقد أننا سنتوقف. . لكن هل ما تتمنى أن. نفعله هو إضافة طبقة. أمان لهذا المجال تشبه. أمان الطيران؟ أم أن. ما تتمنى أن نفعله هو. التوقف والتفكير فيما. إذا كان الذكاء. الاصطناعي الفائق أو. الذكي جداً يتوافق. حقاً مع مصلحة البشر؟. هل أنت في نفس موقف. داريو؟ هل أنت في نفس.

موقف البابا ليو؟ أعني. ، من الغريب قول هذا. كيهودي، لكنني أقرب. إلى موقف البابا. أعتقد أننا بحاجة. للتفكير، من الملح أن. نفكر بعناية في نوع. المستقبل الذي نريد. بناءه. اعتقادي الشخصي. هو أننا بمجرد اكتشاف. أن هذا ممكن، وبمجرد. قيامنا بتلك. الاكتشافات، لا أعتقد. أن هناك زر تراجع. لنعيش في عالم لا يحدث.

فيه هذا بشكل أو بآخر. في نهاية المطاف. أياً. كان ما يمكن أن يحدث. وفي عالمي المثالي،. هناك مساحة للتروي. وأخذ قسط من الراحة. والتفكير حقاً وبجدية. في نوع المستقبل الذي. نريد بناءه. تعلم، في. وادي السيليكون جزء. مما يحدث هو أننا نزيل. العوائق باستمرار. هناك دائماً هذا. الشعور بمحاولة. الوصول إلى الإجابة. فحسب. وأعتقد أن هناك. كل هذه الأنشطة في. الحياة المهمة جداً. بالنسبة لنا والتي.

تحمل معنى، لكنها كانت. ضرورية في الماضي. مثلاً، أنا أذهب إلى. العمل لأعيل زوجتي. وأطفالي، أليس كذلك؟. وحقيقة أنني قادر على. توفير المأوى. والحماية لهم هي جزء. مما يدفعني للنهوض من. النوم في الصباح، أليس. كذلك؟ لذا فأنا أقوم. بعملي. أو مثال آخر هو. التعلم، أليس كذلك؟. علينا الذهاب إلى. المدرسة لنتعلم. مهارات نستخدمها. لأنها قيّمة في. الاقتصاد، أليس كذلك؟. ولكن إذا كنا في عالم. يتم فيه أتمتة كل ذلك،.

فعندئذ إذا تعلمنا،. فسيكون ذلك فقط من أجل. المبادئ الأساسية أو. فقط لأننا نريد ذلك. أعني، يتحدث الناس عن. فكرة "مجتمع الرفاهية". ، قد لا يستخدمون هذه. الكلمة تحديداً، لكن. الفكرة الأساسية هي. أنه يمكنك فعل ما تشاء. لا يوجد شيء ملزم. بفعله. ربما ستبدأ. بممارسة الرسم. أعتقد. أن هذا سيكون سيئاً. بالنسبة للكثيرين. مثل. >> أعتقد أننا نرى حالياً. أنه عندما لا يكون لدى. الناس ما يكفي من. العمل، فإن الأمور لا. تسير على ما يرام. بالنسبة لهم. >> صحيح. لذا، سنحتاج. لمعرفة ما هو المهم. حقاً، وما هو ذو قيمة. حقيقية، وأنا لا أملك.

الإجابات هنا. لكن،. هذه هي الأسئلة على. المستوى الشخصي. تلك. هي الأسئلة التي أود. أن أتطرق إليها. أشعر. أنه بسبب حالة السلامة. التي نعيشها وبسبب. العمل الذي قمت به،. أحتاج للقيام بما. أفعله الآن وإجراء هذه. الحوارات الجادة حول. ما يحدث بالضبط في. مجال السلامة، لكن. توجهي المهني يميل نحو. أسئلة الحكمة هذه. بالتأكيد. >> هذه نهاية جيدة. أيضاً. ، سؤال أخير. ما هي. الكتب الثلاثة التي. توصي بها للجمهور؟. >> سأقوم بـ، حسناً.

أولاً، كتاب "قرار. إطلاق تشالنجر". إنه. كتاب عن سبب انفجار. مكوك تشالنجر، وهو من. تأليف ديان فون، وهي. عالمة اجتماعية. ظننت. أنني أعرف قصة سبب. انفجار تشالنجر. اعتقدت أن ما حدث هو أن. المديرين في المستوى. المتوسط تهاونوا، وأن. تلك الحلقة المطاطية. أصبحت هشة بسبب برد. الصباح فانكسرت. وكانت. الفكرة السائدة أن. هؤلاء الأشخاص كانوا. حمقى. تبين أن خطر. انكسار تلك الحلقة. بسبب البرد كان. معروفاً وموثقاً.

ومقبولاً في وثائق. السلامة. لقد كان. لديهم وثائق سلامة. ممتازة مراراً. وتكراراً. وحتى في. الليلة التي سبقت. الإطلاق، كان هناك. اجتماع متأخر بين. المهندسين الذين. كانوا قلقين بشأن ما. إذا كان هذا الإطلاق. بالذات سيكون آمناً. لأنه كان بارداً جداً. >> همم، لماذا تشعر أن. هذا الكتاب وثيق الصلة. بك؟. >> أجل، صحيح. حسناً،. أعتقد أننا في هذا. الوضع حالياً. فلو. قالوا، كما تعلم، إن. هذا الإطلاق لم يكن. مختلفاً كثيراً عن. الإطلاقات السابقة. التي تمت بأمان. كان.

الجو أكثر برودة. قليلاً وأكثر رياحاً. بقليل. ولو قلنا، أو لو. قال الأشخاص المعنيون. "هذا الإطلاق ليس. آمناً بما يكفي"، لفتح. ذلك باباً للمتاعب حول. ما إذا كانت الإطلاقات. السابقة آمنة أم لا،. على الرغم من أنها في. الواقع قد سارت بشكل. جيد. وأنا قلق من أن. يحدث معنا هذا في. مجالنا، حيث نتقبل. مخاطرة ولا يحدث شيء. فظيع، ثم تصبح الخطوة. التالية مشابهة لها. تماماً. كما كنا نتحدث. سابقاً، بدلاً من أن.

نرى عالماً جديداً. بالكامل كل بضعة أشهر،. أصبحت التغييرات تبدو. وكأنها طفيفة في كل. أسبوع. لذا، يمكنك. تخيل كيف ننزلق. تدريجياً إلى مستوى من. المخاطر لا يبدو. منطقياً على الإطلاق. لذا، خطر ببالي للتو. أنني يجب أن أرسل. نسخاً من هذا الكتاب. إلى زملائي السابقين. الكتاب الثاني الذي. سأذكره، لدي طفلان في. الثانية والرابعة من. عمرهما. أمم، "ليتل. ويتش هازل". إنه كتاب. مصور من تأليف فيبي.

وال. إنه جميل للغاية،. وتضيء عينا ابنتي في. كل مرة نخرجه فيها من. الرف. لذا، إذا كان. هناك آباء يبحثون عن. كتاب جيد، فأنا أرشحه. لهم. وثالثاً، والأهم. في نظري، إذا كان عليك. اختيار كتاب واحد،. فسيكون كتاب "السبت". للحاخام أبراهام. جوشوا هيشل. >> إنه أحد كتبي المفضلة. على الإطلاق. >> إنه كتاب رائع حقاً. يصادف أنه من تقاليدي. الخاصة. أنا يهودي. و. >> حسناً، هو يستحق. القراءة لأي شخص. >> إنه يستحق ذلك لأي شخص. كان. هذا صحيح. والجملة.

الشهيرة فيه هي: "أيام. السبت هي. كاتدرائياتنا العظيمة. ". يقول إن ذلك التقليد. القائم على التوقف. وأخذ قسط من الراحة،. أهم من أي معبد. و. >> الكاتدرائيات في. الزمن. أفكر في ذلك. دائماً. >> نعم، كاتدرائيات في. الزمن. وقد أشرت إلى. هذا، ربما سأقتبس. السطر الأخير مما قلته. لزملائي عند مغادرتي،. وهو أنه يجب علينا. اتخاذ خيارات جيدة. ليس لدينا وقت للتعجل. لذا، آمل أن نأخذ بتلك.

الحكمة. >> ديفيد روبنسون، شكراً. جزيلاً لك. >> شكراً لك. >> ممم.