به علت عدم انتشار  کد و داده‌های مورد استفاده در آنالیزهای هوش مصنوعی توسط پژوهشگران، تکرار این ‌آزمایش‌ها ممکن نیست.

بیشتر پژوهشگران سورس کد برنامه‌های هوش مصنوعی خود را که از آن‌ها استفاده کرده‌اند یا داده‌هایی را که با آنها بخش یادگیری (train) انجام شده است، گزارش نمی‌کنند. این بدان معناست که دانشمندان دیگر نمی‌توانند نتایج آنها را تکرار کنند و این ممکن است اجرای گسترده‌ی این روش را دشوارتر سازد.

روش علمی می‌گوید برای اینکه مطالعه‌ای از لحاظ علمی قاطع تلقی شود، باید دیگر پژوهشگران بتوانند تحت همان شرایط آن نتایج را دوباره به‌دست آورند؛ اما هنوز به علت این که بیشتر پژوهشگران شاخه‌ی هوش مصنوعی سورس کدی را که آنها برای تولید الگوریتم‌هایشان استفاده کرده‌اند، منتشر نمی‌کنند، انجام تکرار برای دیگر پژوهشگران ممکن نیست.

به گزارش science magazine، اود-اریک گاندرسون دانشمند بخش کامپیوتر در نشست انجمن پیشرفت هوش مصنوعی (AAAI) گزارش داد که او تنها توانسته به ۶ درصد از ۴۰۰ الگوریتم ارائه‌شده در دو کنفرانس هوش مصنوعی که در همین چند سال گذشته انجام شد و نیز کد آنها دسترسی پیدا کند. از هر سه مطالعه فقط یک مورد، داده‌هایی را که برای آزمون برنامه استفاده کرده بود، به اشتراک گذاشته بود و تنها نیمی از آنها خلاصه‌ای را در مورد الگوریتم استفاده‌شده با جزئیاتی محدود گزارش کرده بودند.

گاندرسن می‌گوید که با رشد این زمینه از علم لازم است تغییراتی نیز انجام گیرد.

موضوع تکرار برای اثبات این نکته که اطلاعات حاصل یک آزمایش، می‌تواند در جهان واقعی هم مورد استفاده قرار گیرد و این که آن نتایج به‌صورت تصادفی به‌دست نیامده، لازم است. یک پژوهش هوش مصنوعی که فقط توسط پدیدآورندگان خودش مورد آزمون قرار گرفته، شاید اگر روی کامپیوتر دیگری اجرا شود یا اگر داده‌ی اولیه متفاوتی به آن داده شود، نتایج مشابهی را ندهد. اگر هدف این باشد که هوش مصنوعی کار خاصی را انجام دهد، این موضوع اصلا جالب نیست؛ حال چه هوش مصنوعی بخواهد مطلبی را در یک تلفن جستجو کند یا اینکه در مورد کار یک رآکتور هسته‌ای باشد. شما می‌خواهید مطمئن باشید برنامه‌ای که اجرا می‌کنید، کار مد نظرتان را به‌خوبی انجام می‌دهد.

این مشکل به ویژه زمانی حاد می‌شود که به الگوریتم‌های یادگیری ماشین می‌رسیم؛ جایی که دانش حاصل از تجربه استفاده می‌شود. استفاده از داده‌های مختلف برای بخش آموزش می‌تواند کاملا واکنش پروسه را تغییر دهد و بنا به گفته‌ی نان رزماری کی دانشجوی دکتری دانشگاه مونترال، نتایج هر دور اجرا حالت تصادفی دارد و داشتن یک دور اجرای خوب شانسی است و این جا همان بخشی است که معمولا نتایج آن گزارش می‌شود.

دلایل بسیار زیادی برای مسئله‌ی به‌اشتراک نگذاشتن کدها یا داده‌ها وجود دارد؛ مثلا ممکن است این اطلاعات مربوط به شرکتی باشد که نخواهد اطلاعاتش منتشر شود یا اینکه اطلاعات وابسته به داده‌های دیگری بوده باشد که منتشر نشده‌اند. همچنین در به اشتراک نگذاشتن کدها توسط پژوهشگران ممکن است بحث رقابت‌های علمی هم وجود داشته باشد. در برخی موارد کدها ممکن است کاملا از بین رفته باشند؛ مثلا ادعا می‌شود که لپ تاپ یا دیسک گم شده یا اینکه به اصطلاح می‌گویند سگ آن‌ها را خورده است!

این خبر چندان خوبی برای آینده‌ی صنعت هوش مصنوعی نیست. هوش مصنوعی شاهد رونق چشم گیری بوده است و احتمالا در سال‌های آینده هم این پیشرفت دیده خواهد شد. با این حال مسئله‌ی اعتماد به نتایج آنها و قابلیت تکرار این نوع آزمایش‌ها باید مورد توجه قرار گیرد.