Mettre en pause les expériences d'IA géantes : une lettre ouverte

 

https://www.nature.com/articles/s41392-022-00994-0/figures/1 

Mettre en pause les expériences d'IA géantes : une lettre ouverte

Nous appelons tous les laboratoires d'IA à suspendre immédiatement pendant au moins 6 mois la formation des systèmes d'IA plus puissants que GPT-4.

Les systèmes d'IA dotés d'une intelligence humaine compétitive peuvent poser de graves risques pour la société et l'humanité, comme le montrent des recherches approfondies[1] et reconnus par les meilleurs laboratoires d'IA.[2] Comme indiqué dans les principes d'Asilomar AI largement approuvés, l'IA avancée pourrait représenter un changement profond dans l'histoire de la vie sur Terre, et devrait être planifiée et gérée avec un soin et des ressources proportionnés. Malheureusement, ce niveau de planification et de gestion ne se produit pas, même si ces derniers mois ont vu les laboratoires d'IA enfermés dans une course effrénée pour développer et déployer des esprits numériques toujours plus puissants que personne - pas même leurs créateurs - ne peut comprendre, prédire ou contrôler de manière fiable.

Les systèmes d'IA contemporains deviennent désormais compétitifs pour les humains dans les tâches générales [3] et nous devons nous demander : devrions-nous laisser les machines inonder nos canaux d'information de propagande et de contrevérité ? Devrions-nous automatiser toutes les tâches, y compris celles qui sont épanouissantes ? Devrions-nous développer des esprits non humains qui pourraient éventuellement être plus nombreux, plus intelligents, obsolètes et nous remplacer ? Devrions-nous risquer de perdre le contrôle de notre civilisation ? De telles décisions ne doivent pas être déléguées à des leaders technologiques non élus. Des systèmes d'IA puissants ne devraient être développés qu'une fois que nous sommes convaincus que leurs effets seront positifs et que leurs risques seront gérables. Cette confiance doit être bien justifiée et augmenter avec l'ampleur des effets potentiels d'un système. La récente déclaration d'OpenAI concernant l'intelligence artificielle générale indique qu'"à un moment donné, il peut être important d'obtenir un examen indépendant avant de commencer à former de futurs systèmes, et pour les efforts les plus avancés d'accepter de limiter le taux de croissance du calcul utilisé pour créer de nouveaux des modèles." Nous sommes d'accord. Ce point est maintenant.

Par conséquent, nous appelons tous les laboratoires d'IA à suspendre immédiatement pendant au moins 6 mois la formation des systèmes d'IA plus puissants que GPT-4. Cette pause doit être publique et vérifiable, et inclure tous les acteurs clés. Si une telle pause ne peut pas être décrétée rapidement, les gouvernements devraient intervenir et instituer un moratoire.

Les laboratoires d'IA et les experts indépendants devraient profiter de cette pause pour développer et mettre en œuvre conjointement un ensemble de protocoles de sécurité partagés pour la conception et le développement avancés d'IA qui sont rigoureusement audités et supervisés par des experts externes indépendants. Ces protocoles devraient garantir que les systèmes qui y adhèrent sont sûrs au-delà de tout doute raisonnable.[4] Cela ne signifie pas une pause dans le développement de l'IA en général, mais simplement un recul par rapport à la course dangereuse vers des modèles de boîtes noires imprévisibles toujours plus grands avec des capacités émergentes.

La recherche et le développement de l'IA devraient être recentrés sur la fabrication des systèmes puissants et à la pointe de la technologie d'aujourd'hui plus précis, sûrs, interprétables, transparents, robustes, alignés, dignes de confiance et loyaux.

En parallèle, les développeurs d'IA doivent travailler avec les décideurs politiques pour accélérer considérablement le développement de systèmes de gouvernance de l'IA robustes. Celles-ci devraient au minimum inclure : de nouvelles autorités de réglementation compétentes dédiées à l'IA ; la surveillance et le suivi de systèmes d'IA hautement performants et de vastes pools de capacités de calcul ; des systèmes de provenance et de filigrane pour aider à distinguer le réel du synthétique et à suivre les fuites de modèles ; un solide écosystème d'audit et de certification ; responsabilité pour les dommages causés par l'IA ; un financement public solide pour la recherche technique sur la sécurité de l'IA ; et des institutions bien dotées en ressources pour faire face aux perturbations économiques et politiques dramatiques (en particulier pour la démocratie) que l'IA entraînera.

L'humanité peut profiter d'un avenir florissant avec l'IA. Après avoir réussi à créer de puissants systèmes d'IA, nous pouvons maintenant profiter d'un « été de l'IA » dans lequel nous récoltons les fruits, concevons ces systèmes pour le bénéfice de tous et donnons à la société une chance de s'adapter. La société a fait une pause sur d'autres technologies avec des effets potentiellement catastrophiques sur la société.[5] Nous pouvons le faire ici. Profitons d'un long été d'IA, ne nous précipitons pas sans préparation dans une chute.

[1]

Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).

Bostrom, N. (2016). Superintelligence. Oxford University Press.

Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).

Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.

Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.

Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).

Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.

Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.

Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.

Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.

Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.

Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.

[2]

Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this'. ABC News.

Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.

[3]

Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.

OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.

[4]

Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems "function appropriately and do not pose unreasonable safety risk".

[5]

Examples include human cloning, human germline modification, gain-of-function research, and eugenics.

https://eleven-labs.com/

https://openai.com/

Some comments:

1/ This worrying is completely artificial. Good luck to forbid humans to create powerful software on computers. It is an opportunistic stance.

Some of the proponents do have conflicts of interest. Last but not least the requested delay is ridiculous.

2/ Lawyer: certainly this profession is a target but only for simple procedures such as divorce at least before long

3/ Media: the creation of probable texts exactly as the human brain does it and there it is the profession of journalist.

4 / ChatGPT is so far ahead of the others that the request for a delay is taken in a conflict of interest, what must be remembered is that the competition is scary for those who are distanced.