Pedimos a todos os laboratórios de IA que pausem imediatamente por pelo menos 6 meses o treinamento de sistemas de IA mais poderosos que o GPT-4.
Publicado
22 de março de 2023
Os sistemas de IA com inteligência competitiva humana podem representar riscos profundos para a sociedade e a humanidade, como demonstrado por uma extensa pesquisa[1] e reconhecido pelos principais laboratórios de IA.[2] conforme declarado nos princípios Asilomar AI amplamente endossados, a IA avançada pode representar uma mudança profunda na história da vida na terra e deve ser planejada e gerenciada com cuidados e recursos proporcionais. Infelizmente, esse nível de planejamento e gerenciamento não está acontecendo, embora nos últimos meses os laboratórios de IA tenham travado uma corrida descontrolada para desenvolver e implantar mentes digitais cada vez mais poderosas que ninguém-nem mesmo seus criadores-pode entender, prever ou controlar de forma confiável.
Os sistemas contemporâneos de IA estão agora se tornando competitivos em tarefas gerais, [3] e devemos nos perguntar: devemos deixar as máquinas inundarem nossos canais de informação com propaganda e inverdade? Devemos automatizar todos os trabalhos, inclusive os gratificantes? Devemos desenvolver mentes não humanas que possam eventualmente superar em número, ser mais espertas, obsoletas e nos substituir? Devemos correr o risco de perder o controle de nossa civilização? Tais decisões não devem ser delegadas a líderes tecnológicos não eleitos. Poderosos sistemas de IA devem ser desenvolvidos apenas quando estivermos confiantes de que seus efeitos serão positivos e seus riscos serão gerenciáveis. Essa confiança deve ser bem justificada e aumentar com a magnitude dos efeitos potenciais de um sistema. A declaração recente da OpenAI sobre inteligência artificial geral, afirma que "em algum momento, pode ser importante obter uma revisão independente antes de começar a treinar sistemas futuros, e para os esforços mais avançados concordar em limitar a taxa de crescimento da computação usada para criar novos modelos." Nós concordamos. Esse ponto é agora.
Portanto, pedimos a todos os laboratórios de IA que pausem imediatamente por pelo menos 6 meses o treinamento de sistemas de IA mais poderosos que o GPT-4. Essa pausa deve ser pública e verificável, e incluir todos os atores-chave. Se essa pausa não puder ser decretada rapidamente, os governos devem intervir e instituir uma moratória.
Laboratórios de IA e especialistas independentes devem usar essa pausa para desenvolver e implementar em conjunto um conjunto de protocolos de segurança compartilhados para design e desenvolvimento avançados de IA que são rigorosamente auditados e supervisionados por especialistas externos independentes. Esses protocolos devem garantir que os sistemas que aderem a eles sejam seguros além de qualquer dúvida razoável.[4] Isso não significa uma pausa no desenvolvimento da IA em geral, apenas um retrocesso da corrida perigosa para modelos de caixa preta imprevisíveis cada vez maiores com capacidades emergentes.
A pesquisa e o desenvolvimento de IA devem ser reorientados para tornar os sistemas poderosos e de última geração de hoje mais precisos, seguros, interpretáveis, transparentes, robustos, alinhados, confiáveis e leais.
Paralelamente, os desenvolvedores de IA devem trabalhar com os formuladores de políticas para acelerar drasticamente o desenvolvimento de sistemas robustos de governança de IA. Estes devem, no mínimo, incluir: autoridades reguladoras novas e capazes dedicadas à IA; supervisão e rastreamento de sistemas de IA altamente capazes e grandes conjuntos de capacidade computacional; sistemas de proveniência e marca d'água para ajudar a distinguir o real do sintético e rastrear vazamentos de modelos; um ecossistema robusto de auditoria e certificação; responsabilidade por danos causados pela IA; financiamento público robusto; e instituições com bons recursos para lidar com as dramáticas rupturas econômicas e políticas (especialmente para a democracia) que a IA causará.
A humanidade pode desfrutar de um futuro florescente com a IA. Tendo conseguido criar poderosos sistemas de IA, agora podemos desfrutar de um "verão de IA" no qual colhemos as recompensas, projetamos esses sistemas para o claro benefício de todos e damos à sociedade a chance de se adaptar. A sociedade fez uma pausa em outras tecnologias com efeitos potencialmente catastróficos para a sociedade.[5] podemos fazer isso aqui. Vamos curtir um longo verão AI, não nos precipitarmos despreparados para um outono.
Preparamos algumas FAQs em resposta a perguntas e discussões na mídia e em outros lugares. Você pode encontrá-los aqui.
Além desta carta aberta, publicamos um conjunto de recomendações de políticas que podem ser encontradas aqui:
Elaboração de políticas na pausa
12 de abril de 2023 Ver artigo
Notas e referências:
[1] Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623). Bostrom, N. (2016). Superintelligence. Oxford University Press. Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129). Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353. Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company. Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293). Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models. Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862. Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626. Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking. Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf. Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
[2] Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this'. ABC News. Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
[3] Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712. OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
[4] Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems "function appropriately and do not pose unreasonable safety risk".
[5] Examples include human cloning, human germline modification, gain-of-function research, and eugenics.