Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Поддерживать
www.wikidata.ru-ru.nina.az

Большая языковая модель БЯМ калька с англ large language model LLM это языковая модель состоящая из нейронной сети со мн

Большая языковая модель

Большая языковая модель (БЯМ — калька с англ. large language model, LLM) — это (языковая модель), состоящая из нейронной сети со множеством параметров (обычно миллиарды весовых коэффициентов и более), обученной на большом количестве неразмеченного текста с использованием обучения без учителя. БЯМ появились примерно в 2018 году и хорошо справляются с широким спектром задач. Это сместило фокус исследований обработки естественного языка с предыдущей парадигмы обучения специализированных контролируемых моделей для конкретных задач.

Характеристики

Хотя термин большая языковая модель не имеет формального определения, он обычно относится к моделям глубокого обучения, имеющим количество параметров порядка миллиардов и более. БЯМ — это модели общего назначения, которые превосходно справляются с широким спектром задач, в отличие от обучения одной конкретной задаче (например, анализу настроений, распознаванию именованных сущностей или математическим рассуждениям). Несмотря на обучение на простых задачах, таких как предсказание следующего слова в предложении, нейронные языковые модели с достаточным обучением и подсчётом параметров схватывают большую часть синтаксиса и семантики человеческого языка. Кроме того, большие языковые модели демонстрируют значительные общие знания о мире и способны «запоминать» большое количество фактов во время обучения.

Архитектура и обучение

В БЯМ чаще всего использовалась архитектура трансформера, которая с 2018 года стала стандартной техникой глубокого обучения для последовательных данных (ранее наиболее распространёнными были рекуррентные архитектуры, такие как (модели с долгой кратковременной памятью)). БЯМ обучаются без учителя на неаннотированном тексте. Трансформер при генерации вывода слева направо обучается максимизировать вероятность, назначенную следующему слову в обучающих данных, с учётом предыдущего контекста. В качестве альтернативы БЯМ может использовать двунаправленный трансформер (как в примере ), который присваивает распределение вероятностей по словам, имеющим доступ как к предыдущему, так и к последующему контексту. В дополнение к задаче прогнозирования следующего слова или «» БЯМ могут быть обучены вспомогательным задачам, которые проверяют их понимание распределения данных, таких как прогнозирование следующего предложения (NSP), в котором представлены пары предложений и модель должна предсказать, появятся ли они рядом в обучающем (корпусе текстов).

Самые ранние БЯМ обучались на (корпусах), содержащих порядка миллиардов слов. Первоначальная версия (GPT) была обучена в 2018 году на , состоящем из 985 миллионов слов. В том же году прошёл обучение на сочетании BookCorpus и английской Википедии, что соответствовало 3,3 миллиарда слов. С тех пор учебные корпуса для БЯМ увеличились на порядки, достигнув сотен миллиардов или триллионов токенов.

Обучение БЯМ требует больших вычислительных ресурсов. Исследование 2020 года оценило стоимость обучения модели с 1,5 миллиардами параметров (на 1-2 порядка меньше, чем уровень техники в то время) в 1,6 миллиона долларов.

Анализ 2020 года показал, что возможности нейронных языковых моделей (измеряемые функцией потерь при обучении) плавно увеличивались по (степенному закону) от количества параметров, количества обучающих данных и вычислений, используемых для обучения. Эти связи были проверены в широком диапазоне значений (до семи порядков), и не наблюдалось затухания отношения на верхнем конце диапазона (в том числе для размеров сети до триллионов параметров).

Применение к последующим задачам

В период с 2018 по 2020 год стандартный метод использования БЯМ для конкретной задачи NLP заключался в модели с дополнительным обучением для конкретной задачи. Впоследствии обнаружилось, что более мощные БЯМ, такие как (GPT-3), могут решать задачи без дополнительного обучения с помощью методов «подсказки», в которых решаемая задача представляется модели в виде текстовой подсказки, возможно, с некоторыми текстовыми примерами подобных задач и их решений.

Тонкая настройка

Тонкая настройка — это практика модификации существующей предварительно обученной языковой модели путём её обучения (под наблюдением) конкретной задаче (например, анализ настроений, распознавание именованных объектов или маркировка частей речи). Это форма . Обычно это включает введение нового набора весов, связывающих последний слой языковой модели с выходными данными последующей задачи. Исходные веса языковой модели могут быть «заморожены», так что во время обучения изучается только новый слой весов, соединяющий их с выходными данными. В качестве альтернативы исходные веса могут получать небольшие обновления (возможно, с замороженными более ранними слоями).

Подсказка

В (парадигме подсказок), популяризированной (GPT-3), решаемая проблема формулируется с помощью текстовой подсказки, которую модель должна решить, предоставляя завершение (посредством (статистического вывода)). В «подсказке с несколькими выстрелами» подсказка включает небольшое количество примеров похожих пар (задача и решение). Например, задача анализа тональности маркировки тональности рецензии на фильм можно вызвать следующим образом: 

Review: This movie stinks. Sentiment: negative Review: This movie is fantastic! Sentiment:

Если модель выдаёт «положительно», значит, она правильно решила задачу. В подсказках с «нулевым выстрелом» примеры решения не предоставляются. Примером с нулевой подсказкой для задачи с ответом на вопрос может быть «Кто написал книгу „Происхождение видов“?».

Было показано, что малая производительность БЯМ позволяет достигать конкурентоспособных результатов в задачах обработки естественного языка, иногда превосходя предыдущие современные подходы к точной настройке. Примерами таких задач NLP являются перевод, (ответы на вопросы), задачи с , расшифровка слов и использование нового слова в предложении. Создание и оптимизация таких подсказок называется (инжинирингом подсказок) и в настоящее время является активной областью исследований.

Список больших языковых моделей

Список больших языковых моделей
Название Дата релиза Разработчик Число параметров Размер корпуса текстов Лицензия Примечания
[англ.] 2018 Google 340 миллионов 3,3 миллиарда слов Apache 2.0 Ранняя и влиятельная языковая модель.
[англ.] 2019 (OpenAI) 1,5 миллиарда 40GB (~10 миллиардов токенов) MIT Универсальная модель на базе трансформенной архитектуры.
(GPT-3) 2020 OpenAI 175 миллиардов 499 миллиардов токенов Общедоступный веб-API Доработанный вариант GPT-3, получивший название GPT-3.5, стал общедоступным через веб-интерфейс под названием (ChatGPT) в 2022 году.
GPT-Neo Март 2021 [англ.] 2,7 миллиарда 825 GiB MIT Первый из , выпущенных EleutherAI. GPT-Neo превзошёл модель GPT-3 аналогичного размера в некоторых тестах, но был значительно хуже, чем самая большая GPT-3.
(GPT-J) Июнь 2021 [англ.] 6 миллиардов 825 GiB Apache 2.0 Языковая модель в стиле GPT-3.
Claude Декабрь 2021 (Anthropic) 52 миллиарда 400 миллиардов токенов Закрытая бета Fine-tuned for desirable behavior in conversations.
GLaM (Generalist Language Model) Декабрь 2021 Google 1,2 триллиона 1,6 триллиона токенов Proprietary Модель с разреженной смесью экспертов (англ. sparse mixture-of-experts mode), что делает её более дорогой для обучения, но более дешёвой для выполнения логического вывода по сравнению с GPT-3.
(LaMDA) (Language Models for Dialog Applications) Январь 2022 Google 137 миллиардов 1,56T слов Proprietary Специализируется на генерации ответов в разговорах.
Megatron-Turing NLG Октябрь 2021 Microsoft and Nvidia 530 миллиардов 338,6 миллиарда токенов Restricted web access Стандартная архитектура, но обученная на суперкомпьютерном кластере.
GPT-NeoX Февраль 2022 [англ.] 20 миллиардов 825 GiB Apache 2.0 На базе архитектуры Megatron.
(Chinchilla) Март 2022 (DeepMind) 70 миллиардов 1,3 триллиона токенов Proprietary Модель с уменьшенным количеством параметров, обученная на большем количестве данных.
(PaLM) (Pathways Language Model) Апрель 2022 Google 540 миллиардов 768 миллиардов токенов Proprietary Направлена на достижение практических пределов масштаба модели.
OPT (Open Pretrained Transformer) Май 2022 Meta 175 миллиардов 180 миллиардов токенов Некоммерческое исследование Архитектура GPT-3 с некоторыми адаптациями Megatron.
YaLM 100B Июнь 2022 Яндекс 100 миллиардов 300 миллиардов токенов Apache 2.0 75 % текста, использованного при обучении, написано на русском языке.
(BLOOM) Июль 2022 Коллаборация под управлением (Hugging Face) 175 миллиардов 350 миллиардов токенов (1,6TB) Responsible AI По сути — GPT-3, но обучена многоязычному корпусу текстов (30 % английский, исключая языки программирования).
AlexaTM (Teacher Models) Ноябрь 2022 Amazon 20 миллиардов 1,3 триллиона Общедоступный веб-API Двунаправленная архитектура «последовательность к последовательности».
LLaMA (Large Language Model Meta AI) Февраль 2023 Meta 65 миллиардов 1,4 триллиона Некоммерческое исследование Обучена на большом корпусе из 20 языков, чтобы добиться лучшей производительности с меньшим количеством параметров.
(GPT-4) Март 2023 OpenAI Нет данных Нет данных Общедоступный веб-API Доступна для пользователей ChatGPT Plus. Microsoft подтвердила, что в Bing Chat используется модель GPT-4.
StableLM Апрель 2023 Stability-AI 7 миллиардов 800 миллиардов Исходный код: Apache 2.0

Примечания

Комментарии

  1. Это дата первого появления документации, описывающей архитектуру модели.
  2. Во многих случаях исследователи публикуют или сообщают о нескольких версиях модели, имеющих разные размеры. В этих случаях здесь указывается размер самой большой модели.
  3. Это лицензия весов предварительно обученной модели. Почти во всех случаях сам обучающий код имеет открытый исходный код или может быть легко воспроизведён.
  4. Меньшие модели, включая 66B, общедоступны, а модель 175B доступна по запросу.
  5. Лицензия Facebook и схема распространения ограничивали доступ к утвержденным исследователям, но веса моделей утекли и стали широко доступны.
  6. Как указано в техническом отчёте: «Учитывая конкурентную среду и последствия для безопасности крупномасштабных моделей, таких как GPT-4, этот отчёт не содержит дополнительных сведений об архитектуре (включая размер модели), оборудовании, обучающих вычислениях, построении набора данных, методе обучения, или подобную информацию».

Источники

  1. (2022). "Human Language Understanding & Reasoning". Daedalus. 17 ноября 2023. Дата обращения: 16 марта 2023.
  2. Carlini, Nicholas; Tramer, Florian; Wallace, Eric; Jagielski, Matthew; Herbert-Voss, Ariel; Lee, Katherine; Roberts, Adam; Brown, Tom B; Song, Dawn; Erlingsson, Ulfar (2021). Extracting Training Data from Large Language Models (PDF). USENIX Security Symposium. Vol. 6. (PDF) 21 декабря 2023. Дата обращения: 16 марта 2023.
  3. Wei, Jason Emergent Abilities of Large Language Models. Дата обращения: 16 марта 2023. 16 марта 2023 года.
  4. Jurafsky, Dan. Speech and Language Processing / Dan Jurafsky, James H. Martin. — 3rd edition draft. — 7 January 2023. от 23 марта 2023 на Wayback Machine
  5. Wiggers, Kyle The emerging types of language models and why they matter. TechCrunch (28 апреля 2022). Дата обращения: 16 марта 2023. 16 марта 2023 года.
  6. Ananthaswamy, Anil In AI, is bigger always better? Nature (8 марта 2023). Дата обращения: 16 марта 2023. 16 марта 2023 года.
  7. Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). "Scaling Laws for Neural Language Models". CoRR. abs/2001.08361. arXiv:2001.08361. 15 марта 2023. Дата обращения: 16 марта 2023.
  8. Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (Dec 2020). Larochelle, H.; Ranzato, M.; Hadsell, R.; Balcan, M.F.; Lin, H. (eds.). "Language Models are Few-Shot Learners" (PDF). Advances in Neural Information Processing Systems. 33. Curran Associates, Inc.: 1877—1901. (PDF) 17 ноября 2023. Дата обращения: 16 марта 2023.
  9. Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (11 October 2018). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". arXiv:1810.04805v2 [cs.CL].
  10. BERT (13 марта 2023). Дата обращения: 16 марта 2023. 13 января 2021 года.
  11. GPT-2: 1.5B Release (англ.). OpenAI (5 ноября 2019). Дата обращения: 14 ноября 2019. 14 ноября 2019 года.
  12. Better language models and their implications. openai.com. Дата обращения: 16 марта 2023. 16 марта 2023 года.
  13. OpenAI's GPT-3 Language Model: A Technical Overview (англ.). lambdalabs.com. Дата обращения: 16 марта 2023. 27 марта 2023 года.
  14. gpt-2. GitHub. Дата обращения: 13 марта 2023. 11 марта 2023 года.
  15. ChatGPT: Optimizing Language Models for Dialogue (англ.). OpenAI (30 ноября 2022). Дата обращения: 13 января 2023. 30 ноября 2022 года.
  16. GPT Neo (15 марта 2023). Дата обращения: 16 марта 2023. 12 марта 2023 года.
  17. Gao, Leo; Biderman, Stella; Black, Sid; Golding, Laurence; Hoppe, Travis; Foster, Charles; Phang, Jason; He, Horace; Thite, Anish; Nabeshima, Noa; Presser, Shawn; Leahy, Connor (31 December 2020). "The Pile: An 800GB Dataset of Diverse Text for Language Modeling". arXiv:2101.00027.
  18. Iyer, Abhishek GPT-3’s free alternative GPT-Neo is something to be excited about. VentureBeat (15 мая 2021). Дата обращения: 16 марта 2023. 9 марта 2023 года.
  19.  (англ.). www.forefront.ai. Дата обращения: 28 февраля 2023. Архивировано из оригинала 9 марта 2023 года.
  20. Product (англ.). Anthropic. Дата обращения: 14 марта 2023. 16 марта 2023 года.
  21. Askell, Amanda; Bai, Yuntao; Chen, Anna; et al. (9 December 2021). "A General Language Assistant as a Laboratory for Alignment". arXiv:2112.00861.
  22. Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; et al. (15 December 2022). "Constitutional AI: Harmlessness from AI Feedback". arXiv:2212.08073.
  23. Dai, Andrew M; Du, Nan More Efficient In-Context Learning with GLaM (англ.). ai.googleblog.com (9 декабря 2021). Дата обращения: 9 марта 2023. 12 марта 2023 года.
  24. Cheng, Heng-Tze; Thoppilan, Romal LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything (англ.). ai.googleblog.com (21 января 2022). Дата обращения: 9 марта 2023. 25 марта 2022 года.
  25. Alvi, Ali; Kharya, Paresh Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World’s Largest and Most Powerful Generative Language Model. Microsoft Research (11 октября 2021). Дата обращения: 16 марта 2023. 13 марта 2023 года.
  26. Smith, Shaden; Patwary, Mostofa; Norick, Brandon; LeGresley, Patrick; Rajbhandari, Samyam; Casper, Jared; Liu, Zhun; Prabhumoye, Shrimai; Zerveas, George; Korthikanti, Vijay; Zhang, Elton; Child, Rewon; Aminabadi, Reza Yazdani; Bernauer, Julie; Song, Xia (2022-02-04). "Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model". (arXiv):2201.11990 от 15 апреля 2023 на Wayback Machine
  27. Black, Sidney; Biderman, Stella; Hallahan, Eric; et al. (2022-05-01). GPT-NeoX-20B: An Open-Source Autoregressive Language Model. Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models. Vol. Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models. pp. 95—136. 10 декабря 2022. Дата обращения: 19 декабря 2022.
  28. Hoffmann, Jordan; Borgeaud, Sebastian; Mensch, Arthur; Sifre, Laurent An empirical analysis of compute-optimal large language model training. Deepmind Blog (12 апреля 2022). Дата обращения: 16 марта 2023. 13 апреля 2022 года.
  29. Hoffmann, Jordan; Borgeaud, Sebastian; Mensch, Arthur; Buchatskaya, Elena; Cai, Trevor; Rutherford, Eliza; Casas, Diego de Las; Hendricks, Lisa Anne; Welbl, Johannes; Clark, Aidan; Hennigan, Tom; Noland, Eric; Millican, Katie; Driessche, George van den; Damoc, Bogdan; Guy, Aurelia; Osindero, Simon; Simonyan, Karen; Elsen, Erich; Rae, Jack W.; Vinyals, Oriol; Sifre, Laurent (29 March 2022). "Training Compute-Optimal Large Language Models". arXiv:2203.15556.
  30. Narang, Sharan; Chowdhery, Aakanksha Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance (англ.). ai.googleblog.com (4 апреля 2022). Дата обращения: 9 марта 2023. 4 апреля 2022 года.
  31. Democratizing access to large-scale language models with OPT-175B (англ.). ai.facebook.com. Дата обращения: 16 марта 2023. 12 марта 2023 года.
  32. Zhang, Susan; Roller, Stephen; Goyal, Naman; Artetxe, Mikel; Chen, Moya; Chen, Shuohui; Dewan, Christopher; Diab, Mona; Li, Xian; Lin, Xi Victoria; Mihaylov, Todor; Ott, Myle; Shleifer, Sam; Shuster, Kurt; Simig, Daniel; Koura, Punit Singh; Sridhar, Anjali; Wang, Tianlu; Zettlemoyer, Luke (21 June 2022). "OPT: Open Pre-trained Transformer Language Models". arXiv:2205.01068.
  33. Источник. Дата обращения: 20 июля 2023. 20 июля 2023 года.
  34. GitHub — yandex/YaLM-100B: Pretrained language model with 100B parameters. Дата обращения: 20 июля 2023. 16 июня 2023 года.
  35. bigscience/bloom · Hugging Face. huggingface.co. Дата обращения: 16 марта 2023. 12 апреля 2023 года.
  36. 20B-parameter Alexa model sets new marks in few-shot learning (англ.). Amazon Science (2 августа 2022). Дата обращения: 16 марта 2023. 15 марта 2023 года.
  37. Soltan, Saleh; Ananthakrishnan, Shankar; FitzGerald, Jack; et al. (3 August 2022). "AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model". arXiv:2208.01448.
  38. AlexaTM 20B is now available in Amazon SageMaker JumpStart | AWS Machine Learning Blog. aws.amazon.com (17 ноября 2022). Дата обращения: 13 марта 2023. 13 марта 2023 года.
  39. Introducing LLaMA: A foundational, 65-billion-parameter large language model. Meta AI (24 февраля 2023). Дата обращения: 16 марта 2023. 3 марта 2023 года.
  40. GPT-4 Technical Report. (OpenAI) (2023). Дата обращения: 14 марта 2023. 14 марта 2023 года.
  41. Lardinois, Frederic Microsoft’s new Bing was using GPT-4 all along. TechCrunch (14 марта 2023). Дата обращения: 14 марта 2023. 15 марта 2023 года.
  42. StableLM: Stability AI Language Models. — 2023-04-20. 20 апреля 2023 года.

Википедия, чтение, книга, библиотека, поиск, нажмите, истории, книги, статьи, wikipedia, учить, информация, история, скачать, скачать бесплатно, mp3, видео, mp4, 3gp, jpg, jpeg, gif, png, картинка, музыка, песня, фильм, игра, игры, мобильный, телефон, Android, iOS, apple, мобильный телефон, Samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Сеть, компьютер

Дата публикации:
Bolshaya yazykovaya model BYaM kalka s angl large language model LLM eto yazykovaya model sostoyashaya iz nejronnoj seti so mnozhestvom parametrov obychno milliardy vesovyh koefficientov i bolee obuchennoj na bolshom kolichestve nerazmechennogo teksta s ispolzovaniem obucheniya bez uchitelya BYaM poyavilis primerno v 2018 godu i horosho spravlyayutsya s shirokim spektrom zadach Eto smestilo fokus issledovanij obrabotki estestvennogo yazyka s predydushej paradigmy obucheniya specializirovannyh kontroliruemyh modelej dlya konkretnyh zadach HarakteristikiHotya termin bolshaya yazykovaya model ne imeet formalnogo opredeleniya on obychno otnositsya k modelyam glubokogo obucheniya imeyushim kolichestvo parametrov poryadka milliardov i bolee BYaM eto modeli obshego naznacheniya kotorye prevoshodno spravlyayutsya s shirokim spektrom zadach v otlichie ot obucheniya odnoj konkretnoj zadache naprimer analizu nastroenij raspoznavaniyu imenovannyh sushnostej ili matematicheskim rassuzhdeniyam Nesmotrya na obuchenie na prostyh zadachah takih kak predskazanie sleduyushego slova v predlozhenii nejronnye yazykovye modeli s dostatochnym obucheniem i podschyotom parametrov shvatyvayut bolshuyu chast sintaksisa i semantiki chelovecheskogo yazyka Krome togo bolshie yazykovye modeli demonstriruyut znachitelnye obshie znaniya o mire i sposobny zapominat bolshoe kolichestvo faktov vo vremya obucheniya Arhitektura i obuchenieV BYaM chashe vsego ispolzovalas arhitektura transformera kotoraya s 2018 goda stala standartnoj tehnikoj glubokogo obucheniya dlya posledovatelnyh dannyh ranee naibolee rasprostranyonnymi byli rekurrentnye arhitektury takie kak modeli s dolgoj kratkovremennoj pamyatyu BYaM obuchayutsya bez uchitelya na neannotirovannom tekste Transformer pri generacii vyvoda sleva napravo obuchaetsya maksimizirovat veroyatnost naznachennuyu sleduyushemu slovu v obuchayushih dannyh s uchyotom predydushego konteksta V kachestve alternativy BYaM mozhet ispolzovat dvunapravlennyj transformer kak v primere kotoryj prisvaivaet raspredelenie veroyatnostej po slovam imeyushim dostup kak k predydushemu tak i k posleduyushemu kontekstu V dopolnenie k zadache prognozirovaniya sleduyushego slova ili BYaM mogut byt obucheny vspomogatelnym zadacham kotorye proveryayut ih ponimanie raspredeleniya dannyh takih kak prognozirovanie sleduyushego predlozheniya NSP v kotorom predstavleny pary predlozhenij i model dolzhna predskazat poyavyatsya li oni ryadom v obuchayushem korpuse tekstov Samye rannie BYaM obuchalis na korpusah soderzhashih poryadka milliardov slov Pervonachalnaya versiya GPT byla obuchena v 2018 godu na sostoyashem iz 985 millionov slov V tom zhe godu proshyol obuchenie na sochetanii BookCorpus i anglijskoj Vikipedii chto sootvetstvovalo 3 3 milliarda slov S teh por uchebnye korpusa dlya BYaM uvelichilis na poryadki dostignuv soten milliardov ili trillionov tokenov Obuchenie BYaM trebuet bolshih vychislitelnyh resursov Issledovanie 2020 goda ocenilo stoimost obucheniya modeli s 1 5 milliardami parametrov na 1 2 poryadka menshe chem uroven tehniki v to vremya v 1 6 milliona dollarov Analiz 2020 goda pokazal chto vozmozhnosti nejronnyh yazykovyh modelej izmeryaemye funkciej poter pri obuchenii plavno uvelichivalis po stepennomu zakonu ot kolichestva parametrov kolichestva obuchayushih dannyh i vychislenij ispolzuemyh dlya obucheniya Eti svyazi byli provereny v shirokom diapazone znachenij do semi poryadkov i ne nablyudalos zatuhaniya otnosheniya na verhnem konce diapazona v tom chisle dlya razmerov seti do trillionov parametrov Primenenie k posleduyushim zadachamV period s 2018 po 2020 god standartnyj metod ispolzovaniya BYaM dlya konkretnoj zadachi NLP zaklyuchalsya v modeli s dopolnitelnym obucheniem dlya konkretnoj zadachi Vposledstvii obnaruzhilos chto bolee moshnye BYaM takie kak GPT 3 mogut reshat zadachi bez dopolnitelnogo obucheniya s pomoshyu metodov podskazki v kotoryh reshaemaya zadacha predstavlyaetsya modeli v vide tekstovoj podskazki vozmozhno s nekotorymi tekstovymi primerami podobnyh zadach i ih reshenij Tonkaya nastrojka Tonkaya nastrojka eto praktika modifikacii sushestvuyushej predvaritelno obuchennoj yazykovoj modeli putyom eyo obucheniya pod nablyudeniem konkretnoj zadache naprimer analiz nastroenij raspoznavanie imenovannyh obektov ili markirovka chastej rechi Eto forma Obychno eto vklyuchaet vvedenie novogo nabora vesov svyazyvayushih poslednij sloj yazykovoj modeli s vyhodnymi dannymi posleduyushej zadachi Ishodnye vesa yazykovoj modeli mogut byt zamorozheny tak chto vo vremya obucheniya izuchaetsya tolko novyj sloj vesov soedinyayushij ih s vyhodnymi dannymi V kachestve alternativy ishodnye vesa mogut poluchat nebolshie obnovleniya vozmozhno s zamorozhennymi bolee rannimi sloyami Podskazka V paradigme podskazok populyarizirovannoj GPT 3 reshaemaya problema formuliruetsya s pomoshyu tekstovoj podskazki kotoruyu model dolzhna reshit predostavlyaya zavershenie posredstvom statisticheskogo vyvoda V podskazke s neskolkimi vystrelami podskazka vklyuchaet nebolshoe kolichestvo primerov pohozhih par zadacha i reshenie Naprimer zadacha analiza tonalnosti markirovki tonalnosti recenzii na film mozhno vyzvat sleduyushim obrazom Review This movie stinks Sentiment negative Review This movie is fantastic Sentiment Esli model vydayot polozhitelno znachit ona pravilno reshila zadachu V podskazkah s nulevym vystrelom primery resheniya ne predostavlyayutsya Primerom s nulevoj podskazkoj dlya zadachi s otvetom na vopros mozhet byt Kto napisal knigu Proishozhdenie vidov Bylo pokazano chto malaya proizvoditelnost BYaM pozvolyaet dostigat konkurentosposobnyh rezultatov v zadachah obrabotki estestvennogo yazyka inogda prevoshodya predydushie sovremennye podhody k tochnoj nastrojke Primerami takih zadach NLP yavlyayutsya perevod otvety na voprosy zadachi s rasshifrovka slov i ispolzovanie novogo slova v predlozhenii Sozdanie i optimizaciya takih podskazok nazyvaetsya inzhiniringom podskazok i v nastoyashee vremya yavlyaetsya aktivnoj oblastyu issledovanij Spisok bolshih yazykovyh modelejSpisok bolshih yazykovyh modelej Nazvanie Data reliza Razrabotchik Chislo parametrov Razmer korpusa tekstov Licenziya Primechaniya angl 2018 Google 340 millionov 3 3 milliarda slov Apache 2 0 Rannyaya i vliyatelnaya yazykovaya model angl 2019 OpenAI 1 5 milliarda 40GB 10 milliardov tokenov MIT Universalnaya model na baze transformennoj arhitektury GPT 3 2020 OpenAI 175 milliardov 499 milliardov tokenov Obshedostupnyj veb API Dorabotannyj variant GPT 3 poluchivshij nazvanie GPT 3 5 stal obshedostupnym cherez veb interfejs pod nazvaniem ChatGPT v 2022 godu GPT Neo Mart 2021 angl 2 7 milliarda 825 GiB MIT Pervyj iz vypushennyh EleutherAI GPT Neo prevzoshyol model GPT 3 analogichnogo razmera v nekotoryh testah no byl znachitelno huzhe chem samaya bolshaya GPT 3 GPT J Iyun 2021 angl 6 milliardov 825 GiB Apache 2 0 Yazykovaya model v stile GPT 3 Claude Dekabr 2021 Anthropic 52 milliarda 400 milliardov tokenov Zakrytaya beta Fine tuned for desirable behavior in conversations GLaM Generalist Language Model Dekabr 2021 Google 1 2 trilliona 1 6 trilliona tokenov Proprietary Model s razrezhennoj smesyu ekspertov angl sparse mixture of experts mode chto delaet eyo bolee dorogoj dlya obucheniya no bolee deshyovoj dlya vypolneniya logicheskogo vyvoda po sravneniyu s GPT 3 LaMDA Language Models for Dialog Applications Yanvar 2022 Google 137 milliardov 1 56T slov Proprietary Specializiruetsya na generacii otvetov v razgovorah Megatron Turing NLG Oktyabr 2021 Microsoft and Nvidia 530 milliardov 338 6 milliarda tokenov Restricted web access Standartnaya arhitektura no obuchennaya na superkompyuternom klastere GPT NeoX Fevral 2022 angl 20 milliardov 825 GiB Apache 2 0 Na baze arhitektury Megatron Chinchilla Mart 2022 DeepMind 70 milliardov 1 3 trilliona tokenov Proprietary Model s umenshennym kolichestvom parametrov obuchennaya na bolshem kolichestve dannyh PaLM Pathways Language Model Aprel 2022 Google 540 milliardov 768 milliardov tokenov Proprietary Napravlena na dostizhenie prakticheskih predelov masshtaba modeli OPT Open Pretrained Transformer Maj 2022 Meta 175 milliardov 180 milliardov tokenov Nekommercheskoe issledovanie Arhitektura GPT 3 s nekotorymi adaptaciyami Megatron YaLM 100B Iyun 2022 Yandeks 100 milliardov 300 milliardov tokenov Apache 2 0 75 teksta ispolzovannogo pri obuchenii napisano na russkom yazyke BLOOM Iyul 2022 Kollaboraciya pod upravleniem Hugging Face 175 milliardov 350 milliardov tokenov 1 6TB Responsible AI Po suti GPT 3 no obuchena mnogoyazychnomu korpusu tekstov 30 anglijskij isklyuchaya yazyki programmirovaniya AlexaTM Teacher Models Noyabr 2022 Amazon 20 milliardov 1 3 trilliona Obshedostupnyj veb API Dvunapravlennaya arhitektura posledovatelnost k posledovatelnosti LLaMA Large Language Model Meta AI Fevral 2023 Meta 65 milliardov 1 4 trilliona Nekommercheskoe issledovanie Obuchena na bolshom korpuse iz 20 yazykov chtoby dobitsya luchshej proizvoditelnosti s menshim kolichestvom parametrov GPT 4 Mart 2023 OpenAI Net dannyh Net dannyh Obshedostupnyj veb API Dostupna dlya polzovatelej ChatGPT Plus Microsoft podtverdila chto v Bing Chat ispolzuetsya model GPT 4 StableLM Aprel 2023 Stability AI 7 milliardov 800 milliardov Ishodnyj kod Apache 2 0PrimechaniyaKommentarii Eto data pervogo poyavleniya dokumentacii opisyvayushej arhitekturu modeli Vo mnogih sluchayah issledovateli publikuyut ili soobshayut o neskolkih versiyah modeli imeyushih raznye razmery V etih sluchayah zdes ukazyvaetsya razmer samoj bolshoj modeli Eto licenziya vesov predvaritelno obuchennoj modeli Pochti vo vseh sluchayah sam obuchayushij kod imeet otkrytyj ishodnyj kod ili mozhet byt legko vosproizvedyon Menshie modeli vklyuchaya 66B obshedostupny a model 175B dostupna po zaprosu Licenziya Facebook i shema rasprostraneniya ogranichivali dostup k utverzhdennym issledovatelyam no vesa modelej utekli i stali shiroko dostupny Kak ukazano v tehnicheskom otchyote Uchityvaya konkurentnuyu sredu i posledstviya dlya bezopasnosti krupnomasshtabnyh modelej takih kak GPT 4 etot otchyot ne soderzhit dopolnitelnyh svedenij ob arhitekture vklyuchaya razmer modeli oborudovanii obuchayushih vychisleniyah postroenii nabora dannyh metode obucheniya ili podobnuyu informaciyu Istochniki 2022 Human Language Understanding amp Reasoning Daedalus 17 noyabrya 2023 Data obrasheniya 16 marta 2023 Carlini Nicholas Tramer Florian Wallace Eric Jagielski Matthew Herbert Voss Ariel Lee Katherine Roberts Adam Brown Tom B Song Dawn Erlingsson Ulfar 2021 Extracting Training Data from Large Language Models PDF USENIX Security Symposium Vol 6 PDF 21 dekabrya 2023 Data obrasheniya 16 marta 2023 Wei Jason Emergent Abilities of Large Language Models neopr Data obrasheniya 16 marta 2023 16 marta 2023 goda Jurafsky Dan Speech and Language Processing Dan Jurafsky James H Martin 3rd edition draft 7 January 2023 ot 23 marta 2023 na Wayback Machine Wiggers Kyle The emerging types of language models and why they matter neopr TechCrunch 28 aprelya 2022 Data obrasheniya 16 marta 2023 16 marta 2023 goda Ananthaswamy Anil In AI is bigger always better neopr Nature 8 marta 2023 Data obrasheniya 16 marta 2023 16 marta 2023 goda Kaplan Jared McCandlish Sam Henighan Tom Brown Tom B Chess Benjamin Child Rewon Gray Scott Radford Alec Wu Jeffrey Amodei Dario 2020 Scaling Laws for Neural Language Models CoRR abs 2001 08361 arXiv 2001 08361 15 marta 2023 Data obrasheniya 16 marta 2023 Brown Tom B Mann Benjamin Ryder Nick Subbiah Melanie Kaplan Jared Dhariwal Prafulla Neelakantan Arvind Shyam Pranav Sastry Girish Askell Amanda Agarwal Sandhini Herbert Voss Ariel Krueger Gretchen Henighan Tom Child Rewon Ramesh Aditya Ziegler Daniel M Wu Jeffrey Winter Clemens Hesse Christopher Chen Mark Sigler Eric Litwin Mateusz Gray Scott Chess Benjamin Clark Jack Berner Christopher McCandlish Sam Radford Alec Sutskever Ilya Amodei Dario Dec 2020 Larochelle H Ranzato M Hadsell R Balcan M F Lin H eds Language Models are Few Shot Learners PDF Advances in Neural Information Processing Systems 33 Curran Associates Inc 1877 1901 PDF 17 noyabrya 2023 Data obrasheniya 16 marta 2023 Devlin Jacob Chang Ming Wei Lee Kenton Toutanova Kristina 11 October 2018 BERT Pre training of Deep Bidirectional Transformers for Language Understanding arXiv 1810 04805v2 cs CL BERT neopr 13 marta 2023 Data obrasheniya 16 marta 2023 13 yanvarya 2021 goda GPT 2 1 5B Release angl OpenAI 5 noyabrya 2019 Data obrasheniya 14 noyabrya 2019 14 noyabrya 2019 goda Better language models and their implications neopr openai com Data obrasheniya 16 marta 2023 16 marta 2023 goda OpenAI s GPT 3 Language Model A Technical Overview angl lambdalabs com Data obrasheniya 16 marta 2023 27 marta 2023 goda gpt 2 neopr GitHub Data obrasheniya 13 marta 2023 11 marta 2023 goda ChatGPT Optimizing Language Models for Dialogue angl OpenAI 30 noyabrya 2022 Data obrasheniya 13 yanvarya 2023 30 noyabrya 2022 goda GPT Neo neopr 15 marta 2023 Data obrasheniya 16 marta 2023 12 marta 2023 goda Gao Leo Biderman Stella Black Sid Golding Laurence Hoppe Travis Foster Charles Phang Jason He Horace Thite Anish Nabeshima Noa Presser Shawn Leahy Connor 31 December 2020 The Pile An 800GB Dataset of Diverse Text for Language Modeling arXiv 2101 00027 Iyer Abhishek GPT 3 s free alternative GPT Neo is something to be excited about neopr VentureBeat 15 maya 2021 Data obrasheniya 16 marta 2023 9 marta 2023 goda angl www forefront ai Data obrasheniya 28 fevralya 2023 Arhivirovano iz originala 9 marta 2023 goda Product angl Anthropic Data obrasheniya 14 marta 2023 16 marta 2023 goda Askell Amanda Bai Yuntao Chen Anna et al 9 December 2021 A General Language Assistant as a Laboratory for Alignment arXiv 2112 00861 Bai Yuntao Kadavath Saurav Kundu Sandipan et al 15 December 2022 Constitutional AI Harmlessness from AI Feedback arXiv 2212 08073 Dai Andrew M Du Nan More Efficient In Context Learning with GLaM angl ai googleblog com 9 dekabrya 2021 Data obrasheniya 9 marta 2023 12 marta 2023 goda Cheng Heng Tze Thoppilan Romal LaMDA Towards Safe Grounded and High Quality Dialog Models for Everything angl ai googleblog com 21 yanvarya 2022 Data obrasheniya 9 marta 2023 25 marta 2022 goda Alvi Ali Kharya Paresh Using DeepSpeed and Megatron to Train Megatron Turing NLG 530B the World s Largest and Most Powerful Generative Language Model neopr Microsoft Research 11 oktyabrya 2021 Data obrasheniya 16 marta 2023 13 marta 2023 goda Smith Shaden Patwary Mostofa Norick Brandon LeGresley Patrick Rajbhandari Samyam Casper Jared Liu Zhun Prabhumoye Shrimai Zerveas George Korthikanti Vijay Zhang Elton Child Rewon Aminabadi Reza Yazdani Bernauer Julie Song Xia 2022 02 04 Using DeepSpeed and Megatron to Train Megatron Turing NLG 530B A Large Scale Generative Language Model arXiv 2201 11990 ot 15 aprelya 2023 na Wayback Machine Black Sidney Biderman Stella Hallahan Eric et al 2022 05 01 GPT NeoX 20B An Open Source Autoregressive Language Model Proceedings of BigScience Episode 5 Workshop on Challenges amp Perspectives in Creating Large Language Models Vol Proceedings of BigScience Episode 5 Workshop on Challenges amp Perspectives in Creating Large Language Models pp 95 136 10 dekabrya 2022 Data obrasheniya 19 dekabrya 2022 Hoffmann Jordan Borgeaud Sebastian Mensch Arthur Sifre Laurent An empirical analysis of compute optimal large language model training neopr Deepmind Blog 12 aprelya 2022 Data obrasheniya 16 marta 2023 13 aprelya 2022 goda Hoffmann Jordan Borgeaud Sebastian Mensch Arthur Buchatskaya Elena Cai Trevor Rutherford Eliza Casas Diego de Las Hendricks Lisa Anne Welbl Johannes Clark Aidan Hennigan Tom Noland Eric Millican Katie Driessche George van den Damoc Bogdan Guy Aurelia Osindero Simon Simonyan Karen Elsen Erich Rae Jack W Vinyals Oriol Sifre Laurent 29 March 2022 Training Compute Optimal Large Language Models arXiv 2203 15556 Narang Sharan Chowdhery Aakanksha Pathways Language Model PaLM Scaling to 540 Billion Parameters for Breakthrough Performance angl ai googleblog com 4 aprelya 2022 Data obrasheniya 9 marta 2023 4 aprelya 2022 goda Democratizing access to large scale language models with OPT 175B angl ai facebook com Data obrasheniya 16 marta 2023 12 marta 2023 goda Zhang Susan Roller Stephen Goyal Naman Artetxe Mikel Chen Moya Chen Shuohui Dewan Christopher Diab Mona Li Xian Lin Xi Victoria Mihaylov Todor Ott Myle Shleifer Sam Shuster Kurt Simig Daniel Koura Punit Singh Sridhar Anjali Wang Tianlu Zettlemoyer Luke 21 June 2022 OPT Open Pre trained Transformer Language Models arXiv 2205 01068 Istochnik neopr Data obrasheniya 20 iyulya 2023 20 iyulya 2023 goda GitHub yandex YaLM 100B Pretrained language model with 100B parameters neopr Data obrasheniya 20 iyulya 2023 16 iyunya 2023 goda bigscience bloom Hugging Face neopr huggingface co Data obrasheniya 16 marta 2023 12 aprelya 2023 goda 20B parameter Alexa model sets new marks in few shot learning angl Amazon Science 2 avgusta 2022 Data obrasheniya 16 marta 2023 15 marta 2023 goda Soltan Saleh Ananthakrishnan Shankar FitzGerald Jack et al 3 August 2022 AlexaTM 20B Few Shot Learning Using a Large Scale Multilingual Seq2Seq Model arXiv 2208 01448 AlexaTM 20B is now available in Amazon SageMaker JumpStart AWS Machine Learning Blog neopr aws amazon com 17 noyabrya 2022 Data obrasheniya 13 marta 2023 13 marta 2023 goda Introducing LLaMA A foundational 65 billion parameter large language model neopr Meta AI 24 fevralya 2023 Data obrasheniya 16 marta 2023 3 marta 2023 goda GPT 4 Technical Report neopr OpenAI 2023 Data obrasheniya 14 marta 2023 14 marta 2023 goda Lardinois Frederic Microsoft s new Bing was using GPT 4 all along neopr TechCrunch 14 marta 2023 Data obrasheniya 14 marta 2023 15 marta 2023 goda StableLM Stability AI Language Models 2023 04 20 20 aprelya 2023 goda
Вершина