Матеріали: Introduction to LargeLanguage Models (G-LLM-I)

Нижче наведено матеріали для читання на тему великих мовних моделей.
● NLP’s ImageNet moment has arrived (“В ОПМ настав час ImageNet”).
https://thegradient.pub/nlp-imagenet/
● Google Cloud supercharges NLP with large language models (“Google Cloud підвищує ефективність ОПМ за допомогою великих мовних моделей”).
https://cloud.google.com/blog/products/ai-machine-learning/google-cloud-supercharges-nlp-with-large-language-models
● LaMDA: our breakthrough conversation technology (“LaMDA – це наша революційна технологія для спілкування”). https://blog.google/technology/ai/lamda/
● Language Models are Few-Shot Learners (“Навчання мовних моделей за допомогою наборів прикладів”).
https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf
● PaLM-E: An embodied multimodal language model (“PaLM-E – мультимодальна мовна модель”).
https://ai.googleblog.com/2023/03/palm-e-embodied-multimodal-language.html
● Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance (“Неймовірна ефективність моделі PaLM завдяки масштабуванню до 540 мільярдів параметрів”).
https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html
● PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications (“PaLM API та MakerSuite: доступний спосіб почати створювати прототипи й додатки з генеративним ШІ”).
https://developers.googleblog.com/2023/03/announcing-palm-api-and-makersuite.html
● The Power of Scale for Parameter-Efficient Prompt Tuning (“Масштабоване коригування результатів за допомогою запитів з ефективним використанням параметрів”). https://arxiv.org/pdf/2104.08691.pdf
● Відділ досліджень Google: мовні моделі (з 2022 року й до сьогодні).
https://ai.googleblog.com/2023/01/google-research-2022-beyond-language.html#LanguageModels
● Accelerating text generation with Confident Adaptive Language Modeling (CALM) (“Удосконалення функції генерування тексту завдяки мовній моделі CALM”).
https://ai.googleblog.com/2022/12/accelerating-text-generation-with.html
● Solving a machine-learning mystery (“Розкриття таємниці машинного навчання”).
https://news.mit.edu/2023/large-language-models-in-context-learning-0207
Нижче наведено матеріали для читання на тему генеративного ШІ.
● Ask a Techspert: What is generative AI? (“Запитання до технічного експерта: що таке генеративний ШІ?”)
https://blog.google/inside-google/googlers/ask-a-techspert/what-is-generative-ai/
● Build new generative AI powered search & conversational experiences with Gen App Builder (“Створення нових пошукових і діалогових сервісів на основі генеративного ШІ за допомогою інструмента Gen App Builder”).
https://cloud.google.com/blog/products/ai-machine-learning/create-generative-apps-inminutes-with-gen-app-builder
● What is generative AI? (“Що таке генеративний ШІ?”)
https://www.mckinsey.com/featured-insights/mckinsey-explainers/what-is-generative-ai
● Відділ досліджень Google: генеративні моделі (з 2022 року й до сьогодні).
https://ai.googleblog.com/2023/01/google-research-2022-beyond-language.html#GenerativeModels
● Building the most open and innovative AI ecosystem (“Створення найбільш відкритої і інноваційної екосистеми ШІ”).
https://cloud.google.com/blog/products/ai-machine-learning/building-an-open-generative-ai-partner-ecosystem
● Generative AI is here. Who Should Control It? (“Генеративний ШІ вже тут. Хто його контролюватиме?”)
https://www.nytimes.com/2022/10/21/podcasts/hard-fork-generative-artificial-intelligence.html
● Stanford U & Google’s Generative Agents Produce Believable Proxies of Human Behaviors (“Спеціалісти Стенфордського університету й відділу досліджень Google розробили генеративні агенти, що переконливо імітують поведінку людини”).
https://syncedreview.com/2023/04/12/stanford-u-googles-generative-agents-produce-believable-proxies-of-human-behaviours/
● Generative AI: Perspectives from Stanford HAI (“Генеративний ШІ: галузі застосування антропоцентричного штучного інтелекту Стенфордського університету”).
https://hai.stanford.edu/sites/default/files/2023-03/Generative_AI_HAI_Perspectives
● Generative AI at Work (“Використання генеративного ШІ в роботі”).
https://www.nber.org/system/files/working_papers/w31161/w31161.pdf
● The future of generative AI is niche, not generalized (“У майбутньому генеративний ШІ матиме спеціалізоване, а не загальне застосування”).
https://www.technologyreview.com/2023/04/27/1072102/the-future-of-generative-ai-isniche-not-generalized/
● The implications of Generative AI for businesses (“Наслідки поширення генеративного ШІ для бізнесу”).
https://www2.deloitte.com/us/en/pages/consulting/articles/generative-artificial-intelligence.html
● Proactive Risk Management in Generative AI (“Проактивне керування ризиками використання генеративного ШІ”).
https://www2.deloitte.com/us/en/pages/consulting/articles/responsible-use-of-generative-ai.html
● How Generative AI Is Changing Creative Work (“Як генеративний ШІ змінює творчу роботу”).
https://hbr.org/2022/11/how-generative-ai-is-changing-creative-work1
Додаткові ресурси
● Attention is All You Need (“Увага – це все, що вам потрібно”).
https://research.google/pubs/pub46201/
● Transformer: A Novel Neural Network Architecture for Language Understanding (“Трансформер: нова архітектура нейронних мереж для розуміння мови”).
https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
● Стаття про моделі-трансформери у Вікіпедії.
https://uk.wikipedia.org/wiki/Трансформер(модельмашинного_навчання).
● What is Temperature in NLP? (“Що таке температура в ОПМ?”)
https://lukesalamone.github.io/posts/what-is-temperature/
● Bard now helps you code (“Тепер Bard допомагає писати код”).
https://blog.google/technology/ai/code-with-bard/
● Model Garden. https://cloud.google.com/model-garden
● Auto-generated Summaries in Google Docs (“Автоматичне резюмування в Google Документах”).
https://ai.googleblog.com/2022/03/auto-generated-summaries-in-google-docs.html