Когда вы строите дом, вы можете делать это разными способами. Вы можете собрать все необходимые инструменты, а затем отправиться в лес, чтобы нарубить дрова и превратить их в окончательную конструкцию. Или вы можете пойти в Home Depot и купить уже срубленную древесину вместе со всеми гвоздями, молотками и другим необходимым оборудованием. Или вы можете заплатить подрядчику за выполнение большей части работы, пишет Businessinsider.
За последние 15 лет Amazon Web Services стала идеальным подрядчиком для всех, кто хочет создать что-то в Интернете. Веб-сайт, приложение, сервис программного обеспечения для бизнеса. В настоящее время очень немногие разработчики решаются войти в цифровой лес, вырубить собственные полупроводники и построить собственные серверы и центры обработки данных. AWS делает все это за вас и предоставляет большинство необходимых вам инструментов.
Именно это превратило AWS из второстепенной идеи в 2006 году в бизнес стоимостью 80 миллиардов долларов с высокой прибылью и огромной клиентской базой. В этом суть технологической платформы.
Развитие генеративного искусственного интеллекта привело к созданию того, что некоторые технологи называют Cloud 2.0. Появился новый набор оборудования, программного обеспечения, инструментов и услуг, которые будут служить основой для приложений искусственного интеллекта на долгие годы вперед. Какая компания станет главным подрядчиком в этом новом мире? Когда вы строите свой дом искусственного интеллекта, к кому вы обратитесь за всей этой цифровой древесиной и правильными инструментами, которые хорошо работают вместе для выполнения работы?
На данный момент AWS не выглядит здесь лидером, в то время как у Nvidia есть огромное преимущество.
Nvidia разрабатывает и продает графические процессоры , которые используются почти всеми, кто создает большие языковые модели и другие большие модели искусственного интеллекта. Эти компоненты использовались исследователями искусственного интеллекта более десяти лет назад, когда Эндрю Нг и другие обнаружили, что графические процессоры могут выполнять множество вычислений параллельно. Напротив, AWS запустила графический процессор Trainium для обучения моделей ИИ в декабре 2020 года, почти десять лет спустя.
В течение этого десятилетия Nvidia также создала платформу на основе своих графических процессоров, которая помогала разработчикам искусственного интеллекта выполнять свою работу. Компания создала компиляторы, драйверы, операционную систему, инструменты, библиотеки кода, обучающие заметки, видеоролики и многое другое. Ядром этой платформы является язык программирования под названием CUDA.
Сейчас более 4 миллионов зарегистрированных разработчиков Nvidia используют CUDA и все связанные с ней инструменты. Это больше, чем 2 миллиона в августе 2020 года и 1 миллион за два года до этого. Самое близкое, что сейчас есть у AWS, — Neuron. Согласно его странице на Github, он был выпущен в 2019 году. CUDA вышла в 2007 году.
Библиотеки, модели и фреймворки
Майкл Дуглас, бывший руководитель Nvidia, недавно поговорил обо всем этом с аналитиками Bernstein, объяснив, что программное обеспечение и инструменты производителя чипов намного опережают конкурентов:
Разработчикам доступно 250 программных библиотек, работающих поверх CUDA. Библиотека — это предварительно созданный код, который выполняет такие функции, как обработка видео или аудио или выполнение каких-либо действий с графикой.
Существует также 400 готовых моделей, которые Nvidia предлагает разработчикам для решения задач искусственного интеллекта, таких как распознавание изображений и синтез голоса.
Эти библиотеки и модели объединены с популярными программными платформами, такими как PyTorch, TensorFlow, Windows и VMware.
Все это хранится стопками на 65 платформах. Платформа предоставляет большинству других разработчиков программного обеспечения необходимость внедрения чего-либо в среде центра обработки данных или на периферии с помощью ИИ.
«Это означает, что если вы хотите построить дом, разница между походом в лес и необходимостью рубить собственные деревья и делать свои собственные инструменты или походом в Home Depot, где вы покупаете пиломатериалы и материалы. инструменты и заставить все работать вместе», — сказал Дуглас.
Облако 2.0
Еще один ключевой момент: большинство разработчиков ИИ уже знают, как использовать графические процессоры CUDA и Nvidia. Все хаки, трюки и другие ярлыки встроены в сообщество.
Можно утверждать, что Nvidia уже создала облачную платформу искусственного интеллекта – как это когда-то сделала AWS в эпоху Cloud 1.0. Когда мы перейдем к Cloud 2.0, AWS или кому-либо еще будет сложно это исправить.
«Nvidia уже давно делает ставку на искусственный интеллект. У них уровень зрелости программного обеспечения, с которым не может сравниться ни один другой поставщик», — сказал Луис Сезе, генеральный директор и соучредитель стартапа OctoML, занимающегося искусственным интеллектом. « При наличии специального кремния для искусственного интеллекта существует острая потребность в зрелом и простом в использовании наборе системного программного обеспечения».
Цикл обратной связи Амазонии и антропологии
Однако пока не сбрасывайте со счетов AWS. Как постоянно говорят Энди Ясси и Адам Селипски , это только начало . Джеймс Хэмилтон — гений облачной инфраструктуры AWS, который может конкурировать с Nvidia, даже если у производителя чипов есть серьезное преимущество.
«Nvidia удерживает рынок благодаря преимуществам в программном обеспечении», — сказал Орен Эциони, технический директор инкубатора AI2 и партнер Madrona Venture Group. «Есть аргумент, что это окно начинает закрываться».
Гонка Cloud 2.0 по-настоящему началась в конце сентября, когда Amazon объявила об инвестициях в размере до 4 миллиардов долларов в стартап в области искусственного интеллекта под названием Anthropic . В этой относительно небольшой компании из Сан-Франциско работает множество исследователей, которые помогли создать основную технологию GPT, лежащую в основе сегодняшнего бума генеративного искусственного интеллекта. У Anthropic есть одна из самых способных крупных моделей искусственного интеллекта по имени Клод.
Теперь Anthropic будет использовать собственные чипы AWS Trainium и Inferentia для создания, обучения и развертывания своих будущих моделей искусственного интеллекта, а обе компании будут сотрудничать в разработке будущих технологий Trainium и Inferentia.
Ключевой частью здесь является петля обратной связи между Anthropic и AWS. Пионеры искусственного интеллекта из Anthropic теперь полны решимости использовать графические процессоры AWS вместе со всем соответствующим программным обеспечением и инструментами. Если здесь не хватает AWS, Anthropic может помочь выявить самые большие дыры и предложить способы их заполнения.
Чтобы догнать Nvidia, AWS действительно нужен был такой выдающийся разработчик. Все, что потребовалось, это от 1 до 4 миллиардов долларов.
«Amazon нужен крупный игрок в области искусственного интеллекта, использующий собственный кремний», — сказал Сезе. «Способность Amazon показать, что Anthropic выполняет свои рабочие нагрузки на чипах Amazon, — это победа. Они хотят, чтобы другие люди, создающие модели искусственного интеллекта, были уверены, что микросхемы хороши, а программное обеспечение является зрелым».
Как избежать налога Nvidia
Создание собственных чипов искусственного интеллекта — действительно важное преимущество для победы в гонке Cloud 2.0. Если AWS придется продолжать покупать графические процессоры Nvidia, ей придется платить Nvidia маржу. (Некоторые эксперты по искусственному интеллекту называют это налогом Nvidia). Это сделает обслуживание облачных сервисов AWS Trainium и Inferentia более дорогим.
Если вместо этого AWS сможет производить свои собственные чипы искусственного интеллекта, тогда она сможет оставить себе прибыль Nvidia. Это означает, что он может предлагать облачные услуги по обучению искусственному интеллекту и выводам, которые являются более экономически эффективными.
На недавнем мероприятии AWS в Сиэтле Селипски, генеральный директор AWS, высказал следующее заявление: облачные сервисы искусственного интеллекта AWS будут конкурентоспособными по «ценовой эффективности». Это означает, что, по словам генерального директора, создание моделей искусственного интеллекта на AWS должно быть более эффективным.
В эпоху Cloud 1.0 AWS частично добилась этого благодаря приобретению Annapurna Labs в 2015 году. Этот стартап помог Amazon разработать собственные процессоры Gravitron для своих облачных центров обработки данных. Внезапно AWS больше не нужно было покупать столько дорогих чипов Xeon у Intel. Это был важный элемент, который сделал AWS таким конкурентоспособным и успешным поставщиком облачных услуг.
Насколько легко перейти с Nvidia?
Однако вот в чем проблема: у вас могут быть отличные чипы искусственного интеллекта по отличным ценам, но перейдет ли кто-нибудь от использования графических процессоров Nvidia и платформы CUDA? Если они этого не сделают, AWS может не выиграть Cloud 2.0 так, как это произошло с Cloud 1.0.
Это возвращает нас к аналогии со строительством дома. На данный момент Nvidia, вероятно, предлагает лучшее сочетание древесины и инструментов для выполнения работы. Если вы уже используете это, можете ли вы легко переключиться?
Я спросил Шэрон Чжоу, соучредителя Lamini AI. Ее стартап потратил несколько месяцев на создание центра обработки данных с нуля, чтобы помочь клиентам обучать модели искусственного интеллекта. Когда он был представлен в сентябре, сюрпризом стало то, что Lamini использовала графические процессоры AMD, а не чипы Nvidia.
Как прошло переключение? Чжоу сказал, что Ламини даже не пытался, потому что это было бы очень сложно.
«Мы никогда не переключались. Мы основали компанию на AMD. Вот почему она работает», — сказала она. «Переключиться будет сложнее, чем начинать с нуля. Если вы хотите переключиться, вам придется применить серьезный рефакторинг ко всей вашей кодовой базе».
«Сегодня библиотеки тесно интегрированы с Nvidia», — сказал Чжоу. «Вам необходимо переопределить фундаментальные возможности для работы с большими языковыми моделями. Помимо основ, вам необходимо сделать то же самое и для других распространенных библиотек».
Блокировки Nvidia
Этциони сказал, что у Nvidia по-прежнему есть два основных конфликта с разработчиками ИИ.
Во-первых, PyTorch, популярная платформа искусственного интеллекта, очень хорошо оптимизирована для CUDA и, следовательно, для графических процессоров Nvidia. OctoML, стартап, которым управляет Ceze, работает над множеством технических исправлений, которые, как он надеется, упростят разработчикам искусственного интеллекта использование любого графического процессора с различными платформами и платформами в будущем, включая предложения AWS.
Во-вторых, как только вы сможете эффективно подключиться к другому стеку программного обеспечения для искусственного интеллекта, эта альтернативная платформа должна быть как минимум не хуже CUDA. «И альтернативы пока нет», — сказал Эциони.
По словам Эциони, AMD, возможно, на данный момент ближе всего к Nvidia. У этого производителя чипов есть ROCm, программная платформа, которая предоставляет разработчикам ИИ доступ к популярным языкам, библиотекам и инструментам.
Однако он не упомянул AWS или Trainium.