Китай разработал ИИ-модель с триллионом параметров на собственных чипах

МИНСК, 30 сен – Sputnik. Китайский телекоммуникационный гигант China Telecom разработал две больших языковых модели ИИ, используя для этого чипы собственного производства, одна из которых имеет один триллион параметров, сообщает гонконгская газета South China morning post в понедельник.

"(Модель - Sputnik) TeleChat2-115B с открытым исходным кодом и вторая неназванная модель были протестированы на десятках тысяч чипов собственного производства, что стало важной вехой на фоне ужесточения ограничений США на доступ Китая к передовым полупроводникам, включая новейшие чипы искусственного интеллекта от компании Nvidia", - отмечается в публикации.

Газета уточняет, что разработку вел исследовательский институт ИИ компании China Telecom. Если Telechart-115B содержит более 100 миллиардов параметров, то неназванная модель – 1 триллион параметров. От числа параметров, которые задействованы в процессе обучения, зависят и сложность, и эффективность моделей ИИ, поясняется в статье.

В октябре 2022 года США ввели ряд правил, которые ограничивают экспорт оборудования и комплектующих для производства передовых микросхем компаниям КНР. Через год американский Минторг опубликовал новые ограничения на экспорт таких полупроводников. Эти правила изменили определения микросхем для искусственного интеллекта и ввели дополнительные лицензионные требования для их поставок более чем в 40 стран. Такие шаги были предприняты Вашингтоном, чтобы избежать их перепродажи в Китай.

Китаем разработано более 100 LLM (большая языковая модель) с более чем 1 миллиардом параметров. Их можно использовать в самых разных сферах – например, при передаче электронной информации, в медицине, транспорте и других. За два года размер больших языковых моделей вырос в тысячи раз, а стоимость вычислительных мощностей продолжает снижаться.

Технология LLM отличается быстрым развитием, с ее помощью можно работать с текстами, языками и зрением, однако для достижения AGI, а то есть искусственного интеллекта, способного мыслить и действовать как человек, модели следующих поколений должны обладать более масштабным, сложным и многоуровневым логическим мышлением.