Как ИИ превратил память в структурное узкое место

В последние годы индустрия искусственного интеллекта столкнулась с парадоксальной ситуацией: вычислительные мощности растут экспоненциально, алгоритмы совершенствуются, но производительность систем все чаще упирается в ограничения, связанные с памятью. Согласно отчетам ведущих аналитических агентств, более 60% времени работы современных нейросетей тратится не на вычисления, а на ожидание доступа к данным, что превращает память в структурное узкое место. Ключевыми действующими лицами в этой проблеме выступают разработчики чипов, таких как Nvidia и AMD, а также инженеры-архитекторы, создающие системы на кристалле (SoC), которые вынуждены искать баланс между быстродействием и энергопотреблением.

Причины возникновения узкого места: от процессора к памяти

Корень проблемы лежит в фундаментальном архитектурном разрыве, известном как «стена памяти» или memory wall. Скорость обработки данных центральными и графическими процессорами (CPU и GPU) росла в среднем на 55% в год, в то время как скорость доступа к оперативной памяти (DRAM) увеличивалась лишь на 10% ежегодно. Это расхождение привело к тому, что современные ИИ-модели, особенно трансформеры, используемые в ChatGPT и Gemini, требуют передачи гигабайтов весов и промежуточных данных между чипом и памятью за микросекунды. Когда пропускная способность шины данных оказывается недостаточной, процессор простаивает, ожидая, пока данные будут загружены из внешней памяти.

Вторая причина связана с физическими ограничениями самой DRAM. По мере уменьшения техпроцесса (с 10 нм до 3 нм) плотность размещения ячеек памяти растет, но время доступа к ним сокращается непропорционально медленно. Кроме того, энергопотребление на передачу одного бита данных по внешней шине может быть в 100 раз выше, чем на выполнение арифметической операции. В результате, для больших языковых моделей (LLM) с сотнями миллиардов параметров, перемещение данных между чипом и памятью становится доминирующим фактором как по времени, так и по затратам энергии.

Третьим фактором является рост объема данных, необходимых для обучения. Если в 2018 году модель BERT имела 340 миллионов параметров, то современные GPT-4 и Gemini Ultra оперируют триллионами. Это требует не только большой емкости памяти, но и высокой пропускной способности. Традиционные архитектуры, где память расположена отдельно от вычислительных блоков, просто не успевают за этим ростом, создавая коллапс на уровне шины данных.

Статистика и цифры: масштаб проблемы

Согласно данным исследований компании SemiAnalysis, в 2023 году средняя загрузка GPU при обучении больших моделей не превышала 45% из-за ожидания данных. Это означает, что более половины времени дорогостоящие чипы, стоимостью до 30 000 долларов за единицу, простаивают. Для кластеров из 10 000 таких ускорителей простой обходится в миллионы долларов в день.

Технические характеристики также подтверждают эту тенденцию. Возьмем для примера флагманский чип H100 от Nvidia: его пропускная способность памяти HBM3 составляет 3,35 ТБ/с. Однако для модели с 175 миллиардами параметров, такой как GPT-3, требуется загрузить около 350 ГБ весов. Даже при максимальной пропускной способности на это уходит около 0,1 секунды. В контексте генерации одного токена, который занимает миллисекунды, эти задержки становятся критическими. На практике, время доступа к памяти может составлять до 80% от общего времени инференса (вывода) для таких моделей.

Энергетические потери также значительны. Исследователи из Массачусетского технологического института подсчитали, что до 70% всей энергии, потребляемой при обучении нейросетей, тратится на перемещение данных, а не на сами вычисления. Это делает проблему памяти не только временной, но и экономической, особенно в условиях роста цен на электроэнергию и ужесточения экологических норм.

Технологические решения: от HBM до вычислений в памяти

Промышленность активно ищет способы обойти это узкое место. Одним из самых распространенных решений стала технология High Bandwidth Memory (HBM), которая размещает кристаллы памяти вертикально (3D-стекинг) рядом с процессором. Это сокращает длину физических соединений и увеличивает пропускную способность. Например, HBM3e, используемая в новейших ускорителях H200, обеспечивает 4,8 ТБ/с, что на 40% больше, чем у H100. Однако это лишь временное решение, так как физические ограничения медных межсоединений по-прежнему сдерживают дальнейший рост.

Более радикальным подходом является технология «вычислений в памяти» (Processing-in-Memory, PIM). Компании, такие как Samsung и Micron, разрабатывают чипы, где простые арифметические операции выполняются непосредственно в ячейках памяти, без передачи данных на центральный процессор. Прототипы Samsung HBM-PIM показали увеличение производительности в 2-3 раза и снижение энергопотребления на 60% для некоторых задач машинного обучения. Однако внедрение PIM ограничено сложностью программирования и необходимостью переписывать софтверные стеки, такие как CUDA.

Еще одним перспективным направлением является использование новых типов памяти, таких как Magnetoresistive RAM (MRAM) или Resistive RAM (ReRAM).