Нейронити: как нейросети меняют наш Мир

ONNX – это открытый стандарт для обмена моделями машинного обучения между разными фреймворками и платформами. ONNX позволяет сохранять не только параметры нейросети, но и ее архитектуру, то есть структуру и функции слоев. ONNX файлы имеют расширение. onnx и могут быть скопированы, пересланы и развернуты на любом другом устройстве, которое поддерживает этот формат. Конечно, есть и другие форматы, например TensorFlow и HDF5. HDF5 – это еще один формат для хранения моделей машинного обучения, который поддерживается библиотекой Keras.

HDF5 файлы имеют расширение. h5 или. hdf5 и также могут быть скопированы, пересланы и развернуты на других устройствах.

Вот так выглядит одна из моих нейросетей. В папке 2 файла.

Конечно, это очень простой пример. Даже боты которых я пишу и использую имеют более сложную структуру, десятки файлов и огромное количество строк кода. В последней главе этой книги мы с вами «препарируем» один из моих проектов на основе нейросети и я покажу, что там внутри и что она из себя представляет.

На что я хочу обратить ваше внимание, это никакие не пугающие и не непонятные устройства, нейросеть это, если утрировать, то как любой файл на вашем компьютере, фильм, фото, книга или аудиофайл.

Для примера, ChatGPT – это проект, который использует нейросеть GPT-3 для создания интерактивных диалогов на разных языках. Нейросеть GPT-3 – это одна из самых больших и мощных нейросетей в мире, которая состоит из 175 миллиардов параметров.

Параметры – это числа, которые определяют, как нейросеть обрабатывает и генерирует текст. Чем больше параметров, тем лучше нейросеть может понимать и создавать разнообразный и сложный текст.

Проект ChatGPT использует несколько версий нейросети GPT-3, которые обучены на разных языках и доменах. Каждая версия хранится в отдельном ONNX файле, который имеет свое имя и размер. Например, версия ChatGPT-en-base. onnx – это базовая модель для английского языка, которая имеет 1.

3 миллиарда параметров и занимает 5 ГБ памяти. Версия ChatGPT-ru-large. onnx – это большая модель для русского языка, которая имеет 2.7 миллиарда параметров и занимает 10 ГБ памяти.

Самая мощная нейросеть в Мире сейчас – это GPT-4, которая обучена на 4.5 триллионах слов из интернета. Она состоит из 13 миллиардов параметров и занимает около 50 ГБ памяти. Это один файл в формате ONNX, который очень много весит.