Настройка программного обеспечения

Источник

Настройка программного обеспечения

Для работы с нейросетями можно работать через Google Colaboratory. Однако, если у вас уже есть хорошая видеокарта (Nvidia) и вы предпочитаете работать локально, здесь вы найдет инструкции по настройке виртуальной среды.
- Удаленная работа в Google Colaboratory
- Работа локально на вашем компьютере
- Виртуальная среда Anaconda
- Python venv
- Установка пакетов

Удаленная работа в Google Colaboratory

Google Colaboratory — это, по сути, комбинация Jupyter notebook и Google Drive. Он полностью работает в облаке и поставляется с множеством предустановленных заранее пакетами (например, PyTorch и Tensorflow), поэтому у всех есть доступ к одному и тому же широкому перечню библиотек. Кроме того, Google Colab дает бесплатный доступ к аппаратным ускорителям например, K80, P100 и TPU (Tensor Processing Unit).

Требования. Чтобы использовать Colab, у вас должен быть аккаунт Google со связанным Google диском. Предполагается, что у вас есть и то, и другое, вы можете подключить Colab к G-drive, выполнив следующие действия:

  1. Нажмите на колесико в правом верхнем углу и выберите Settings.
  2. Нажмите на вкладку Manage Apps.
  3. Вверху выберите Connect more apps, что должно вызвать окно GSuite Marketplace.
  4. Найдите Colab и нажмите Add.

Рекомендации. Есть несколько вещей, о которых вы должны знать при работе с Colab:

  1. Постоянное наличие ресурсов не гарантировано (это плата за бесплатность).

  2. Если вы бездействуете в течение определенного времени или общее время подключения превышает максимально допустимое время (~12 часов), виртуальная машина Colab будет отключена. Это означает, что любой несохраненный прогресс будет потерян.


Таким образом, выработайте привычку часто сохранять свой код и веса моделей во время работы!

Чтобы узнать больше об ограничениях ресурсов в Colab, ознакомьтесь с их часто задаваемыми вопросами здесь.

Использование графического процессора (GPU). Использовать графический процессор очень просто, нужно просто переключить среду выполнения в Colab. Перейдите в настройки по следующему пути: Runtime -> Change runtime type -> Hardware Accelerator -> GPU , и Colab будет автоматически подкреплен вычислительными мощностями графического процессора.

Если вы хотите узнать больше о Colab, рекомендую вам посетить следующие ресурсы: - Введение в Google Colab - Добро пожаловать в Colab - Обзор функций Colab

Работа на локальном компьютере

Если вы хотите работать локально, вам следует использовать виртуальную среду venv. Вы можете установить ее через Anaconda или через модуль python -m venv.

Виртуальная среда Anaconda

Бесплатный дистрибутив Anaconda Python предоставляет собой набор пакетов для научных вычислений. Приятная вещь в Anaconda заключается в том, что она поставляется с оптимизацией MKL по умолчанию, Это означает, что ваши библиотеки numpy и scipy код получают значительное ускорение без необходимости изменять ни одной строки кода.

После установки Anaconda имеет смысл создать виртуальную среду для отдельного проекта. Если вы не не будете использовать виртуальную среду (настоятельно не рекомендуется!), все зависимости будут установлены глобально на вашем компьютере. Чтобы настроить виртуальную среду с именем mldl, выполните следующие действия в терминале: 

conda create -n mldl python=3.12

Чтобы активировать и войти в среду, запустите 

conda activate mldl

Чтобы отключить среду, закройте терминал или используйте команду

conda deactivate

Вы можете обратиться к этой странице за более подробными инструкциями по управлению виртуальными средами с помощью Anaconda.

Python venv

Начиная с версии 3.3, Python поставляется с облегченным модулем виртуальной среды под названием venv. Каждая виртуальная среда упаковывает свой собственный независимый набор установленных пакетов (библиотек) Python. Это позволяет изолировать проект от общесистемных пакетов Python и запускать нужную версию Python. Чтобы настроить виртуальную среду с именем mldl, выполните команду в терминале:

python3.12 -m venv mldl

Чтобы активировать и войти в среду, запустите source mldl/bin/activate. Чтобы отключить среду, запустите в терминале deactivate или выйдите из него. Обратите внимание, что каждый раз, когда вы хотите поработать над проектом, вы должны повторно активировать среду.

Установка пакетов

После того как вы настроили и активировали свою виртуальную среду (с помощью conda или venv), вы должны установить библиотеки, необходимые для выполнения назначений с помощью pip. Для этого выполните команду:

pip install -r requirements.txt

Python IDE

Использование Ide для работы над проектами очень упрощает создание и настройку python. Кроме того, интеграция с Git и другие полезные утилиты позволяют повысить эффективность разработки, не отвлекаясь на рутинные операции. Используйте PyCharm, VsCode или любую другую IDE на ваш вкус. Мой выбор - VsCode с расширениями (Extentions): Python (Microsoft), Black Formatter, JetBrains IDE KeyMapping.