Исследователям: более крупные научные вычисления
Используйте вычислительную сеть GPU Goblin, чтобы выполнять свои вычисления прямо из Python. Большие вычисления автоматически распределяются между компьютерами, предоставленными добровольцами, и каждый результат проверяется.
Что можно вычислять
GPU Goblin выполняет те виды научных вычислений, которые есть в его каталоге, на процессорах и видеокартах:
- Большие произведения матриц — основа многих научных вычислений; если они слишком велики для одного компьютера, они разбиваются на части.
- Вычисления на графах операций над тензорами: вычисление, описанное в виде графа из более чем 45 операторов (арифметика, редукции, целочисленные тензоры, собственные формулы…), например захваченное из программы на PyTorch с помощью пакета Python.
- Обучение моделей машинного обучения: свёрточные сети, трансформеры, языковые модели. Модель больше, чем компьютер любого отдельного участника, автоматически разбивается на этапы (группы слоёв, вычисляемые один за другим), блоки (большие матрицы, разрезанные на части) и микропакеты.
Вы описываете вычисление, а сеть выполняет его с помощью собственных проверенных операций. Со временем в каталог добавляются новые виды вычислений: расскажите нам, что нужно для ваших исследований.
Как проходит вычисление
- Узел вашей лаборатории — небольшая служба, установленная у вас в лаборатории, — хранит данные и разбивает вычисление на задачи.
- Компьютеры участников получают свои входные данные, выполняют вычисления и возвращают результаты.
- Каждый результат проверяется — его пересчитывает независимый валидатор или его сравнивают с тем же вычислением, выполненным другим участником, — прежде чем он будет использован.
- Принятые результаты объединяются в ваш результат. Для обучаемой модели это один раунд: градиенты объединяются, оптимизатор делает шаг, и начинается следующий раунд.
Ваши данные
- По умолчанию сервер не хранит никаких исследовательских данных, а узел вашей лаборатории никогда не отправляет ваши наборы данных как есть: он посылает машинам операции для вычисления и только те числа, которые нужны каждой задаче.
- Эти числа приходят без имени файла и без описания того, что они представляют (текст приходит в виде числовых токенов). Данные не шифруются во время вычислений: массив пикселей по-прежнему можно отобразить как изображение, а токены — снова превратить в текст. Не отправляйте в открытую вычислительную сеть данные, которые должны оставаться конфиденциальными (например, персональные или медицинские данные).
Доступ
Запросите доступ в своём аккаунте: войдите по адресу электронной почты и заполните заявку на доступ исследователя. Вопросы: contact@gpugoblin.com.
Стоимость
Пользоваться вычислительной сетью для исследований бесплатно. Программа доступна по лицензии PolyForm Noncommercial: бесплатно для науки и любого некоммерческого использования. Для коммерческого использования нужно соглашение с автором.