연구자용: 더 큰 과학 계산

계산할 수 있는 것

GPU Goblin은 카탈로그에 있는 종류의 과학 계산을 프로세서와 그래픽카드에서 실행합니다.

• 큰 행렬 곱: 많은 과학 계산의 핵심으로, 한 대의 머신에 너무 크면 여러 조각으로 나뉩니다.
• 텐서 연산 그래프에 대한 계산: 45개가 넘는 연산자(산술, 리덕션, 정수 텐서, 사용자 정의 수식 등)로 이루어진 그래프로 기술된 계산입니다. 예를 들어 Python 패키지가 PyTorch 프로그램에서 캡처한 것입니다.
• 머신러닝 모델 학습: 합성곱 신경망, 트랜스포머, 언어 모델. 어떤 기여자의 머신보다 큰 모델은 스테이지(차례로 계산되는 레이어 묶음), 타일(여러 조각으로 나눈 큰 행렬), 마이크로배치로 자동 분할됩니다.

여러분이 계산을 기술하면, 그리드는 자체적으로 검증한 연산으로 이를 계산합니다. 다른 종류의 계산도 차차 카탈로그에 추가됩니다. 연구에 무엇이 필요한지 알려 주세요.

계산이 진행되는 방식

1. 연구실에 설치하는 작은 서비스인 연구실의 노드가 데이터를 보관하고, 계산을 작업으로 나눕니다.
2. 기여자의 머신이 입력을 가져와 계산하고, 결과를 돌려줍니다.
3. 모든 결과는 사용되기 전에 검증됩니다. 독립 검증기가 다시 계산하거나, 다른 기여자가 수행한 같은 계산과 비교합니다.
4. 승인된 결과가 결합되어 여러분의 결과가 됩니다. 학습 중인 모델이라면 이것이 한 라운드입니다. 그래디언트를 결합하고 옵티마이저 단계를 적용한 뒤 다음 라운드를 시작합니다.

여러분의 데이터

• 기본적으로 서버는 연구 데이터를 전혀 저장하지 않으며, 연구실의 노드는 데이터셋을 그대로 보내지 않습니다. 각 머신에는 계산할 연산과 각 작업에 필요한 숫자만 보냅니다.
• 이 숫자에는 파일 이름도, 무엇을 나타내는지에 대한 설명도 없습니다(텍스트는 숫자 토큰으로 전달됩니다). 데이터는 계산 중에 암호화되지 않습니다. 픽셀 배열은 여전히 이미지로 표시할 수 있고, 토큰은 다시 텍스트로 바꿀 수 있습니다. 기밀로 유지해야 하는 데이터(예: 개인정보나 의료 데이터)는 공개 그리드에 보내지 마세요.

이용 방법

계정에서 이용 신청하기: 이메일 주소로 로그인한 뒤 연구자 이용 신청서를 작성하세요. 문의: contact@gpugoblin.com.

비용

연구를 위한 그리드 사용은 무료입니다. 소프트웨어는 PolyForm Noncommercial 라이선스로 제공되며, 연구 및 모든 비상업적 용도에는 무료입니다. 상업적 이용에는 저작자와의 합의가 필요합니다.