PyTorch

PyTorch
Тип	Библиотека машинного и глубокого обучения
Авторы	Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan
Написана на	Python, C++, CUDA
Операционные системы	Linux, macOS, Windows
Первый выпуск	октябрь 2016
Последняя версия	2.5.1 (29 октября 2024)[1]
Репозиторий	github.com/pytorch/pytor…
Лицензия	BSD
Сайт	pytorch.org (англ.)
Медиафайлы на Викискладе

PyTorch — фреймворк машинного обучения для языка Python с открытым исходным кодом, созданный на базе Torch^[2][3][4]. Используется для решения различных задач: компьютерное зрение, обработка естественного языка.^[5] Разрабатывается преимущественно группой искусственного интеллекта Facebook^[6][7][8]. Также вокруг этого фреймворка выстроена экосистема^[9], состоящая из различных библиотек, разрабатываемых сторонними командами: PyTorch Lightning и Fast.ai^[10], упрощающие процесс обучения моделей, Pyro (модуль для вероятностного программирования^[англ.]) от Uber^[11], Flair^[12] для обработки естественного языка и Catalyst^[13] для обучения DL- и RL-моделей.

PyTorch предоставляет две основные высокоуровневые модели:^[14]

• Тензорные вычисления (по аналогии с NumPy) с развитой поддержкой ускорения на GPU;
• Глубокие нейронные сети на базе системы autodiff.

Тензоры не представляют собой чего-либо особенного, просто являясь многомерными массивами. Тензоры PyTorch (Tensors) похожи на массивы пакета NumPy, но дополнительно могут обрабатываться на видеоускорителях. PyTorch поддерживает различные типы тензоров.^[15]

PyTorch использует метод автоматической дифференциации. Производится запись вычислений, произведенных в прямом направлении, затем производится воспроизведение в обратном порядке для вычисления градиентов (backpropagation). Этот метод особенно полезен при построении нейронных сетей, так как позволяет рассчитывать дифференциальные поправки параметров одновременно с прямым проходом.

torch.optim — модуль, реализующий несколько алгоритмов оптимизации, используемых при построении нейронных сетей. Реализовано большинство наиболее часто используемых методов.

Модуль PyTorch autograd позволяет легко определять вычислительные графы и работать с градиентами, однако может быть слишком низкоуровневой для определения сложных нейронных сетей. Более высокоуровневой абстракцией для таких применений является модуль nn.

Следующий код демонстрирует функциональность библиотеки на простом примере:^[16][17]

import torch
dtype = torch.float
device = torch.device("cpu") # This executes all calculations on the CPU
# device = torch.device("cuda:0") # This executes all calculations on the GPU

# Creation of a tensor and filling of a tensor with random numbers
a = torch.randn(2, 3, device=device, dtype=dtype)
print(a) # Output of tensor A
# Output: tensor([[-1.1884,  0.8498, -1.7129],
#                  [-0.8816,  0.1944,  0.5847]])

# Creation of a tensor and filling of a tensor with random numbers
b = torch.randn(2, 3, device=device, dtype=dtype)
print(b) # Output of tensor B
# Output: tensor([[ 0.7178, -0.8453, -1.3403],
#                  [ 1.3262,  1.1512, -1.7070]])

print(a*b) # Output of a multiplication of the two tensors
# Output: tensor([[-0.8530, -0.7183,  2.58],
#                  [-1.1692,  0.2238, -0.9981]])

print(a.sum()) # Output of the sum of all elements in tensor A
# Output: tensor(-2.1540)

print(a[1,2]) # Output of the element in the third column of the second row
# Output: tensor(0.5847)

print(a.min()) # Output of the minimum value in tensor A
# Output: tensor(-1.7129)

• Сравнение программ глубокого обучения
• Torch (машинное обучение)

• Макмахан Б., Рао Д. Знакомство с PyTorch: глубокое обучение при обработке естественного языка = Natural Language Processing with PyTorch. Build Intelligent Language Applications Using Deep Learning. — Питер, 2020. — 256 с. — ISBN 978-5-4461-1241-8.

• pytorch.org — официальный сайт PyTorch
• https://habr.com/post/334380/
• https://habr.com/company/otus/blog/358096/