Éî¶Èѧϰ¿ò¼ÜPyTorch(ÈëÃÅÓëʵ¼ùµÚ2°æ)

µÚ 1 Õ Éî¶Èѧϰ¿ò¼Ü¼ò½é 1
1£®1 Éî¶Èѧϰ¿ò¼Ü±àÄêÊ· 1
1£®2 PyTorch Óë TensorFlow µÄ¶Ô±È 6
1£®3 ΪʲôѡÔñ PyTorch 8
µÚ 2 Õ PyTorch ¿ìËÙÈëÃÅ 11
2£®1 °²×°ÓëÅäÖà 11
2£®1£®1 ÔÚ Linux ϵͳÏ°²×° PyTorch 11
2£®1£®2 ÔÚ Windows ϵͳÏ°²×° PyTorch 13
2£®1£®3 ѧϰ¹¤¾ß½éÉÜ 14
2£®1£®4 ·þÎñÆ÷¿ª·¢½éÉÜ 23
2£®2 PyTorch ¿ìËÙÈëÃÅÖ¸ÄÏ 23
2£®2£®1 Tensor 23
2£®2£®2 autograd£º×Ô¶¯Î¢·Ö 29
2£®2£®3 Éñ¾­ÍøÂç 31
2£®2£®4 СÊÔÅ£µ¶£ºCIFAR-10 ·ÖÀà 36
2£®3 С½á 42
µÚ 3 Õ Tensor ºÍ autograd 43

3.1 Tensor »ù´¡ 43

3£®1£®1 Tensor µÄ»ù±¾²Ù×÷ 43
3£®1£®2 ÃüÃûÕÅÁ¿ 60
3£®1£®3 Tensor Óë NumPy 61
3£®1£®4 Tensor µÄ»ù±¾½á¹¹ 63
3£®1£®5 ±äÐμǣºN Öָıä Tensor ÐÎ×´µÄ·½·¨ 65
3£®2 СÊÔÅ£µ¶£ºÏßÐԻعé 70
3£®3 autograd ºÍ¼ÆËãͼ»ù´¡ 73
3£®3£®1 autograd µÄÓ÷¨£ºrequires_grad Óë backward 73
3£®3£®2 autograd µÄÔ­Àí£º¼ÆËãͼ 76
3£®3£®3 À©Õ¹ autograd£ºFunction 83
3£®3£®4 СÊÔÅ£µ¶£ºÀûÓà autograd ʵÏÖÏßÐԻعé 84
3£®4 С½á 87
µÚ 4 Õ Éñ¾­ÍøÂ繤¾ßÏä nn 89
4£®1 nn£®Module 89
4£®2 ³£ÓõÄÉñ¾­ÍøÂç²ã 93
4£®2£®1 ͼÏñÏà¹Ø²ã 93
4£®2£®2 ¼¤»îº¯Êý 97
4£®2£®3 ¹¹½¨Éñ¾­ÍøÂç 98
4£®2£®4 Ñ­»·Éñ¾­ÍøÂç 101
4£®2£®5 Ëðʧº¯Êý 102
4£®3 nn£®functional 103
4£®3£®1 nn£®functional Óë nn£®Module µÄÇø±ð 103
4£®3£®2 ²ÉÑùº¯Êý 105
4£®4 ³õʼ»¯²ßÂÔ 106
4£®5 ÓÅ»¯Æ÷ 107
4£®6 nn£®Module ÉîÈë·ÖÎö 109
4£®7 СÊÔÅ£µ¶£º´î½¨ ResNet 116
4£®8 С½á 120
µÚ 5 Õ PyTorch Öг£ÓõŤ¾ß 121
5£®1 Êý¾Ý´¦Àí 121
5£®1£®1 Dataset121
5£®1£®2 DataLoader 128
5£®2 ԤѵÁ·Ä£ÐÍ 135
5£®3 ¿ÉÊÓ»¯¹¤¾ß 137
5£®3£®1 TensorBoard 137
5£®3£®2 Visdom 143
5£®4 ʹÓà GPU ¼ÓËÙ£ºCUDA 148
5£®5 С½á 154
µÚ 6 Õ ÏòÁ¿»¯ 155
6£®1 ÏòÁ¿»¯¼ò½é 155
6£®2 ¹ã²¥·¨Ôò 156
6£®3 Ë÷Òý²Ù×÷ 157
6£®3£®1 »ù±¾Ë÷Òý 157
6£®3£®2 ¸ß¼¶Ë÷Òý 161
6£®3£®3 einsum / einops 173
6£®4 СÊÔÅ£µ¶£ºÊ¹ÓÃÏòÁ¿»¯Ë¼Ïë½â¾öʵ¼ÊÎÊÌâ 179
6£®4£®1 Box_IoU 179
6£®4£®2 RoI Align 181
6£®4£®3 ·´Ïò Unique 185
6£®5 С½á 185
µÚ 7 ÕÂ PyTorch Óë Multi-GPU 187
7£®1 µ¥»ú¶à¿¨²¢ÐÐ 187
7£®1£®1 ²¢ÐÐÔ­Àí½éÉÜ 187
7£®1£®2 DataParallel ʹÓÃʾÀý 189
7£®2 ·Ö²¼Ê½ÏµÍ³ 191
7£®2£®1 ·Ö²¼Ê½ÏµÍ³µÄ»ù±¾¸ÅÄî 191
7£®2£®2 ·Ö²¼Ê½ÏûÏ¢´«µÝ½Ó¿Ú 192
7£®2£®3 СÊÔÅ£µ¶£º·Ö²¼Ê½¼ÆËãʵ²ÙÑÝÁ· 196
7£®3 PyTorch ·Ö²¼Ê½ÑµÁ· 198
7£®3£®1 ʹÓà MPI ½øÐзֲ¼Ê½ÑµÁ· 198
7£®3£®2 ʹÓà torch£®distributed ½øÐзֲ¼Ê½ÑµÁ· 201
7£®3£®3 ʹÓà Horovod ½øÐзֲ¼Ê½ÑµÁ· 203
7£®4 ·Ö²¼Ê½ÑµÁ·ÖеÄ×¢ÒâÊÂÏî 206
7£®4£®1 ±£³Öͬ²½ 206
7£®4£®2 ½ø³ÌЭ×÷ 207
7£®4£®3 ³£Óõ÷ÊÔ¼¼ÇÉ 208
7£®5 ½ø½×À©Õ¹ 209
7£®6 С½á 210
µÚ 8 Õ CUDA À©Õ¹Óë±àÒë 211
8£®1 PyTorch C++ À©Õ¹¼ò½é 211
8£®1£®1 C++ À©Õ¹ 211
8£®1£®2 CUDA À©Õ¹ 216
8£®2 CUDA¡¢NVIDIA-driver¡¢cuDNN¡¢PyTorch Ö®¼äµÄ¹Øϵ 222
8£®3 С½á 225
µÚ 9 Õ PyTorch ʵսָÄÏ 227
9£®1 ±à³Ìʵս£ºÃ¨ºÍ¹·¶þ·ÖÀà 227
9£®1£®1 ±ÈÈü½éÉÜ 228
9£®1£®2 Îļþ×éÖ¯½á¹¹ 228
9£®1£®3 __init__£®py 229
9£®1£®4 Êý¾Ý¼ÓÔØ 230
9£®1£®5 Ä£ÐͶ¨Òå 232
9£®1£®6 ¹¤¾ßº¯Êý 233
9£®1£®7 ÅäÖÃÎļþ 235
9£®1£®8 main£®py 237
9£®1£®9 ʹÓà 244
9£®1£®10 ÕùÒé 244
9£®2 PyTorch µ÷ÊÔÖ¸ÄÏ 246
9£®2£®1 ipdb ½éÉÜ 246
9£®2£®2 ÔÚ PyTorch Öе÷ÊÔ 250
9£®3 С½á 254
µÚ 10 Õ AI ²å»­Ê¦£ºÉú³É¶Ô¿¹ÍøÂç 255
10£®1 GAN Ô­Àí¼ò½é 255
10£®2 ʹÓà GAN Éú³É¶¯ÂþÈËÎïÍ·Ïñ 259
10£®3 ʵÑé½á¹û·ÖÎö 268
10£®4 С½á 269
µÚ 11 Õ AI Ê«ÈË£ºÓà Transformer дʫ 271
11£®1 ×ÔÈ»ÓïÑÔ´¦ÀíµÄ»ù´¡ÖªÊ¶ 271
11£®1£®1 ´ÊÏòÁ¿ 271
11£®1£®2 RNN 274
11£®2 CharRNN 277
11£®3 Transformer 278
11£®3£®1 ×Ô×¢ÒâÁ¦Ä£¿é 280
11£®3£®2 λÖñàÂëÄ£¿é 281
11£®4 ʹÓà PyTorch ʵÏÖ Transformer дʫ 282
11£®5 С½á 294
µÚ 12 Õ AI ÒÕÊõ¼Ò£ºÉñ¾­ÍøÂç·ç¸ñǨÒÆ 295
12£®1 ·ç¸ñǨÒÆÔ­Àí½éÉÜ 296
12£®2 ʹÓà PyTorch ʵÏÖ·ç¸ñǨÒÆ 300
12£®3 ʵÑé½á¹û·ÖÎö 308
12£®4 С½á 310
µÚ 13 Õ CenterNet£ºÄ¿±ê¼ì²â 311
13£®1 Ä¿±ê¼ì²â¸ÅÊö 311
13£®2 CenterNet Ô­Àí½éÉÜ 313
13£®3 ʹÓà PyTorch ʵÏÖ CenterNet 318
13£®3£®1 ʹÓà pycocotools ¼ÓÔØ COCO Êý¾Ý¼¯ 318
13£®3£®2 ´î½¨ CenterNet ÍøÂç 319
13£®4 ʵÑé½á¹û·ÖÎö 328
13£®5 С½á 330
²Î¿¼ÎÄÏ× 331