Tensorflow中使用cpu和gpu有什麼區別

2022-05-16 19:00:25

使用cpu和gpu的區別

在Tensorflow中使用gpu和cpu是有很大的差別的。在小資料集的情況下，cpu和gpu的效能差別不大。

不過在巨量資料集的情況下，cpu的時間顯著增加，而gpu變化並不明顯。

不過，我的筆記型電腦的風扇終於全功率執行了。

import tensorflow as tf
import timeit
import numpy as np
import matplotlib.pyplot as plt
def cpu_run(num):
  with tf.device('/cpu:0'):
    cpu_a=tf.random.normal([1,num])
    cpu_b=tf.random.normal([num,1])
    c=tf.matmul(cpu_a,cpu_b)
  return c
def gpu_run(num):
  with tf.device('/gpu:0'):
    gpu_a=tf.random.normal([1,num])
    gpu_b=tf.random.normal([num,1])
    c=tf.matmul(gpu_a,gpu_b)
  return c
k=10
m=7
cpu_result=np.arange(m,dtype=np.float32)
gpu_result=np.arange(m,dtype=np.float32)
x_time=np.arange(m)
for i in range(m):
  k=k*10
  x_time[i]=k
  cpu_str='cpu_run('+str(k)+')'
  gpu_str='gpu_run('+str(k)+')'
  #print(cpu_str)
  cpu_time=timeit.timeit(cpu_str,'from __main__ import cpu_run',number=10)
  gpu_time=timeit.timeit(gpu_str,'from __main__ import gpu_run',number=10)
  # 正式計算10次，取平均時間
  cpu_time=timeit.timeit(cpu_str,'from __main__ import cpu_run',number=10)
  gpu_time=timeit.timeit(gpu_str,'from __main__ import gpu_run',number=10)
  cpu_result[i]=cpu_time
  gpu_result[i]=gpu_time
print(cpu_result)
print(gpu_result)
fig, ax = plt.subplots()
ax.set_xscale("log")
ax.set_adjustable("datalim")
ax.plot(x_time,cpu_result)
ax.plot(x_time,gpu_result)
ax.grid()
plt.draw()
plt.show()

藍線是cpu的耗時，而紅線是gpu的耗時。

一些術語的比較(tensorflow和pytorch/cpu和gpu/)

tensorflow和pytorch

pytorch是一個動態框架，tensorflow是一個靜態框架。
tensorflow是一個靜態框架體現在：需要先構建一個tensorflow的計算圖，構建好之後這樣的一個計算圖是不能變的，然後再傳入不同的資料進去進行計算。
這種靜態框架帶來的問題是：固定了計算的流程，勢必帶來不靈活性，如果要改變計算的邏輯或者是隨著時間變化的計算邏輯，這樣的動態計算tensorflow是是無法實現的。
pytorch是一個動態框架，和python的邏輯一樣，對變數做任何操作都是靈活的。
一個好的框架需要具備三點：（1）對大的計算圖能方便的實現（2）能自動求變數的導數（3）能簡單的執行在GPU上。這三點pytorch都可以達到
tensorflow在gpu上的分散式計算更為出色，在資料量巨大的時候效率比pytorch要高。企業很多都是用的tensorflow，pytorch在學術科研上使用多些。
pytorch包括三個層次：tensor/variable/module。tensor即張量的意思，由於是矩陣的運算，所以適合在矩陣上跑。variable就是tensor的封裝，封裝的目的就是為了能夠儲存住該variable在整個計算圖中的位置，能夠知道計算圖中各個變數之間的相互依賴關係，這樣就能夠反向求梯度。module是一個更高的層次，是一個神經網路的層次，可以直接呼叫全連線層、折積層等神經網路。

cpu和gpu

cpu更少的核，但是單個核的計算能力很強
gpu:更多的核，每個核的計算能力不如cpu，所以更適合做平行計算，如矩陣計算，深度學習就是很多的矩陣計算。

cuda

直接寫cuda程式碼就類似寫組合語言
比cuda高階的是cudnn
比cudnn高階的是用框架tensorflow/caffe/pytorch

以上為個人經驗，希望能給大家一個參考，也希望大家多多支援it145.com。

Tensorflow中使用cpu和gpu有什麼區別

目錄

使用cpu和gpu的區別

一些術語的比較(tensorflow和pytorch/cpu和gpu/)

tensorflow和pytorch

cpu和gpu

cuda

熱門文章