利用Python建立位置生成器的範例詳解

2022-06-15 18:02:06

介紹

在這篇文章中，我們將探索如何在美國各地城市的地圖資料和公共電動自行車訂閱源上訓練一個快速生成的對抗網路（GAN）模型。

然後，我們可以通過為包括東京在內的世界各地城市建立合成資料集來測試該模型的學習和概括能力。

git clone https://github.com/gretelai/GAN-location-generator.git

在之前的一篇部落格中，我們根據電子自行車訂閱源中的精確位置資料訓練了一個基於LSTM的語言模型，並使用該模型為相同地區（如加利福尼亞州聖莫尼卡）生成合成和隱私增強資料集。

通過以不同的方式構建問題，並結合地圖資料作為背景，我們可以建立一個模型，生成人類可能存取世界各地的精確位置。

開始

我們可以通過將電動自行車位置資料編碼為畫素到影象中，然後訓練類似於CycleGAN、Pix2pix和StyleGAN的影象翻譯任務來對此進行建模。

在這篇文章中，我們將使用由pix2pix和CycleGAN的作者建立的FastCUT模型，因為它的記憶體效率高，訓練速度快（適用於更高解析度的位置）。

使用GitHub上完整的端到端範例，為自己的城市建立合成位置資料https://github.com/gretelai/GAN-location-generator.git

步驟

模擬訓練步驟

從地圖上精確的電動自行車位置建立DomainA
從相同的地圖建立DomainB，但不包含位置
訓練FastCUT 翻譯DomainB->DomainA

合成資料生成步驟

對於目標地理位置，請下載新地圖（DomainC）
在FastCUT模型上進行推理，以預測車的位置（DomainC->DomainA）
使用CV處理影象以查詢指示器位置並轉換為經緯度

建立訓練資料集

安裝依賴項後，執行python -m locations.create_training_data，建立一對512x512px地圖影象，分別新增和不新增位置資料。

接下來，在資料集上訓練我們的模型——本質上是訓練FastCUT模型，以預測電動自行車位置將在哪裡。

CUDA_VISIBLE_DEVICES=0 python train.py
--gpu_ids 0 --dataroot ./datasets/ebike_data
--name locations_FastCUT --CUT_mode FastCUT --n_epochs 30

FastCUT模型將資料記錄到Visdom，讓我們可以監控模型訓練。

在下面的圖中，我們可以看到模型損失在訓練期間減少，還可以看到影象翻譯任務的預覽。

第一個影象是真實的DomainA地圖資料，第二個是帶有預測的自行車位置（假的）的DomainA影象的翻譯版本，第三個是真實的DomainB位置。我們可以看到，即使經歷了25個epoch，該模型仍在學習預測合理的滑板車位置，例如街角和道路沿線。

當執行推薦的200個epoch時，該模型似乎過擬合，預測的滑板車位置從影象中消失。在這個例子中，我看到了30個epoch有最好的表現。

建立測試資料集

執行下面的命令，建立東京市中心的訓練資料集，或修改緯度和經度引數，為任何地理區域建立合成位置。

請注意，對於FastCUT python程式碼的工作方式，我們需要將地圖網格影象複製到testA和testB目錄中。

python -m location_utils.create_test_dataset --lat 35.652832 --lon 139.839478 --name Tokyo

現在，我們可以使用我們的模型來處理上面為網格建立的每個影象，以預測東京各地的電動自行車位置。

CUDA_VISIBLE_DEVICES=0 python test.py --gpu_ids 0 
--dataroot ./datasets/ebike_data
--name locations_FastCUT 
--CUT_mode FastCUT --phase train --epoch 30 --num_test 225  
--preprocess scale_width --load_size 256

檢視單個影象的結果：

將合成影象轉換回座標

現在我們的任務是把合成電動自行車從東京拍攝到的影象轉換成真實世界的座標，以建立我們的合成位置資料集。

為了提取電動自行車的位置，我們使用OpenCV應用了一個影象遮罩，該遮罩可以搜尋影象中的任何一組洋紅色畫素。

建立遮罩後，我們可以計算遮罩中任何畫素與影象檔名中編碼的中心點緯度和經度之間的距離。

import cv2 as cv
import numpy as np
 
def find_points(img_path: str) -> list:
    
    """ Return the pixel offsets of magenta-colored pixels in image """
    
    image = cv.imread(img_path)
    
    lower = np.array([225, 0, 225])
    
    upper = np.array([255, 5, 255])
    
    shape_mask = cv.inRange(image, lower, upper)
    
    pixel_x, pixel_y = np.where(shape_mask > 0)
    
    return pixel_x, pixel_y

請注意，根據城市在世界上的位置，每個緯度或經度之間的物理距離可能會發生顯著變化，在將畫素對映到位置時，我們需要使用基於橢球體的模型來計算精確的偏移量。

幸運的是，geopy Python庫使這變得很容易。

import geopy.distance
 
def point_to_geo(center_lat: float, center_lon: float, point_x: float, point_y: float) -> list:
    """ Convert pixel offset and center points to lat/lon coordinates"""
    
    # Center map around current lat / lon points
    
    d = geopy.distance.distance(kilometers=np.sqrt(box_side_km ** 2 + box_side_km ** 2))
    
    ne = d.destination(point=geopy.Point(center_lat, center_lon), bearing=315)
 
    pixel_to_km = box_side_km * 2 / image_pixels
 
    lat_d = geopy.distance.distance(kilometers=pixel_to_km * point_x)
    
    lon_d = geopy.distance.distance(kilometers=pixel_to_km * point_y)
    
    point_lat = lat_d.destination(point=ne, bearing=180).latitude
    
    point_lon = lon_d.destination(point=ne, bearing=90).longitude
    
    return [point_lat, point_lon]

下圖使用cv2.imshow函數預覽遮罩影象，然後將其轉換回緯度和經度座標。