詳解Python如何實現惰性匯入-lazy import

2022-10-20 14:02:51

前言

如果你的 Python 程式程式有大量的 import，而且啟動非常慢，那麼你應該嘗試懶匯入，本文分享一種實現惰性匯入的一種方法。雖然PEP0690已經提案讓 Python 編譯器（-L) 或者標準庫加入這個功能，但目前的 Python 版本還未實現。

眾所周知，Python 應用程式在執行使用者的實際操作之前，會執行 import 操作，不同的模組可能來自不同的位置，某些模組的執行可能非常耗時，某些模組可能根本不會被使用者呼叫，因此很多模組的匯入純粹是浪費時間。

因此我們需要惰性匯入，當應用惰性匯入時，執行 import foo 僅僅會把名字 foo 新增到全域性的全名空間（globals()）中作為一個懶參照（lazy reference），編譯器遇到任何存取 foo 的程式碼時才會執行真正的 import 操作。類似的，from foo import bar 會把 bar 新增到名稱空間，當遇到呼叫 bar 的程式碼時，就把 foo 匯入。

寫程式碼實現

那怎麼寫程式碼實現呢？其實不必寫程式碼實現，已經有專案實現了懶匯入功能，那就是 TensorFlow，它的程式碼並沒有任何三方庫依賴，我把它放到這裡，以後大家需要懶匯入的時候直接把LazyLoader類複製到自己的專案中去即可。

原始碼如下：

# Code copied from https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/util/lazy_loader.py
"""A LazyLoader class."""

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import importlib
import types


class LazyLoader(types.ModuleType):
  """Lazily import a module, mainly to avoid pulling in large dependencies.

  `contrib`, and `ffmpeg` are examples of modules that are large and not always
  needed, and this allows them to only be loaded when they are used.
  """

  # The lint error here is incorrect.
  def __init__(self, local_name, parent_module_globals, name):  # pylint: disable=super-on-old-class
    self._local_name = local_name
    self._parent_module_globals = parent_module_globals

    super(LazyLoader, self).__init__(name)

  def _load(self):
    # Import the target module and insert it into the parent's namespace
    module = importlib.import_module(self.__name__)
    self._parent_module_globals[self._local_name] = module

    # Update this object's dict so that if someone keeps a reference to the
    #   LazyLoader, lookups are efficient (__getattr__ is only called on lookups
    #   that fail).
    self.__dict__.update(module.__dict__)

    return module

  def __getattr__(self, item):
    module = self._load()
    return getattr(module, item)

  def __dir__(self):
    module = self._load()
    return dir(module)

程式碼說明：

類 LazyLoader 繼承自 types.ModuleType，初始化函數確保惰性模組將像真正的模組一樣正確新增到全域性變數中，只要真正用到模組的時候，也就是執行 __getattr__ 或 __dir__ 時，才會真正的 import 實際模組，更新全域性變數以指向實際模組，並且將其所有狀態（__dict__）更新為實際模組的狀態，以便對延遲載入的參照，載入模組不需要每次存取都經過載入過程。

程式碼使用：

正常情況下我們這樣匯入模組：

import tensorflow.contrib as contrib

其對應的惰性匯入版本如下：

contrib = LazyLoader('contrib', globals(), 'tensorflow.contrib')

PEP0690 建議的做法

PEP0690 的提案是在編譯器（ C 程式碼）層面實現，這樣效能會更好。其使用方法有兩種。

其一

一種方式是執行 Python 指令碼時加入 -L 引數，比如有兩個檔案 spam.py 內容如下：

import time
time.sleep(10)
print("spam loaded")

egg.py 內容如下：

import spam
print("imports done")

正常匯入情況下，會等 10 秒後先列印 "spam loaded"，然後列印 "imports done"，當執行 python -L eggs.py 時，spam 模組永遠不會匯入，應用 spam 模組壓根就沒有用到。如果 egg.py 內容如下：

import spam
print("imports done")
spam

當執行 python -L eggs.py 時會先列印 "imports done"，10 秒之後列印 "spam loaded")。

其二

另一種方式是呼叫標準庫 importlib 的方法：

import importlib 
importlib.set_lazy_imports(True)

如果某些模組不能懶載入，需要排除，可以這樣

import importlib 
importlib.set_lazy_imports(True,excluding=["one.mod", "another"])

還可以這樣：

from importlib import eager_imports

with eager_imports():
    import foo
    import bar

到此這篇關於詳解Python如何實現惰性匯入-lazy import的文章就介紹到這了,更多相關Python惰性匯入內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

詳解Python如何實現惰性匯入-lazy import

目錄

前言

寫程式碼實現

PEP0690 建議的做法

其一

其二

熱門文章