Node.js 子執行緒Crash 問題的排查方法

2022-06-26 18:02:01

前言：昨天碰到了一個 worker_threads crash 的問題，最終經過閱讀原始碼和偵錯找到了具體原因。不得不說，閱讀原始碼是解決問題的非常有效的方法。

程式碼例子如下。

index.js:

const addon = require.resolve('./build/Release/addon.node');
// this makes addon not be unloaded
require(addon);
const { Worker } = require('worker_threads');
new Worker(`require('${addon}').start();`, {eval: true});

event_loop.cc:

#include "event_loop.h"
void on_close(uv_handle_t *handle){
    delete handle;
}
void cleanup(void* data){
    uv_close((uv_handle_t *)data, on_close);
}
void Start(const Napi::CallbackInfo &args){
    Napi::Env env = args.Env();
    uv_loop_t *loop;
    v8::Isolate* isolate = v8::Isolate::GetCurrent();
    napi_get_uv_event_loop(env, &loop);
    uv_prepare_t* prepare_handle = new uv_prepare_t;
    uv_prepare_init(loop, prepare_handle);
    uv_unref((uv_handle_t *)prepare_handle);
    uv_prepare_start(prepare_handle, [](uv_prepare_t *handle) {});
    node::AddEnvironmentCleanupHook(isolate, cleanup, prepare_handle);
}
Napi::Object Initialize(Napi::Env env, Napi::Object exports){
    exports.Set(Napi::String::New(env, "start"), Napi::Function::New(env, Start));
    return exports;
}
NODE_API_MODULE(NODE_GYP_MODULE_NAME, Initialize)

總的來說就是我需要在 worker_threads 裡使用 addon，然後在子執行緒退出時發生了 segmentation fault，但是在主執行緒裡是沒問題的（完整程式碼可參考 https://github.com/theanarkh/test_worker_thread）。首先分析下上面程式碼的過程，當在 JS 層執行 start 的時候，就會往 loop 裡面插入一個任務，並通過 AddEnvironmentCleanupHook 註冊了一個回撥，這個回撥線上程退出時會被執行，執行完 start 後執行緒就退出了，所以這時候 AddEnvironmentCleanupHook 的回撥 cleanup 會被執行，cleanup 裡呼叫 uv_close 關閉 handle，接著線上程真正退出時會執行一次 uv_run 處理 uv_close 的回撥，從而釋放記憶體。問題發生在執行 uv_close 的回撥時出現了 crash。通過偵錯發現呼叫 uv_close 時傳入的回撥函數地址是 A，但是最終執行時地址變成了 B，而 B 是一個非法地址，從而導致了 crash。出現這個問題時，我就開始偵錯，嘗試找出哪裡修改了這個地址，但是無果，最終靠靈光一現，想到了動態連結庫被解除安裝的問題，然後通過打斷點發現果然如此。

下面通過 Node.js 的原始碼來分析這個問題。

WorkerThreadData data(this);
  {
    Locker locker(isolate_);
    Isolate::Scope isolate_scope(isolate_);
    SealHandleScope outer_seal(isolate_);
    DeleteFnPtr<Environment, FreeEnvironment> env_;
    // 離開作用域時執行 env_.reset();
    auto cleanup_env = OnScopeLeave([&]() {
      isolate_->CancelTerminateExecution();
      env_.reset();
    });
    // 初始化子執行緒
    {
      HandleScope handle_scope(isolate_);
      Local<Context> context;
      {
        TryCatch try_catch(isolate_);
        context = NewContext(isolate_);
      }
      Context::Scope context_scope(context);
      {
        env_.reset(CreateEnvironment(
            data.isolate_data_.get(),
            context,
            std::move(argv_),
            std::move(exec_argv_),
            static_cast<EnvironmentFlags::Flags>(environment_flags_),
            thread_id_,
            std::move(inspector_parent_handle_)));
      }
      {
        Mutex::ScopedLock lock(mutex_);
        if (stopped_) return;
        this->env_ = env_.get();
      }
      {
        if (LoadEnvironment(env_.get(), StartExecutionCallback{}).IsEmpty())
          return;
      }
    }
    // 進入子執行緒事件迴圈
    {
      Maybe<int> exit_code = SpinEventLoop(env_.get());
      Mutex::ScopedLock lock(mutex_);
      if (exit_code_ == 0 && exit_code.IsJust()) {
        exit_code_ = exit_code.FromJust();
      }
    }
  }

上面是子執行緒執行時的核心邏輯，當子執行緒退出時，OnScopeLeave 的第一個函數引數會被執行，從而執行 env_.reset()，接著執行 FreeEnvironment。

void FreeEnvironment(Environment* env) {
  Isolate* isolate = env->isolate();
  Isolate::DisallowJavascriptExecutionScope disallow_js(isolate,
      Isolate::DisallowJavascriptExecutionScope::THROW_ON_FAILURE);
  {
    HandleScope handle_scope(isolate);  // For env->context().
    Context::Scope context_scope(env->context());
    SealHandleScope seal_handle_scope(isolate);
    env->set_stopping(true);
    env->stop_sub_worker_contexts();
    // 執行 AddEnvironmentCleanupHook 回撥
    env->RunCleanup();
    RunAtExit(env);
  }
  MultiIsolatePlatform* platform = env->isolate_data()->platform();
  if (platform != nullptr)
    platform->DrainTasks(isolate);
  // 刪除 env 物件
  delete env;
}

FreeEnvironment 首先通過來 RunCleanup 執行通過 AddEnvironmentCleanupHook 註冊的回撥，回到開始的程式碼就是執行 uv_close 往 loop 裡插入一個回撥。接著 FreeEnvironment 刪除了 env 物件，接下來看 env 的解構函式中相關的程式碼。

if (!is_main_thread()) {
    for (binding::DLib& addon : loaded_addons_) {
      addon.Close();
    }
  }

如果當前是子執行緒，解構函式會呼叫 addon.Close() 關閉動態連結庫，也就是 addon，當 addon 的參照數為 0 就會被解除安裝。因為只有子執行緒裡用到了 addon 所以 addon 會被解除安裝。這時候 uv_close 回撥函數的地址就被修改了。env 處理完之後，接著是 WorkerThreadData 被解構，WorkerThreadData 解構函式中會再執行一次 uv_run 處理剩下的任務。

uv_run(&loop_, UV_RUN_ONCE);

所以 uv_close 的回撥就會被執行，因為這時候回撥函數的地址被修改成非法的了，所以導致了 crash。除了這個問題外，子執行緒退出前還會檢查 loop，如果還有任務沒有被關閉也會導致執行緒 crash。

void CheckedUvLoopClose(uv_loop_t* loop) {
  if (uv_loop_close(loop) == 0) return;
  PrintLibuvHandleInformation(loop, stderr);
  fflush(stderr);
  // Finally, abort.
  CHECK(0 && "uv_loop_close() while having open handles");
}

再看 uv_loop_close:

int uv_loop_close(uv_loop_t* loop) {
  QUEUE* q;
  uv_handle_t* h;
  if (uv__has_active_reqs(loop))
    return UV_EBUSY;
  QUEUE_FOREACH(q, &loop->handle_queue) {
    h = QUEUE_DATA(q, uv_handle_t, handle_queue);
    if (!(h->flags & UV_HANDLE_INTERNAL))
      return UV_EBUSY;
  }
  uv__loop_close(loop);
  if (loop == default_loop_ptr)
    default_loop_ptr = NULL;
  return 0;
}

總結：這個問題排查了很長的時間，最終靠一個切入點成功找到了問題，並通過原始碼深入瞭解了這個過程。原始碼，是學習一門技術非常重要的資料。

到此這篇關於Node.js 子執行緒Crash 問題的排查的文章就介紹到這了,更多相關Node.js 子執行緒Crash內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

Node.js 子執行緒Crash 問題的排查方法

熱門文章