關於Linux file命令是如何判斷檔案字元集的

今天在Linux使用file -i 檢視MYSQLDUMP檔案的時候其輸出為

charset=us-ascii with very long lines

我匯出的檔案應該是utf8的，為什麼會顯示ASCII呢，我們知道ASCII並沒有中文編碼，那麼真的有問題嗎？

然後用如下2個小程式測試了一下

#include<stdio.h>

int main(void)
{
        FILE *p;
        int i=0;
        p=fopen("test11.txt","w+");
        fputs("Linux公社n",p);
        while(i<50000000)
        {
                fputs("test",p);
                i++;
        }

        fputs("n",p);
        fclose(p);
        return 0;
}

-------------------------------------------------------

#include<stdio.h>

int main(void)
{
        FILE *p;
        int i=0;
        p=fopen("test10.txt","w+");
        while(i<50000000)
        {
                fputs("test",p);
                i++;
        }

        fputs("n",p);
        fputs("Linux公社n",p);
        fclose(p);
        return 0;
}

實際上並沒有什麼不同這兩個檔案 test10 和test11 都有2行其中一個很長的行全部是test字串，第二行是Linux公社
明顯他們應該返回UTF8編碼，但是並不是
linuxidc@linuxidc:~$ file -i test10.txt
test10.txt: text/plain; charset=us-ascii
linuxidc@linuxidc:~$ file -i test11.txt
test11.txt: text/plain; charset=utf-8

可以看到如果"Linux公社"字串在第二行返回為ASCII而在第一行為UTF-8，我們可以推測出 file 命令是檢測檔案開頭的某些字元而返回的，並沒有全部檢視，或者有什麼其他演算法，但是他不是全部檢視。試想如果全部檢視一遍 一個200G的備份檔案瞬間就返回了結果也是不可能的。
在file的幫助中也明確的寫著
  Once file has determined the character set used in a text-type file, it will attempt to determine in what language the file is written.  The language tests
    look for particular strings (cf.  ) that can appear anywhere in the first few blocks of a file.

當然要知道具體的方法估計只有原始碼。

所以file -i檢測的並不一定是正確的字元集。

本文永久更新連結地址：http://www.linuxidc.com/Linux/2016-09/135421.htm