使用Python在Pandas中读取CSV文件时的UnicodeDecodeError

5 回答

• 0

  read_csv 采用 encoding 选项来处理不同格式的文件 . 我主要使用 read_csv('file', encoding = "ISO-8859-1") ，或者 encoding = "utf-8" 用于阅读，一般 utf-8 用于 to_csv .

  您也可以使用alias 'latin1' 而不是 'ISO-8859-1' .

  请参阅relevant Pandas documentation，python docs examples on csv files以及SO上的大量相关问题 .

  回复于 2024-05-04T04:05:01+08:00
• 16

  Simplest of all Solutions:

  • 在Sublime文本编辑器中打开csv文件 .

  • 以utf-8格式保存文件 .

  在sublime中，单击文件 - >使用编码保存 - > UTF-8

  然后，您可以照常阅读您的文件：

  import pandas as pd
  data = pd.read_csv('file_name.csv', encoding='utf-8')
  

  EDIT 1:

  如果有许多文件，则可以跳过sublime步骤 .

  只需阅读文件即可

  data = pd.read_csv('file_name.csv', encoding='utf-8')
  

  和其他不同的编码类型是：

  encoding = "cp1252"
  encoding = "ISO-8859-1"
  

  回复于 2024-05-04T04:05:01+08:00
• 439

  Pandas允许指定编码，但不允许忽略错误而不是自动替换有问题的字节 . 所以没有一种尺寸适合所有方法，但根据实际使用情况不同的方式 .

  • 您知道编码，文件中没有编码错误 . 太棒了：你只需要指定编码：

  file_encoding = 'cp1252'        # set file_encoding to the file encoding (utf8, latin1, etc.)
  pd.read_csv(input_file_and_path, ..., encoding=file_encoding)
  

  • 你不想被编码问题困扰，只想加载那个该死的文件，无论一些文本字段是否包含垃圾 . 好的，您只需要使用 Latin1 编码，因为它接受任何可能的字节作为输入（并将其转换为相同代码的unicode字符）：

  pd.read_csv(input_file_and_path, ..., encoding='latin1')
  

  • 您知道大多数文件都是使用特定编码编写的，但它也包含编码错误 . 一个真实世界的例子是一个UTF8文件，它是用非utf8编辑器编辑的，它包含一些具有不同编码的行 . Pandas没有提供特殊的错误处理，但Python open 函数有（假设是Python3），而 read_csv 接受像object这样的文件 . 这里使用的典型错误参数是 'ignore' ，它只是抑制有问题的字节或（恕我直言更好） 'backslashreplace' ，它用Python的反斜杠转义序列替换有问题的字节：

  file_encoding = 'utf8'        # set file_encoding to the file encoding (utf8, latin1, etc.)
  input_fd = open(input_file_and_path, encoding=file_encoding, errors = 'backslashreplace')
  pd.read_csv(input_fd, ...)
  

  回复于 2024-05-04T04:05:01+08:00
• 6

  挣扎了一段时间，并认为我会发布这个问题，因为这是第一个搜索结果 . 将encoding ='iso-8859-1“标签添加到pandas read_csv不起作用，也没有任何其他编码，继续给出UnicodeDecodeError .

  如果要将文件句柄传递给pd.read_csv（），则需要在文件上打开encoding =属性，而不是在read_csv中 . 事后看来很明显，但要追踪到一个微妙的错误 .

  回复于 2024-05-04T04:05:01+08:00
• 1

  with open('filename.csv') as f:
     print(f)
  

  执行此代码后，您将找到'filename.csv'的编码，然后按如下方式执行代码

  data=pd.read_csv('filename.csv', encoding="encoding as you found earlier"
  

  你去吧

  回复于 2024-05-04T04:05:01+08:00