0
点赞
收藏
分享

微信扫一扫

使用pandas的to_json方法将csv文件转换成一行一条记录数据的json文件

color_小浣熊 2022-04-21 阅读 59

项目场景:

注意
目前导入文件最大限制为50MB
导入导出文件无法保留索引和schema
导入导出csv时数据类型会丢失,即所有字段均会作为字符串导入
冲突处理模式为设定记录_id冲突时的处理方式,insert表示冲突时依旧导入记录但是是新插入一条,upsert表示冲突时更新已存在的记录
这里说的json文件并不是标准的json格式,而是形如下面这样每行一个json格式的数据库记录的文件

{"a":1}
{"a":2}

因为csv文件导入uniCloud云数据库会丢失数据类型,像数组会被变成字符串,不方便使用

如果字段里有数组被字符串包裹 可以使用以下代码转换

解决方案:

import pandas as pd
def fun (val):
  return eval(val)
file = pd.read_csv('a.csv', header=0)
final_df = pd.DataFrame(file)
# 以下是将被字符串包裹的数组转成数组
final_df['arr'] = final_df.apply(lambda i : fun(i.arr), axis=1)
final_df.to_json('b.json',orient='records', force_ascii=False,lines='orient')

to_json 与可选参数与介绍:

to_json的官方文档

举报

相关推荐

0 条评论