笔者最近正在研究openai方向内容,涉及到模型训练,模型训练当然少不了jsonl数据对模型的投喂,josn转jsonl有两种方式,一种本地安装openai的环境,配置好key后调用openai的tool方法进行转换,这样的转换成功后可以直接代码进行模型的训练.但是官网现成的可视化操作页面让我不想再配置冰冷的环境了,遂直接拿python对json的数据进行转换,转换后直接上传进行训练,转换代码如下
import json
# 假设您有一个包含多个JSON对象的列表
json_data = "josn数据"
# 指定输出的jsonl文件路径
output_file_path = '输出路径/output.jsonl'
# 将JSON数据写入JSON Lines文件
with open(output_file_path, 'w', encoding='utf-8') as jsonl_file:
for obj in json_data:
json_line = json.dumps(obj, ensure_ascii=False)
jsonl_file.write(json_line + '\n')
print('转换完成。')
如果还有研究openai的小伙伴遇到什么问题可以评论区留言讨论.毕竟现在都是摸着石头过河~大家一起探讨下更容易解决问题。
生命不息,代码不止!码农一枚,请多点赞
