jtyoui.neuralNetwork.communal package¶

Submodules¶

jtyoui.neuralNetwork.communal.formatTo.format_CRF_to_ERNIE(load_file, save_file, newline='\n')[源代码]¶

将CRF训练的格式转为ERNIE训练的格式

[CRF]

中 B-ORG

共 I-ORG

中 I-ORG

央 I-ORG

致 O

中 B-ORG

国 I-ORG

致 I-ORG

公 I-ORG

党 I-ORG

十 I-ORG

一 I-ORG

大 I-ORG

的 O

贺 O

词 O

[ERNIE]

中共中央致中国致公党十一大的贺词 B-ORGI-ORGI-ORGI-ORGOB-ORGI-ORGI-ORGI-ORGI-ORGI-ORGI-ORGI-ORGOOO

参数:	load_file – 加载数据的文件地址 save_file – 保存数据的文件地址 newline – 文件的换行符,默认是本机系统的换行符
返回:	文件地址

jtyoui.neuralNetwork.communal.load_label_data.get_vocab(path, tags)[源代码]¶

jtyoui.neuralNetwork.communal.process_data.load_data(train_path, dev_path=None)[源代码]¶

jtyoui.neuralNetwork.communal.process_data.process_data(data, vocab, max_len=100)[源代码]¶