CasRel项目 P6-1 Dataloader collate_fn批量加载数据(1)
上节课,我们在 Dataset 类中,解析出了三元组的 id 信息,但是我们要输入模型进行运算的数据,不能是 id,而应该是一个序列。所以接下来,我们借助 DataLoader 的 collate_fn 中间函数,来实现 id 转序列的过程。
模型参数结构分析
batch_mask, (batch_text, batch_sub_rnd), (batch_sub, batch_obj_rel)
代码示例
1、修改 Dataloader 参数
内容不可见,请联系管理员开通权限。
2、定义 collate_fn 函数和变量初始化
内容不可见,请联系管理员开通权限。
3、位置信息转 onehot
内容不可见,请联系管理员开通权限。
4、循环解析内容
这一步用 torch.nn.utils.rnn.pad_sequence 写法上会相对简洁,但理解难度比较大,还容易出错,我们还是用最直接的循环遍历的方式处理。
内容不可见,请联系管理员开通权限。
本文链接:http://ichenhua.cn/edu/note/482
版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!