人工智能领域机器翻译模型训练用的汉英平行语料库是由深圳市点通数据有限公司为面向机器自动翻译的研发项目加工的数据资源。采集内容包含体各类新闻、文献、解说词、法律法规、影视、医学等，涉及政治、经济、军事和生活等各方面的内容。平行语料库的构建遵循国家科研课题的相关规范，是一个高质量的数据资源库。 语料采集来源基于现有各类双语资源，力求覆盖面广泛，采集语料时，在满足规模和质量的条件下，兼顾语料的平衡性，统筹考虑语料在题材、语体和时间跨度方面的平衡。包括语言教材、双语图书、技术文档、双语新闻、政府白皮书、政府公文和Web上双语资源等。 数据处理按相关对齐双语语料库的加工规范进行。主要用于机器翻译、模型训练、数据加工和信息检索等多方面的科学研究。目标客户包括人工智能相关企业、互联网公司、大学和科研机构等。

根据双语资源原始数据的不同，对在公开渠道采集的文本和自购入的图书采用了不同的数据处理方法，具体主要过程如下： 1．对公开渠道采集文本的数据处理过程 第一步：选定一个双语网站，向网站URL 发送HTTP/HTTPS 请求； 第二步：检查有无robots.txt，根据其要求从网络服务器获取 许可的页面的HTML 内容； 第三步：解析 HTML，从中提取并选择合适文本，并通过校对软件和人工审核避开可能涉及个人隐私和政治敏感的内容； 第四步：对选取文本进行双语对齐处理； 第五步：对所生成语句对进行查重处理，如果未重复，质检后 入库，并最终形成“汉英平行语料库”。 2．对图书的数据处理过程 第一步：对图书先每页进行扫描成图像，再对图像进行OCR 识别，并进行文本校对，确保得到正确中、英文文本； 第二步：对中文和英文分别进行语句拆分与筛查，并通过校对软件和人工审核，避开可能涉及个人隐私和政治敏感的内容； 第三步：将拆分的中、英语同时导入比对软件中； 第四步：确认后，选择保存，将自动按XML 格式保存； 第五步：对所生成语句对进行查重处理，如果未重复，质检后 入库，并最终形成“汉英平行语料

本汉英平行语料库供在中国境内的科研机构和企事业单位使用。其中企业单位可免费使用20万条数据用于评估和测试，科研机构可以免费使用100万条数据用于研究、评估和测试。更多数量经双方协商一致后购买。 本汉英平行语料库主要面向机器翻译和跨语言检索等应用领域，因为语料库包含了支撑机器翻译等应用的词汇和短语知识，为这些领域的研究开发提供了最有力的基础资源数据。进一步可在此基础上研发面向英-汉、汉-英机器翻译的生成树库，该树库可同时包含源语言句法知识和目标语生成知识。 作为高精度的汉英平行语料库，机器翻译和跨语言检索等应用的算法研究、模型训练都是很有价值的，可以有效提高翻译和检索的准确性。

<sentence12> <hanwen>尼克每天晚上都听收音机。</hanwen> <yingwen>Nick listens to the radio every night.</yingwen> </sentence12> <sentence13> <hanwen>独木不成林。</hanwen> <yingwen>One tree does not make a forest.</yingwen> </sentence13> <sentence14> <hanwen>他没有被邀请，因为他的名字从名单中被删除了。</hanwen> <yingwen>He was not invited because his name was omitted from the list.</yingwen> </sentence14>

<sentence1> <hanwen>发货人应赔偿承运人所发生的任何费用。</hanwen> <yingwen>The shipper shall hold the carriers harmless from any expense they may incur.</yingwen> </sentence1>