issue when command :python training_script.py --batchsize 2 -- dataset_name IWSLT --language_direction G2E

[adamas-v]

downloading de-en.tgz

File "training_script.py", line 103, in train_transformer
train_token_ids_loader, val_token_ids_loader, src_field_processor, trg_field_processor = get_data_loaders(

tarfile.ReadError: not a gzip file

[JingshuaiLiu]

Use Multi30k instead of IWSLT.

Thanks!

[xueshengke]

Use Multi30k instead of IWSLT.

Thanks!

I met the same problem:
`
$ export CUDA_VISIBLE_DEVICES=3 && python training_script.py --batch_size 1500 --dataset_name IWSLT --language_direction G2E

downloading de-en.tgz
de-en.tgz: 96.9kB [00:00, 12.0MB/s]
Traceback (most recent call last):
File "/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/tarfile.py", line 1643, in gzopen
t = cls.taropen(name, mode, fileobj, **kwargs)
File "/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/tarfile.py", line 1619, in taropen
return cls(name, mode, fileobj, **kwargs)
File "/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/tarfile.py", line 1482, in init
self.firstmember = self.next()
File "/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/tarfile.py", line 2297, in next
tarinfo = self.tarinfo.fromtarfile(self)
File "/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/tarfile.py", line 1092, in fromtarfile
buf = tarfile.fileobj.read(BLOCKSIZE)
File "/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/gzip.py", line 276, in read
return self._buffer.read(size)
File "/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/_compression.py", line 68, in readinto
data = self.read(len(byte_view))
File "/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/gzip.py", line 463, in read
if not self._read_gzip_header():
File "/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/gzip.py", line 411, in _read_gzip_header
raise OSError('Not a gzipped file (%r)' % magic)
OSError: Not a gzipped file (b'<!')

tarfile.ReadError: not a gzip file
`

How do you mean "Use Multi30k"? this code can only support 'IWSLT' and 'WMT14' now.

[ICEDRUNK-new]

使用 Multi30k 而不是 IWSLT。
谢谢！

我遇到了同样的问题：' $ export CUDA_VISIBLE_DEVICES=3 & python training_script.py --batch_size 1500 --dataset_name IWSLT --language_direction G2E

下载 de-en.tgz de-en.tgz： 96.9kB [00：00， 12.0MB/s] 回溯（最近调用最后一次）： 文件 “/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/tarfile.py”，第 1643 行，在 gzopen t = cls.taropen（name， mode， fileobj， **kwargs） 文件中 “/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/tarfile.py”，第 1619 行，在 taropen 中返回 cls（name， mode， fileobj， **kwargs）文件 “/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/tarfile.py”，第 1482 行，init self.firstmember = self.next（） 文件“/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/tarfile.py”，第 2297 行，下一个 tarinfo = self.tarinfo.fromtarfile（self） 文件 “/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/tarfile.py”，第 1092 行，在 fromtarfile 中buf = tarfile.fileobj.read（BLOCKSIZE） 文件 “/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/gzip.py”，第 276 行，读取返回 self._buffer.read（size） 文件 “/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/_compression.py”，第 68 行，在 readinto data = self.read（len（byte_view）） 文件 “/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/gzip.py”，第 463 行，在如果不是 self._read_gzip_header（）： 文件 “/home/xueshengke/anaconda3/envs/transformer_pytorch/lib/python3.6/gzip.py”，第 411 行，_read_gzip_header raise OSError（'不是 gzip 文件 （%r）' % magic） OSError： 不是 gzip 文件 （b'<！'）

tar文件。ReadError：不是 gzip 文件 `

“使用 Multi30k”是什么意思？此代码现在仅支持 'IWSLT' 和 'WMT14'。

你好，请问您是怎么解决的，谢谢。