مزایای حالت Streaming mode در مدل های تشخیص صوت چیست؟

وقتی یک مجموعه‌داده را به‌طور کامل و بدون استفاده از حالت جریان‌سازی دانلود می‌کنیم، هم داده‌های خام و هم داده‌های پردازش‌شده روی دیسک ذخیره می‌شوند. در این حالت اگر بخواهیم دوباره از این مجموعه‌داده استفاده کنیم، می‌توانیم مستقیماً و بدون نیاز به پردازش‌ از داده ها استفاده کنیم و مراحل دانلود و پردازش را نادیده بگیریم. بنابراین، اگر قصد دارید از داده ها چندین بار استفاده کنید، حتما آن ها را یکبار دانلود و پردازش کنید. چون در غیر اینصورت در هر بار نیاز به استفاده مجدد لازم است مراحل دانلود لحظه ای و پردازش (on fly) دوباره انجام شود.

gigaspeech = load_dataset("speechcolab/gigaspeech", "xs", streaming=True)

همان‌طور که مراحل پیش‌پردازش را روی یک زیرمجموعه‌ی دانلودشده از مجموعه‌داده‌ی MINDS-14 اعمال کردیم، می‌توانید دقیقاً به همان شکل، همان مراحل پیش‌پردازش را روی یک مجموعه‌داده‌ی در استریم مود نیز انجام دهید.

اگر داده را در حالت استریم مود استفاده کنید، نمی‌توانید با استفاده از اندیس‌گذاری پایتونی (مثلاً `gigaspeech[“train”][sample_idx]`) به نمونه‌های خاص دسترسی پیدا کنید. در عوض باید روی مجموعه‌داده پیمایش (iterate) انجام داد. در ادامه نخوه دسترسی به یم نمونه داده در حالت stream mode را یاد میگیریم:

next(iter(gigaspeech["train"]))

خروجی مورد انتظار:

{
"segment_id": "YOU0000000315_S0000660",
"speaker": "N/A",
"text": "AS THEY'RE LEAVING <COMMA> CAN KASH PULL ZAHRA ASIDE REALLY QUICKLY <QUESTIONMARK>",
"audio": {
"path": "xs_chunks_0000/YOU0000000315_S0000660.wav",
"array": array(
[0.0005188, 0.00085449, 0.00012207, ..., 0.00125122, 0.00076294, 0.00036621]
),
"sampling_rate": 16000,
},
"begin_time": 2941.89,
"end_time": 2945.07,
"audio_id": "YOU0000000315",
"title": "Return to Vasselheim | Critical Role: VOX MACHINA | Episode 43",
"url": "https://www.youtube.com/watch?v=zr2n1fLVasU",
"source": 2,
"category": 24,
"original_full_path": "audio/youtube/P0004/YOU0000000315.opus",
}

اگر می‌خواهید به چند نمونه از یک مجموعه‌داده‌ی بزرگ ئسترسی داشته باشید، می‌توانید از تابع `take()` استفاده کنید. در این حالت اولین n نمونه ابتدای دیتاست را دریافت می کنید. مثلاً برای گرفتن دو نمونه‌ی اول از مجموعه‌داده‌ی gigaspeech می‌توانید به شکل زیر عمل کنید:

gigaspeech_head = gigaspeech["train"].take(2)
list(gigaspeech_head)

خروجی:

[
{
"segment_id": "YOU0000000315_S0000660",
"speaker": "N/A",
"text": "AS THEY'RE LEAVING <COMMA> CAN KASH PULL ZAHRA ASIDE REALLY QUICKLY <QUESTIONMARK>",
"audio": {
"path": "xs_chunks_0000/YOU0000000315_S0000660.wav",
"array": array(
[
0.0005188,
0.00085449,
0.00012207,
...,
0.00125122,
0.00076294,
0.00036621,
]
),
"sampling_rate": 16000,
},
"begin_time": 2941.89,
"end_time": 2945.07,
"audio_id": "YOU0000000315",
"title": "Return to Vasselheim | Critical Role: VOX MACHINA | Episode 43",
"url": "https://www.youtube.com/watch?v=zr2n1fLVasU",
"source": 2,
"category": 24,
"original_full_path": "audio/youtube/P0004/YOU0000000315.opus",
},
{
"segment_id": "AUD0000001043_S0000775",
"speaker": "N/A",
"text": "SIX TOMATOES <PERIOD>",
"audio": {
"path": "xs_chunks_0000/AUD0000001043_S0000775.wav",
"array": array(
[
1.43432617e-03,
1.37329102e-03,
1.31225586e-03,
...,
-6.10351562e-05,
-1.22070312e-04,
-1.83105469e-04,
]
),
"sampling_rate": 16000,
},
"begin_time": 3673.96,
"end_time": 3675.26,
"audio_id": "AUD0000001043",
"title": "Asteroid of Fear",
"url": "http//www.archive.org/download/asteroid_of_fear_1012_librivox/asteroid_of_fear_1012_librivox_64kb_mp3.zip",
"source": 0,
"category": 28,
"original_full_path": "audio/audiobook/P0011/AUD0000001043.opus",
},
]

حالت stream mode می‌تواند پژوهش شما را متحول کند؛ در این حالت شما می توانید بدون دغدغه‌ی فضای ذخیره‌سازی،به‌صورت هم‌زمان روی چندین مجموعه‌داده ارزیابی کنید. بدیهی است ارزیابی هم‌زمان روی چندین مجموعه‌داده، شاخص دقیق‌تری از توانایی تعمیم و عملکرد واقعی یک سیستم تشخیص گفتار ایحاد می کند. نمونه‌ی برجسته‌ای از این رویکرد، «معیار جامع تشخیص گفتار» یا End-to-end Speech Benchmark (ESB) است.

منتظر مقاله بعدی ما باشید. هر هفته یک مقاله در حوزه پردازش صوت و منتشر می شود.

مطالب مرتبط:

درس اول: مقدمات آموزش پردازش صوت و تشخیص گفتار

درس دوم: آشنایی با کتابخانه Datasets در پردازش های هوش مصنوعی داده های صوتی

درس سوم: پیش پردازش داده های صوتی برای کاربردهای هوش مصنوعی