ขั้นสูง
สร้างตัวรู้จำคำสั่งเสียงแบบ Wake-Word
เซ็นเซอร์
สอนคอนโทรลเลอร์ให้จดจำคำพูดไม่กี่คำได้ด้วยตัวเอง ซึ่งเป็นแนวคิดหลักเดียวกับคำสั่งปลุก (wake word) ของลำโพงอัจฉริยะ โดยทำงานแบบโลคัลโดยไม่ต้องใช้บริการคลาวด์สำหรับการรู้จำเสียงพูด
รวมชิ้นส่วนจริง 2 รายการ
ราคารวมชุดนี้: 777.00 ฿
ยังไม่รวมส่วนลดคำสั่งซื้อที่คุณอาจได้รับตอนชำระเงิน
สิ่งที่คุณต้องใช้
เป้าหมายของโครงการ
นี่คือโปรเจกต์การตรวจจับคีย์เวิร์ดที่แท้จริง: ตัวควบคุมจะคอยฟังอย่างต่อเนื่องและจดจำชุดคำที่ได้รับการฝึกฝนมาเล็กน้อยได้ทั้งหมดบนอุปกรณ์โดยไม่ต้องใช้ Cloud Speech API และไม่จำเป็นต้องเชื่อมต่ออินเทอร์เน็ต เป็นแนวคิดหลักเดียวกันที่อยู่เบื้องหลังคำปลุกของลำโพงอัจฉริยะ เพียงแต่ปรับขนาดให้ทำงานบนไมโครคอนโทรลเลอร์แทนที่จะเป็นคอมพิวเตอร์เต็มรูปแบบ
สิ่งที่ตัวควบคุมทำ
จะอ่านช่วงเวลาสั้นๆ ของเสียงจากไมโครโฟนอย่างต่อเนื่อง รันโมเดลที่ได้รับการฝึกฝนขนาดเล็กกับเสียงนั้น และตรวจสอบว่าผลลัพธ์ตรงกับคีย์เวิร์ดที่รู้จักมากพอที่จะกระตุ้นการทำงานหรือไม่
สิ่งที่ไมโครโฟนทำ
จะบันทึกเสียงเป็นสตรีมดิจิทัลที่สะอาดผ่าน I2C ซึ่งเป็นรูปแบบอินเทอร์เฟซเดียวกับที่ใช้ในเครื่องใช้ไฟฟ้าจริง โดยส่งมอบเสียงดิจิทัลแท้จริงให้กับตัวควบคุม แทนที่จะเป็นสัญญาณแอนะล็อกที่มีเสียงรบกวนซึ่งจะต้องใช้วงจรปรับสภาพเพิ่มเติม
แนวคิดซอฟต์แวร์และไลบรารี
เริ่มต้นด้วยการบันทึกและพิมพ์ระดับเสียงดิบธรรมดาๆ เพื่อยืนยันว่าไมโครโฟนเชื่อมต่อและทำงานได้ดี ก่อนที่จะพยายามจดจำคีย์เวิร์ด โมเดลการตรวจจับคีย์เวิร์ดมักจะได้รับการฝึกฝนด้วยคำศัพท์ขนาดเล็กที่กำหนดไว้ ทำความคุ้นเคยกับโมเดลตัวอย่างที่ได้รับการฝึกฝนล่วงหน้าซึ่งรู้จักคำง่ายๆ สองสามคำก่อนที่จะพยายามฝึกฝนโมเดลของคุณเอง
การทดสอบและการแก้ไขปัญหา
- ไม่มีสัญญาณเสียงเลย ให้ตรวจสอบสายไฟ I2C ซ้ำสองครั้ง และยืนยันว่าพินเลือกช่องสัญญาณซ้าย/ขวาของโมดูลเชื่อมต่อกับระดับที่กำหนด ไม่ใช่ปล่อยลอย
- การจดจำไม่น่าเชื่อถือ เสียงรบกวนรอบข้างและระยะห่างจากไมโครโฟนมีความสำคัญอย่างมากต่อการตรวจจับคีย์เวิร์ด ทดสอบระยะใกล้ในห้องเงียบก่อนที่จะตัดสินความแม่นยำในสภาพแวดล้อมจริงที่มีเสียงดังกว่า
- มีการรายงานว่ามีโมดูลจำนวนน้อยจากรายการนี้ไม่สามารถทำงานได้หรือไม่ก็เป็นของปลอมในการรีวิวจริง ให้ทดสอบโมดูลที่ได้รับมาใหม่ให้ละเอียด (ยืนยันว่าอ่านสัญญาณที่สะอาดได้) ก่อนที่จะติดตั้งเข้ากับงานที่เสร็จสมบูรณ์อย่างถาวร
การอัปเกรดเสริม
เพิ่มเสียงบี๊บจากกล่องอะไหล่เพื่อยืนยันด้วยเสียงทุกครั้งที่จดจำคีย์เวิร์ดได้อย่างถูกต้อง เป็นการตอบรับที่แท้จริงว่าระบบได้ยินคุณแล้ว
การเดินสาย
- INMP441 VDD → ESP32-C3 SuperMini 3V3
- INMP441 GND → ESP32-C3 SuperMini GND
- INMP441 L/R → ESP32-C3 SuperMini GND (เลือกช่องสัญญาณซ้าย; ต่อกับ 3V3 แทนสำหรับช่องสัญญาณขวา)
- INMP441 WS (การเลือกคำ) → ESP32-C3 SuperMini GPIO4
- INMP441 SCK (สัญญาณนาฬิกาบิต) → ESP32-C3 SuperMini GPIO5
- INMP441 SD (ข้อมูลออก) → ESP32-C3 SuperMini GPIO6
นี่คือไมโครโฟนดิจิทัล I2S จริงที่เชื่อมต่อกับอุปกรณ์ต่อพ่วง I2S ของ ESP32-C3 GPIO ที่กำหนด `#define` ข้างต้นเป็นพินทั่วไปที่มักจะว่างบนบอร์ด ESP32-C3 SuperMini — ตรวจสอบกับลายพิมพ์บนบอร์ดของคุณโดยเฉพาะ และสลับหากพินเหล่านั้นถูกใช้ไปแล้วที่อื่น
พูดอย่างตรงไปตรงมาเกี่ยวกับขอบเขต: โค้ดนี้ใช้การบันทึกเสียง I2S จริง พร้อมด้วย "ตัวกระตุ้น" แบบเกณฑ์ความกว้าง/ระดับเสียงแบบง่าย (เช่น ตรวจจับ "มีเสียงดังเกิดขึ้น" เช่น การตบมือหรือคำพูด) ซึ่งเป็นพฤติกรรมเริ่มต้นที่ถูกต้อง ไม่ใช่การจดจำคำปลุกจริง — การจดจำคำพูดที่เฉพาะเจาะจงอย่างแท้จริง (เช่น "เฮ้ แล็บ") ต้องใช้โมเดลการจำแนกเสียงที่ผ่านการฝึกฝน ซึ่งมักจะสร้างและปรับใช้ผ่าน Edge Impulse ซึ่งเป็นชุดเครื่องมือจริงที่ใช้กันอย่างแพร่หลายสำหรับกรณีการใช้งาน INMP441-on-ESP32 นี้โดยเฉพาะ ถือว่าตัวกระตุ้นเกณฑ์ด้านล่างเป็นเหตุการณ์สำคัญ "ไมโครโฟนทำงานและสามารถตรวจจับกิจกรรมได้" และไปป์ไลน์เสียงของ Edge Impulse (ประเภทโครงการตรวจจับคีย์เวิร์ด ปรับใช้เป็นไลบรารี Arduino) เป็นขั้นตอนต่อไปที่แท้จริงสู่การตรวจจับคำปลุกจริง — ไม่ใช่สิ่งที่สเก็ตช์เริ่มต้นนี้ปลอมแปลงขึ้นมา
โค้ดใช้ `driver/i2s.h` ซึ่งเป็น API ไดรเวอร์ I2S ที่มีมานานและมีเอกสารประกอบอย่างดีใน ESP32 Arduino core เวอร์ชันคอร์ที่ใหม่กว่ายังเปิดเผย API `driver/i2s_std.h`/`ESP_I2S` ที่ใหม่กว่า แต่ `driver/i2s.h` ยังคงเป็นแนวทางที่เข้ากันได้ในวงกว้างและเป็นที่รู้จักกันดีสำหรับสเก็ตช์เริ่มต้น
แผนภาพการต่อสาย
โค้ดเริ่มต้น
#include <driver/i2s.h>
#define I2S_WS_PIN 4
#define I2S_SCK_PIN 5
#define I2S_SD_PIN 6
#define I2S_PORT I2S_NUM_0
#define SAMPLE_RATE 16000
#define SAMPLE_BUFFER 512
#define TRIGGER_THRESHOLD 4000 // tune experimentally to your mic/environment noise floor
int32_t samples[SAMPLE_BUFFER];
void setup() {
Serial.begin(115200);
i2s_config_t i2s_config = {
.mode = (i2s_mode_t)(I2S_MODE_MASTER | I2S_MODE_RX),
.sample_rate = SAMPLE_RATE,
.bits_per_sample = I2S_BITS_PER_SAMPLE_32BIT,
.channel_format = I2S_CHANNEL_FMT_ONLY_LEFT,
.communication_format = I2S_COMM_FORMAT_STAND_I2S,
.intr_alloc_flags = ESP_INTR_FLAG_LEVEL1,
.dma_buf_count = 4,
.dma_buf_len = SAMPLE_BUFFER,
.use_apll = false
};
i2s_pin_config_t pin_config = {
.bck_io_num = I2S_SCK_PIN,
.ws_io_num = I2S_WS_PIN,
.data_out_num = I2S_PIN_NO_CHANGE,
.data_in_num = I2S_SD_PIN
};
i2s_driver_install(I2S_PORT, &i2s_config, 0, NULL);
i2s_set_pin(I2S_PORT, &pin_config);
}
void loop() {
size_t bytes_read = 0;
i2s_read(I2S_PORT, samples, sizeof(samples), &bytes_read, portMAX_DELAY);
int32_t samples_count = bytes_read / sizeof(int32_t);
int64_t peak = 0;
for (int i = 0; i < samples_count; i++) {
int32_t val = abs(samples[i] >> 14); // scale down 32-bit I2S sample
if (val > peak) peak = val;
}
if (peak > TRIGGER_THRESHOLD) {
Serial.println("TRIGGER: loud sound/possible speech detected");
// Next step: replace this threshold trigger with a trained keyword-
// spotting model deployed via Edge Impulse for real wake-word recognition.
}
}
ไม่แน่ใจขั้นตอนไหน?
ถามเรา
