Використання API розпізнавання мови Ios для голосових команд в додатках

Ключові можливості включають:

• Несправжливі результати часткового визначення командного рядка.
• ] ].
• Інтеграція з AVAudioEngine] для запису аудіо та буферизації.

• [[FLT: 0]]Speech] можливість увімкнути підпис та написати проект; Можливості.
• У комплекті NMicrophoneUsageDescription ключ в (наприклад, "Цей додаток потребує доступу до мікрофона до обробки голосових команд).
• У тому числі NSSpeechRecognitionUsageDescription ключ (наприклад, "Цей додаток надсилає Ваше мовлення серверам Apple, щоб розпізнати команди").

Примітка: Обидва ключі потрібні навіть якщо ви плануєте використовувати тільки на основі розпізнавання — Apple все ще потребує згоди користувача.

2. Заява на затвердження

SFSpeechRecognizer.requestAuthorization рано в вашому потоці додатка (наприклад, в ). Поповніть кожен статус авторизації граціозно:

import Speech

SFSpeechRecognizer.requestAuthorization { authStatus in
 DispatchQueue.main.async {
 switch authStatus {
 case .authorized:
 // Enable voice command UI
 case .denied, .restricted:
 // Explain why speech recognition is unavailable
 case .notDetermined:
 // This should not occur after the request
 @unknown default:
 break
 }
 }
}

3. Створіть інстанцію SFSpeechRecognizer

Миттєві SFSpeechRecognizer з місцевими, які відповідають цільовій аудиторії. Для мови за замовчуванням, пропуск :

let recognizer = SFSpeechRecognizer(locale: Locale(identifier: "en-US"))

4. Налаштуйте аудіосесію та двигун

Встановити AVAudioEngine] для захоплення мікрофона вхід. Використовуйте .record Категорія та .measurement Режим підкреслити якість мови:

let audioEngine = AVAudioEngine()
let inputNode = audioEngine.inputNode

let recordingFormat = inputNode.outputFormat(forBus: 0)
inputNode.installTap(onBus: 0, bufferSize: 1024, format: recordingFormat) { (buffer, _) in
 self.request.append(buffer)
}

audioEngine.prepare()
try? audioEngine.start()

Завжди загортайте аудіодвигун старту в блок у виробництві для обробки мікрофона недоступності.

Реалізація голосових команд: Відмова до дій

Після того, як аудіо відбувається потокове відео, ви створюєте завдання розпізнавання та результати парсерів для команд. Ключ відреагувати на часткові результати, щоб команди були виявлені навіть перед тим, як користувач закінчує говорити.

Основні завдання розпізнавання

let request = SFSpeechAudioBufferRecognitionRequest()
request.shouldReportPartialResults = true

let recognitionTask = recognizer?.recognitionTask(with: request) { result, error in
 guard let result = result else {
 // Handle error
 return
 }
 let transcript = result.bestTranscription.formattedString
 // Check for commands
 if transcript.lowercased().contains("next") {
 // Execute action
 }
}

Розширений командний збір

Прості роботи для невеликих бокулярів, але для надійних наборів команд розглянути:

• Використання NSLinguisticTagger для вилучення ключових слів і фільтрування шуму.
• Створення словника команди з синонімами (наприклад, "скіп", "некст", "наперед").
• Запит на більш високий рівень довіри: // .
• Запровадження охолоджувача для запобігання багаторазових тригерів з тієї ж фрази.

func processTranscript(_ transcript: String) {
 let lowercased = transcript.lowercased()
 let commands: [String: () -> Void] = [
 "next": { self.showNextItem() },
 "go back": { self.showPreviousItem() },
 "stop": { self.stopPlayback() }
 ]
 for (command, action) in commands {
 if lowercased.contains(command) {
 action()
 break
 }
 }
}

Рукаючий End-of-Speech і Silence

За замовчуванням, завдання розпізнавання закінчується, коли користувач перестає говорити і пауза виявлений. Ви також можете вручну закінчити завдання, викликаючи або . Для безперервного досвіду команди (наприклад, диктація, багатоступінкові дії), перезавантажити завдання розпізнавання після кожного результату. Однак, уважайте, що Apple ~1-хвилинний ліміт на одному задачі; для більш тривалих сеансів, ланцюгових завдань.

Додаткові функції: Відмова від надії та спеціальні вакбуленти

Починаючи з iOS 13, Apple представила на основі розробки мовного розпізнавання для вибору мов (поточно англійська, французька, німецька, японська, корейська, Мандарінська китайська, іспанська та ін.). Переваги включають не залежностей мережі, знижену лагність та розширену конфіденційність — відсутність аудіо-повідомлень пристрою. Щоб включити розпізнавання настройок:

guard let recognizer = SFSpeechRecognizer() else { return }
if recognizer.supportsOnDeviceRecognition {
 request.requiresOnDeviceRecognition = true
}

Примітка: Точність на пристрої може бути трохи нижче, ніж на сервері, особливо для іменованих осіб або незвичайних словників. Для додатків з індивідуальним бангоном (наприклад, медичні умови, імена продуктів), розглянути додавання список словників ]SFSpeechRecognizer [FLT::15] або за допомогою навчання вбудований мовний визначальник] через Speech Framework[F:7[F:4]

class YourViewController: UIViewController, SFSpeechRecognizerDelegate {
 func speechRecognizer(_ speechRecognizer: SFSpeechRecognizer, availabilityDidChange available: Bool) {
 // Disable or enable voice command button based on availability
 }
}