Χρήση του API Αναγνώρισης Ομιλίας της Ios για φωνητικές εντολές σε εφαρμογές

Οι βασικές δυνατότητες περιλαμβάνουν:

• Μερικό αποτέλεσμα σε πραγματικό χρόνο (χρήσιμο για προοδευτική ανίχνευση εντολών).
• Υποστήριξη για προσαρμοσμένα λεξιλόγια μέσω SFSpeechRecognizer's ] ιδιοκτησίας.
• Ένταξη με AvaudioEngine για λήψη ήχου και buffering.

• Προσθέστε την ικανότητα Speech στην Υπογραφή & του έργου σας; Δυνατότητες.
• Περιγράψτε το κλειδί NSMicrophoneUsageDescription στο (π.χ., ⁇ Αυτή η εφαρμογή χρειάζεται πρόσβαση μικροφώνου για να επεξεργαστεί φωνητικές εντολές ⁇
• Συμπεριλάβετε το πλήκτρο NSSpeechRecognitionUsageDescription (π.χ., ⁇ Αυτή η εφαρμογή στέλνει την ομιλία σας στους διακομιστές της Apple για να αναγνωρίσουν τις εντολές ⁇

Σημείωση: Και τα δύο κλειδιά απαιτούνται ακόμα και αν σκοπεύετε να χρησιμοποιήσετε μόνο την αναγνώριση on-device — η Apple χρειάζεται ακόμα τη συγκατάθεση του χρήστη.

2. Αίτηση εξουσιοδότησης

Καλέστε SFSpeechRecognizer.requestEγκριση από νωρίς στη ροή της εφαρμογής σας (π.χ., σε ). Χειριστείτε κάθε κατάσταση εξουσιοδότησης με χάρη:

import Speech

SFSpeechRecognizer.requestAuthorization { authStatus in
 DispatchQueue.main.async {
 switch authStatus {
 case .authorized:
 // Enable voice command UI
 case .denied, .restricted:
 // Explain why speech recognition is unavailable
 case .notDetermined:
 // This should not occur after the request
 @unknown default:
 break
 }
 }
}

3. Δημιουργήστε ένα SFSpeechRecognizer Institution

Στιγμιότυπο SFSpeechRecognizer με ένα τοπικό κοινό που ταιριάζει με το κοινό-στόχο σας. Για προεπιλεγμένη γλώσσα συσκευής, περάστε :

let recognizer = SFSpeechRecognizer(locale: Locale(identifier: "en-US"))

4. ⁇ της συνεδρίας ήχου και της μηχανής

⁇ AvaudioEngine για τη σύλληψη της εισόδου μικροφώνου. Χρησιμοποιήστε τη .record κατηγορία και .μέτρηση[] λειτουργία για τον τονισμό της ποιότητας ομιλίας:

let audioEngine = AVAudioEngine()
let inputNode = audioEngine.inputNode

let recordingFormat = inputNode.outputFormat(forBus: 0)
inputNode.installTap(onBus: 0, bufferSize: 1024, format: recordingFormat) { (buffer, _) in
 self.request.append(buffer)
}

audioEngine.prepare()
try? audioEngine.start()

Πάντα τύλιγμα μηχανή ήχου εκκίνηση σε [[LFT:7]] μπλοκ στην παραγωγή για να χειριστεί το μικρόφωνο μη διαθεσιμότητα.

Εκτελεστικές φωνητικές εντολές: Από την ομιλία στην πράξη

Μόλις ο ήχος ρέει, δημιουργείτε μια εργασία αναγνώρισης και αναλύετε τα αποτελέσματα για εντολές. Το κλειδί είναι να αντιδράσετε σε μερικά αποτελέσματα, έτσι ώστε οι εντολές να ανιχνευθούν πριν ακόμη τελειώσει ο χρήστης ομιλία.

Βασική εργασία αναγνώρισης

let request = SFSpeechAudioBufferRecognitionRequest()
request.shouldReportPartialResults = true

let recognitionTask = recognizer?.recognitionTask(with: request) { result, error in
 guard let result = result else {
 // Handle error
 return
 }
 let transcript = result.bestTranscription.formattedString
 // Check for commands
 if transcript.lowercased().contains("next") {
 // Execute action
 }
}

Ανάλυση προηγμένων εντολών

Απλό λειτουργεί για μικρά λεξιλόγια, αλλά για ισχυρά σύνολα εντολών σκεφτείτε:

• Χρησιμοποιώντας NSLinguisticTagger για να εξαγάγετε λέξεις-κλειδιά και να φιλτράρετε το θόρυβο.
• Δημιουργία λεξιλογίου εντολών με συνώνυμα (π.χ., ⁇ skip ⁇ ⁇ next ⁇ ⁇ forward ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
• Περιμένοντας ένα υψηλότερο όριο εμπιστοσύνης: check πριν ενεργήσει.
• Εφαρμόζοντας μια ψύξη για να αποτραπεί η πολλαπλή ενεργοποίηση από την ίδια φράση.

func processTranscript(_ transcript: String) {
 let lowercased = transcript.lowercased()
 let commands: [String: () -> Void] = [
 "next": { self.showNextItem() },
 "go back": { self.showPreviousItem() },
 "stop": { self.stopPlayback() }
 ]
 for (command, action) in commands {
 if lowercased.contains(command) {
 action()
 break
 }
 }
}

Χειρισμός της λήξης της ομιλίας και της σιωπής

Προκαθορισμένα, η εργασία αναγνώρισης τελειώνει όταν ο χρήστης σταματήσει να μιλάει και ανιχνεύεται μια παύση. Μπορείτε επίσης να τερματίσετε χειροκίνητα την εργασία καλώντας ή . Για μια συνεχή εμπειρία εντολών (π.χ., υπαγόρευση, ενέργειες πολλαπλών βημάτων), επανεκκινήστε την εργασία αναγνώρισης μετά από κάθε αποτέλεσμα. Ωστόσο, να έχετε υπόψη το ~1-λεπτό όριο της Apple σε μια μόνο εργασία; για μεγαλύτερες συνεδρίες, εργασίες αλυσίδας.

Προχωρημένα χαρακτηριστικά: Αναγνώριση και τα προσαρμοσμένα λεξιλόγια

Ξεκινώντας από το iOS 13, η Apple εισήγαγε την αναγνώριση ομιλίας on-device για επιλεγμένες γλώσσες (σήμερα αγγλικά, γαλλικά, γερμανικά, ιαπωνικά, κορεατικά, κινέζικα, ισπανικά, και άλλα). Πλεονεκτήματα περιλαμβάνουν καμία εξάρτηση δικτύου, μειωμένη λανθάνουσα λανθάνουσα λανθάνουσα , και ενισχυμένη ιδιωτικότητα - δεν αφήνει τον ήχο της συσκευής. Για να καταστεί δυνατή η αναγνώριση on-device:

guard let recognizer = SFSpeechRecognizer() else { return }
if recognizer.supportsOnDeviceRecognition {
 request.requiresOnDeviceRecognition = true
}

Σημείωση: Η ακρίβεια της συσκευής μπορεί να είναι ελαφρώς χαμηλότερη από τη βάση του εξυπηρετητή, ειδικά για οντότητες που κατονομάζονται ή ασυνήθιστο λεξιλόγιο. Για εφαρμογές με προσαρμοσμένη ορολογία (π.χ., ιατρικούς όρους, ονόματα προϊόντων), σκεφτείτε την προσθήκη καταλόγου εθιμικού λεξιλογίου μέσω SFSpeechRecognizer's ή με την εκπαίδευση ενός ενσωματωμένου αναγνωριστή ομιλίας[, , ].

class YourViewController: UIViewController, SFSpeechRecognizerDelegate {
 func speechRecognizer(_ speechRecognizer: SFSpeechRecognizer, availabilityDidChange available: Bool) {
 // Disable or enable voice command button based on availability
 }
}