Εφαρμογή της αναγνώρισης φωνής στην Ίο με πλαίσιο ομιλίας

Το πλαίσιο επεξεργάζεται τον ήχο μέσω ενός αυτόματου αναγνωριστικού ομιλίας (ASR) κινητήρα. Εξ ορισμού, το iOS 15+ χρησιμοποιεί την αναγνώριση on-device για όλες τις υποστηριζόμενες γλώσσες, η οποία μειώνει τη λανθάνουσα συχνότητα και εξασφαλίζει ότι τα δεδομένα δεν εγκαταλείπουν ποτέ τη συσκευή.

Βασικά χαρακτηριστικά και δυνατότητες

• ⁇ άλ-time streaming ⁇ Η φωνή μεταγράφεται καθώς ο χρήστης μιλάει, με περιοδικά μερικά αποτελέσματα.
• Αλληλές μεταγραφές ⁇ Κάθε αποτέλεσμα περιλαμβάνει πολλαπλές ερμηνείες με βαθμολογία εμπιστοσύνης μέσω και .
• Συνεχείς φράσεις ⁇ Οι προγραμματιστές μπορούν να παρέχουν προσαρμοσμένες φράσεις μέσω για τη βελτίωση της ακρίβειας για συγκεκριμένους όρους.
• Υποστηριγμένες γλώσσες ⁇ Πάνω από 60 γλώσσες και περιφερειακές προφορές. Χρησιμοποιήστε για να ανακτήσετε την τρέχουσα λίστα.

⁇ αδειών και ρυθμίσεων έργου

Πάντα η άδεια για την οποία ζητείται ρητά. Χωρίς τις κατάλληλες άδειες, το σύστημα θα απορρίψει τις αιτήσεις αναγνώρισης. Ακολουθήστε τα παρακάτω βήματα:

Απαιτήσεις καταλόγου πληροφοριών

Προσθέστε το κλειδί [[LPT:6]] (Προσωπικό ⁇ Αναγνώριση Λόγου Περιγραφή Χρήσης) με μια σαφή, με βάση το χρήστη εξήγηση. Παράδειγμα:

<key>NSSpeechRecognitionUsageDescription</key>
<string>This app uses speech recognition to transcribe your voice commands for hands-free navigation.</string>

Εάν η εφαρμογή σας καταγράφει επίσης ήχο (κοινό για ζωντανή αναγνώριση), προσθέστε επίσης.

Αίτηση εξουσιοδότησης

Καλέστε νωρίς στον κύκλο ζωής της εφαρμογής, συνήθως σε μια οθόνη ελέγχου . Η κλήση επιστρέφει μία από τις τέσσερις καταστάσεις:

import Speech

SFSpeechRecognizer.requestAuthorization { authStatus in
 DispatchQueue.main.async {
 switch authStatus {
 case .authorized:
 // Enable microphone and recognition UI
 case .denied, .restricted:
 // Show error and disable features
 print("Speech recognition not available")
 case .notDetermined:
 // Handle if the user hasn't seen the dialog (rare)
 @unknown default:
 break
 }
 }
}

Σημείωση: Το πλαίσιο μπορεί να επιστρέψει εάν η συσκευή διαχειρίζεται από προφίλ γονικού ελέγχου ή αν η αναγνώριση ομιλίας απενεργοποιείται μέσω του Screen Time.

Εφαρμογή Αναγνώρισης Ζωντανού Λόγου

Για τη σύλληψη φωνής σε πραγματικό χρόνο, χρειάζεστε ένα [[LFT:13]] για να μεταφέρετε ρυθμιστές ήχου στο αίτημα αναγνώρισης. Ο παρακάτω κώδικας δείχνει μια έτοιμη για παραγωγή εφαρμογή με κατάλληλο καθαρισμό.

Βήμα 1: ⁇ συνεδρίας ήχου

let audioEngine = AVAudioEngine()
let request = SFSpeechAudioBufferRecognitionRequest()
var recognitionTask: SFSpeechRecognitionTask?

func configureAudioSession() {
 let audioSession = AVAudioSession.sharedInstance()
 do {
 try audioSession.setCategory(.record, mode: .measurement, options: .duckOthers)
 try audioSession.setActive(true, options: .notifyOthersOnDeactivation)
 } catch {
 print("Audio session config failed: \(error.localizedDescription)")
 }
}

Η επιλογή μειώνει τον ήχο του φόντου, ο οποίος βελτιώνει την ακρίβεια μεταγραφής σε θορυβώδη περιβάλλοντα. Για εφαρμογές φωνής ⁇ μόνο, σκεφτείτε να δρομολογήσετε τον ήχο μέσω του ηχείου της συσκευής αντί του ακουστικού.

Βήμα 2: Δημιουργήστε τον Αναγνωριστή και Αιτηθείτε

func startRecognition() {
 guard let recognizer = SFSpeechRecognizer(locale: Locale(identifier: "en-US")),
 recognizer.isAvailable else {
 handleError("Recognizer unavailable or not supported")
 return
 }

 configureAudioSession()
 request.shouldReportPartialResults = true

 let inputNode = audioEngine.inputNode
 let recordingFormat = inputNode.outputFormat(forBus: 0)

 recognitionTask = recognizer.recognitionTask(with: request) { result, error in
 if let result = result {
 let transcribedText = result.bestTranscription.formattedString
 // Update UI or process command
 print("Partial: \(transcribedText)")

 if result.isFinal {
 self.stopRecognition()
 // Handle final transcription
 }
 }

 if let error = error {
 self.stopRecognition()
 self.handleError(error.localizedDescription)
 }
 }

 inputNode.installTap(onBus: 0, bufferSize: 1024,
 format: recordingFormat) { buffer, _ in
 self.request.append(buffer)
 }

 audioEngine.prepare()
 do {
 try audioEngine.start()
 } catch {
 handleError("Audio engine start failed: \(error.localizedDescription)")
 }
}

Βήμα 3: Καθαρίστε με Χάρη

func stopRecognition() {
 recognitionTask?.cancel()
 audioEngine.stop()
 audioEngine.inputNode.removeTap(onBus: 0)
 request.endAudio()
 // Optionally deactivate audio session
 try? AVAudioSession.sharedInstance().setActive(false, options: .notifyOthersOnDeactivation)
}

Πάντα να ακυρώνεται η εργασία αναγνώρισης πριν από τη διακοπή της μηχανής ήχου. Η λησμονώντας να αφαιρέσετε τη βρύση στον κόμβο εισόδου μπορεί να προκαλέσει κύκλους διατήρησης και να αποτρέψει την κυκλοφορία του μικροφώνου.

Χειρισμός πολύγλωσσων και προσαρμοσμένων τοπικών

Το πλαίσιο ομιλίας υποστηρίζει δυναμική ανίχνευση τοπικών περιοχών. Μπορείτε να επιτρέψετε στους χρήστες να αλλάξουν γλώσσες ή ακόμη και να αναγνωρίσουν πολλαπλές γλώσσες σε μια μόνο συνεδρία δημιουργώντας ξεχωριστές περιπτώσεις.

let locales = ["en-US", "fr-FR", "zh-CN"]
let recognizers = locales.compactMap { SFSpeechRecognizer(locale: Locale(identifier: $0)) }

// Use recognizers[0] for English, etc.

Για on-device αναγνώριση, κάθε αναγνωριστής καταναλώνει μνήμη ανάλογη με το γλωσσικό μοντέλο του.

Προσαρμοσμένοι όροι λεξιλογίου και τομέα

Βελτίωση της ακρίβειας για τους ειδικούς όρους της βιομηχανίας με χρήση της [[LFT:21]] ιδιοκτησίας [[LFT:22]]:

request.contextualStrings = ["Directus", "CMS", "headless", "REST API"]

Αυτό υπονοεί ότι ο αναγνωρίστης θα ευνοήσει αυτές τις φράσεις, μειώνοντας την εσφαλμένη αναγνώριση των ασυνήθιστων όρων.

Σφάλμα χειρισμού και υποχώρησης στρατηγικών

Η αναγνώριση φωνής μπορεί να αποτύχει για πολλούς λόγους: ζητήματα δικτύου (αν χρησιμοποιείτε server ⁇ based), διακοπές ήχου, μικρόφωνο απενεργοποιημένο, ή πίεση μνήμης.

enum RecognitionError: LocalizedError {
 case noPermission
 case unavailable
 case audioSessionFailure
 case internalError(Error)

 var errorDescription: String? {
 switch self {
 case .noPermission:
 return "Speech recognition permission denied"
 case .unavailable:
 return "Recognizer is busy or not available"
 case .audioSessionFailure:
 return "Could not start audio capture"
 case .internalError(let error):
 return error.localizedDescription
 }
 }
}

func handleError(_ message: String) {
 // Show alert, retry button, or fallback to text input
 DispatchQueue.main.async {
 // Show toast or log
 }
}

Παρακολούθηση αλλαγών κατάστασης εργασιών αναγνώρισης μέσω [[LFT:25]] ιδιότητας [[LFT:26]] για τον εντοπισμό ακυρώσεων ή χρονικών διαλείμματος.

Βελτιστοποίηση της Απόδοσης και Βέλτιστες Πρακτικές

• Προτιμήστε την αναγνώριση ⁇ συσκευής ⁇ Από το iOS 15, η αναγνώριση on ⁇ συσκευής είναι η προεπιλεγμένη και προσφέρει χαμηλότερη λανθάνουσα συχνότητα. Αποφύγετε την εξαναγκαστική χρήση server ⁇ με βάση εκτός αν χρειάζεστε μια γλώσσα που δεν υποστηρίζεται ακόμα εκτός σύνδεσης. Ελέγξτε [[LFT:27]] για να επαληθεύσετε τη διαθεσιμότητα.
• Όριο μερικών αποτελεσμάτων ⁇ ⁇ μειώνει τα γενικά έξοδα, αν χρειάζεστε μόνο τελική μεταγραφή.
• Εγχειρίδιο αναγνώρισης διάρκεια ζωής[[LFT:1]] ⁇ Ακύρωση μακροχρόνιων εργασιών όταν ο χρήστης σταματήσει να μιλάει. Χρησιμοποιήστε ένα τάιμ άουτ (π.χ., 2 δευτερόλεπτα σιωπής) για να τερματίσετε αυτόματα τη συνεδρία.
• Battery and memory ⁇ Οι εργασίες ακουστικής μηχανής και αναγνώρισης καταναλώνουν σημαντικούς πόρους.
• Δοκιμάζοντας με εικονικά δεδομένα[ ⁇ Χρησιμοποιήστε προ-ηχογραφημένα αρχεία ήχου () κατά την ανάπτυξη για να αποφύγετε εξαρτήσεις μικροφώνου.

NotificationCenter.default.addObserver(
 self,
 selector: #selector(handleInterruption),
 name: AVAudioSession.interruptionNotification,
 object: nil
)

@objc func handleInterruption(_ notification: Notification) {
 guard let userInfo = notification.userInfo,
 let type = userInfo[AVAudioSessionInterruptionTypeKey] as? UInt else { return }
 if type == AVAudioSession.InterruptionType.began.rawValue {
 stopRecognition()
 } else if type == AVAudioSession.InterruptionType.ended.rawValue {
 // Optionally restart recognition
 }
}