AI 如何運作,以及它可能在哪裡出錯
生效日期:2026-05-15 · 版本 2026-05-15
SignalSnitch 使用大型語言模型(LLM)閱讀公開社交媒體帳戶的帖子,並將其轉換為結構化資料 — 股票代碼、操作(買入或賣出)、信心標籤。這些結構化信號是控制台中準確性統計、共識偵測器及信號卡的資料來源。LLM 會出錯。本頁面的目的是讓您知道在哪裡出錯,以及我們如何應對。
1. 此處「AI」的含義
我們抓取的每一則帖子都會經過基於 LLM 的分析器。分析器的工作是回答關於每則帖子的三個問題:
- 這則帖子是否在作出交易判斷?還是評論、圖表、迷因、新聞?
- 如果是判斷,是關於哪個(些)股票代碼?
- 方向是甚麼 — 買入/做多還是賣出/做空 — 作者聽起來有多自信?
這些結構化輸出會存入我們的資料庫,用於計算下游的所有內容。若模型誤讀了一則帖子,錯誤會傳播至所有這些數字。
2. 我們使用哪些模型
SignalSnitch 會將帖子文字傳送至多個 LLM,包括 Anthropic Claude 及 OpenAI GPT。我們只會傳送公開的帖子文字 — 絕不會傳送您的帳戶資料、關注列表、帳單資料或其他任何私人狀態。
3. 實際遇到的失敗模式
3.1 股票代碼幻覺
模型編造出在原始帖子中根本不存在的股票代碼。我們會執行一個驗證步驟,捨棄股票代碼並未於原始文字中實際出現的信號,能捕捉到常見情況。
3.2 情緒誤讀
模型於使用反諷、含糊或令人困惑結構的帖子上顛倒了買入/賣出。我們依靠共識過濾器(≥2 人同意)以稀釋單次誤讀的影響。
3.3 非判斷被分類為判斷
提到股票代碼的評論或屏幕截圖標題被提升為真正的買入/賣出信號。我們於意見領袖詳情頁使用「非判斷」標籤,讓您能審計分類器標記及未標記的內容。
3.4 時區/日期誤讀
模型偶爾可能會誤讀相對於市場開盤的發帖時間,從而影響我們擷取的「入場價」。
4. 我們衡量甚麼
作者的準確性基於其每次判斷後市場的實際表現 — 而非 AI 認為作者聽起來有多自信。我們會於判斷後等待足夠時間再評分,以便結論反映真實的價格變動,而非開盤第一分鐘的雜訊。
樣本數量比頭條數字更重要。我們始終會於每個百分比旁邊顯示判斷數量,方便您自行衡量。
5. 我們執行的安全措施
我們會過濾掉 AI 編造出帖子中實際不存在股票代碼的信號。我們不會將單一作者的意見視為「共識」 — 必須有多位獨立作者首先達成一致。我們會使用事後真實價格資料來評分勝負。隨著分析改善,我們也會定期重新檢查舊信號。
6. 您應該怎樣做
點擊進入原始帖子。每個信號卡都連結至原始的推文 / Reddit 帖子 / StockTwits 訊息。於依據任何信號採取行動之前,請自己閱讀帖子。
把數字視為範圍,而非點。「65% 準確率」這個數字會因樣本數量、分析器誤差及倖存者偏差而存在不確定性區間。
回報您發現的錯誤。請電郵至 [email protected] 並附上信號的 URL。我們會用這些回報來優化分析器提示詞。
7. 總結
SignalSnitch 是一款使用不完美的 AI 處理不完美的輸入(社交媒體)以產生不完美輸出的研究工具。該管線足以呈現模式並研究群體心理 — 這是我們承諾的用例。它並不足以作為您無需自行核實就能據以行動的交易信號。
相關: 服務條款 · 私隱政策 · [email protected]