そんなウザい話がありましたので、
通知バーに、外部からPUSHして警告アイコンを表示したり、何かの別の操作をきっかけにいきなり通知したりするアプリがどれなのか、を特定ししちゃいましょう。

以下の内容が一覧で確認できます。

・通知バーに表示されたアイコン
・通知バーに表示されたメッセージ
・通知したアプリのアイコン(ランチャー)
・通知したアプリ名称
・表示した時刻

4.3-jelly-bean 以降で確認できます。

確認手順を説明します。

 

1. 「設定」のウィジェット（ショートカット）をホームにドラッグで運んでいきます。

２．ショートカットとして利用できる設定内容の一覧が表示されますので、「通知」を選択すると、そのショートカットアイコンがホームに置かれます。

3. それをタップすると、通知バーの利用履歴が表示されます。

 

上部通知バーに、あやしげなアイコンが表示されたら、「どのアプリが表示しているのか」を確認すると発信元アプリを特定できます。
消しちゃったあとでも、履歴は残っていますし。

消してしまった不要な通知を2度とこないように「通知履歴」から非表示設定する

【速報】「RogueWormXウイルスに感染しています」と女性が叫びだす広告アプリがあるらしい 

OSのバージョンが、4.2以下の人はアプリもありますよー。

Notification History - Google Play の Android アプリ

関連ワード:  Android・Google・おすすめ・アプリ・セキュリティ・ツール・便利な設定・notification・push・履歴・特定・通知バー