もし仮に、それらが全て事実だったとしてもです

”The Subject Supposed to Loot and Rape”
http://d.hatena.ne.jp/flurry/180010#25
もちろん、脅威の感覚は本物の無秩序と暴力によって喚起されたものである。嵐がニューオーリンズを通過した後、空き巣や生活必需品を探し漁ることなどの程度で略奪が起こった。しかし、このように犯罪が（きわめて限定的な範囲であるが）実際に起こったということによって、法と秩序が全面的に崩壊したという「噂」が免罪されることはない。これは噂が「誇張されていた」からではなく、もっとラディカルな理由に基づくものである。
ジャック・ラカンは、たとえ妻が本当に他の男性と不義を働いたとしても、患者の嫉妬は病的状態とみなされると主張した。同様に、たとえ1930年代初頭のドイツにおいて、金持ちのユダヤ人が「実際に」ドイツの労働者を搾取し、労働者の娘たちを誘惑し、人気のある新聞雑誌を支配していたとしても、ナチスの反ユダヤ主義は病理学的には「正常ではない」のである。なぜって？　全ての社会的な敵意の原因が「ユダヤ人」――異常な愛憎の対象、魅惑と嫌悪感との入り混じった幻影的造型――へと投影されていたからだ。
そして、まったく同じことが、ニューオーリンズの略奪にも当てはまる。たとえ暴力や強姦についての「全ての」噂が実際に真実であることがわかったとしても、彼らを取り巻く噂はまだ「病理的」であり人種差別主義的なものだ。なぜから、これらのストーリーを動機付けたものは、事実ではなく人種差別的な偏見――「見てごらん、黒人は本当はこのような、文明の薄い皮を被っただけの狂暴な野蛮人なんだ！」と言うことが出来た人々が感じた満足感――であるからだ。
別の言葉で言うなら、我々が取り扱おうとしているものは「真実の装いで虚偽を伝える*1」ことである。たとえ言っていることが実際に真実であるとしても、それを言わせる動機は間違ったものなのだ。（強調は引用者)
＊1：訳注：良くある慣用句としての「虚偽の装いで真実を伝える」（ウソの中に真実が含まれる）を引っくり返している。

http://d.hatena.ne.jp/m-bird/20080901/1220298117
Romanceさんの問題意識を読み取れてない気がします。ホームレスの体臭問題はすりかえでもなんでもなくて、boxfanさんが述べているように
http://d.hatena.ne.jp/m-bird/20080901#c1220316935
根拠があってのことですが、それを踏まえた上で、Romanceさんは「虚偽の装いで真実を伝える」ことを問題にしており、

http://d.hatena.ne.jp/Romance/20080901#p1
「図書館はホームレスを排除すべきではない」という主張から、「その理想はわかるけど、そうすると（悪臭ゆえに）図書館が図書館として機能しなくなる」にすぐさま結びつけ、その予測をあっけらかんと表明してはばからないのは、ホームレスに対する差別心があるからです。ホームレスという属性全体に指をさして「臭い！」「おまえたちは不快だ」「おまえたちがいると利用客は出て行ってしまう」と平気で表明できる点で、それは差別なのです。もし仮に、それらが全て事実だったとしてもです。

従ってホームレスに対する差別意識、ホームレスという社会問題に論点がいくのはまったく不思議ではないということです。
あと、属性では無く行為を問題にすれば差別では無いという考え方にも問題があります。
http://d.hatena.ne.jp/hokusyu/20080506/p1
バリャドリード論争のくだりをお読みくだされ。
＊参考：ハンセン病をめぐるもろもろに関して
http://flurry.hp.infoseek.co.jp/200403.html#02_1
http://d.hatena.ne.jp/sivad/20040219
http://flurry.hp.infoseek.co.jp/200403.html#05_2
http://d.hatena.ne.jp/flurry/20040305#p1
http://flurry.hp.infoseek.co.jp/200403.html#11_2